滴滴数据资产管理实践.pptx

滴滴数据资产管理实践.pptx

《滴滴数据资产管理实践.pptx》由会员分享，可在线阅读，更多相关《滴滴数据资产管理实践.pptx（33页珍藏版）》请在冰豆网上搜索。

滴滴数据资产管理实践目目录录/Contents010302滴滴的数据滴滴的数据资产资产概述概述平台建平台建设设之之数据开数据开发发平台平台04平台建平台建设设之之数据数据应应用平台用平台平台建平台建设设之之资产资产管理平台管理平台2019中国数据智能管理峰会滴滴的数据滴滴的数据资产资产概述概述2019中国数据智能管理峰会滴滴的数据资产5.5亿亿+1000+座座全球城市全球城市700亿亿日日ETA请请求求150亿亿日定位数据日定位数据用用户户日新增日新增106TB数据数据日均日均处处理理处处理理4875+TB数据数据人人路路车车司机乘客静态信息：

全球、全国、城市等各粒度动态信息：

行程轨迹静态信息：

归属人/公司、车牌号、车型动态信息：

里程数、维保记录2019中国数据智能管理峰会滴滴的数据特色030201地理位置、地理位置、轨轨迹相关迹相关的数据占比高的数据占比高实时实时数据占比高数据占比高结结构化数据构化数据为为主，主，价价值值密度高密度高2019中国数据智能管理峰会滴滴的数据平台业务架构元数据打通，更准确元数据打通，更准确识别识别公司核心数据公司核心数据资产资产，辅辅助助资产资产信息的完信息的完善，从而沉淀数据善，从而沉淀数据资产资产业务应用/DS内部用户/DS大屏用户数据消费统一数据门户数据大屏PCAPP-H5数据数据应应用用产产品平台品平台BI自助分析工具决策分析看板分析技技术术&业业务务元元数数据据打打通通数数据服务化据内容建设指标管理平台资产管理平台数据开数据开发发平台平台数据同步数据开监控告警数据质量项目管理权限管调度发理离线引擎实时引擎机器学习引擎数据接入2019中国数据智能管理峰会平台建平台建设设之之数据开数据开发发平台平台2019中国数据智能管理峰会数据梦工场极致极致简单简单数据数据应应用用产产品品只要会会SQL，人人都是数据玩家！

数易数易BI实时监实时监控控监监控大屏控大屏北极星北极星把脉把脉Omega标签标签系系统统智能地智能地图图一站式智能数据开一站式智能数据开发发、生、生产产平台平台数据中台数据中台（数据梦工数据梦工场场）完整完整闭环闭环数据开数据开发发调调度度同步中心同步中心数据安全数据安全机器学机器学习习一站式一站式数据开发生产平台底层封装、模块中心化、平台应用模块智能联动，提升开提升开发发效率效率数据地数据地图图监监控告警控告警数据数据质质量量资产资产管理管理算法平台算法平台安全保障安全保障权权限控制限控制责责任到人，任到人，权权限到字段限到字段离离线计线计算引擎算引擎Hive、流流计计算引擎算引擎Flink数据数据检检索索ES消息消息队队列列Kafka、DDMQHbasePhoenix机器学机器学习习TensorFlowSpark开开发发生生产产数据隔离数据隔离多种措施保障数据安全内置内置衍生衍生规规范范产产出出语义语义明确明确的的元数据元数据更智能化更智能化的的行行业领业领先先基于开源引擎开源引擎基线监控机制，标记最核心计算通路，确保核心核心数据及数据及时产时产出出平台服平台服务务高高质质量的量的元数据元数据经验积经验积累累国内国内领领先先的大数据体系建设及数据治理经验2019中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理稳定高效异构数据源同步服务。

1）集成实时、离线两种方式；2）快速扩展，插件式拓展多种同步类型；3）自主运维，同步相关指标清晰可见；4）为流计算提供实时数据源；2019中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理针对数据开发、临时查询场景，为用户提供更加规范、顺滑的数据开发体验：

）智能编辑器，支持各种库表、函数、变量想输入、动态语法检查等）提供SQL格式化、错误提示，提供更顺滑SQL开发体验）支持各种SQL（Hive、Spark、Presto）、hell、PySpark等类型任务支持，）支持文件多版本、任务回滚；）直通调度，字段检测依赖，方便测试和上线任务。

6）提供历史查询记录和大规模数据下载能力（经过安全审批）2019中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理支持百万级的离线例行任务调度，保障业务稳定运行。

1）提供开发、生产两套环境，相互隔离2）支持MR/Hive/Spark/Shell等不太任务类型的任务调度3）支持小时、天、周、月多种调度周期配置4）数据回溯简单易用：

支持重跑、支持多维度运维2019中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理智能监控任务运行情况，异常时发出告警。

体系化解决“是否警”，杜绝无效报警；表规则监控数据量流量数据接入资源告警字段规则监控存储告警计算告警异常数据自定义监控抽象“数据基线”保证重要数据的及时产出，并动态规划相关任务优先级。

结合算法，预测可能的数据延迟，提前预警，将影响面降到最低。

升级逻辑，避免漏处理。

中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理全链路的数据质量管控，实现数据质量校验、通知、管理能力1）完整配置VS快速配置2）强规则VS弱规则3）表规则VS字段规则4）预设规则VSSQL规则41%2019中国数据智能管理峰会产品功能数据同步数据同步数据开数据开发发调调度系度系统统监监控控报报警警数据数据质质量量项项目管理和目管理和权权限管理限管理统一便捷的进行项目管理和权限管理。

个人资产1）项目管理提供项目自身的增删资产概览大盘表待办任务趋势我的资产我的应用数据管理改查以及项目内的人员、角色、生产账号、库表、存储和队列等资产管理功能。

资产明细应用概览单应用管理表管理趋势&明细成本管理数据编目数据加工者数据加工者数据管理者数据管理者全局资产2）权限管理针对人员、角色的权限申请和主动授权，以及过期权限、闲置权限的回收和权限审计等功能。

资产仪表盘数据量表数据流趋势资产管理资产分析业务任务quota全局管理应用血缘2019中国数据智能管理峰会梦工场-模块关系图同步质量实时数据源质量告警触发触发项目管理提交开发告警权限管理提交实时任务告警ML任务告警2019中国数据智能管理峰会梦工场-典型的离线场景数据库导入日志数据导入实时同步其他来源数据实时同步数据导入离线同步实时同步日志check导入1导入2导入3导入4导入5导入6数据加工数据导出计算1计算2计算3计算4计算5计算6计算7导出3计算8导出1导出2导出4导出52019中国数据智能管理峰会梦工场-优先级上推策略基线（业务）-任务-调度机-yarn全流程打通2019中国数据智能管理峰会梦工场-业务下线数据库导入日志数据导入实时同步其他来源数据实时同步数据导入离线同步实时同步日志check导入1导入2导入3导入4导入5导入6数据加工数据导出计算1计算2计算3计算7计算4计算5计算6计算8业务下线导出1导出2导出4导出52019中国数据智能管理峰会平台建平台建设设之之数据数据应应用平台用平台2019中国数据智能管理峰会数易数易敏捷、自助的数据分析、可数易敏捷、自助的数据分析、可视视化平台。

化平台。

数易解决用数易解决用户户三大痛点三大痛点问题问题：

Where：

去哪儿看数据What：

数据分析、可视化可以产出哪些内容？

How：

业务需求那么多，如何快速响应，更方便、自助实现数据可视化？

2019中国数据智能管理峰会数易技术特点可视化能力开放的API接口分析可视化BI层的可扩展性无缝对接主流大数据处理套件查询层查询层的可扩展性开放分析功能的查询接口扩展对接多种数据源数据存储层可对接实时、离线、文件多种源数据类型存储层的可扩展性2019中国数据智能管理峰会数据APP滴滴数据App，让用户随时随地第一时间触达数据，掌握业务，结合数据知识圈子分享，是滴滴内部的一站式数据移动平台。

2019中国数据智能管理峰会标签系统标签标签系系统统是基于海量是基于海量标签进标签进行用行用户户分群、快速圈出特定人群、分群、快速圈出特定人群、对对人群人群进进行行计计算及分析，算及分析，支持精支持精细细化运化运营营和广告投放等活和广告投放等活动动的运的运营营支持服支持服务务系系统统。

数据分析数据分析产产品策略品策略效果追踪效果追踪分析速度快快速制定策略提供策略服务寻找相似人群策略收益分析目标人群关键指标趋势分析数据颗粒度足够细数据交叉分析2019中国数据智能管理峰会标签系统多维度数据分析用用户单户单一一维维度构成分析度构成分析交叉交叉维维度分析度分析用用户户核心路径漏斗分析核心路径漏斗分析重点用重点用户户关关键键指指标趋势标趋势追踪追踪峰会标签系统策略制定快速圈定目快速圈定目标标用用户户制定千人千面的策略制定千人千面的策略人群相似性人群相似性扩扩展展探索探索业务业务增增长长2019中国数据智能管理峰会业务BI监控业务监控大屏监控滴滴核心业务指标，是管理者、产品、运营等观察业务状况的“眼睛”。

基于实时计算能力分钟级别发现业务故障图表配置简单灵活支持多源数据接入支持多维度分析2019监控大屏订单数据毫秒级更新，适配实时数据彰显酷炫视觉特效实时业务核心数据监控+仪表盘的展示短信/电话预警配置支持实时、离线数据大屏各类展厅、展会数据大屏2019中国数据智能管理峰会平台建平台建设设之之资产资产管理平台管理平台2019中国数据智能管理峰会一站式资源管理平台2019中国数据智能管理峰会资产管理平台删除数据生命周期管理下线任务转交团队视图红黑榜资产概览账单明细历史对比一体化的元数据2019中国数据智能管理峰会数据存储和计算治理将治理的控制权交还给每一个使用者，根据业务的发展情况，即时即刻的去管理所属的存储和治理需求。

个人资产资产治理治理（存（存储储、计计算）算）团队部门存储治理计算治理暴利扫描相似计算无效计算数据倾斜参数不合理同源导入数据相似废弃表生命周期过长2019中国数据智能管理峰会资产管理平台个人资产我的资产资产概览大盘表待办任务趋势资产明细应用概览我的应用数据管理单应用管理表管理趋势&明细成本管理数据编目全局资产资产仪表盘资产分析业务数据量表数据流趋势资产管理任务quota全局管理应用血缘2019中国数据智能管理峰会THANKYOU!