数据治理解决方案.pptx

1、,数据治理解决方案,目 录,01,02,03,04,2,背景介绍,数据治理解决方案,问题与讨论,数据治理案例介绍,行业现象和需求,问题,数据 质量,数据 应用,随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。数据分散，难以管理没有一个稳定的，抗源变化的数据层数据 架构,缺少统一的应用标准重复投入数据不一致指标设计、口径不一致指标难以共享缺少统一的基础数据标准重复投入数据不一致、不准确难以利用和管理各系统数据难以共享,部分关键业务数据缺失源系统校验关系缺失

2、及业务人员随意操作,目 录,01,02,03,04,4,背景介绍,数据治理解决方案,问题与讨论,数据治理案例介绍,数据管理范围,数据治理战略组织和角色政策和标准项目和服务问题估值,数据架构管理企业数据模型价值链分析相关的数据架构,数据质量管理规范分析度量改进,元数据管理架构整合控制交付,文档和内容管理获取和储存备份和恢复内容管理检索保留,数据开发分析数据建模数据库设计实施,数据操作管理获取恢复调优保留清除,数据安全管理标准分级管理授权审计,参考数据和主数据管理外部规范内部规范客户数据产品数据维度管理,数据中心和商务智能管理,架构事实,培训和支持监控和调优,数据管理框架,技术支撑,领域,机制,从

3、上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。战略,数据发现与分类数据采集与清洗工具,数据管理系统,质量检查工具,数据安全管理 数据建模,数据模型数据安全,主数据元数据,数据存储 数据分布 数据交换 数据集成,数据质量 数据服务,组织,制度,流程,角色,目标,规划,总体解决思路,重新组织数据重新组织数据，让数据变得 更好用。主数据建设真实世界模型数据仓库,盘点数据资产,让资产变得干净，少歧义,数据治理的延伸：数据管理数据治理的结束是数据管理的开始。数据资产透视智能搜索和发现主数据管理,数据治理持久化对数据治理工作持久化，一 次治理，永久治理。数据治理工作日常化元数据和标

4、准化治理维护 更新新类型数据的自动化治理,1、数据资产盘点：暗数据发现和分类,在数据治理的实际操作中，只有先发现数据，对数据进行有效分类，才能避免一刀切的控制方式，也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。美创经过大量的案例实践，总结出了数据分级分类的方式：,04,03业务流程分解识别各业务环节涉及的人、事、物，输入、输出、组件和数据沉淀；输 出业务流程图；根据梳理好的业务流程图，转换成,对应的数据流图；,01业务系统调研调研业务系统情况：建设目标、系统类型划分；系统运行架构、硬件支撑情况；使用者、用户来源和规模；06数据分级分类根据行业标准和特点对于数

5、据资产 进行分类；将数据资产划分为公开、内部、敏 感等不同的敏感等级；,02业务流程梳理梳理业务与业务之间的流程关系，业务流程本身的输入输出上下文情 况；补充每个业务流程涉及的属性；05业务关系梳理梳理业务与业务之间的关系业务流程逻辑、业务交互数据；业务权限分配、输入输出控制；访问权限控制、操作流程规范；风险规范要求等；,数据标准梳理对于业务数据按照主体、参考、交易、统计进行分类，并梳理出数据的技术 标准和业务标准；补充和整理完整的数据字典；,2、让数据变得更干净，少歧义,如何让数据变得干净可用？主要从三个方向入手：数据采集与清洗、对元数据进行管理、数据标准化治理,数据采集与清洗数据同步,数据

6、标准化治理技术标准,元数据管理,2.1、数据采集与清洗达到的效果,数据同步实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响 源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据 平台等）；,数据交换不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规则设计；,数据整合将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度,数据源,数据目的,数据迁移：将数据进行转移数据同步：保持两个同构或者异构库的数据一 致增强抽取：对于发生改变的数据进行更新列映射：数据类型转换、列名变换、删

7、除列、增加列,数据库查找器：过滤所需数据，并且根据规 则进行数据的替换自定制转换：调用java程序执行特殊的数据 处理数据质量检查：专业的数据质量分析、清洗、验证和监督引擎ETL转换,2.1、数据清洗、转换,2.2、元数据管理,元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人 员作出更有效的决策。元数据管理方法如下：,理解元数据需求确认企业元数据管理环境、范 围、优先级、元数据内部标准、企业基于元数据的服务等；,标准化元数据评估

8、指标评估指标主要应采取定量指标，包括：元数据存储库的完整性、元数据的质量、元数据的使用/引用、元数据血缘分析/影响分析等；,整合元数据把来源库中抽取到的元数据，与相 关的业务元数据和技术元数据进行 整合，最终存储到元数据存储库中；,查询报告和分析元数据指导如何使用数据资产，体现在商务智能（报表和分析）、商业决策（操作型、运营型、战略型）以及业务语义方面使用。指导如何管理数据资产：具有前端应用程序，并支持查询和获取，满 足以上各类数据资产管理的需要；,开发和维护元数据标准根据行业或共识标准，以及国际标准，再结合企业范围共识建立元数据标准；,创建和维护元数据通过元数据创建和更新工具定期扫描 和更新

9、存储库；采用审计流程验证各项操作活动并报 告异常；,发布元数据将元数据从存储库分发到最终用户和 其他需要使用元数据的应用或工具；,2.3、数据标准化治理,技术标准,管理标准,重点解决数据整合、交换接口标准业务数据库建设规范、数据整合规范平台接口规范、环境配置规范数据接入实施规范、编码规范等标准规范,对企业现有业务系统进行梳理按照数据标准规范的构成进行数据标准规范的制定以此为依据进行规范化的升级、管理以及曰后的变更 维护主要包括数据元、数据元代码集和信息实体等,建立实用、高效、统一的管理体系,制定信息系统运行维护管理制度、安全保障制度、数据安全管理规范、数据共享交换管理规范等管理规范。,数据标准

10、,数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一 的标准规范体系，实现信息高度共享、系统运行高度协调的保障。标准规范包括技术标准、数据标准和管理制度三类：企业统一标准的数据规范标准,3、重新组织数据,主数据建设,真实世界模型,数据仓库,数据标签和画像,建立企业数据资产统 一口径、统一标准,从实际出发，用 数据描述业务,资源整合、统一数 据，企业决策支持,用户信息标签化，支 持多场景业务应用（如战略分析、产品 运营、用户服务等）,重新组织数据包括：基础工作：主数据建设，真实世界模型；扩展内容：数据仓库，数据标签和画像；,数据梳理,数据问题确认,数据标准定义

11、,数据管理方案 管理流程确认,业务系统接口改造,识别主数据：结合目标数据所涉及到的 业务部门与业务系统，展 现数据标准梳理与 对应。,系统与数据问题：针对梳 理过程中出现的各种数据 问题与相关业务部门与业 务系统进行确认。,主数据定义建模：针对数据问题反馈结果，完成目标数据技术规则、业 务规则、CRUD标准定义 以及 与业务部门的确认。,主数据利用与管理：针对目标数据的管理方案与管理流程完成与相关业 务部门的确认。,主数据利用：针对目标数据的业务规则和技术规则，与相关业务 部门和系统管理员确认，要求数据源改造。,3.1、主数据建设建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，

12、美创提出了以下主数 据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：,3.2、真实世界模型,标的物和输入输出分析方法流程、组件和资源标准化,平衡计分卡模型全面数字化运营，运营信息整合监管质量和合规性运营流程改善，提高服务,360视图模型建立用户主数据，统一业务档案构建用户画像，精准化服务,精益模型管理层驱动的问题发现改善精益团队驱动的流程改善员工自我驱动的工作改善,真实世界 模型,准确,精益 模型,360视图 模型,平衡计分卡 模型,真实实时,全面,数据中心,美创经过多年在数据领域的经验积累，创造性提出“真实世界模型”建模方法论，主张从数据的角度 反映真实业务的本来面目，建立

13、规范的建模体系；真实世界模型按照业务本来面目去组织、集成和交换数据黑盒子分析方法,3.3、数据仓库数据仓库架构图：,Data Profiling 数据画像,字段画像,关联字段画像,DB表画像,DB关联表画像,值域分析类型检测波动监测基数分析数据分布异常值监测,功能相关性分析主键唯一性分析,表基础分析外键分析,血缘分析,3.4、数据标签和画像,4、数据治理持久化,有必要对数据治理工作持久化，一次治理，永久治理。,元数据和标准化治理维护更新不断的更新元数据和标准化治理以反映 当前的诉求。,新型数据的自动化治理超过原先治理范围的数据，需要经历暗数据发现 和分类，数据质量清洗和重新组织数据的全过程；在

14、生产过程中，实时识别这部分数据，将其引入 数据治理流程，使新类型在产生的初始环节就是 可识别，高质量，可理解和可利用的。,数据治理工作成果日常化把数据治理工作利用自动化引擎实 时或者准实时自动化运行。,5、数据治理的延伸：数据管理,数据治理的结束是数据管理的开始！,数据资产透视反映数据资产状况，有哪些数据、数据在哪、数据量级、数据业务逻 辑关系等；,智能搜索和发现款速检索企业数据、内容语义理解、用户兴趣识别，智能信息化过滤和 推荐等；,主数据管理主数据集中管理，一体化的主数据 提取、审查、发布机制，数据质量 控制；,数据模型管理规范定义、模型架构设计、数据组 织和存储方法、数据模型生命周期 管

15、理；,数据中心管理监控数据中心运营情况、数据标准 化建设、数据质量体系建设等；,元数据更新和维护元数据完整性监测、元模型增加、修改、删除、发布等；,数据生命周期管理静态数据从创建、使用、备份、再 利用、销毁过程；动态数据溯源；,数据台帐和审计数据资产记录，数据使用审计等；,美创数据治理体系架构,源数据识别敏感数据发现,数据发现与分类（暗数据发现和分类）,数据业务模型数据分级分类,数据管理（数据管控平台）,数据标准体系 文件,版本管理,数据服务,数据发布,数据分享,数据交换,数据中心,面向流程主题建模,真实世界模型,统计分析类主题建模,平衡计分卡模型,绩效考核类主题建模,精益模型,面向档案类主题

16、建模,360视图模型,数据抽取,数据采集与清洗（数据支撑平台）数据采集和格式转化,数据重构、聚集流程监控,数据清洗实时挖掘,数据源,文档/日志,数据关系源数据质量报告物联网数据互联网数据 非结构化数据,图片/影像,业务系统数据,MIS系统数据 渠道系统数据第三方数据结构化数据,数据应用,决策支持,时空数据可视化,数据大屏,智能数据应用,其他行业应用,数据安全,数据脱敏,脱敏算法管理,灵活报表监管,安全传输,审批流程,数据可用性处 理,数据仿真,敏感数据发现,敏感策略配置,脱敏任务配置,方案价值,A,B,C,D,E,方案 价值,数据全周期管理从数据发现与分类、数据采集与清洗、数据管控、数据中心建设、数据建模等层面实现对数据的全周 期管理；,适用场景广泛方案中各产品模块可以独立解决数据管理不同场景 问题（如数据发现与分类场景、数据采集与清洗场 景、数据安全场景、数据标准建设场景等）；也可以任意组合，快速适用企业不同的数据管理场 景；,灵活度高各产品提供丰富对外接口，具有高度灵活性、扩展 性和集成能力；采用全方位、严密的安全编码加强产品安全性，对 不安全的数据进行严格校验；程序具备自检、故障