数据质量管理解决方案ppt课件PPT推荐.pptx

1、一致性校验,存在问题某ODS系统中，发现ETL过程后对公活期表在ODM层与FDM层的记录数 不一致，为保证系统ETL过程运行正确，需要对系统中对公活期表数据由 ODM层至FDM层过程增加一致性校验。解决方案数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程 中数据记录数不一致的问题。通过对系统ODM层及FDM层对公活期表主 键增加一致性COUNT校验规则，得到ODM层与FDM层不一致记录数。主外键校验,存在问题某ODS系统中，对公客户财务信息表中存在出资币种、注册资本币别等 币种描述信息，其信息来自系统中的币种代码表。为了保证系统中对应 关系的正确，需要对系统中对公客户财务信息

2、表与币种代码表关联关系 进行主外键校验。解决方案数据质量管理系统中提供了规范的主外键校验规则来检核系统中数据关 联关系不对应的问题。通过对系统中主表定义主外键校验规则并关联对 应外键字段的附表及字段，得到系统关系中不对应的问题数量及主表中 的问题记录显示字段明细。拉链表交叉链、断链校验,存在问题某ODS系统中，为保证拉链表数据结构正确，需要对表增加拉链表交叉 链和断链校验。解决方案为进行系统中拉链表交叉链、断链检验，数据质量系统提供自定义校验 规则进行检测，通对表定义自定义查询语句，得到存在交叉链、断链的 记录数。,产品实施案例及场景分享场景分析：业务平衡性校验,存在问题某ODS系统中，发现E

3、TL过程后存在FDM层总账科目余额与SDM层明细 科目汇总余额不一致，为保证系统业务规则运行正确，需要在系统增加 相关业务的平衡校验。解决方案为进行系统业务的平衡性校验，可使用数据质量系统中一致性校验规则 进行检测，通过对FDM层总账科目余额与SDM层明细科目汇总余额字段 设置一致性SUM校验规则，得到过程中数据差额。,目录数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享,数据质量管理产品特性数据质量产品价值数据质量产品逻辑架构 数据质量产品技术架构 数据质量产品功能简介,数据质量管理产品简介,数据质量管理产品特性,基于元数据的知识库共享设计灵活的检核模块的配置、

4、支持灵活扩展支持检核主流数据库系统提供丰富的系统接口较强的检核问题与知识库管理丰富的前端界面展现：系统前端采用Ajax、Flex技术，能够灵活的 展现分析图表及血缘、影响关系。,数据质量管理产品价值,1,2,3,4,5,规范的问题管理流程及 制度，精确管理问题每 个阶段,提供全面的数据分析 机制，加速问题解决,完善的质量问题解 决共享机制，实现 数据质量的闭环管 理,自动化的检核处 理及问题通知机 制，达到无人职 守,完整检核标准梳理方法及 指标规则模板,价值,数据质量产品逻辑架构,二 次 开 发,权 限 集 成,数 据 访 问,应 用,接口,存 储,规则库,检核结果库,知识库,数据质量分析,

5、问题处理率,数据质量报告,系统管理,权限管理,系统参数,系统日志,密码维护,系统配置,系管 统理,单指标趋势分析,功 能,检核问题管理,手工问题管理,问题通知,问题管理,检核指标管理唯一性检核非空检核值域检核代码检核 业务指标检核,指标自动调度,指标手工调度,检核调度执行,检核执行,数据质量问题定位,单表数据分析,运行状态库,22,数据质量产品技术架构,展 现,层,逻 辑 层,JavaScript&AjaxFlash,持 久 层,数据库,Hibernate,JDBC,iBATIS,JSP/HTML,JSF,Jason,XML,HTML,技术组件层,EXCE L组件,XML组件,邮件组件,日志组

6、件,文件传输 组件,语法分析 引擎,业务组件层,数据检核,数据采集,数据分析,业务应用层,数据标准业务应用,元数据业务应用,数据质量业务应用,接口服务层,数据质量管理功能简介数据质量产品功能,数据质量产品功能简介处理数据质量问题流程,确定规则：数据质量指标发现问题：数据质量检核提出问题：质量问题告警解决问题：质量问题分析归纳问题：问题管理流程,数据质量产品功能简介数据质量检核指标,数据质量系统依照数据质量的八大要素量规范了6种数据质量问题的 检核规则，其中包括：非空检查、唯一检查、主外检查、长度检查、代码检查以及一致性检查数据质量系统支持自定义规则对系统中业务性规则进行检核,检核指标管理,检核

7、指标管理提供唯一检查、非空检查、外键检查、代码检查、长度检查、值域检查、一致性检查、自定义检查等检核指标的管理及综合查询功能主要包括以下部分：指标设置按不同入口下设：表级指标：提供从检核目标（表及字段）定义、查询、修改、删除 检核指标系统指标：提供从指标分类入口定义、查询、修改、删除检核指标综合查询提供按各种不同条件查询所有未删除指标,检核指标管理,指标定义主要功能：基本信息：提供指标名、指标说明、执行频率、调度方式等信息输入等 功能检核目标：提供指标的检核目标、管理部门、自定义SQL等操作等功能指标修改功能:提供指标基本信息、管理部门等的日常维护功能删除指标删除不再需要的指标,检核指标管理技

8、术指标表级指标,检核指标管理技术指标表级指标完整性指标-基本信息,检核指标管理技术指标表级指标完整性指标检核目标,检核指标管理技术指标检核目标-添加管理部门,检核指标管理技术指标系统指标,检核指标管理技术指标系统指标-新增指标-选择检核表,检核指标管理技术指标系统指标-新增指标-输入SQL条件,检核指标管理技术指标-系统指标-正确性指标-一致性指标,检核指标管理技术指标-系统指标-正确性指标-代码指标,检核指标管理技术指标-系统指标-正确性指标-格式指标,检核指标管理技术指标-系统指标-正确性指标-值域指标,检核指标管理技术指标-系统指标-完整性指标-外键指标,数据质量产品功能简介数据质量检核

9、,数据质量检核是对源系统中存在的数据质量问题进行检查的过程，通过系统自 动手动方式发现系统中存在的数据质量问题,数据质量产品功能简介数据质量检核,数据质量产品功能简介质量问题告警,质量问题告警是系统提高了数据质量问题的时效性 以及数据管理人员对问题数据的响应速度。,数据质量产品功能简介质量问题分析,质量问题分析通过图形、图表界面，快速定位问题 产生的原因以及历史趋势，为数据管理人员解决数 据质量问题提供辅助,数据质量产品功能简介问题管理流程,系统规范了检核问题的处理流程，通过流程的处理 对系统中已解决的数据质量问题进行整理。,问题管理,系统提供检核问题管理管理，分别提供对检核问题管理与手工问题

10、管理，并 对检核问题提供血统分析、影响分析、查看明细、导出功能与流程化管理。功能主要包括以下部分：检核问题管理：提供对检核出的问题的流程化管理，并可查看检核问题 的明细信息、血统分析、影响分析等手工问题管理：提供对手工提出的问题的流程化管理,检核问题管理,检核问题列表：,46,检核问题管理,问题明细列表：,47,检核问题管理,转入知识库,48,检核问题管理,血统分析：,49,数据质量分析,系统提供对数据质量检核出的结果进行的数据分布 式分析。包括查询指标、查看趋势分析视图及下载 质量报告等功能功能主要包括以下部分：指标趋势分析：提供对单指标所检核出的结果进行数据趋势分析单表数据分析：提供对数据质量检核出的结果以单表进行数据趋势分析数据质量报告：对指定的检核数据生成数据质量检核报告（EXCEL格式）并 提供下载,数据质量分析,单指标趋势分析图,数据质量分析,单表数据分析图,数据质量分析,数据质量报告列表,数据质量报告Excel文档,数据质量分析,目录数据质量管理概述数据质量问题解决之道数据质量管理产品简介产品实施案例及场景分享,产品实施案例及场景分享产品实施案例,欢迎沟通！,