数据质量平台V2.0.0产品规划.ppt

数据质量平台V2.0.0产品规划.ppt

《数据质量平台V2.0.0产品规划.ppt》由会员分享，可在线阅读，更多相关《数据质量平台V2.0.0产品规划.ppt（67页珍藏版）》请在冰豆网上搜索。

数据质量管理平台数据质量管理平台V2.0.0V2.0.0产品规划产品规划（版本（版本V0.8V0.8）20102010年年0808月月目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求核心概念分析核心概念分析概念概念解解释数据质量对经营分析系统数据质量进行监控、评估和数据质量问题处理数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告数据稽核是数据质量检查的基本功能，是根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性等多角度的检查，以便能及时发现问题核心概念分析核心概念分析概念概念解解释数据质量知识库数据质量管理子系统存储层上的数据质量存储信息库，主要包括各种检查规则、检查结果报告（包括告警），以及数据质量问题的处理过程信息数据质量评估数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程数据采集点覆盖经营分析系统数据处理环节的，获取每个环节运行状态的实体。

该实体可以是程序实体也可以是任务实体目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求产品目标产品目标远景目标业务目标：

1.在数据质量监控界面上集成元数据信息，实现拓扑呈现功能，提供经营分析系统数据处理状态和质量状况的全局视图；2.进一步完善数据质量管理知识库，可由数据质量知识库自动产生检查规则的优化建议、自动产生数据质量问题的处理建议；3.进一步完善数据质量评估的应用，结合元数据信息，实现数据质量评分体系；4.进一步完善数据质量对外服务功能，实现数据质量管理子系统对经营分析系统的全面技术支撑。

技术目标：

1.云计算特性实现：

分布式、动态负载、云部署和监控；2.数据质量知识库关联案例搜索，模糊查询与知识挖掘技术应用。

产品目标产品目标近期目标业务目标：

1.在经营分析系统数据处理主要阶段设置数据质量检测点，支持对经营分析数据质量的全程监控，建立有效的数据质量监控机制，提供全面及时的数据质量报告，预防和控制错误范围的扩大；2.完善数据质量管理知识库，积累数据质量问题及其处理过程的相关知识，为相同或相近问题的处理提供参考；3.初步建立数据质量评估的应用，通过评估发现数据质量潜在的问题和规律；4.建立数据质量问题处理机制，有效协助处理经分域数据质量问题；5.开发数据质量对外服务功能，提高数据质量管理子系统对经营分析系统的技术支撑力度。

技术目标：

1.模块化与组件化改造；2.任务调度与业务过程解藕，复用统一的调度构件;3.采集程序分布式部署。

4.配置数据库与数据仓库分离，采用文件数据库。

目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求在公司产品规划中定位在公司产品规划中定位融融合合计计费费综合客服综合客服合合作作伙伙伴伴管管理理WEB客户客户/员工员工/营销人员营销人员/管理人员管理人员/合作伙伴合作伙伴客户门户客户门户Mediation收入保障收入保障工作流引擎工作流引擎定定单单工工单单管管理理专业网管专业网管企业企业ERP应应用用集集成成平平台台网络激活网络激活营业厅营业厅合作伙伴合作伙伴客户经理客户经理内部门户内部门户元数据管理元数据管理企业数据仓库企业数据仓库决决策策支支持持BAM银行银行产品管理平台产品管理平台知识库知识库BOMCIVR短信短信POSWAPMAS管理管理网络资源网络资源管理系统管理系统业务门户平台业务门户平台网网元元层层业务网业务网承载网承载网MSC行业网关行业网关短信网关短信网关HLRWAP网关网关MASVGOPM2M业务平台业务平台电子商务平台电子商务平台音音乐乐卡卡客户管理平台客户管理平台在在线线分分析析市市场场营营销销销销售售管管理理综合受理综合受理订订单单管管理理服服务务请请求求管管理理综合帐务综合帐务HotBilling数据服务中心数据服务中心DSC充值平台充值平台ABM施工管理施工管理业务资源管理业务资源管理VAC渠渠道道管管理理规则引擎规则引擎MDB预处理预处理综合采集综合采集数据质量管理数据质量管理数数据据集集成成平平台台总部总部BOSSOCS服务保障服务保障平台平台综合管理综合管理数据访问数据访问帐务管理帐务管理帐务处理帐务处理智能网智能网自助终端自助终端自助终端平台自助终端平台经经营营分分析析基础管理基础管理4A平台平台B2B服服务务集集成成平平台台渠道接触集成平台渠道接触集成平台综综合合计计算算目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求业务过程列表业务过程列表实体列表实体列表上下文图上下文图0级级DFD图图1级级DFD-P1规则配置规则配置1级级DFD-P2信息采集信息采集1级级DFD-P3检查稽核检查稽核1级级DFD-P4监控告警监控告警1级级DFD-P5问题处理问题处理1级级DFD-P6知识库知识库1级级DFD-P7质量评估质量评估1级级DFD-P9对外服务对外服务2级级DFD-P1.1采集规则配置采集规则配置2级级DFD-P1.2稽核规则配置稽核规则配置2级级DFD-P1.3告警规则配置告警规则配置2级级DFD-P3.1实体稽核实体稽核2级级DFD-P3.2业务源数据稽核业务源数据稽核2级级DFD-P3.3处理过程检查处理过程检查2级级DFD-P3.5指标稽核指标稽核2级级DFD-P4.6告警管理告警管理2级级DFD-P7.2数据质量问题状态评估数据质量问题状态评估2级级DFD-P7.3数据源接口质量评估数据源接口质量评估目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构概念模型概念模型逻辑模型逻辑模型应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求概念模型设计：

概念模型设计：

00级级E-RE-R概念模型设计：

概念模型设计：

11级级E-RE-R概念模型设计：

概念模型设计：

22级级E-RE-R逻辑模型图逻辑模型图功能数据控制关系功能数据控制关系数据应用采集规则稽核规则告警规则评估规则采集信息稽核结果监控报告告警信息问题信息评估报告知识信息规则配置CRUDCRUDCRUDCRUD信息采集RCRU检查稽核RRCRU监控告警RRCRUDCRUDR问题处理RRRRRRCRUDR质量评估RRRRRCRUD知识库管理RRRRRCRUD对外服务RRRUR数据库应用分布关系数据库应用分布关系数据库应用主配置库详细信息存储库规则配置采集规则、稽核规则、告警规则、评估规则信息采集采集信息（概要信息）采集信息（概要信息、详细信息）检查稽核稽核结果监控告警监控报告、告警信息问题处理问题信息质量评估评估报告案例库管理案例信息对外服务问题信息、数据质量信息目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求数据质量管理功能结构图数据质量管理功能结构图数据质量管理功能层次数据质量管理功能层次问题处理问题处理系统管理系统管理数据质量管理数据质量管理规则配置规则配置信息采集信息采集检查稽核检查稽核业业务务源源信信息息采采集集实实体体信信息息采采集集指指标标信信息息采采集集权权限限管管理理日日志志管管理理采采集集规规则则配配置置稽稽核核规规则则配配置置实实体体稽稽核核指指标标稽稽核核业业务务源源数数据据检检查查处处理理过过程程检检查查告告警警规规则则配配置置数据质量评估数据质量评估指指标标关关联联性性分分析析数数据据源源接接口口评评估估问问题题状状况况评评估估专专题题评评估估监控告警监控告警监监控控告告警警知识库知识库知知识识管管理理对外服务对外服务数数据据质质量量信信息息查查询询数数据据质质量量问问题题交交互互知知识识共共享享问问题题管管理理问问题题接接口口评评估估规规则则配配置置任务调度任务调度处处理理过过程程信信息息采采集集告告警警管管理理拓拓扑扑呈呈现现采采集集信信息息展展示示稽稽核核结结果果展展示示调调度度接接口口核心业务功能描述核心业务功能描述规则配置：

配置：

数据采集，数据稽核和告警监控,质量评估会根据预先用户配置的规则进行相应的采集、稽核、告警和相应的评估。

规则定制分为采集规则配置，稽核规则配置、告警规则配置，评估规则配置。

采集规则配置：

采集规则配置作为采集程序执行的依据。

指定采集的数据库，采集方式等，分为指标采集规则，实体采集规则，业务源数据采集规则，处理过程采集规则核心业务功能描述核心业务功能描述稽核规则配置：

依据数据仓库、数据集市等系统的模型约束、实体属性、实体关系和实体业务特征等角度来制定相应稽核规则。

作为数据稽核的依据，分为指标稽核规则，实体稽核规则，业务源数据稽核，处理过程稽核规则告警规则配置：

据数据仓库模型约束以及关系、具体业务约束指定相应的告警规则。

依据告警规则发出相应的告警。

分为指标告警规则，实体告警规则，业务源数据告警规则，处理过程告警规则核心业务功能描述核心业务功能描述评估规则配置：

数据质量问题状况评估是对数据质量问题及其处理情况的阶段性汇总与总结，评估过程中生成相应的数据质量问题状况评估报告供经营分析系统管理人员和维护人员分析与使用，数据质量人员根据数据质量问题状况和业务经验指定相应的评估规则，作为相应的指导。

信息采集信息采集：

数据质量采集到的信息作为后续数据质量检查环节的输入，是数据质量监控的基础。

信息采集分为指标信息采集，实体信息采集，业务信息采集核心业务功能描述核心业务功能描述指标信息采集：

根据指标采集规则采集相应的指标值，这个指标含有指标账期，业务库等相关信息，数据稽核会根据采集结果是否满足稽核规则来报告异常。

实体信息采集：

根据实体信息采集规则采集需要稽核的实体信息和属性信息，稽核会对实体进行主键检查，外键检查，值域检查，完整性检查，合法性检查这些操作。

业务过程信息采集：

根据业务信息采集规则采集相应业务信息，从而检查分析系统各数据处理环节处理的完成情况，处理情况等信息。

核心业务功能描述核心业务功能描述检查稽核：

稽核：

检查稽核部分根据预先配置的规则、算法和质量检查度量，对数据的正确性、合理性等多个角度进行检查，及时发现数据质量问题。

主要包含以下内容：

实体稽核、指标稽核、业务源数据稽核和处理过程检查。

监控告警：

控告警：

数据质量稽核完成后，数据稽核结果信息根据告警规则进行数据质量的告警，并产生相应的工单信息，对数据质量问题进行处理。

核心管理功能描述核心管理功能描述知知识库：

用来收集和积累有关数据及过程问题的处理经验总结，这些知识可作为今后数据质量问题解决方法和问题分析的参考。

问题处理：

理：

数据质量稽核发现问题时，能够对问题处理，生成相应的问题工单进行处理，同时能够将相关信息进行对外提供。

数据数据质量量评估估：

数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程。

通过数据质量评估可以发现一些潜在的数据质量问题和变化规律，如指标关联波动规律和同类问题的发生规律等。

数据质量评估也可能会触发相关的后续处理，例如监控规则优化和问题处理等。

目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应