省级BI规范-数据质量管理系统建设方案.doc
《省级BI规范-数据质量管理系统建设方案.doc》由会员分享，可在线阅读，更多相关《省级BI规范-数据质量管理系统建设方案.doc（73页珍藏版）》请在冰豆网上搜索。
中国移动通信企业标准
QB-X-001-2006
中国移动省级经营分析系统
数据质量管理系统
建设方案
（v1.5）
发布2006
版本号：
1.5
2006实施
中国移动通信有限公司发布
目录
1. 概述 5
1.1. 背景 5
1.2. 适用范围 5
1.3. 引用标准 5
1.4. 起草单位 5
1.5. 解释权 5
1.6. 符号和缩略语 6
1.7. 术语和定义 6
2. 总体说明 8
2.1. 数据质量含义 8
2.2. 主要内容 8
2.3. 系统建设目标 9
2.4. 实施建议 9
3. 数据质量管理需求 11
3.1. 数据质量问题 11
3.2. 系统实施定位 15
4. 系统架构 16
4.1. 系统体系 16
4.2. 源系统层 16
4.3. 存储层 17
4.3.1. 元数据存储 17
4.3.1.1. 业务元数据 17
4.3.1.2. 技术元数据 18
4.3.1.3. 管理元数据 22
4.3.2. 质量稽核过程信息 22
4.4. 功能层 23
4.4.1. 元数据支撑功能 23
4.4.1.1. 元数据维护 23
4.4.1.2. 同步检查 24
4.4.1.3. 模板化导入/导出 25
4.4.1.4. 实体查询 26
4.4.1.5. 过程查询 26
4.4.1.6. 实体活力分析 26
4.4.1.7. 过程追溯 26
4.4.1.8. 过程追踪 27
4.4.2. 质量检查基本功能 27
4.4.2.1. 数据稽核 27
4.4.2.2. 处理过程检查 30
4.4.2.3. 处理环境检查 30
4.4.2.4. 稽核配置管理 31
4.4.3. 辅助功能 31
4.4.3.1. 告警处理 31
4.4.3.2. 问题管理 31
4.4.3.3. 数据质量知识库管理 32
4.4.3.4. 系统管理 33
4.5. 应用层 33
4.5.1. 信息地图 33
4.5.2. 数据质量评估 34
4.5.3. 接口数据异常分析 36
4.5.4. 指标一致性分析 40
4.5.5. 需求变更影响评估 43
4.5.6. 项目管理支撑应用 45
5. 数据质量管理流程 47
5.1. 概述 47
5.2. 管理机制 47
5.2.1. 组织机构职责 47
5.2.1.1. 角色与职责 47
5.2.2. 相关外部组织 50
5.3. 质量控制流程 50
5.3.1. 需求变更控制流程 51
5.3.2. 数据质量问题处理流程 52
5.3.3. 指标口径及业务规则问题处理流程 54
5.3.4. 元数据变更维护流程 57
5.3.5. 错误数据维护流程 58
5.4. 质量检查 60
5.4.1. 管理流程检查 60
5.4.2. 元数据质量检查 61
5.4.2.1. 及时性检查 61
5.4.2.2. 完整性检查 62
5.4.2.3. 准确性检查 62
6. 系统管理 63
6.1. 概述 63
6.2. 系统安全管理 64
6.2.1. 系统的监控与告警 64
6.2.1.1. 监控的对象 64
6.2.1.2. 监控的要求 64
6.2.1.3. 监控的实施 65
6.2.2. 系统登录认证管理 65
6.2.2.1. 帐户管理 65
6.2.2.2. 登录管理 66
6.2.3. 系统审计与日志管理 66
6.2.3.1. 操作日志管理 66
6.2.3.2. 系统日志管理 67
6.2.4. 系统备份与恢复管理 67
6.2.4.1. 数据备份 68
6.2.4.2. 数据恢复 69
6.3. 系统版本管理 70
6.4. 系统访问控制管理 71
6.4.1. 用户管理 71
6.4.2. 角色管理 72
6.4.3. 权限管理 73
1.概述
1.1.背景
中国移动省级经营分析系统（以下简称为省级经营分析系统）经过多年建设，已经初步完成数据整合工作。
随着省级经营分析系统价值的不断显现与稳步提升，以及IT系统安全管理、风险内部控制等重大管理举措的实施，各省公司对省级经营分析系统如何保障数据质量提出了更高要求。
为更好地及时分析、查找、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，需要构建一套经营分析系统内部控制的管理体系，为数据质量管理工作提供强有力的系统支撑。
1.2.适用范围
本方案适用于中国移动省级经营分析系统数据质量管理系统的建设。
1.3.引用标准
《中国移动经营分析系统元数据管理规范V1.0》
《中国移动省级经营分析系统数据质量控制指导意见》
1.4.起草单位
本方案由中国移动通信有限公司负责起草。
1.5.解释权
本方案的增补、修订及解释权属中国移动通信有限公司。
1.6.符号和缩略语
缩写
英文描述
中文描述
BOSS
Business&OperationSupportSystem
业务运营支撑系统
ODS
OperationalDataStore
操作型数据存储
CORBA
CommonObjectRequestBrokerArchitecture
公共对象请求代理体系结构
CORBAIDL
CORBAInterfaceDefinitionLanguage
CORBA接口定义语言
CWM
CommonWarehouseMetamodel
公共仓库元模型
ETL
Extraction&Transformation&Loading
抽取、转换和加载
JMI
JavaMetadataInterface
Java元数据接口
OLAP
On-lineAnalysisProcess
在线分析处理
XMI
XMLMetadataInterchange
XML元数据交换
1.7.术语和定义
序号
名词
解释
1
元数据
是描述经营分析系统中数据的数据，为数据质量管理等业务功能提供信息支撑。
2
技术元数据
技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源、ETL、数据仓库和数据集市、OLAP、一经接口等子系统的数据特征。
3
业务元数据
业务元数据用业务术语、名称、定义来描述经营分析系统中的各种业务信息，供业务人员使用。
4
管理元数据
管理元数据主要是指经营分析系统日常建设过程中，涉及开发、运维等管理流程的基本信息。
5
CWM
CWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。
6
信息地图
信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现。
2.总体说明
2.1.数据质量含义
在不同时期，经营分析系统对数据质量有不同的概念和标准，早期对数据质量的标准基本上是以提高数据准确性为出发点，但随着系统功能和定位的不断延伸，用户关心的重点逐步由数据准确性扩展至合法性、一致性等方面，这些内容也属于数据质量的范畴。
根据中国移动省级经营分析系统前期的建设经验，经营分析系统关注的数据质量问题主要包括以下几个方面内容：
1.数据质量的六大基本要素是否满足，所谓六大基本要素是指：
Ø完整性：
主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面；
Ø唯一性：
指主键唯一和候选键唯一两个方面；
Ø一致性：
指统一的数据来源、冗余存储和统一的数据口径；
Ø精确度：
指计量误差、度量单位等方面的精确度；
Ø合法性：
主要包括格式、类型、域值和业务规则的有效性；
Ø及时性：
指数据刷新、修改和提取等的及时性和快速性。
2.如何从用户视角衡量数据质量，重视用户对数据的满意程度；
3.如何通过建立有效的数据质量管理体系保障和提升数据的价值。
2.2.主要内容
本方案贯穿了省级经营分析系统数据质量管理系统建设的全过程。
描述了经营分析系统数据质量管理需求及范围，描述了数据质量管理体系总体应用框架，明确了数据质量管理系统中的元数据功能，确定了数据质量管理功能和流程。
本方案的附件《附件1省级经营分析系统元数据管理功能实现》同时给出了元数据管理相关建设步骤的参考，包括省级元数据库存储逻辑模型、省级元数据库的访问接口实现方法、元数据管理工具选型参考标准等，为元数据管理功能的建设提供参考依据。
2.3.系统建设目标
为解决数据质量管理问题，有限公司制定了《省级经营分析系统数据质量管理系统建设方案》（以下简称《方案》），指导和规范各省经营分析系统数据质量管理系统的建设和工程实施。
本方案借鉴了先期元数据试点省份的建设经验，同时参考了《经营分析系统元数据管理规范V1.0》和OMG组织的CWM国际标准等文献，规划重点实现以下建设目标：
1.建立贯穿经营分析系统各环节的数据质量保证机制，完善系统审计、稽核功能，为分析应用结果提供数据质量保障：
a）对纳入系统管理的数据实体和数据处理过程建立有效的监控机制，提供全面及时的数据告警，控制预防错误范围的扩大；
b）与源系统数据质量相互验证，分析源系统事件，监控业务数据合理性，对源系统的部分数据起到一定的检查作用；
c）将数据质量管理落实到各环节的可检查项中，实现流程化管理，提供常见问题的自动处理方法；
2.建设数据质量管理体系中符合CWM标准的元数据管理平台，为全网经营分析数据质量管理体系的建设、扩充和数据交换打下基础；
3.逐步丰富数据质量问题知识库，实现知识共享。
2.4.实施建议
本方案是省级经营分析系统数据质量管理系统规划和建设的基本指导，各省在实施过程中，可根据实际需要以本方案为基础进行扩充与细化。
建议如下：
1.在建立数据质量管理系统后，需要建立配套的管理机制，确保有专人依照流程对数据质量问题进行管理和维护；
2.元数据管理是本次经营分析数据质量管理系统的重要功能，是将来实现元数据交换的基础。
元数据提供了对数据本身的描述，是关于数据的数据，主要包括技术元数据、业务元数据和管理元数据。
各省在遵循CWM标准的前提下，可以根据自身实际情况，决定自行建设还是采购元数据管理工具；
3.各省可以根据自身业务情况扩展本实施方案中的元数据存储逻辑模型，但必须遵循CWM元模型的扩展规则；
4.本方案中列举的各类应用，如信息地图、数据质量评估、接口数据异常分析、指标一致性分析、需求变更影响分析、项目管理支撑等应用是本期建设重点关注的内容，各省可以根据实际情况增加其它相关应用。
3.数据质量管理需求
3.1.数据质量问题
经营分析系统数据质量问题按照问题的来源和具体原因，可以分为信息、技术、流程、管理四个问题域。
如图3-1所示。
图3-1信息问题域
1.信息问题域
图3-2信息问题域
信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。
产生这部分数据质量问题的原因主要有：
元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。
元数据描述及理解错误中的相关元数据主要包括：
Ø业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等。
Ø技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。
数据度量和变化频度提供了衡量数据质量好坏的手段。
数据度量主要包括完整性、唯一性、一
升级会员 