中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册.docx

中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册.docx

《中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册.docx》由会员分享，可在线阅读，更多相关《中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册.docx（151页珍藏版）》请在冰豆网上搜索。

中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册

中国移动通信企业标准

QB-Y-XXX-2014

中国移动省级NG2-BASS（v5.0）技术规范元数据管理分册

TheMetadataManagementFasciculeofNewGeneration2BusinessAnalysisSupportSystem

版本号：

1.0.0

1.围1

2.规性引用文件1

3.术语、定义和缩略语5

4.总体说明8

4.1.元数据管理畴8

4.2.经营分析系统元模型及核心元模型9

4.3.建设目标10

5.元数据应用专题10

5.1.元数据基础数据能力开放11

5.1.1.应用背景11

5.1.2.建设目标和方案12

5.1.3.应用场景13

5.2.Hadoop平台数据链路分析15

5.2.1.应用背景15

5.2.2.建设目标和方案15

5.2.3.应用场景16

5.3.数据魔方应用17

5.4.指标运算关系分析应用17

5.5.数据模型变更监控18

5.6.报表指标优化清理18

6.体系结构18

6.1.功能结构18

6.2.技术结构20

7.元数据获取层21

7.1.元数据获取方式21

7.2.元数据自动获取管理22

7.3.元数据获取能力要求23

7.4.Hadoop平台元数据获取24

7.4.1.Hadoop集群数据实体元数据获取25

7.4.2.Hadoop集群数据处理过程元数据获取25

8.元数据存储层26

8.1.CWM、核心元模型及其参照表26

8.2.元数据存储容29

8.2.1.业务元数据30

8.2.2.技术元数据31

8.2.3.管理元数据36

8.3.元数据存储方式37

9.元数据功能层37

9.1.公共基础功能38

9.1.1.元数据维护38

9.1.2.元数据变更管理38

9.1.3.元数据查询39

9.1.4.元数据统计39

9.1.5.使用情况统计39

9.2.数据质量检查39

9.2.1.元数据质量检查概述39

9.2.2.元数据一致性检查40

9.2.3.元数据关系健全性检查42

9.2.4.元数据属性检查43

9.2.5.数据链路完整性检查43

9.2.6.描述结构合法性检查45

9.3.元数据分析和图形展现47

9.3.1.数据模型变更信息图47

9.3.2.指标出数过程运行图48

9.3.3.指标一致性分析49

9.3.4.指标运算关系图54

9.3.5.血缘分析55

9.3.6.影响分析57

9.3.7.数据模型相似度分析57

9.3.8.实体关联分析58

9.3.9.作业映射逻辑分析58

9.3.10.无用库表和作业分析60

9.4.数据魔方基础功能61

9.4.1.数据魔方元数据管理61

9.4.2.数据魔方查询SQL拼装62

9.5.指标运算关系管理63

9.6.出数过程元数据管理64

9.6.1.元数据管理容64

9.6.2.元数据描述结构65

9.6.3.功能要求66

9.7.指标查询检索体系管理69

9.7.1.新增指标注册管理69

9.7.2.指标元数据维护70

9.7.3.指标标签管理71

9.7.4.指标主题域管理71

9.7.5.度量元数据管理72

9.7.6.分析维度元数据管理72

9.8.数据模型变更管理73

9.8.1.数据元素管理73

9.8.2.数据模型命名规稽核73

9.8.3.数据模型变更信息订阅74

9.8.4.数据模型版本管理74

9.9.元数据运行维护报告管理74

9.10.Hadoop平台元数据管理75

9.11.元数据分层级管理76

9.11.1.数据模型分层管理76

9.11.2.指标重要级别管理77

9.11.3.多视角分类目录管理78

9.12.元数据服务封装79

9.12.1.概述79

9.12.2.技术实现80

9.12.3.技术要求81

9.12.4.能力要求85

9.13.元数据权限管理92

10.元数据应用层92

10.1.元数据基础数据能力开放92

10.1.1.人机交互界面93

10.1.2.系统级调用94

10.2.Hadoop平台数据链路分析96

10.3.数据魔方应用96

10.3.1.数据魔方点选式查询分析97

10.3.2.数据魔方使用情况评估98

10.4.指标运算关系分析应用99

10.5.图形化指标运维支持99

10.5.1.辅助数据质量监控规则配置99

10.5.2.辅助省端两级数据质量联动审计文件生成100

10.5.3.两级数据质量联动信息可视化展现100

10.5.4.指标出数过程运行状况图形化展现102

10.6.指标图书馆103

10.6.1.指标查询检索体系的组织结构104

10.6.2.建设方案105

10.6.3.功能要求107

10.7.报表指标优化清理111

10.7.1.优化清理分析报告生成112

10.7.2.优化清理分析报告查询处理112

10.8.数据模型变更监控113

10.9.两级元数据互通113

10.10.数据封装模型映射管理114

10.10.1.辅助模型映射管理114

10.10.2.辅助模型映射解析处理114

10.11.客户隐私级别管理115

10.11.1.数据敏感度管理115

10.11.2.敏感度服务接口117

10.11.3.客户隐私信息管理119

10.11.4.客户隐私信息服务接口120

10.12.核心元数据管理120

10.12.1.物理模型管理120

10.12.2.数据处理过程管理121

10.12.3.接口管理121

10.12.4.维表库管理121

10.13.基于元数据的开发管理122

11.元数据运行维护122

11.1.元数据管理围122

11.2.角色和职责123

11.3.考核指标124

11.4.管理流程128

11.5.定期报告129

11.5.1.元数据总数和变更数量报告129

11.5.2.各考核指标完成情况和原因说明报告130

12.系统技术要求131

12.1.元数据管理遵循标准的要求131

12.2.元数据质量管理要求132

12.2.1.元数据库中的数据质量要求132

12.2.2.元数据获取过程的质量要求132

12.3.元数据管理工具的要求133

12.3.1.元数据抽取工具133

12.3.2.元数据展示及分析工具133

12.3.3.元数据维护工具134

12.4.元数据存储与备份要求134

12.4.1.元数据库存储要求134

12.4.2.元数据库备份要求134

12.4.3.元数据文件存储要求136

13.编制历史136

14.附录一：

中国移动省级NG2-BASS（v5.0）技术规核心元模型规143

15.附录二：

中国移动升级NG2-BASS（v5.0）技术规SQL脚本解析补充说明143

前言

本规的制订是为了更好地实现元数据的管理，为数据质量管理子系统和经营分析系统的各类基础技术和应用提供支撑，加强经营分析系统数据的管控力度，增强系统自身管理能力。

本规主要包括以下几方面的容：

总体说明、元数据管理体系结构、元数据获取层、元数据存储层、元数据功能层、元数据应用层、元数据变更流程管理和系统技术要求。

此外，还通过附录一和附录二说明核心元模型标准化和SQL脚本解析的详细功能要求。

本标准是中国移动NG2-BASS（v5.0）系列标准之一。

该系列标准的结构、名称或预计的名称如下：

序号

标准编号

标准名称

[1]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）业务规

[2]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规总册

[3]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规数据集市分册

[4]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规逻辑模型分册

[5]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规外部接口分册

[6]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规元数据管理分册

[7]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规数据质量管理子系统分册

[8]

QB-Y-***-2014

中国移动省级NG2-BASS（5.0）技术规安全管理技术方案

[9]

QB-Y-***-2014

中国移动省级增值业务综合运营平台业务规（3.0）

[10]

QB-Y-***-2014

中国移动省级增值业务综合运营平台技术规（3.0）

[11]

QB-Y-***-2014

中国移动省级增值业务综合运营平台技术规数据管理分册（3.0）

本标准的附录一、二为规性附录。

本标准由中移技﹝××﹞××印发。

本标准由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。

本标准起草单位：

中国移动通信集团公司业务支撑系统部、中国移动通信集团公司研究院、中国移动（）、中国移动通信集团、中国移动通信集团。

本标准主要起草人：

段云峰、隋琪、汪峰、美鸥、宏宇、涛、虹、春辉。

1.围

本标准规定了中国移动省级经营分析系统元数据管理的建设容，适用于中国移动各省（直辖市、自治区）公司省级经营分析系统元数据管理的建设。

2.规性引用文件

下列文件中的条款通过本标准的引用而成为本标准的条款。

凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的容）或修订版均不适用于本标准。

然而，鼓励根据本标准达成协议的各方对是否使用这些文件的最新版本进行研究。

凡是不标注日期的引用文件，其最新版本适用于本标准。

[1]

《中国移动省级经营分析系统业务规（v1.0）》

中国移动通信

[2]

《中国移动省级经营分析系统技术规（v1.0）》

中国移动通信

[3]

QB-J-010-2006

《中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）》

中国移动通信

[4]

QB-J-006-2006

《中国移动省级经营分析系统数据仓库逻辑数据模型说明（v1.5）》

中国移动通信

[5]

QB-J-007-2006

《中国移动省级经营分析系统数据集市业务技术规（v1.5）》

中国移动通信

[6]

QB-J-008-2006

《中国移动省级经营分析系统与源系统接口规（v1.5）》

中国移动通信

[7]

QB-J-009-2006

《中国移动省级经营分析系统与BOSS系统互动技术规（v1.5）》

中国移动通信

[8]

QB-J-003-2006

《中国移动省级经营分析系统业务规（v1.5）—基础业务分册》

中国移动通信

[9]

QB-J-004-2006

《中国移动省级经营分析系统业务规（v1.5）—数据业