中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册.docx

1、中国移动省级NG2BASSv50技术要求规范元大数据管理系统分册中国移动通信企业标准QB-Y-XXX-2014中国移动省级NG2-BASS(v5.0)技术规范元数据管理分册The Metadata Management Fascicule of New Generation 2 Business Analysis Support System版本号：1.0.01. 围 12. 规性引用文件 13. 术语、定义和缩略语 54. 总体说明 84.1. 元数据管理畴 84.2. 经营分析系统元模型及核心元模型 94.3. 建设目标 105. 元数据应用专题 105.1. 元数据基础数据能力开放 11

2、5.1.1. 应用背景 115.1.2. 建设目标和方案 125.1.3. 应用场景 135.2. Hadoop平台数据链路分析 155.2.1. 应用背景 155.2.2. 建设目标和方案 155.2.3. 应用场景 165.3. 数据魔方应用 175.4. 指标运算关系分析应用 175.5. 数据模型变更监控 185.6. 报表指标优化清理 186. 体系结构 186.1. 功能结构 186.2. 技术结构 207. 元数据获取层 217.1. 元数据获取方式 217.2. 元数据自动获取管理 227.3. 元数据获取能力要求 237.4. Hadoop平台元数据获取 247.4.1. H

3、adoop集群数据实体元数据获取 257.4.2. Hadoop集群数据处理过程元数据获取 258. 元数据存储层 268.1. CWM、核心元模型及其参照表 268.2. 元数据存储容 298.2.1. 业务元数据 308.2.2. 技术元数据 318.2.3. 管理元数据 368.3. 元数据存储方式 379. 元数据功能层 379.1. 公共基础功能 389.1.1. 元数据维护 389.1.2. 元数据变更管理 389.1.3. 元数据查询 399.1.4. 元数据统计 399.1.5. 使用情况统计 399.2. 数据质量检查 399.2.1. 元数据质量检查概述 399.2.2.

4、元数据一致性检查 409.2.3. 元数据关系健全性检查 429.2.4. 元数据属性检查 439.2.5. 数据链路完整性检查 439.2.6. 描述结构合法性检查 459.3. 元数据分析和图形展现 479.3.1. 数据模型变更信息图 479.3.2. 指标出数过程运行图 489.3.3. 指标一致性分析 499.3.4. 指标运算关系图 549.3.5. 血缘分析 559.3.6. 影响分析 579.3.7. 数据模型相似度分析 579.3.8. 实体关联分析 589.3.9. 作业映射逻辑分析 589.3.10. 无用库表和作业分析 609.4. 数据魔方基础功能 619.4.1.

5、数据魔方元数据管理 619.4.2. 数据魔方查询SQL拼装 629.5. 指标运算关系管理 639.6. 出数过程元数据管理 649.6.1. 元数据管理容 649.6.2. 元数据描述结构 659.6.3. 功能要求 669.7. 指标查询检索体系管理 699.7.1. 新增指标注册管理 699.7.2. 指标元数据维护 709.7.3. 指标标签管理 719.7.4. 指标主题域管理 719.7.5. 度量元数据管理 729.7.6. 分析维度元数据管理 729.8. 数据模型变更管理 739.8.1. 数据元素管理 739.8.2. 数据模型命名规稽核 739.8.3. 数据模型变更信

6、息订阅 749.8.4. 数据模型版本管理 749.9. 元数据运行维护报告管理 749.10. Hadoop平台元数据管理 759.11. 元数据分层级管理 769.11.1. 数据模型分层管理 769.11.2. 指标重要级别管理 779.11.3. 多视角分类目录管理 789.12. 元数据服务封装 799.12.1. 概述 799.12.2. 技术实现 809.12.3. 技术要求 819.12.4. 能力要求 859.13. 元数据权限管理 9210. 元数据应用层 9210.1. 元数据基础数据能力开放 9210.1.1. 人机交互界面 9310.1.2. 系统级调用 9410.2

7、. Hadoop平台数据链路分析 9610.3. 数据魔方应用 9610.3.1. 数据魔方点选式查询分析 9710.3.2. 数据魔方使用情况评估 9810.4. 指标运算关系分析应用 9910.5. 图形化指标运维支持 9910.5.1. 辅助数据质量监控规则配置 9910.5.2. 辅助省端两级数据质量联动审计文件生成 10010.5.3. 两级数据质量联动信息可视化展现 10010.5.4. 指标出数过程运行状况图形化展现 10210.6. 指标图书馆 10310.6.1. 指标查询检索体系的组织结构 10410.6.2. 建设方案 10510.6.3. 功能要求 10710.7. 报

8、表指标优化清理 11110.7.1. 优化清理分析报告生成 11210.7.2. 优化清理分析报告查询处理 11210.8. 数据模型变更监控 11310.9. 两级元数据互通 11310.10. 数据封装模型映射管理 11410.10.1. 辅助模型映射管理 11410.10.2. 辅助模型映射解析处理 11410.11. 客户隐私级别管理 11510.11.1. 数据敏感度管理 11510.11.2. 敏感度服务接口 11710.11.3. 客户隐私信息管理 11910.11.4. 客户隐私信息服务接口 12010.12. 核心元数据管理 12010.12.1. 物理模型管理 12010.

9、12.2. 数据处理过程管理 12110.12.3. 接口管理 12110.12.4. 维表库管理 12110.13. 基于元数据的开发管理 12211. 元数据运行维护 12211.1. 元数据管理围 12211.2. 角色和职责 12311.3. 考核指标 12411.4. 管理流程 12811.5. 定期报告 12911.5.1. 元数据总数和变更数量报告 12911.5.2. 各考核指标完成情况和原因说明报告 13012. 系统技术要求 13112.1. 元数据管理遵循标准的要求 13112.2. 元数据质量管理要求 13212.2.1. 元数据库中的数据质量要求 13212.2.2.

10、 元数据获取过程的质量要求 13212.3. 元数据管理工具的要求 13312.3.1. 元数据抽取工具 13312.3.2. 元数据展示及分析工具 13312.3.3. 元数据维护工具 13412.4. 元数据存储与备份要求 13412.4.1. 元数据库存储要求 13412.4.2. 元数据库备份要求 13412.4.3. 元数据文件存储要求 13613. 编制历史 13614. 附录一：中国移动省级NG2-BASS(v5.0)技术规核心元模型规 14315. 附录二：中国移动升级NG2-BASS(v5.0)技术规SQL脚本解析补充说明 143前 言本规的制订是为了更好地实现元数据的管理，

11、为数据质量管理子系统和经营分析系统的各类基础技术和应用提供支撑，加强经营分析系统数据的管控力度，增强系统自身管理能力。本规主要包括以下几方面的容：总体说明、元数据管理体系结构、元数据获取层、元数据存储层、元数据功能层、元数据应用层、元数据变更流程管理和系统技术要求。此外，还通过附录一和附录二说明核心元模型标准化和SQL脚本解析的详细功能要求。本标准是中国移动NG2-BASS（v5.0）系列标准之一。该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称1QB-Y-*-2014中国移动省级NG2-BASS（5.0）业务规2QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规总

12、册3QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规数据集市分册4QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规逻辑模型分册5QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规外部接口分册6QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规元数据管理分册7QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规数据质量管理子系统分册8QB-Y-*-2014中国移动省级NG2-BASS（5.0）技术规安全管理技术方案9QB-Y-*-2014中国移动省级增值业务综合运营平台业务规（3.0）10QB-Y-*-2014中国

13、移动省级增值业务综合运营平台技术规（3.0）11QB-Y-*-2014中国移动省级增值业务综合运营平台技术规数据管理分册（3.0）本标准的附录一、二为规性附录。本标准由中移技印发。本标准由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。本标准起草单位：中国移动通信集团公司业务支撑系统部、中国移动通信集团公司研究院、中国移动（）、中国移动通信集团、中国移动通信集团。本标准主要起草人：段云峰、隋琪、汪峰、美鸥、宏宇、涛、虹、春辉。1.围本标准规定了中国移动省级经营分析系统元数据管理的建设容，适用于中国移动各省（直辖市、自治区）公司省级经营分析系统元数据管理的建设。2.规性引用文件下列文

14、件中的条款通过本标准的引用而成为本标准的条款。凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的容）或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方对是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件，其最新版本适用于本标准。1中国移动省级经营分析系统业务规(v1.0)中国移动通信2中国移动省级经营分析系统技术规(v1.0)中国移动通信3QB-J-010-2006中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）中国移动通信4QB-J-006-2006中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)中国移动通信5QB-J-007-2006中国移动省级经营分析系统数据集市业务技术规(v1.5)中国移动通信6QB-J-008-2006中国移动省级经营分析系统与源系统接口规(v1.5)中国移动通信7QB-J-009-2006中国移动省级经营分析系统与BOSS系统互动技术规(v1.5)中国移动通信8QB-J-003-2006中国移动省级经营分析系统业务规（v1.5）基础业务分册中国移动通信9QB-J-004-2006中国移动省级经营分析系统业务规（v1.5）数据业