数据治理体系概述样本.docx

1、数据治理体系概述样本数据治理体系前 言本规范制订是为了愈加好地实现中国移动企业级省大数据平台数据治理子系统建设和管理，为省大数据平台上各类基础技术和应用提供支撑，加强省大数据平台上数据管控力度，增强数据治理子系统本身管理能力。本规范关键包含以下几方面内容：总体说明、数据治理体系、数据治理关键模块、数据治理场景等。本规范是中国移动企业级大数据平台系列规范之一。该系列规范结构、名称或估计名称以下：序号标准编号标准名称1QB-Y-*-中国移动企业级大数据平台目标架构2QB-Y-*-中国移动企业级省大数据平台技术规范总册3QB-Y-*-中国移动企业级省大数据平台技术规范分册4QB-Y-*-中国移动企业

2、级省大数据平台技术规范技术方案分册5QB-Y-*-中国移动企业级省大数据平台技术规范数据模型分册6QB-Y-*-中国移动企业级省大数据平台技术规范外部接口分册7QB-Y-*-中国移动企业级省大数据平台技术规范服务开放分册8QB-Y-*-中国移动企业级省大数据平台技术规范服务开放技术方案分册9QB-Y-*-中国移动企业级省大数据平台技术规范数据治理分册10QB-Y-*-中国移动企业级省大数据平台技术规范数据治理技术方案分册11QB-Y-*-中国移动企业级省大数据平台技术规范运行维护分册12QB-Y-*-中国移动企业级省大数据平台技术规范安全管理技术方案本规范由中移技印发。本规范由中国移动通信集团

3、企业业务支撑系统部提出，集团企业技术部归口。本规范起草单位：中国移动通信集团企业业务支撑系统部。本规范关键起草人：段云峰、汪新勇、赵静、周立、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。1.范围本规范要求了中国移动企业级省大数据平台数据治理子系统建设内容，适适用于中国移动各省（直辖市、自治区）企业企业级省大数据平台数据治理子系统建设。2.规范性引用文件下列文件中条款经过本规范引用而成为本规范条款。通常标注日期引用文件，其随即全部修改单（不包含勘误内容）或修订版均不适适用于本规范。然而，激励依据本规范达成协议各方对是否使用这些文件最新版本进行研究。通常不标注日期引用文件，其

4、最新版本适适用于本规范。1中国移动省级经营分析系统业务规范(v1.0)中国移动通信2中国移动省级经营分析系统技术规范(v1.0)中国移动通信3QB-J-010-中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）中国移动通信4QB-J-006-中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)中国移动通信5QB-J-007-中国移动省级经营分析系统数据集市业务技术规范(v1.5)中国移动通信6QB-J-008-中国移动省级经营分析系统和源系统接口规范(v1.5)中国移动通信7QB-J-009-中国移动省级经营分析系统和BOSS系统互动技术规范(v1.5)中国移动通信8QB-J

5、-003-中国移动省级经营分析系统业务规范（v1.5）基础业务分册中国移动通信9QB-J-004-中国移动省级经营分析系统业务规范（v1.5）数据业务分册中国移动通信10QB-J-005-中国移动省级经营分析系统业务规范（v1.5）集团用户分册中国移动通信11QB-J-001-中国移动业务运行支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）中国移动通信12QB-J-001-中国移动业务运行支撑系统（BOSS）业务技术规范客服信息分册（2.0版）中国移动通信13QB-J-001-中国移动业务运行支撑系统（BOSS）业务技术规范（2.0版）中国移动通信14QB-J-021-中国移动省级

6、经营分析系统数据仓库逻辑数据模型规范（v2.0）中国移动通信15QB-J-020-中国移动省级经营分析系统和源数据接口规范（v2.0）中国移动通信16QB-J-022-中国移动省级经营分析系统数据集市业务技术规范（v2.0）中国移动通信17QB-J-019-中国移动省级经营分析系统业务规范渠道运行管理分析监控分册（v1.0）中国移动通信18QB-J-018-中国移动省级经营分析系统业务规范用户服务分册（v2.0）中国移动通信19QB-J-017-中国移动省级经营分析系统业务规范集团用户分册（v2.0中国移动通信20QB-J-016-中国移动省级经营分析系统数据质量管理系统业务技术规范（V2.0

7、)中国移动通信21中国移动业务支撑网4A安全技术规范中国移动通信22中国移动省级经营分析系统技术规范总册（v2.0全量版）中国移动通信23中国移动省级经营分析系统技术规范逻辑模型分册（v2.0全量版）中国移动通信24中国移动省级经营分析系统技术规范数据集市分册（v2.0全量版）中国移动通信25中国移动省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）中国移动通信26中国移动省级经营分析系统业务规范（v2.0全量版）中国移动通信27中国移动省级经营分析系统技术规范源系统接口分册（v2.0全量版）中国移动通信28QB-J-002-中国移动省级NG1-BASS技术规范总册(v1.0)中

8、国移动通信集团企业29QB-J-003-中国移动省级NG1-BASS技术规范数据集市分册(v1.0)中国移动通信集团企业30QB-J-004-中国移动省级NG1-BASS技术规范逻辑模型分册(v1.0)中国移动通信集团企业31QB-J-005-中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)中国移动通信集团企业32QB-J-006-中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)中国移动通信集团企业33QB-J-007-中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)中国移动通信集团企业34QB-J-008-中国移动省级NG1-BASS业务技术

9、规范用户分析及运行分册(v1.0)中国移动通信集团企业35QB-J-001-中国移动省级NG1-BASS业务规范(v1.0)中国移动通信集团企业36QB-Y-003-中国移动省级NG1-BASS技术规范总册(v2.0)中国移动通信集团企业37QB-Y-004-中国移动省级NG1-BASS技术规范数据集市分册(v2.0)中国移动通信集团企业38QB-Y-005-中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)中国移动通信集团企业39QB-Y-006-中国移动省级NG1-BASS技术规范外部接口分册(v2.0)中国移动通信集团企业40QB-Y-007-中国移动省级NG1-BASS技术规

10、范元数据管理分册(v2.0)中国移动通信集团企业41QB-Y-008-中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)中国移动通信集团企业42QB-Y-002-中国移动省级NG1-BASS业务规范(v2.0)中国移动通信集团企业43QB-Y-052-中国移动省级NG2-BASS(v3.0)业务规范中国移动通信集团企业44QB-Y-053-中国移动省级NG2-BASS(v3.0)技术规范总册中国移动通信集团企业45QB-Y-054-中国移动省级NG2-BASS(v3.0)技术规范数据集市分册中国移动通信集团企业46QB-Y-055-中国移动省级NG2-BASS(v3.0)技

11、术规范逻辑模型分册中国移动通信集团企业47QB-Y-056-中国移动省级NG2-BASS(v3.0)技术规范外部接口分册中国移动通信集团企业48QB-Y-057-中国移动省级NG2-BASS(v3.0)技术规范元数据管理分册中国移动通信集团企业49QB-Y-058-中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册中国移动通信集团企业50QB-Y-059-中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册中国移动通信集团企业51QB-Y-060-中国移动省级增值业务综合运行平台业务规范(v1.0)中国移动通信集团企业52QB-Y-061-中国移动省级增值业务

12、综合运行平台技术规范(v1.0)中国移动通信集团企业53QB-Y-062-中国移动省级增值业务综合运行平台技术规范-数据管理分册(v1.0)中国移动通信集团企业54QB-Y-063-中国移动省级增值业务综合运行平台接口规范中国移动通信集团企业55QB-Y-039-中国移动省级NG2-BASS(v3.5)业务规范中国移动通信集团企业56QB-Y-038-中国移动省级NG2-BASS(v3.5)技术规范总册中国移动通信集团企业57QB-Y-040-中国移动省级NG2-BASS(v3.5)技术规范数据集市分册中国移动通信集团企业58QB-Y-041-中国移动省级NG2-BASS(v3.5)技术规范逻

13、辑模型分册中国移动通信集团企业59QB-Y-042-中国移动省级NG2-BASS(v3.5)技术规范外部接口分册中国移动通信集团企业60QB-Y-043-中国移动省级NG2-BASS(v3.5)技术规范元数据管理分册中国移动通信集团企业61QB-Y-044-中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册中国移动通信集团企业62QB-Y-045-中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册中国移动通信集团企业63QB-Y-046-中国移动省级增值业务综合运行平台业务规范(v1.5)中国移动通信集团企业64QB-Y-047-中国移动省级增值业务综合运行平

14、台技术规范(v1.5)中国移动通信集团企业65QB-Y-048-中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)中国移动通信集团企业66QB-Y-044-中国移动省级NG2-BASS(v4.0)业务规范中国移动通信集团企业67QB-Y-045-中国移动省级NG2-BASS(v4.0)技术规范总册中国移动通信集团企业68QB-Y-045.1-中国移动省级NG2-BASS(v4.0)技术规范数据集市分册中国移动通信集团企业69QB-Y-045.2-中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册中国移动通信集团企业70QB-Y-045.3-中国移动省级NG2-BASS(

15、v4.0)技术规范外部接口分册中国移动通信集团企业72QB-Y-045.4-中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册中国移动通信集团企业73QB-Y-045.5-中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册中国移动通信集团企业74QB-Y-046-中国移动省级增值业务综合运行平台业务规范V2.0.0中国移动通信集团企业75QB-Y-047-中国移动省级增值业务综合运行平台技术规范V2.0.0中国移动通信集团企业76QB-Y-047.1-中国移动省级增值业务综合运行平台技术规范数据管理分册V2.0.0中国移动通信集团企业77QB-Y-044-中国移

16、动省级NG2-BASS(v4.5)业务规范中国移动通信集团企业78QB-Y-045-中国移动省级NG2-BASS(v4.5)技术规范总册中国移动通信集团企业79QB-Y-045.1-中国移动省级NG2-BASS(v4.5)技术规范数据集市分册中国移动通信集团企业80QB-Y-045.2-中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册中国移动通信集团企业81QB-Y-045.3-中国移动省级NG2-BASS(v4.5)技术规范外部接口分册中国移动通信集团企业82QB-Y-045.4-中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册中国移动通信集团企业83QB-Y-04

17、5.5-中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册中国移动通信集团企业84QB-Y-045.6-中国移动省级NG2-BASS(v4.5)技术规范安全管理技术方案中国移动通信集团企业85QB-Y-046-中国移动省级增值业务综合运行平台业务规范V2.5.0中国移动通信集团企业86QB-Y-047-中国移动省级增值业务综合运行平台技术规范V2.5.0中国移动通信集团企业87QB-Y-047.1-中国移动省级增值业务综合运行平台技术规范数据管理分册V2.5.0中国移动通信集团企业3.术语、定义和缩略语下列术语、定义适适用于本规范：字母名词解释CCWMCWM标准是OMG组织

18、定义数据仓库和相关系统国际元数据标准，给出了多种元数据结构标准定义。CWM标准目标在于：使数据仓库和商业智能软件元数据在异构数据分析工具、数据仓库平台、元数据存放库等系统之间进行交互。EETL特指从数据源系统到大数据平台数据抽取、转换和加载。G管理元数据描述大数据平台中管理领域相关概念、关系、规则数据，关键包含人员角色、岗位职责、管理步骤等信息。H关键元模型大数据平台关键元模型是以CWM为基础扩展形成，针对大数据平台物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等关键实体进行正确定义，并要求各省大数据平台统一遵照元模型。定义关键元模型目标是建立大数据平台统一元数据管理标准，为元数据

19、管理功效层和应用层解耦、为企业级总部大数据平台和企业级省大数据平台元数据交换和相互了解提供统一语义基础。H关键元模型参考表关键元模型参考表是对关键元模型中枚举类型属性进行枚举值定义编码表。参考表为枚举类型属性每个枚举值定义了唯一编码，并明确该编码语义，是关键元模型标准化定义关键组成部分。J技术元数据描述大数据平台中技术领域相关概念、关系、规则数据。关键包含对数据结构、数据处理方面特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理步骤。S数据处理过程数据从数据源系统到大数据平台前端使用整个处理过程，包含大数据平台数据仓库内部数据抽取、转换和加载。S数

20、据采集点覆盖大数据平台数据处理步骤、获取每个步骤运行状态实体。该实体能够是程序实体也能够是任务实体S数据质量汇报数据质量汇报是对数据质量日常监控和质量评定等过程累积多种信息进行汇总、梳理、统计和分析，形成统计汇报S数据质量监控经过获取大数据平台各步骤数据质量监控信息，结合元数据库中相关检验规则，对各个步骤数据质量情况进行判定，并立即向数据质量监控人员汇报。S数据质量规则库数据质量规则库是对数据质量管理活动所用到多种判定及校验规则进行归类和存放存放结构，存放内容包含采集规则、监控规则、告警规则和审计规则等S数据质量信息库数据质量管理子系统存放层上存放结构，用于存放数据质量信息采集程序采集数据质量

21、信息、质量评定信息、问题处理方案和问题处理步骤信息等S省企业中国移动通信集团各省（直辖市、自治区）移动通信。SSQL脚本自动解析SQL脚本自动解析指经过对SQL脚本词法、语法和语义进行分析，自动生成满足CWM规范要求数据处理过程技术元数据功效。Y业务元数据描述大数据平台中业务领域相关概念、关系、规则数据。关键包含业务术语、信息分类、指标定义（指标口径）、业务规则等信息。Y元模型元模型是描述元数据基础模型结构，用于说明元数据对象多种属性、结构和关系。Y元数据元数据是描述数据间关系数据。大数据平台中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处理规则（Rules）数据

22、，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据范围。D数据标准指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换数据是一致和正确，经协商一致制订并由大数据治理委员会主管机构同意，含有行业特点且共同使用和反复使用一个规范性约束。D数据标准体系指数据标准根据中国移动企业级省大数据平台需求对数据进行标准化划分归类。D数据标准内容根据数据标准体系划分要求分别给出各数据标准制订规范内容。D行业参考模型实体中国移动规范中原定义或新增加逻辑数据模型LDM实体。D公共代码标准需要引用外部公共标准机构标准。如：世界各国和地域名称代码等。下列略缩语适适用于本规范：缩写英文

23、描述汉字描述ASTAbstract Syntax Tree抽象语法树BOSSBusiness Operation Support System业务运行支撑系统CWMCommon Warehouse Metamodel公共仓库元模型ETLExtraction Transformation Loading抽取、转换和加载OLAPOn-line Analysis Process在线分析处理XMIXML Metadata InterchangeXML元数据交换BIBusiness Intelligence商务智能RESTRepresentational State Transfer表述性状态转移4.总

24、体说明4.1.概述本规范用于指导企业级省大数据平台数据治理子系统建设，要求了省大数据平台数据治理范围和要求，明确了数据治理子系统体系结构，制订了数据治理子系统功效和处理步骤。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功效模块。本方案借鉴资产管理方法理论来管理数据，将数据作为一个特殊资产，对进入平台数据进行标准化规范约束，并以元数据作为驱动，连接数据标准管理、数据质量管理、数据数据安全管理各个阶段，形成统一、完善数据治理体系，以处理实际业务问题为导向，增强数据治理子系统对业务发展支撑能力。4.2.目标数据治理子系统建设为数据治理工作提供强有力系统支撑。

25、本期规范建设目标是以元数据为驱动，建立省大数据平台完整数据治理体系。从组织架构、系统功效等方面增强数据宏观管控，并实现精细化管理，具体包含：数据治理组织架构管理：定义数据治理所需人员组织上岗位和职责，从管理角度支撑数据治理工作落地和实施。数据标准管理：建立企业级省大数据平台数据标准体系，并制订数据标准运维管控制度和步骤。元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运行维护当中。数据质量管理：为内、外部用户提供平台化数据质量监控；经过扩充和优化公共规则库、确保数据完整性、一致性、正确性、立即性、正当性，提升用户使用感知；并提供数据质量应用满足个性化需求。数据

26、资产管理：关键建设从计划、注册、运维到注销全步骤管理体系，使数据资产管理系统化、可视化。数据安全管理：建立体系化数据安全管控策略，经过用户安全管理、数据安全管理实现全方位数据安全管控机制，经过技术手段和管理方法相结合方法落实数据安全，做到事前可管、事中可控、事后可查。4.3.标准企业级省大数据平台数据治理子系统建设应遵照以下基础标准：1.有效性标准表现大数据平台数据治理过程中数据标准、质量、价值、管控有效性、高效性。2.价值化标准表现数据治理过程中以数据资产为价值关键，最大化大数据平台数据价值。3.统一性标准表现大数据平台架构统一、标准统一、元数据统一、质量步骤统一、资产价值统一一体化管控平台

27、体系。4.开放性标准表现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。5.产品化标准表现大数据平台数据治理能力显性化，经过产品化互联网思维服务大数据平台数据生态圈用户。6.安全性标准表现安全关键性、必需性，保障大数据平台数据安全和数据治理过程中数据安全可控。5.数据治理体系5.1.总体框架数据治理总体框架包含组织架构、数据治理模块、数据运维三部分。经过组织架构建立管理措施，制订工作步骤，确定角色职责。数据治理模块关键包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运行，确保大数据平台数据一致、安全、有效。数据运维贯穿整个数据治理体系步骤中，实

28、现平台化运维管理思绪。数据治理总体框架如图51所表示：图51数据治理体系框架5.2.组织架构数据治理组织构建意在经过建立数据治理组织架构明确各级角色和职责，保障数据治理各项管理措施、工作步骤实施，推送数据治理工作有序开展。 5.2.1.组织组成数据治理组织架构关键由数据治理委员会、数据治理中心和各业务部门组成。组织架构划分和角色设定如图52所表示：图 52 数据治理组织架构图5.2.2.角色职责组织责任体系是数据治理责任落地保障，数据治理组织架构经过明确各角色职责，实施认责制度，让数据治理工作愈加好融入到数据日常使用和相关工作中，从而推进数据运维自治实现，如表5-1。表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色关键职责数据治理委员会数据管理决议者由企业主