数据治理体系概述样本.docx
《数据治理体系概述样本.docx》由会员分享，可在线阅读，更多相关《数据治理体系概述样本.docx（69页珍藏版）》请在冰豆网上搜索。
数据治理体系概述样本
数据治理体系
前言
本规范制订是为了愈加好地实现中国移动企业级省大数据平台数据治理子系统建设和管理，为省大数据平台上各类基础技术和应用提供支撑，加强省大数据平台上数据管控力度，增强数据治理子系统本身管理能力。
本规范关键包含以下几方面内容：
总体说明、数据治理体系、数据治理关键模块、数据治理场景等。
本规范是中国移动企业级大数据平台系列规范之一。
该系列规范结构、名称或估计名称以下：
序号
标准编号
标准名称
[1]
QB-Y-***-
中国移动企业级大数据平台目标架构
[2]
QB-Y-***-
中国移动企业级省大数据平台技术规范总册
[3]
QB-Y-***-
中国移动企业级省大数据平台技术规范分册
[4]
QB-Y-***-
中国移动企业级省大数据平台技术规范技术方案分册
[5]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据模型分册
[6]
QB-Y-***-
中国移动企业级省大数据平台技术规范外部接口分册
[7]
QB-Y-***-
中国移动企业级省大数据平台技术规范服务开放分册
[8]
QB-Y-***-
中国移动企业级省大数据平台技术规范服务开放技术方案分册
[9]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据治理分册
[10]
QB-Y-***-
中国移动企业级省大数据平台技术规范数据治理技术方案分册
[11]
QB-Y-***-
中国移动企业级省大数据平台技术规范运行维护分册
[12]
QB-Y-***-
中国移动企业级省大数据平台技术规范安全管理技术方案
本规范由中移技﹝××﹞××印发。
本规范由中国移动通信集团企业业务支撑系统部提出，集团企业技术部归口。
本规范起草单位：
中国移动通信集团企业业务支撑系统部。
本规范关键起草人：
段云峰、汪新勇、赵静、周立、、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。
1.范围
本规范要求了中国移动企业级省大数据平台数据治理子系统建设内容，适适用于中国移动各省（直辖市、自治区）企业企业级省大数据平台数据治理子系统建设。
2.规范性引用文件
下列文件中条款经过本规范引用而成为本规范条款。
通常标注日期引用文件，其随即全部修改单（不包含勘误内容）或修订版均不适适用于本规范。
然而，激励依据本规范达成协议各方对是否使用这些文件最新版本进行研究。
通常不标注日期引用文件，其最新版本适适用于本规范。
[1]
《中国移动省级经营分析系统业务规范（v1.0）》
中国移动通信
[2]
《中国移动省级经营分析系统技术规范（v1.0）》
中国移动通信
[3]
QB-J-010-
《中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）》
中国移动通信
[4]
QB-J-006-
《中国移动省级经营分析系统数据仓库逻辑数据模型说明（v1.5）》
中国移动通信
[5]
QB-J-007-
《中国移动省级经营分析系统数据集市业务技术规范（v1.5）》
中国移动通信
[6]
QB-J-008-
《中国移动省级经营分析系统和源系统接口规范（v1.5）》
中国移动通信
[7]
QB-J-009-
《中国移动省级经营分析系统和BOSS系统互动技术规范（v1.5）》
中国移动通信
[8]
QB-J-003-
《中国移动省级经营分析系统业务规范（v1.5）—基础业务分册》
中国移动通信
[9]
QB-J-004-
《中国移动省级经营分析系统业务规范（v1.5）—数据业务分册》
中国移动通信
[10]
QB-J-005-
《中国移动省级经营分析系统业务规范（v1.5）—集团用户分册》
中国移动通信
[11]
QB-J-001-
《中国移动业务运行支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）》
中国移动通信
[12]
QB-J-001-
《中国移动业务运行支撑系统（BOSS）业务技术规范客服信息分册（2.0版）》
中国移动通信
[13]
QB-J-001-
《中国移动业务运行支撑系统（BOSS）业务技术规范（2.0版）》
中国移动通信
[14]
QB-J-021-
《中国移动省级经营分析系统数据仓库逻辑数据模型规范（v2.0）》
中国移动通信
[15]
QB-J-020-
《中国移动省级经营分析系统和源数据接口规范（v2.0）》
中国移动通信
[16]
QB-J-022-
《中国移动省级经营分析系统数据集市业务技术规范（v2.0）》
中国移动通信
[17]
QB-J-019-
《中国移动省级经营分析系统业务规范渠道运行管理分析监控分册（v1.0）》
中国移动通信
[18]
QB-J-018-
《中国移动省级经营分析系统业务规范用户服务分册（v2.0）》
中国移动通信
[19]
QB-J-017-
《中国移动省级经营分析系统业务规范集团用户分册（v2.0》
中国移动通信
[20]
QB-J-016-
《中国移动省级经营分析系统数据质量管理系统业务技术规范（V2.0）》
中国移动通信
[21]
《中国移动业务支撑网4A安全技术规范》
中国移动通信
[22]
《中国移动省级经营分析系统技术规范总册（v2.0全量版）》
中国移动通信
[23]
《中国移动省级经营分析系统技术规范逻辑模型分册（v2.0全量版）》
中国移动通信
[24]
《中国移动省级经营分析系统技术规范数据集市分册（v2.0全量版）》
中国移动通信
[25]
《中国移动省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）》
中国移动通信
[26]
《中国移动省级经营分析系统业务规范（v2.0全量版）》
中国移动通信
[27]
《中国移动省级经营分析系统技术规范源系统接口分册（v2.0全量版）》
中国移动通信
[28]
QB-J-002-
《中国移动省级NG1-BASS技术规范总册（v1.0）》
中国移动通信集团企业
[29]
QB-J-003-
《中国移动省级NG1-BASS技术规范数据集市分册（v1.0）》
中国移动通信集团企业
[30]
QB-J-004-
《中国移动省级NG1-BASS技术规范逻辑模型分册（v1.0）》
中国移动通信集团企业
[31]
QB-J-005-
《中国移动省级NG1-BASS技术规范源系统接口分册（v1.0）》
中国移动通信集团企业
[32]
QB-J-006-
《中国移动省级NG1-BASS技术规范元数据管理分册（v1.0）》
中国移动通信集团企业
[33]
QB-J-007-
《中国移动省级NG1-BASS技术规范数据质量管理子系统分册（v1.0）》
中国移动通信集团企业
[34]
QB-J-008-
《中国移动省级NG1-BASS业务技术规范用户分析及运行分册（v1.0）》
中国移动通信集团企业
[35]
QB-J-001-
《中国移动省级NG1-BASS业务规范（v1.0）》
中国移动通信集团企业
[36]
QB-Y-003-
《中国移动省级NG1-BASS技术规范总册（v2.0）》
中国移动通信集团企业
[37]
QB-Y-004-
《中国移动省级NG1-BASS技术规范数据集市分册（v2.0）》
中国移动通信集团企业
[38]
QB-Y-005-
《中国移动省级NG1-BASS技术规范逻辑模型分册（v2.0）》
中国移动通信集团企业
[39]
QB-Y-006-
《中国移动省级NG1-BASS技术规范外部接口分册（v2.0）》
中国移动通信集团企业
[40]
QB-Y-007-
《中国移动省级NG1-BASS技术规范元数据管理分册（v2.0）》
中国移动通信集团企业
[41]
QB-Y-008-
《中国移动省级NG1-BASS技术规范数据质量管理子系统分册（v2.0）》
中国移动通信集团企业
[42]
QB-Y-002-
《中国移动省级NG1-BASS业务规范（v2.0）》
中国移动通信集团企业
[43]
QB-Y-052-
《中国移动省级NG2-BASS（v3.0）业务规范》
中国移动通信集团企业
[44]
QB-Y-053-
《中国移动省级NG2-BASS（v3.0）技术规范总册》
中国移动通信集团企业
[45]
QB-Y-054-
《中国移动省级NG2-BASS（v3.0）技术规范数据集市分册》
中国移动通信集团企业
[46]
QB-Y-055-
《中国移动省级NG2-BASS（v3.0）技术规范逻辑模型分册》
中国移动通信集团企业
[47]
QB-Y-056-
《中国移动省级NG2-BASS（v3.0）技术规范外部接口分册》
中国移动通信集团企业
[48]
QB-Y-057-
《中国移动省级NG2-BASS（v3.0）技术规范元数据管理分册》
中国移动通信集团企业
[49]
QB-Y-058-
《中国移动省级NG2-BASS（v3.0）技术规范数据质量管理子系统分册》
中国移动通信集团企业
[50]
QB-Y-059-
《中国移动省级NG2-BASS（v3.0）技术规范多OP能力交互分册》
中国移动通信集团企业
[51]
QB-Y-060-
《中国移动省级增值业务综合运行平台业务规范（v1.0）》
中国移动通信集团企业
[52]
QB-Y-061-
《中国移动省级增值业务综合运行平台技术规范（v1.0）》
中国移动通信集团企业
[53]
QB-Y-062-
《中国移动省级增值业务综合运行平台技术规范-数据管理分册（v1.0）》
中国移动通信集团企业
[54]
QB-Y-063-
《中国移动省级增值业务综合运行平台接口规范》
中国移动通信集团企业
[55]
QB-Y-039-
《中国移动省级NG2-BASS（v3.5）业务规范》
中国移动通信集团企业
[56]
QB-Y-038-
《中国移动省级NG2-BASS（v3.5）技术规范总册》
中国移动通信集团企业
[57]
QB-Y-040-
《中国移动省级NG2-BASS（v3.5）技术规范数据集市分册》
中国移动通信集团企业
[58]
QB-Y-041-
《中国移动省级NG2-BASS（v3.5）技术规范逻辑模型分册》
中国移动通信集团企业
[59]
QB-Y-042-
《中国移动省级NG2-BASS（v3.5）技术规范外部接口分册》
中国移动通信集团企业
[60]
QB-Y-043-
《中国移动省级NG2-BASS（v3.5）技术规范元数据管理分册》
中国移动通信集团企业
[61]
QB-Y-044-
《中国移动省级NG2-BASS（v3.5）技术规范数据质量管理子系统分册》
中国移动通信集团企业
[62]
QB-Y-045-
《中国移动省级NG2-BASS（v3.5）技术规范OP能力交互分册》
中国移动通信集团企业
[63]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范（v1.5）》
中国移动通信集团企业
[64]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范（v1.5）》
中国移动通信集团企业
[65]
QB-Y-048-
《中国移动省级NG2-BASS技术规范系统安全管理分册（v1.5）》
中国移动通信集团企业
[66]
QB-Y-044-
《中国移动省级NG2-BASS（v4.0）业务规范》
中国移动通信集团企业
[67]
QB-Y-045-
《中国移动省级NG2-BASS（v4.0）技术规范总册》
中国移动通信集团企业
[68]
QB-Y-045.1-
《中国移动省级NG2-BASS（v4.0）技术规范数据集市分册》
中国移动通信集团企业
[69]
QB-Y-045.2-
《中国移动省级NG2-BASS（v4.0）技术规范逻辑模型分册》
中国移动通信集团企业
[70]
QB-Y-045.3-
《中国移动省级NG2-BASS（v4.0）技术规范外部接口分册》
中国移动通信集团企业
[72]
QB-Y-045.4-
《中国移动省级NG2-BASS（v4.0）技术规范元数据管理分册》
中国移动通信集团企业
[73]
QB-Y-045.5-
《中国移动省级NG2-BASS（v4.0）技术规范数据质量管理子系统分册》
中国移动通信集团企业
[74]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范V2.0.0》
中国移动通信集团企业
[75]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范V2.0.0》
中国移动通信集团企业
[76]
QB-Y-047.1-
《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.0.0》
中国移动通信集团企业
[77]
QB-Y-044-
《中国移动省级NG2-BASS（v4.5）业务规范》
中国移动通信集团企业
[78]
QB-Y-045-
《中国移动省级NG2-BASS（v4.5）技术规范总册》
中国移动通信集团企业
[79]
QB-Y-045.1-
《中国移动省级NG2-BASS（v4.5）技术规范数据集市分册》
中国移动通信集团企业
[80]
QB-Y-045.2-
《中国移动省级NG2-BASS（v4.5）技术规范逻辑模型分册》
中国移动通信集团企业
[81]
QB-Y-045.3-
《中国移动省级NG2-BASS（v4.5）技术规范外部接口分册》
中国移动通信集团企业
[82]
QB-Y-045.4-
《中国移动省级NG2-BASS（v4.5）技术规范元数据管理分册》
中国移动通信集团企业
[83]
QB-Y-045.5-
《中国移动省级NG2-BASS（v4.5）技术规范数据质量管理子系统分册》
中国移动通信集团企业
[84]
QB-Y-045.6-
《中国移动省级NG2-BASS（v4.5）技术规范安全管理技术方案》
中国移动通信集团企业
[85]
QB-Y-046-
《中国移动省级增值业务综合运行平台业务规范V2.5.0》
中国移动通信集团企业
[86]
QB-Y-047-
《中国移动省级增值业务综合运行平台技术规范V2.5.0》
中国移动通信集团企业
[87]
QB-Y-047.1-
《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.5.0》
中国移动通信集团企业
3.术语、定义和缩略语
下列术语、定义适适用于本规范：
字母
名词
解释
C
CWM
CWM标准是OMG组织定义数据仓库和相关系统国际元数据标准，给出了多种元数据结构标准定义。
CWM标准目标在于：
使数据仓库和商业智能软件元数据在异构数据分析工具、数据仓库平台、元数据存放库等系统之间进行交互。
E
ETL
特指从数据源系统到大数据平台数据抽取、转换和加载。
G
管理元数据
描述大数据平台中管理领域相关概念、关系、规则数据，关键包含人员角色、岗位职责、管理步骤等信息。
H
关键元模型
大数据平台关键元模型是以CWM为基础扩展形成，针对大数据平台物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等关键实体进行正确定义，并要求各省大数据平台统一遵照元模型。
定义关键元模型目标是建立大数据平台统一元数据管理标准，为元数据管理功效层和应用层解耦、为企业级总部大数据平台和企业级省大数据平台元数据交换和相互了解提供统一语义基础。
H
关键元模型参考表
关键元模型参考表是对关键元模型中枚举类型属性进行枚举值定义编码表。
参考表为枚举类型属性每个枚举值定义了唯一编码，并明确该编码语义，是关键元模型标准化定义关键组成部分。
J
技术元数据
描述大数据平台中技术领域相关概念、关系、规则数据。
关键包含对数据结构、数据处理方面特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理步骤。
S
数据处理过程
数据从数据源系统到大数据平台前端使用整个处理过程，包含大数据平台数据仓库内部数据抽取、转换和加载。
S
数据采集点
覆盖大数据平台数据处理步骤、获取每个步骤运行状态实体。
该实体能够是程序实体也能够是任务实体
S
数据质量汇报
数据质量汇报是对数据质量日常监控和质量评定等过程累积多种信息进行汇总、梳理、统计和分析，形成统计汇报
S
数据质量监控
经过获取大数据平台各步骤数据质量监控信息，结合元数据库中相关检验规则，对各个步骤数据质量情况进行判定，并立即向数据质量监控人员汇报。
S
数据质量规则库
数据质量规则库是对数据质量管理活动所用到多种判定及校验规则进行归类和存放存放结构，存放内容包含采集规则、监控规则、告警规则和审计规则等
S
数据质量信息库
数据质量管理子系统存放层上存放结构，用于存放数据质量信息采集程序采集数据质量信息、质量评定信息、问题处理方案和问题处理步骤信息等
S
省企业
中国移动通信集团各省（直辖市、自治区）移动通信。
S
SQL脚本
自动解析
SQL脚本自动解析指经过对SQL脚本词法、语法和语义进行分析，自动生成满足CWM规范要求数据处理过程技术元数据功效。
Y
业务元数据
描述大数据平台中业务领域相关概念、关系、规则数据。
关键包含业务术语、信息分类、指标定义（指标口径）、业务规则等信息。
Y
元模型
元模型是描述元数据基础模型结构，用于说明元数据对象多种属性、结构和关系。
Y
元数据
元数据是描述数据间关系数据。
大数据平台中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处理规则（Rules）数据，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据范围。
D
数据标准
指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换数据是一致和正确，经协商一致制订并由大数据治理委员会主管机构同意，含有行业特点且共同使用和反复使用一个规范性约束。
D
数据标准体系
指数据标准根据中国移动企业级省大数据平台需求对数据进行标准化划分归类。
D
数据标准内容
根据数据标准体系划分要求分别给出各数据标准制订规范内容。
D
行业参考模型实体
中国移动规范中原定义或新增加逻辑数据模型LDM实体。
D
公共代码标准
需要引用外部公共标准机构标准。
如：
世界各国和地域名称代码等。
下列略缩语适适用于本规范：
缩写
英文描述
汉字描述
AST
AbstractSyntaxTree
抽象语法树
BOSS
BusinessOperationSupportSystem
业务运行支撑系统
CWM
CommonWarehouseMetamodel
公共仓库元模型
ETL
ExtractionTransformationLoading
抽取、转换和加载
OLAP
On-lineAnalysisProcess
在线分析处理
XMI
XMLMetadataInterchange
XML元数据交换
BI
BusinessIntelligence
商务智能
REST
RepresentationalStateTransfer
表述性状态转移
4.总体说明
4.1.概述
本规范用于指导企业级省大数据平台数据治理子系统建设，要求了省大数据平台数据治理范围和要求，明确了数据治理子系统体系结构，制订了数据治理子系统功效和处理步骤。
数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功效模块。
本方案借鉴资产管理方法理论来管理数据，将数据作为一个特殊资产，对进入平台数据进行标准化规范约束，并以元数据作为驱动，连接数据标准管理、数据质量管理、数据数据安全管理各个阶段，形成统一、完善数据治理体系，以处理实际业务问题为导向，增强数据治理子系统对业务发展支撑能力。
4.2.目标
数据治理子系统建设为数据治理工作提供强有力系统支撑。
本期规范建设目标是以元数据为驱动，建立省大数据平台完整数据治理体系。
从组织架构、系统功效等方面增强数据宏观管控，并实现精细化管理，具体包含：
●数据治理组织架构管理：
定义数据治理所需人员组织上岗位和职责，从管理角度支撑数据治理工作落地和实施。
●数据标准管理：
建立企业级省大数据平台数据标准体系，并制订数据标准运维管控制度和步骤。
●元数据管理：
降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运行维护当中。
●数据质量管理：
为内、外部用户提供平台化数据质量监控；经过扩充和优化公共规则库、确保数据完整性、一致性、正确性、立即性、正当性，提升用户使用感知；并提供数据质量应用满足个性化需求。
●数据资产管理：
关键建设从计划、注册、运维到注销全步骤管理体系，使数据资产管理系统化、可视化。
●数据安全管理：
建立体系化数据安全管控策略，经过用户安全管理、数据安全管理实现全方位数据安全管控机制，经过技术手段和管理方法相结合方法落实数据安全，做到事前可管、事中可控、事后可查。
4.3.标准
企业级省大数据平台数据治理子系统建设应遵照以下基础标准：
1.有效性标准
表现大数据平台数据治理过程中数据标准、质量、价值、管控有效性、高效性。
2.价值化标准
表现数据治理过程中以数据资产为价值关键，最大化大数据平台数据价值。
3.统一性标准
表现大数据平台架构统一、标准统一、元数据统一、质量步骤统一、资产价值统一一体化管控平台体系。
4.开放性标准
表现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。
5.产品化标准
表现大数据平台数据治理能力显性化，经过产品化互联网思维服务大数据平台数据生态圈用户。
6.安全性标准
表现安全关键性、必需性，保障大数据平台数据安全和数据治理过程中数据安全可控。
5.数据治理体系
5.1.总体框架
数据治理总体框架包含组织架构、数据治理模块、数据运维三部分。
经过组织架构建立管理措施，制订工作步骤，确定角色职责。
数据治理模块关键包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运行，确保大数据平台数据一致、安全、有效。
数据运维贯穿整个数据治理体系步骤中，实现平台化运维管理思绪。
数据治理总体框架如图51所表示：
图51数据治理体系框架
5.2.组织架构
数据治理组织构建意在经过建立数据治理组织架构明确各级角色和职责，保障数据治理各项管理措施、工作步骤实施，推送数据治理工作有序开展。
5.2.1.组织组成
数据治理组织架构关键由数据治理委员会、数据治理中心和各业务部门组成。
组织架构划分和角色设定如图52所表示：
图52数据治理组织架构图
5.2.2.角色职责
组织责任体系是数据治理责任落地保障，数据治理组织架构经过明确各角色职责，实施认责制度，让数据治理工作愈加好融入到数据日常使用和相关工作中，从而推进数据运维自治实现，如表5-1。
表5-1数据治理组织架构角色职责定义内容
组织结构
角色
角色描述
角色关键职责
数据治理委员会
数据管理决议者
由企业主
升级会员 