数据治理体系概述.docx

数据治理体系概述.docx

《数据治理体系概述.docx》由会员分享，可在线阅读，更多相关《数据治理体系概述.docx（43页珍藏版）》请在冰豆网上搜索。

数据治理体系概述

资料范本

本资料为word版本，可以直接编辑和打印，感谢您的下载

数据治理体系概述

地点：

__________________

时间：

__________________

说明：

本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容

数据治理体系

TOC\o"1-3"\h\z\uHYPERLINK\l"_Toc430099616"1.范围PAGEREF_Toc430099616\h1

HYPERLINK\l"_Toc430099617"2.规范性引用文件PAGEREF_Toc430099617\h1

HYPERLINK\l"_Toc430099618"3.术语、定义和缩略语PAGEREF_Toc430099618\h5

HYPERLINK\l"_Toc430099619"4.总体说明PAGEREF_Toc430099619\h8

HYPERLINK\l"_Toc430099620"4.1.概述PAGEREF_Toc430099620\h8

HYPERLINK\l"_Toc430099621"4.2.目标PAGEREF_Toc430099621\h9

HYPERLINK\l"_Toc430099622"4.3.原则PAGEREF_Toc430099622\h9

HYPERLINK\l"_Toc430099623"5.数据治理体系PAGEREF_Toc430099623\h10

HYPERLINK\l"_Toc430099624"5.1.总体框架PAGEREF_Toc430099624\h10

HYPERLINK\l"_Toc430099625"5.2.组织架构PAGEREF_Toc430099625\h11

HYPERLINK\l"_Toc430099626"5.2.1.组织构成PAGEREF_Toc430099626\h11

HYPERLINK\l"_Toc430099627"5.2.2.角色职责PAGEREF_Toc430099627\h12

HYPERLINK\l"_Toc430099628"5.3.系统架构PAGEREF_Toc430099628\h12

HYPERLINK\l"_Toc430099629"5.3.1.系统功能框架PAGEREF_Toc430099629\h12

HYPERLINK\l"_Toc430099630"5.3.2.系统模块流程PAGEREF_Toc430099630\h14

HYPERLINK\l"_Toc430099631"5.4.系统边界PAGEREF_Toc430099631\h15

HYPERLINK\l"_Toc430099632"5.4.1.与企业级省大数据平台关系PAGEREF_Toc430099632\h16

HYPERLINK\l"_Toc430099633"5.4.2.与对外能力开放平台关系PAGEREF_Toc430099633\h16

HYPERLINK\l"_Toc430099634"5.4.3.与平台运维系统关系PAGEREF_Toc430099634\h16

HYPERLINK\l"_Toc430099635"6.数据治理核心模块PAGEREF_Toc430099635\h17

HYPERLINK\l"_Toc430099636"6.1.数据标准管理PAGEREF_Toc430099636\h17

HYPERLINK\l"_Toc430099637"6.1.1.背景PAGEREF_Toc430099637\h17

HYPERLINK\l"_Toc430099638"6.1.2.PAGEREF_Toc430099638\h18

HYPERLINK\l"_Toc430099639"6.1.3.目标及原则PAGEREF_Toc430099639\h19

HYPERLINK\l"_Toc430099640"6.1.4.业务分类和定义PAGEREF_Toc430099640\h19

HYPERLINK\l"_Toc430099641"6.1.5.技术功能要求PAGEREF_Toc430099641\h23

HYPERLINK\l"_Toc430099642"6.1.6.本期建设范围及内容PAGEREF_Toc430099642\h26

HYPERLINK\l"_Toc430099643"6.1.7.实施要求PAGEREF_Toc430099643\h27

HYPERLINK\l"_Toc430099644"6.2.元数据管理PAGEREF_Toc430099644\h27

HYPERLINK\l"_Toc430099645"6.2.1.背景和定义PAGEREF_Toc430099645\h27

HYPERLINK\l"_Toc430099646"6.2.2.元数据运营模式PAGEREF_Toc430099646\h29

HYPERLINK\l"_Toc430099647"6.2.3.元模型标准PAGEREF_Toc430099647\h29

HYPERLINK\l"_Toc430099648"6.2.4.元数据运维PAGEREF_Toc430099648\h33

HYPERLINK\l"_Toc430099649"6.2.5.本期重点建设内容PAGEREF_Toc430099649\h34

HYPERLINK\l"_Toc430099650"6.3.数据质量管理PAGEREF_Toc430099650\h34

HYPERLINK\l"_Toc430099651"6.3.1.与传统经营分析系统的区别PAGEREF_Toc430099651\h34

HYPERLINK\l"_Toc430099652"6.3.2.范围和原则PAGEREF_Toc430099652\h35

HYPERLINK\l"_Toc430099653"6.3.3.与其它功能模块的关系PAGEREF_Toc430099653\h36

HYPERLINK\l"_Toc430099654"6.3.4.本期数据质量功能需求PAGEREF_Toc430099654\h38

HYPERLINK\l"_Toc430099655"6.3.5.本期数据质量运维要求PAGEREF_Toc430099655\h39

HYPERLINK\l"_Toc430099656"6.4.数据资产管理PAGEREF_Toc430099656\h40

HYPERLINK\l"_Toc430099657"6.4.1.数据资产概述PAGEREF_Toc430099657\h40

HYPERLINK\l"_Toc430099658"6.4.2.数据资产范围PAGEREF_Toc430099658\h41

HYPERLINK\l"_Toc430099659"6.4.3.与其它功能模块的关系PAGEREF_Toc430099659\h42

HYPERLINK\l"_Toc430099660"6.4.4.本期数据资产功能需求PAGEREF_Toc430099660\h42

HYPERLINK\l"_Toc430099661"6.4.5.本期建设内容PAGEREF_Toc430099661\h45

HYPERLINK\l"_Toc430099662"6.5.数据安全管理PAGEREF_Toc430099662\h45

HYPERLINK\l"_Toc430099663"6.5.1.数据安全概述PAGEREF_Toc430099663\h45

HYPERLINK\l"_Toc430099664"6.5.2.建设原则PAGEREF_Toc430099664\h46

HYPERLINK\l"_Toc430099665"6.5.3.建设内容PAGEREF_Toc430099665\h46

HYPERLINK\l"_Toc430099666"6.5.4.边界关系PAGEREF_Toc430099666\h46

HYPERLINK\l"_Toc430099667"6.5.5.技术功能PAGEREF_Toc430099667\h47

HYPERLINK\l"_Toc430099668"6.5.6.管理要求PAGEREF_Toc430099668\h48

HYPERLINK\l"_Toc430099669"7.数据治理场景PAGEREF_Toc430099669\h52

HYPERLINK\l"_Toc430099670"7.1.背景描述PAGEREF_Toc430099670\h52

HYPERLINK\l"_Toc430099671"7.2.场景一：

银行伪卡交易判别PAGEREF_Toc430099671\h52

HYPERLINK\l"_Toc430099672"7.2.1.背景介绍PAGEREF_Toc430099672\h52

HYPERLINK\l"_Toc430099673"7.2.2.场景描述PAGEREF_Toc430099673\h53

HYPERLINK\l"_Toc430099674"7.3.场景二：

银行手机贷业务PAGEREF_Toc430099674\h54

HYPERLINK\l"_Toc430099675"7.3.1.背景介绍PAGEREF_Toc430099675\h54

HYPERLINK\l"_Toc430099676"7.3.2.场景描述PAGEREF_Toc430099676\h54

HYPERLINK\l"_Toc430099677"8.附录PAGEREF_Toc430099677\h55

HYPERLINK\l"_Toc430099678"附录一：

数据标准框架PAGEREF_Toc430099678\h55

HYPERLINK\l"_Toc430099679"附录二：

数据标准体系定义内容示例PAGEREF_Toc430099679\h56

前言

本规范的制订是为了更好地实现中国移动企业级省大数据平台数据治理子系统的建设和管理，为省大数据平台上的各类基础技术和应用提供支撑，加强省大数据平台上数据的管控力度，增强数据治理子系统自身管理能力。

本规范主要包括以下几方面的内容：

总体说明、数据治理体系、数据治理核心模块、数据治理场景等。

本规范是中国移动企业级大数据平台系列规范之一。

该系列规范的结构、名称或预计的名称如下：

本规范由中移技﹝××﹞××印发。

本规范由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。

本规范起草单位：

中国移动通信集团公司业务支撑系统部。

本规范主要起草人：

段云峰、汪新勇、赵静、周立、、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。

范围

本规范规定了中国移动企业级省大数据平台数据治理子系统的建设内容，适用于中国移动各省（直辖市、自治区）公司企业级省大数据平台数据治理子系统的建设。

规范性引用文件

下列文件中的条款通过本规范的引用而成为本规范的条款。

凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范。

然而，鼓励根据本规范达成协议的各方对是否使用这些文件的最新版本进行研究。

凡是不标注日期的引用文件，其最新版本适用于本规范。

术语、定义和缩略语

下列术语、定义适用于本规范：

下列略缩语适用于本规范：

总体说明

概述

本规范用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理流程。

数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功能模块。

本方案借鉴资产管理的方法理论来管理数据，将数据作为一种特殊的资产，对进入平台的数据进行标准化的规范约束，并以元数据作为驱动，连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力。

目标

数据治理子系统的建设为数据治理工作提供强有力的系统支撑。

本期规范建设目标是以元数据为驱动，建立省大数据平台完整的数据治理体系。

从组织架构、系统功能等方面增强数据宏观管控，并实现精细化管理，具体包括：

数据治理组织架构管理：

定义数据治理所需人员组织上的岗位和职责，从管理角度支撑数据治理工作的落地和执行。

数据标准管理：

建立企业级省大数据平台数据标准体系，并制定数据标准运维管控制度和流程。

元数据管理：

降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。

数据质量管理：

为内、外部用户提供平台化的数据质量监控；通过扩充和优化公共规则库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感知；并提供数据质量应用满足个性化需求。

数据资产管理：

重点建设从规划、注册、运维到注销的全流程管理体系，使数据资产管理系统化、可视化。

数据安全管理：

建立体系化的数据安全管控策略，通过用户安全管理、数据安全管理实现全方位数据安全管控机制，通过技术手段与管理措施相结合的方式落实数据安全，做到事前可管、事中可控、事后可查。

原则

企业级省大数据平台数据治理子系统建设应遵循以下基本原则：

有效性原则

体现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。

价值化原则

体现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值。

统一性原则

体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。

开放性原则

体现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。

产品化原则

体现大数据平台数据治理能力的显性化，通过产品化互联网思维服务大数据平台数据生态圈用户。

安全性原则

体现安全的重要性、必要性，保障大数据平台数据安全和数据治理过程中数据的安全可控。

数据治理体系

总体框架

数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。

通过组织架构建立管理办法，制定工作流程，确定角色职责。

数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运营，确保大数据平台的数据一致、安全、有效。

数据运维贯穿整个数据治理体系的流程中，实现平台化的运维管理思路。

数据治理总体框架如REF_Ref428626279\h图51所示：

核心领域

大数据平台

数据治理工具

数据安全管理

数据资产管理

元数据管理

数据质量管理

数据标准管理

组织架构

组织架构定义

角色与职责

规划和策略

管理办法

数据运维

质量运维

管控运维

资产运维

图STYLEREF1\s5SEQ图\*ARABIC\s11数据治理体系框架

组织架构

数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展。

组织构成

数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。

组织架构划分和角色设定如REF_Ref428626402\h图52所示：

图STYLEREF1\s5SEQ图\*ARABIC\s12数据治理组织架构图

角色职责

组织责任体系是数据治理责任落地的保障，数据治理组织架构通过明确各角色职责，实行认责制度，让数据治理工作更好的融入到数据日常使用和相关的工作中，从而推动数据运维自治的实现，如REFOLE_LINK11\h表5-1。

表5-1数据治理组织架构角色职责定义内容

系统架构

系统功能框架

数据治理功能框架明确了数据治理在企业级省大数据平台中的定位，并以合理的功能层次划分指导数据治理系统相关功能建设。

系统功能框架如REFOLE_LINK12\h\*MERGEFORMAT图53所示。

图STYLEREF1\s5SEQ图\*ARABIC\s13数据治理功能框架图

企业级省大数据平台门户：

企业级省大数据平台统一的访问接口，供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功能，并负责统一访问认证及日志记录。

能力开放平台：

企业级省大数据平台统一的对外服务层，数据治理相关的产品及应用均通过这个层次进行注册、发布，并对内、外部开放。

数据治理系统：

数据标准：

在数据标准管理组织架构推动和指导下，遵循协商一致制定的数据标准规范，借助标准化管控流程得以实施数据标准化的整个过程。

元数据：

采用集中式管理模式进行元数据管理，全公司元数据逻辑集中，即元数据管理模块作为公司元数据的统一发布源，集中管理元数据，提供元数据集中创建、维护、查询功能。

数据质量：

对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

数据资产：

规划、控制、提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、提高数据资产的价值。

数据安全：

通过计划、制定、执行数据安全政策和安全策略措施，为企业级大数据平台的数据和信息提供行之有效的认证、授权、访问和审计。

数据运维：

包括数据资产运维、数据质量运维，借鉴互联网思维，通过产品化运维工具来整体提升企业级大数据平台数据运维效率。

企业级省大数据平台：

大数据基础平台，负责数据的接入、存储、管理、应用及相关基础功能支撑。

系统模块流程

图STYLEREF1\s5SEQ图\*ARABIC\s14数据治理系统功能各模块关系图

如REF_Ref428627623\h\*MERGEFORMAT图54所示，数据治理系统各模块之间，根据数据操作的流程产生相互关联，各模块业务流程关系说明如下：

L1：

数据标准管理模块将标准定义映射到元数据信息上，实现数据标准的规范要求落地。

L2：

元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务。

L3：

元数据管理模块为数据质量管理模块提供元数据相关属性信息。

L4：

用户通过元数据定义大数据平台的数据结构。

L5：

数据质量管理模块根据采集需求从大数据平台采集数据。

L6：

数据质量管理模块将数据质量问题反馈给大数据平台。

L7：

数据质量管理模块向资产模块提交数据质量评估结果。

L8：

元数据管理模块为数据安全管理模块提供隐私级别定义服务。

L9：

数据资产管理模块发起资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进行管控。

L10：

数据安全管理模块为大数据平台提供数据访问权限策略。

系统边界

企业级省大数据平台数据治理子系统与其它子系统之间存在数据交互、功能调用、流程穿插等关联。

数据治理子系统与大数据平台系统内其它子系统的关系示意如REFOLE_LINK13\h图55所示：

数据治理

元数据管理

数据标准管理

数据质量管理

数据资产管理

数据安全管理

数据服务平台

企业级省大数据平台

平

台

运

维

图STYLEREF1\s5SEQ图\*ARABIC\s15数据治理子系统与各子系统边界图

与企业级省大数据平台关系

企业级省大数据平台上的数据资产是数据治理的主要对象；数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面的全面支撑，使大数据平台上的数据资产清晰、有序、安全、可控。

与对外能力开放平台关系

数据治理为对外能力开放平台提供元数据查询、数据安全管理支持；对外能力开放平台为数据治理提供统一的数据治理产品及功能注册、发布、使用服务。

与平台运维系统关系

数据治理子系统支撑大数据平台的数据管控流程，并与平台运维交互协调，共同支撑大数据平台整体的安全运维、数据运维和管理运维。

数据治理核心模块

数据标准管理

背景

中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上，借鉴互联网企业数据治理的经验而提出的。

数据标准是指在中国移动企业级省大数据平台下，保障企业内外部使用和交换数据的一致性和准确性，具有行业特点且共同使用的一种规范性约束。

数据标准是企业级省大数据平台数据治理的基础性工作，是数据治理建设中的首要环节。

首先，数据标准为企业级省大数据平台提供统一的数据标准定义和平台逻辑模型。

其次，数据标准是企业级省大数据平台进行数据治理的依据和根本。

再次，数据标准是衡量企业级省大数据平台数据资产运营和管理的评估依据。

最后，中国移动通过数据标准管理的实施，实现对企业级省大数据平台全网数据的统一运营管理。

企业级省大数据平台数据治理体系中数据标准管理如REF_Ref428627723\h\*MERGEFORMAT图61所示，包括制定数据标准的规范性文件、进行数据标准化管控及数据标准管理组织。

图STYLEREF1\s6SEQ图\*ARABIC\s11数据标准管理内容

企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下REF_Ref428627768\h表61所示：

表STYLEREF1\s6SEQ表\*ARABIC\s11企业级省大数据平台数据标准管理与原经营分析系统数据管控区别

目标及原则

数据标准管理的总体目标：

通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现中国移动企业级省大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，提高企业级省大数据平台数据治理水平。

数据标准制定的原则：

开放性：

标准制定人人参与。

共享性：

数据标准化信息在大数据生态圈共享使用。

完整性：

涵盖客户、产品、服务、帐务、资源、网络等全部重要数据信息。

有效性：

信息准确度高、理解上不存在歧义。

一致性：

做到“五统一”,定义统一、口径统一、名称统一、来源统一、参照统一。

规范性：

制度规范、流程控制、系统管理等。

业务分类和定义

数据标准体系分类

数据标准制定如REFOLE_LINK14\h图62所示，包括数据标准体系划分和数据标