如何在大数据时代构建数据治理体系.docx

如何在大数据时代构建数据治理体系.docx

《如何在大数据时代构建数据治理体系.docx》由会员分享，可在线阅读，更多相关《如何在大数据时代构建数据治理体系.docx（11页珍藏版）》请在冰豆网上搜索。

如何在大数据时代构建数据治理体系

如何在大数据时代构建数据治理体系

随着云计算、物联网、移动互联网等新一代信息技术的快速发展，人类产生的数据量呈指数级增长。

据资料显示，2012年，全球

数据量达到2.8ZB，预计到2020年，全球数据量将达到40ZB。

大数据蕴含着巨大的价值，如今众多企业已将数据视作企业的宝贵资产。

然而，数据价值密度与数据总量成反比。

面对巨大的数据规模，如何管理和利用数据，使其发挥价值是企业必须考虑的重要问题。

大数据的价值所在使其面临着隐私和安全方面的威胁。

大数据治理

将组织的部门、流程、人等元素与数据的整个生命周期联系在了一起，对企业数据管理和数据资产价值有着至关重要的作用。

《DGI数据治理框架》一文将数据治理定义为“数据相关事务的决策和授权的执行”，并进一步解释为信息处理过程决策权和职责的策略，约定了由谁负责处理哪些信息，并在什么情况下采用哪种方法，以及何时来执行。

首先，大数据治理是信息治理计划的一部分，这是其定位。

这就要求组织在制订信息治理框架时，必须将大数据纳入其中，比如在信息治理委员会中增加数据科学家，在信息治理目标中增加大数据治理目标等。

其次，大数据治理主要是数据处理的一系列相关政策的制订，这是其内涵。

再次，必须优化大数据，这是大数据治理的重点。

最后，大数据必须变现，这是大数据治理的目的所在。

大数据体量大、种类繁多，且价值密度低，组织必须对其进行优化，比如定义元数据、净化大数据、实施数据生命周期管理等。

看似没有任何价值的单一数据集合在一起时，会发现新的价值，这是大数据价值体现的重要途径之一。

而大数据价值的体现往往会涉及数据的隐私，这就要求组织在进行大数据价值体现时，必须注重大数据的隐私处理。

组织将数据视作其资产的一种，要将其转化成组织可以使用的现金，而变现的方式可以是单纯地出售数据本身，也可以是利用数据开发新业务。

一、企业实施大数据治理的必要性

1、企业实现数据资源在组织内部的共享和交换的需要

目前，大部分工业企业已经完成了ERP、CRM、供应链、协同办公等企业信息化系统的建设，但是由于数据分散在众多系统中，缺乏统一的数据定义和数据分类，因此在数据使用上存在数据不标准、数据不一致、数据完整性差等问题。

数据不标准主要表现在不同系统之间描述同一业务实体的数据定义标准不同；数据不一致主要表现在相关联业务系统的数据不同步、各应用系统间存在数据编码规则不一致的问题，还有重复编码的问题；数据完整性差表现为缺少数据实体的关键信息。

企业必须对各个系统的数据源以及输出的数据资产进行统一的数据治理，实现数据在不同组织和系统内的交换与共享。

只有解决了数据问题，

才能实现IT价值。

2、提升海量数据资源质量的需要

大数据时代数据产生的价值越来越大，各企业都在探索基于大数据的相关技术和应用模式，最终目的就是挖掘数据的价值，推动企业的发展。

因为数据有可能是成本，也有可能是资产，能给企业带来重要的价值，是企业宝贵的资源。

如果没有数据治理，数据的质量就无法保证，数据难以成为企业的资产，既使再多的业务和技术投入也都是徒劳。

数据质量低下会导致企业在IT方面的重复投

入，各种应用系统的价值难以有效地发挥出来，数据的问题甚至会使得企业错失商机，损失无法估量。

数据治理是保证数据质量的必需手段，数据治理的价值贡献在于确保数据的准确性、可获取性、安全性、适度分享和合规使用。

例如，可以对数据服务涉及的计算资源、数据资源制定标准化的统一管理规范，制定涵盖主数据、数据主题、数据质量、数据安全、数据共享等数据标准体系及数据管理体系。

3、数据驱动企业进行科学决策的需要

当今世界进入了数据爆炸的时代，数据成为企业重要的资产。

企业涉及的数据类型，包括文本、图像、音频、视频等，分为静态数据和动态数据，实时数据和非实时数据，结构化数据、半结构化数据和非结构化数据，这些数据有些来源于企业的内部信息系统及设备，有些来源于外部的供应链和社交网络。

数据驱动企业的决策成为时代发展的必然。

数据治理能使企业清楚地认识自己的优势和劣势，有利于企业

提高决策的合理性，为用户提供更加优质的服务。

大数据时代，企业可以通过对数据的整合和分析，从中获取对企业有用的数据。

新的数据技术手段，使得信息在企业内部不同部门之间有效、快速地传递，使得不同部门之间的交流、沟通更加透明，使得企业不同的利益主体能广泛地参与决策，从而提高决策的科学性和合理性。

4、企业整合数据资源提升竞争力的需要

在企业的生产经营活动中会产生大量的数据，企业需要对事务

性数据、机器生成数据、社交媒体数据等内外部数据进行整合，特别是对与企业重大商业利益相关的数据资源的整合、分析与利用，从而指导企业的经营与发展。

数据技术带来的不仅是技术的更新，还有管理方式的改变，数据治理不仅局限在企业的决策层，还包含管理层和业务层，数据治理能改善企业管理层与其他利益相关者的关系，使企业变得更加敏捷和高效，更注重用户体验的提升和需求的满足。

例如，为解决日常的数据收集、数据处理效率较低、数据不一致的问题，可以通过元数据管理系统，建立采集元数据和元数据关系，提升跨系统的数据交互能力以及数据整合能力，进一步提升企业的核心竞争力。

二、企业大数据治理现状

伴随着大数据时代的到来，企业由于早期在信息系统构建中缺乏统一的全局规划，使得其在当前数据治理体系的构建中存在着一系列的问题，如果不能有效对这些问题进行解决，以构造出完善的数据治理体系，势必会对未来企业的发展带来不利的影响。

1、大数据时代的定义及特征

（1）大数据时代的定义

我国已经进入了数字经济时代，必然会产生大量数据，大数据主要是指人们在日常工作、生产、生活中通过数字化的方式进行呈现和存储。

也可以很通俗地将大数据理解成为巨大的数据信息，而伴随着人们的各种需求的不断增加，这种数据量还在不断的增加。

举例来说，人们通过计算机互联网对视频和新闻的观看，都不同程度地促进了大数据时代的快速形成。

（2）大数据时代的特征

大数据时代具有如下几个明显的特征：

数据量大。

这是大数据时代最为突出的特征，这也是大数据时代本来就是基于大量数据信息所产生的是分不开的。

速度很快。

正是由于大量数据的产生，需要不断提升信息数据处理速度，才能跟上大数据时代的要求，而如果数据处理速度难以跟上，就不能满足信息的快速传播和扩散。

种类很多。

伴随着大数据时代的到来，计算机互联网技术在人们的生活中获得了非常广泛的应用，也使得数据来源变的更加丰富，相应地，数据的种类也变的更多。

2、大数据时代企业数据治理现状

在大数据时代下，企业在数据治理体系的构建过程中，主要面临着如下几个突出的问题：

（1）数据定义的缺失所谓数据定义的缺失，就是企业的部分业务源系统以及外部数

据源缺少关键业务元素定义。

这是因为企业系统开发建设的出发点大多以满足客户业务交易为主要目标，对于统计分析涉及的数据要素项的定义不够关注，因此造成部分业务源系统和外部数据源的数据定义不完备。

在这种情况下，就很容易造成企业的不同部门有着不同的理解，甚至在对同一个字段的理解也会产生很大的歧义。

（2）数据标准的差异

我国企业的早期信息化建设过程中，其业务源系统相对是比较分散的，很少有从全局的角度进行考虑，也就使得信息孤岛的现象比较突出，也带来了有关系统的物料、客户、供应商、会计科目、指标数据的不一致。

正是由于企业在数据标准之间的差异，也使得各个信息系统之间的数据很难有效进行共享，也带来了企业的信息资源利用效率难以跟上实际需求，伴随着大数据时代的到来，更加使得挑战进一步扩大。

（3）数据更新的滞后

在大数据时代下，虽然企业为了满足各个系统与外部数据的内部访问，都提升了访问效率，减少手工数据传输，相同的信息经常会在不同系统之间进行冗余存放，不过由于对数据的更新滞后，很容易带来冗余数据的不一致，继而产生了数据质量的问题，这也是在企业在数据治理中应该重点关注的问题。

（4）数据管控程度不高

企业大数据建设的最终目标是促进企业对于数据应用，最大程

度发挥数据价值。

因此，在当前企业大数据的治理中，人们普遍重视数据应用，围绕应用中出现的数据关联、质量管理、业务协同等进行数据治理，而忽视数据治理体系中的管理机制、控制能力以及安全与隐私保护等。

（5）数据治理机制不健全

在大数据环境下，数据治理的主体趋于多元化，即一个数据治理流程往往需要多方参与。

例如，在数据质量管理中，问题数据的发现、反馈、修正是一个多方参与的闭环流程，参与方包括：

企业数据中心（数据治理方）、数据源头单位（数据提供方）、数据用户（数据使用方）等。

这种多方协同治理的业务模式，对企业大数据治理制度和流程机制提出了更高要求。

（6）技术支撑能力不足

企业大数据治理体系的技术支撑需要涵盖大数据管理、存储、质量、共享与开放、安全与隐私保护等多个方面，当前相应的技术研究关联性和系统性还存在欠缺，都是侧重于点，而在整体上将技术关联起来还有问题。

具体来说，以金融或电信运营商行业为典型代表的传统数据治理技术，是以基于主数据、元数据、数据规范的数据仓库管理系统，可实现特定领域和类型的应用级数据质量管理。

但无法满足企业大数据环境下的海量、异构、多源、全格式（结构化、半结构化和非结构化）数据的治理需求。

三、企业大数据治理成熟度评估

1、大数据治理模型

基于以上分析，只有更好的评估企业大数据治理成熟度，才能

更好的指导企业大数据治理的建设。

根据实践可以将大数据治理模型理解为人与组织、策略和能力的三维架构。

人与组织是数据治理的主体，涉及企业中的各个职能部门及分子等，他们分别承担着不同的治理职责。

策略是大数据治理的工具，能力是大数据治理的手段。

下图所示为大数据治理模型三维架构。

具体来说，人与组织包含利益相关者、治理委员会、管理委员会和内部员工。

利益相关者指组织内部和外部环境中受组织决策和行动影响的任何相关者，数据的产生者、管理者、使用者和监督者等；治理委员会是组织治理数据的最高机构，负责作出数据相关事务的决定，并将数据治理标准和措施汇报给数据的利益相关者；管理委员会负责具体实施治理委员会制定的各项数据治理决定，并将数据治理结果汇报给治理委员会；内部员工是数据治理架构中不可或缺的一部分，贯彻执行数据治理委员会和管理委员会制定的各项数据治理策略。

策略是组织制定的所有与大数据有关的数据优化、隐私保护和

数据变现的准则和规范，包括组织数据治理的使命和愿景、治理指标、数据治理规则和定义、权利与职责、控制措施。

数据治理的使命和愿景包括数据治理的整体目标，给予数据利益相关者持续与跨界的数据保护和服务，不合规准则引发的问题的解决方案等；数据治理指标定义了数据治理目标的衡量方法；数据治理规则和定义包括与数据相关的政策、标准、合规要求、业务规则和数据定义等；权利和职责规定了由谁来负责制订数据相关的决策、何时实施、女口何实施，以及组织和个人在数据治理策略中该做什么；控制措施主要针对数据未治理风险防范和数据治理过程中可能发生的各类风险，以及如何做好数据隐私保护。

能力则反映了组织进行数据治理所具备的条件和水平，包括元

数据管理、数据质量管理、业务流程整合、主数据管理和信息生命周期管理。

元数据是描述数据的数据，即描述数据和信息资源的信息。

元数据管理就是整合大数据与企业的元数据库。

数据质量管理准则包括数据识别、采集、测量、提升和论证质量、整合组织数据的方法，比如具备应对非结构化数据占据数据总量绝大部分情况的能力。

业务流程整合要求组织制定的大数据治理计划必须与组织的核心业务流程相匹配，以便从核心业务流程中获取大数据治理的关键支持政策。

主