数据资产管理实践白皮书.docx
《数据资产管理实践白皮书.docx》由会员分享，可在线阅读，更多相关《数据资产管理实践白皮书.docx（49页珍藏版）》请在冰豆网上搜索。
数据资产管理实践白皮书
数据资产管理实践白皮书
前言
党的十九大报告提出要“推动互联网、大数据、人工智能和实体经济深度融合”，进一步突出了大数据作为国家基础性战略性资源的重要地位，掌握丰富的高价值数据资源日益成为抢占未来发展主动权的前提和保障。
数据是资产的概念已经成为行业共识。
然而现实中，对数据资产的管理和应用往往还处于摸索阶段，数据资产管理面临诸多挑战。
首先，大部分企业和政府部门的数据基础还很薄弱，存在数据标准混乱、数据质量层次不齐、各条块之间数据孤岛化严重等现象，阻碍了数据的共享应用。
其次，受限于数据规模和数据源种类的丰富程度，多数企业的数据应用刚刚起步，主要集中在精准营销，舆情感知和风险控制等有限场景，应用深度不够，应用空间亟待开拓。
再次，由于数据的价值很难评估，企业难以对数据的成本以及其对业务的贡献进行评估，从而难以像运营有形资产一样管理数据资产。
国际上，1990年以来，以国际数据管理协会（DAMA，DataManagementAssociationInternational）、能力成熟度模型集成（CMMI，CapabilityMaturityModelIntegration）为代表的组织机构长期从事数据管理的研究，形成了一定的理论成果。
在这些理论的指导下，我国金融、电信、能源、互联网等信息化较为先进的行业，已经积累了丰富的数据资产管理经验。
这些经验的总结对于补充完善数据管理理论体系、推进数据资产管理在各个行业的普及和发展有着重要意义。
为了促进数据资产管理的研究，我们组织编写了《数据资产管理
实践白皮书》。
本白皮书分为四大部分：
第一部分介绍了数据资产管理的概述及变革中的数据资产管理呈现出来的特征趋势；第二部分从实践角度出发阐述了数据资产管理的主要内容；第三部分重点介绍了数据资产管理的实施步骤、实践模式、技术工具和成功要素；最后结合实践经验，介绍了电信、金融、政务、医疗和工业等相关领域的数据资产管理案例。
本白皮书在《数据资产管理实践白皮书3.0》的基础上，以全面盘点数据资产、不断提升数据质量、实现数据互联互通、提高数据获取效率、保障数据安全合规、数据价值持续释放等角度，通过权威数据和典型事件，生动剖析了数据资产管理的重点内容和目标。
在原有管理职能的介绍下，尝试说明数据资产化管理的关键活动步骤，并在实施步骤方面，增加了各实施阶段的具体输出物，并增加了“数据价值管理工具”和“数据服务管理工具”，更好的指导企业搭建数据资产管理平台，开展数据资产管理相关工作。
本白皮书可以为政府和企业开展数据资产管理工作提供参考，也可以作为相关产品和服务提供商的参考依据。
由于时间仓促，水平所限，我们的工作还有很多不足。
下一步，我们还将广泛采纳各方面意见建议，进一步深化相关研究，持续完善白皮书内容，在已有版本的基础上，适时修订发布新版。
我们诚邀各界专家学者参与我们的研究工作，积极献言献策，共同完善国内数据资产管理理论和方法论体系，为促进大数据与实体经济深度融合做出积极贡献。
图表目录
表1数据成本和价值评估的维度23
表2数据资产价值评估典型方法比较24
表3数据资产管理组织架构角色职责28
表4数据资产管理的两种建设策略40
表5数据资产管理的切入方式42
图1数据资产管理在大数据体系中的定位2
图2大数据背景下的数据资产管理特点特征10
图3数据资产管理体系架构14
图4数据资产管理保障措施组织架构27
图5数据认责机制29
图6一种典型的制度体系架构30
图7数据资产管理实施步骤34
一、数据资产管理概述
众所周知，数据是资源，伴随着大数据时代支撑数据交换共享和数据服务应用的技术发展，不断积淀的数据开始逐渐发挥它的价值，因此，业界提出可以将数据作为一项资产，“盘活”数据以充分释放其附加价值。
但是事实上，如果缺乏恰当有效的管理手段，数据也可能会成为一项负债。
同时，相较于实物资产，数据资产的管理目前还处于初级阶段，数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营也较为薄弱。
数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。
本章将阐述数据资产管理的定义与内涵，分析数据资产管理在大数据领域的重要意义，并对数据资产管理在大数据发展中的趋势进行分析，探讨数据资产管理在企业中的实践模式。
（一）数据资产管理的定义与内涵
1.数据资产管理的概念
数据资产（DataAsset）是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。
在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。
数据资产管理（DAM，DataAssetManagement）是指规划、控制
和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。
数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。
2.数据资产管理的内涵
数据资产管理在大数据体系中的定位如图1所示，它位于应用和底层平台中间，处于承上启下的重要地位。
对上支持以价值创造为导向的数据应用开发，对下依托大数据平台实现数据全生命周期的管理。
数据资产管理包括两个重要方面，一是数据资产管理的核心管理职能，二是确保这些管理职能落地实施的保障措施，包括战略规划、组织架构、制度体系等。
图1数据资产管理在大数据体系中的定位
数据资产管理贯穿数据采集、存储、应用和销毁整个生命周期全过程。
企业管理数据资产就是对数据进行全生命周期的资产化管理，促进数据在“内增值，外增效”两方面的价值变现，同时控制数据在整
个管理流程中的成本消耗。
在数据的生命周期开始前，企业先期制定数据规划、定义数据规范，以期获得实现数据采集、交付、存储和控制所需的技术能力。
数据资产管理一般来说包括统筹规划、管理实施、稽核检查和资产运营四个主要阶段，详见第三部分数据资产管理的实施要点。
3.数据资产管理的演变
数据管理的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用，计算机系统中的数据可以方便地存储和访问而提出的。
国际数据管理协会（DAMA，DataManagementAssociationInternational）在2009年发布的数据管理知识体系DMBOK1.0①中，将数据管理定义为规划、控制和提供数据资产，发挥数据资产的价值。
DAMA数据管理体系将数据管理划分为10个领域，分别是数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理。
其中，数据治理是高层次的、规划性的数据管理制度活动，其关键管理活动包括制定数据战略、完善数据政策、建立数据架构等，注重数据的使用者、使用方式、使用权限等合规性制定，强调开展数据资产全生命周期管理前的基础工作，关注数据资产管理中的相关保障措施。
2015年，DAMA在DBMOK2.0知识领域将其扩展为11个管理
①TheDAMAGuidetotheDataManagementBodyofKnowledge
职能，分别是数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库和商务智能（BI，BusinessIntelligence）、元数据、数据质量等。
在数据资产化背景下，数据资产管理是在数据管理基础上的进一步发展，可以视作数据管理的升级版。
主要区别可以从三方面看：
一是数据管理的视角不同，数据资产管理强调数据是一种资产，基于数据资产的价值、成本、收益开展全生命周期的管理。
二是管理职能有所不同，数据资产管理包含数据模型、元数据、数据质量、参考数据和主数据、数据安全等传统数据管理职能，同时整合数据架构、数据存储与操作等内容，将数据标准管理纳入管理职能，并针对当下应用场景、平台建设情况，增加了数据价值管理职能。
三是管理要求有所升级，在“数据资源管理转向数据资产管理”的理念影响下，相应的组织架构和管理制度也有所变化，需要有更专业的管理队伍和更细致的管理制度来确保数据资产管理的流程性、安全性和有效性。
（二）数据资产管理的重要性
数据作为越来越重要的生产要素，将成为比土地、石油、煤矿等更为核心的生产资源，如何加工利用数据，释放数据价值，实现企业的数字化转型，是各企业面临的重要课题。
虽然充分有效挖掘数据价值的过程中充满了障碍，但是数据资产管理逐步扫平了这些障碍。
1.数据价值难以有效发挥的原因
当前企业在数据资产管理中面临诸多问题，这些问题阻碍了数据的互联互通和高效利用，成为了数据价值难以有效释放的瓶颈，主要包括以下几点：
一是缺乏统一数据视图。
企业的数据资源散落在多个业务系统中，企业主和业务人员无法及时感知到数据的分布与更新情况，无法快速找到符合自己需求的数据，也无法发现和识别有价值的数据并纳入数据资产。
二是数据孤岛普遍存在。
据统计，98%的企业都存在数据孤岛问题②。
而造成数据孤岛的原因既包括技术上的，也包括标准和管理制度上的，这阻碍了业务系统之间顺畅的数据共享，降低了资源利用率和数据的可得性。
三是数据质量低下。
糟糕的数据质量常常意味着糟糕的业务决策，将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。
根据数据质量专家LarryEnglish的统计，不良的数据质量使企业额外花费15%到25%的成本③。
而数据能够被当作资产，并发挥越来越大的价值，其前提是数据质量的不断提升。
四是缺乏安全的数据环境。
数据安全造成的风险主要包括数据泄露与数据滥用等。
根据数据泄露水平指数（BreachLevelIndex）监测，
②
③
自2013年以来全球数据泄露高达130亿条④，其中很多都是由于管理制度不完善造成。
随着各个机构数据的快速累积，一旦发生数据安全事件，其对企业经营和用户利益的危害性将越来越大，束缚数据价值的释放。
五是缺乏数据价值管理体系。
大部分企业还没有建立起一个有效管理和应用数据的模式，包括数据价值评估、数据成本管理等，对数据服务和数据应用也缺乏合规性的指导，没有找到一条释放数据价值的“最优路径”。
2.数据资产管理是充分发挥数据价值的必经之路
数据资产管理通过解决释放数据价值过程中面临的诸多问题，以体系化的方式实现数据的可得、可用、好用，用较小的数据成本获得较大的数据收益，具体体现在以下六个方面：
一是全面掌握数据资产现状。
数据资产管理的切入点是对数据家当进行全面盘点，形成数据地图，为业务应用和数据获取夯实基础。
从资产化管理和展示数据的角度出发，数据地图作为数据资产盘点的输出物之一，不承载具体数据内容，却可以帮助业务人员快速精确查找他们想要的数据。
其次，数据地图作为企业数据的全盘映射，帮助数据开发者和数据使用者了解数据，并成为对数据资产管理进行有效监控的手段。
二是提升数据质量。
早在1957年的时候，计算机刚刚发明的时
④
候，大家就意识到数据对于计算机决策的影响，提出GarbageInGarbageOut⑤的警示。
2001年，美国公布《数据质量法案（DataQuality
Act）》，提出提升数据质量的指导意见。
2018年，中国银行保险监督管理委员会发布《银行业金融机构数据治理指引》，强调高质量的数据在发挥数据价值中的重要性。
数据资产管理通过建立一套切实可行的数据质量监控体系，设计数据质量稽核规则，加强从数据源头控制数据质量，形成覆盖数据全生命周期的数据质量管理，实现数据向优质资产的转变。
三是实现数据互联互通。
数据资产管理通过制定企业内部统一的数据标准，建立数据共享制度，完善数据登记、数据申请、数据审批、数据传输、数据使用等数据共享相关流程规范，，打破数据孤岛，实现企业内数据高效共享。
同时搭建数据流通开放平台，增强数据的可得性，促进数据的交换流通，提升数据的服务应用能力。
四是提高数据获取效率。
Gartner统计，数据分析人员或数据科学家需要花费70%到80%的精力在数据准备上。
数据资产管理通过搭建数据管理平台，采取机器学习等相关自动化技术，将大量前期的数据准备时间和交付项目的时间缩短，提升数据的获取和服务效率，让数据随时快速有效就绪，缩短数据分析人员和数据科学家的数据准备时间，加快数据价值的释放过程。
五是保障数据安全合规。
保障安全是数据资产管理的底线，数据
⑤https:
//en.wikipedia.org/wiki/Garbage_in,_garbage_out
资产管理通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计，全方位进行安全管控，确保数据获取和使用合法合规，为数据价值的充分挖掘提供了安全可靠的环境。
六是数据价值持续释放。
存储和管理数据的最终目的是实现数据的价值，数据资产管理将数据作为一项资产，并通过一个持续和动态的全生命周期管理过程，使数据资产能够为企业数字化转型提供源源不断的动力。
从企业高管到业务人员及技术人员，全员都要以持续释放数据价值为理念来重视数据资源管理工作。
管理方面，建立一套符合数据驱动的组织管理制度流程和价值评估体系。
技术方面，建设现代化数据平台、引入智能化技术，确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。
（三）数据资产管理是各方关注的重要议题
数据资产管理不仅仅是单一机构的课题。
近年来，地方政府层面越来越重视数据资源的管理，开展了很多工作。
在新一轮的政府机构改革中，设置专门的数据管理机构成为热点，已有贵州、山东、重庆、福建、广东、浙江、吉林、广西等省份设置了厅局级的大数据管理局，统筹推动地方“数字政府”建设，促进政务信息资源共享协同应用。
早在2017年7月，贵州省大数据发展领导小组办公室印发实施了《贵州省政府数据资产管理登记暂行办法》，成为全国首个出台政府数据资产管理登记办法的省份。
行业层面，金融行业高度重视数据资产管理工作。
2016年12月
30日，中国证券业协会发布《证券公司全面风险管理规范》，明确指出证券公司应当建立健全数据治理和质量控制机制。
2018年5月，银保监会（原银监会）发布《银行业金融机构数据治理指引》，要求银行业应该将数据治理纳入公司治理范畴。
2018年，中国支付清算协会针对非银行支付机构数据资产管理状况开展了调研。
医疗行业，
2018年9月，国家卫生健康委员会印发《国家健康医疗大数据标准、安全和服务管理办法（试行）的通知》，2019年4月，国家卫生健康委办公厅印发《全国医院数据上报管理方案（试行）》及《全国医院上报数据统计分析指标集（试行）》，充分发挥健康医疗大数据作为国家重要基础性战略资源的作用。
在工业领域，在工业和信息化部信息化与软件服务业司指导下，工业互联网产业联盟（AII）联合中国信息通信研究院发布了《中国工业企业数据资产管理调查报告（2018）》。
国家层面，数据合规性与数据跨境流动成为各国关注重点。
2017
年6月1日正式生效的《中华人民共和国网络安全法》第三十七条规定：
“关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储。
因业务需要，确需向境外提供的，应当按照国家网信部门会同国务院有关部门制定的办法进行安全评估”。
2018年5月25日，一般数据保护条例（GDPR）正式在欧盟实施。
各国对于数据跨境流动的关注则包含了数据主权、隐私保护、法律适用与管辖、乃至国际贸易规则等内容。
（四）数据资产管理的现状与发展
随着管理数据对象越发复杂，数据处理技术越发成熟，数据应用范围越发广泛，数据资产管理在数据处理架构、组织职能、管理手段等方面逐渐呈现了一些新的特点和发展趋势。
图2大数据背景下的数据资产管理特点特征
1.数据管理对象变化
数据作为数据资产管理的对象，在近些年体现出规模海量、来源多样、格式繁杂、采集实时等特征。
在数据量方面，单一机构的数据规模由以前的GB级上升到TB级，甚至PB级、EB级，数据增速快。
在数据格式种类方面，除传统的结构化数据之外，文本数据、图
像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越来越大，种类日益丰富。
在数据来源方面，数据既包括内部数据，也包括来自第三方的外部数据，既包括传统业务处理采集的业务数据，也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的数据。
同时，由于秒级或者毫秒级的响应将帮助企业更快地洞察与分析数据，实时数据正在成为企业数据重要的管理对象，目前实时数据采集和处理已广泛应用于互联网、零售、电力、交通等多个行业，利用物联网、实时数据库等技术实现交易实时处理、生产实时监控、交通实时调控等。
2.处理架构更新换代
处理架构的更新换代体现以下几个方面。
一是数据处理的底层架构向云平台和分布式系统迁移。
Gartner在2018年针对数据和分析采用方式的调查结果表明，63%企业目前使用最普遍的信息基础架构基技术为“基于云平台的数据存储”。
同时以Hadoop、Spark等分布式技术和组件为核心的“计算&存储混搭”的数据处理架构，能够支持批量和实时的数据加载以及灵活的业务需求。
二是数据的预处理流程正在从传统的ETL结构向ELT转变。
传统的数据集成处理架构是ETL结构，这是构建数据仓库的重要一环，即用户从数据源抽取出所需的数据，经过数据清洗，将数据加载到数据仓库中去。
而大数据背景下的架构体系是ELT结构，其根据上层的应用需求，随时从数据湖⑥中抽
⑥数据湖（DataLake）：
数据湖是以其自然格式存储的数据的系统或存储库，通常是对象blob或文
取想要的原始数据进行建模分析。
3.组织职能升级变迁
传统的管理制度体系中，数据管理职能主要由IT部门来负责，是IT部门的一项工作，业务部门配合IT部门执行数据管理，提出需求。
随着数据分析与业务融合越来越深入，业务部门逐步成为大数据应用的主角，因而数据资产管理在企业中扮演越来越重要的角色。
出现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官
（CDO，ChiefDataOfficer）岗位。
在这种变迁背景下，数据管理的组织架构也面临革新的需求。
4.管理手段自动智能
依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的
“专业工具”取代，越来越多的数据管理员、业务分析师和数据领导者采用“平台工具”增强企业的数据管理能力，包括梳理元数据、管理主数据，优化数据集成、提升数据质量等。
具体来说，机器学习和人工智能通过自动提取元数据，将不同的数据进行关联并分析；通过配置和优化主数据，使主数据的管理更加便捷和准确；通过语义分析实现相同数据源的连接，简化数据集成流程；通过增强数据的分析、清理
件。
数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。
数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。
来源：
维基百科
和识别，提升数据质量。
同时，随着智能优化技术不断引入到数据管理活动中，数据间的多维关系将被自动化识别和可视化展现，帮助用户高效探索数据和分析数据，降低数据使用门槛，有助于非专业人士成为数据科学家，扩大数据的使用对象和应用范围。
5.应用范围不断扩大
数据资产管理的使用不仅仅局限于拥有海量数据或强大数据处理能力的机构，任何一个机构都可以成为数据资产化管理的实践者。
选择一个小型且效果明显的项目实施数据资产管理，也可以成为逐步构建完整数据资产管理体系的良好开端。
此外，数据资产的应用范围已经从传统的企业内部应用为主发展为支撑内部和服务外部并重，数据资产应用和服务范围的扩大成为企业战略发展的一部分，实现数据资产保值到增值的跨越。
二、数据资产管理的主要内容
数据资产管理框架如图3所示，包含8个管理职能和5个保障措施。
管理职能是指落实数据资产管理的一系列具体行为，保障措施是为了支持管理职能实现的一些辅助的组织架构和制度体系。
本章主要描述具体的管理职能和保障措施的详细内容。
图3数据资产管理体系架构
（一）管理职能
数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等8个方面，详细阐述如下。
1.数据标准管理
数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束，通常可分为基础类数据标准和指标类数据标准。
基础类数据标准一般包括参考数据和主数据标准、逻辑数据模型
标准、物理数据模型标准、元数据标准、公共代码和编码标准等。
指
标类数据标准一般分为基础指标标准和计算指标（又称组合指标）标准。
基础指标一般不含维度信息，且具有特定业务和经济含义，计算指标通常由两个以上基础指标计算得出。
数据标准一般包含3个要素：
标准分类、标准信息项（标准内容）和相关公共代码和编码（如国标、行标等）。
其中标准分类指按照不同的特点或性质区分数据概念；信息项是对标准对象的特点、性质等的描述集合；公共代码指某一标准所涉及对象属性的编码。
数据标准管理是指数据标准的制定和实施的一系列活动，关键活动包括：
●理解数据标准化需求；
●构建数据标准体系和规范；
●规划制定数据标准化的实施路线和方案；
●制定数据标准管理办法和实施流程要求；
●建设数据标准管理工具，推动数据标准的执行落地；
●评估数据标准化工作的开展情况。
数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效性、一致性、规范性，推动数据的共享开放，构建统一的数据资产地图，为数据资产管理活动提供参考依据。
2.数据模型管理
数据模型是现实世界数据特征的抽象，用于描述一组数据的概念
和定义。
数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。
数据模型所描述的内容有三部分：
数据结构、数据操作（其中ER图数据模型中无数据操作）和数据约束，形成数据结构的基本蓝图，也是企业数据资产的战略地图。
数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型三种类型。
概念模型：
是一种面向用户、面向客观世界的模型，主要用来描述现实世界的概念化结构，与具体的数据库管理系统（DBMS，DatabaseManagementSystem）无关；
逻辑模型：
是一种以概念模型的框架为基础，根据业务条线、业务事项、业务流程、业务场景的需要，设计的面向业务实现的数据模型。
逻辑模型可用于指导在不同的DBMS系统中实现。
逻辑数据模型包括网状数据模型、层次数据模型等；
物理模型：
是一种面向计算机物理表示的模型，描述了数据在储存介质上的组织结构。
物理模型的设计应基于逻辑模型的成果，以
升级会员 