深入浅出数据治理培训教材精编版.docx
《深入浅出数据治理培训教材精编版.docx》由会员分享，可在线阅读，更多相关《深入浅出数据治理培训教材精编版.docx（55页珍藏版）》请在冰豆网上搜索。
深入浅出数据治理培训教材精编版
深入浅出数据治理培训教材[精编版]
深入浅出数据治理
关于数据治理的理解
数据管理的现状
根据行业信息化发展的现状，结合当今行业数据治理的要求，大型集团或政务管理部门现阶段数据管理方面存在以下的不足：
（1）数据多头管理，缺少专门对数据管理进行监督和控制的组织。
信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。
组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实。
组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。
（2）多系统分散建设，没有规范统一的省级数据标准和数据模型。
组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。
（3）缺少统一的主数据，组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中，或者不是通过统一的业务管理流程在系统间维护。
缺乏对集团公司或政务单位主数据的管理，就无法保障主数据在整个业务范围内保持一致、完整和可控，导致业务数据正确性无法得到保障。
（4）缺乏统一的集团型数据质量管理流程体系。
当前现状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的数据质量管控规范与标准，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在人为干预问题，很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和系统支撑能力。
（5）数据全生命周期管理不完整。
目前，大型集团或政务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工具支撑数据生命周期状态的查询，未有效利用元数据管理。
数据治理的概述
2.1数据治理概念
数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。
数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。
2.2数据治理目标
数据治理的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升集团公司或政务单位信息化水平，充分发挥信息化作用。
数据治理体系
数据治理体系包含两个方面，一是数据质量核心领域，二是数据质量保障机制。
具体两者内容及相互关系可以参见下图：
数据治理核心领域
为了有效管理信息资源，必须构集团级数据治理体系。
数据治理体系包含数据治理组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合，又相互支撑。
4.1数据模型
数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据治理的关键、重点。
理想的数据模型应该具有非冗余、稳定、一致、易用等特征。
逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。
数据模型必须在设计过程中保持统一的业务定义。
为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。
同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性
4.2数据生命周期
一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。
（1）数据生成及传输
数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。
对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。
数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。
（2）数据存储
这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘库进行存储。
对于存储备份的数据要定期进行测试，确保其可访问其数据完整。
数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。
同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。
（3）数据处理和应用
信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。
但是实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。
（4）数据销毁
这个阶段主要涉及数据的保密性。
应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。
尤其是对于需要送出外部修理的存储设备，送修之前应该对数据进行可靠的销毁。
4.3数据标准
数据标准是集团单位建立的一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。
数据标准的建立是集团单位信息化、数字化建设的一项重要工作，行业的各类数据必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。
数据治理对标准的需求可以划分为两类，即基础性标准和应用性标准。
前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；后者是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。
（1）数据分类与编码
数据分类与编码标准是信息化建设中标准化的一项基础工作，该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则，目的是在不同系统和用户之间建立交通数据的一致参照，对提高数据采集、处理和数据交换效率具有重要作用。
数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。
（2）数据字典
针对实际需求，定义数据集，建立各个领域的数据字典，规范数据概念和数据定义。
在此基础上，形成完备的集团单位数据集和数据字典。
（3）元数据标准
元数据标准是描述数据资源的具体对象时所有规则的集合，它包括了完整描述一个具体数据对象时所需要的数据项集合。
针对各种信息资源分别制定适当的元数据标准，可为信息的管理、发现和获取提供一种实际而简便的方法，从而提高数据交换效率。
（4）数据交换标准
为了保证数据共享和交换的顺利实现，必须明确定义和规范数据交换的相关标准。
数据交换的标准规范是集团单位综合信息平台的核心标准。
其中应当包括数据交换内容、数据交换格式、数据传输方式、各类中心间数据接口的标准化等方面。
（5）数据质量标准
由于数据采集任务通常由其他二级平台完成，数据治理平台的标准方法主要集中在数据的加工和管理上。
应该重点开发的一个领域是数据质量控制方法。
应当从三个方面对数据质量方法进行研究：
“坏数据”或“不可靠数据”的识别，错误数据的编辑方法，以及缺少值的处理。
4.4主数据
主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给集团单位范围内需要使用这些数据的操作型应用系统和分析型应用系统。
主数据管理的信息流应为：
1）某个业务系统触发对主数据的改动；
2）主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系统
3）主数据管理系统为决策支持和数据仓库系统提供准确的数据源。
因此对于主数据管理要考虑运用主数据管理系统实现，主数据管理系统的建设，要从建设初期就考虑整体的平台框架和技术实现。
4.5数据质量
数据质量不高将影响数据仓库应用程度不高。
低下的数据质量往往造成开发出来的系统与用户的预期大相径庭，数据质量关系建设有关分析型信息系统成败，同时数据资源是集团单位的战略资源，合理有效的使用正确的数据能指导集团单位做出正确的决策，提高省综合竞争力。
不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。
数据质量管理包含对数据的绝对质量管理、过程质量管理。
绝对质量即数据的真实性、完备性、自治性是数据本身应具有的属性。
过程质量即使用质量、存储质量和传输质量，数据的使用质量是指数据被正确的使用。
再正确的数据，如果被错误的使用，就不可能得出正确的结论。
数据的存贮质量指数据被安全的存贮在适当的介质上。
所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。
数据的传输质量是指数据在传输过程中的效率和正确性。
高质量的交通运输行业数据至少有如下几项要求：
一是正确性，在转换、分析、存储、传输、应用流程中不存在错误；
二是完整性，数据库应用或要求的所有记录、字段都存在；
三是一致性，体现在整个数据库的定义和维护方面，确保数据在使用的整个过程中是一致的；
四是时效性，衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内，即指定的更新频度内，及时被刷新的数据的百分比；
五是可靠性，提供数据的数据源必须能够可靠稳定地提供数据。
数据质量管理的规划和实施包括以下内容：
一是数据质量管控体系的建立，包括数据质量的评估体系，定期评估数据质量状况；
二是在部门各个应用系统中的落实，包括每个应用系统中的数据质量检查等；
三是在最开始建立数据质量管理系统的时候，借助数据治理平台上，通过建立数据质量管理的规则来集中化地建立数据质量管理系统，发现问题并持续改进；
四是数据质量管理与业务稽核的结合，通过业务规则的稽核来发现数据质量深层次的问题，将数据质量与业务一线结合起来，使业务人员对数据质量问题有更加清晰和明确的认识。
完善的数据质量管理是保障各项数据治理工作能够得到有效落实，达到数据准确、完整的目标，并能够提供有效的增值服务的重要基础。
4.6数据服务
数据整理最终目的就是要服务于各部门单位、人员等，能更准确更快更方便的服务是数据服务管理的目标。
数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程优化业务流程。
数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。
通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。
通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。
4.7数据安全
由于集团单位的重要且敏感信息大部分集中在应用系统中，数据安全更是至关重要。
如何保障数据不被泄露和非法访问，是非常关键的问题。
数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。
数据安全管理主要体现在以下六个方面：
一是数据使用的安全性，包括基础数据的保存、访问和权限管理；
二是数据隐私问题，系统中采集的证件号码、银行账号等信息在下游分析系统和内部管理系统中，是否要进行加密，以避免数据被非法访问；
三是访问权限统一管理，包括单点登录问题及用户名、数据和应用的访问授权统一管理；
四是数据安全审计，为数据修改、使用等环节设置审计方法，事后进行审计和责任追究；
五是制度及流程建立，逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等；
六是应用系统权限的访问控制，建立集团级权限管理系统，增加数字水印等技术在应用系统中的使用
。
数据治理保障机制
5.1制度章程
5.1.1规章制度
数据治理章程类似于企业的公司条例。
该章程阐明数据治理的主要目标、相关工作人员、职责、决策权利和度量标准。
具体可参见附件数据管理规范
5.1.2管控办法
管控办法是基于规章制度与工具的结合，可落地的操作的办法。
具体可参见附件数据质量评估办法
5.1.3考核机制
考核是是保障制度落实的根本，建立明确的考核制度，实际操作中可根据集团单位情况，建立相应的针对数据治理方面的考核办法，并与个人绩效相关联。
可参考管理学中相关考核、绩效管理相关部分。
对于数据治理的考核，可见下图进行理解：
5.2数据治理组织
5.2.1组织架构
有效的组织机构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织机构及其责任分工做出规划是非常必要的，数据治理项目管理组织建议宜采用如图所示的组织结构：
5.2.2组织层次
数据治理委员会由集团公司的高层领导者组成。
委员会定义数据治理愿景和目标；组织内跨业务部门和IT部门进行协调；设置数据治理计划的总体方向；在发生策略分歧时进行协调。
此委员会也将包含来自部门或子公司的领导代表，以及来自各单位视数据为机构资产的信息科技部门的代表。
这些高层管理人员是数据治理计划的所有拥护者，确保在整个组织内获得支持。
数据治理工作组是组织内委员会下面的下一个级别。
工作组执行数据治理计划。
工作组负责监督数据管理员工作。
数据治理工作组由数据治理委员会中各局领导主持。
每各业务部门有至少一位业务分析员，信息科技部门设置数据质量分析员、数据管理员、集成开发人员。
各工作人员负责本部门数据的质量，履行职责，解决具体的问题。
5.2.3组织职责
根据数据管理工作的实际需要，在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。
数据治理委员会的职责范围：
1）从战略角度来统筹和规划，对数据资产和系统进行清理，确定数据治理的范围；明确数据源的出处、使用和管理的流程及职责；
2）明确数据治理的组织、功能、角色和职责；
3）负责各工作组成员的培训工作；
4）负责审查各工作小组的目标、原则，批准数据管理的相关制度、标准及流程；
5）负责确定数据治理的工具、技术和平台；
6）负责制定数据治理的评估指标、方法。
数据治理工作小组，其主要工作职责是：
负责数据治理的牵头，组织、指导和协调本单位的数据治理工作；
综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等；
负责数据的分析整理并出具数据指标报告；
负责数据的监测预测工作；
建立数据冲突的处理流程和数据变更控制流程。
负责对基础数据质量的检测、发布、考核和清理完善工作。
工作组成员：
业务分析员、数据质量分析员、数据管理员、集成开发员
这些不同的角色在数据治理过程中承担着彼此不同，而又相辅相成的职责。
其中集成开发人员在数据治理流程中需要肩负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色，因此他们的工作包括：
Ø访问及交付相应数据给业务用户
Ø提高生产力和性能
Ø最大化减少异常/出错的影响
Ø开发和完善技术最佳实践
数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等。
工作包括：
Ø为开发人员定义数据规格及标准
Ø为机构有效的追踪数据质量问题
Ø实施被业务人员和数据管理员定义正确的数据质量规则
Ø不间断的监控数据质量水平及问题
业务分析人员在数据治理流程中负责定义数据的转换规则，工作包括：
Ø与需求开发人员协作，正确捕获和解析业务需求
Ø与开发人员和数据管理员协作，为业务用户缩短数据产生价值的时间
数据管理员需要定义引证数据，并管理元数据，工作包括：
Ø保证数据的质量、正确、完整、一致、审计及安全性
Ø定义引证/参考数据
Ø为组织机构数据实体给出正确业务定义
Ø为组织机构解决混淆和有争论的数据定义
5.3流程管理
流程管理包括流程目标、流程任务、流程分级，根据数据治理的内容，建立相应流程，且遵循本单位数据治理的规则制度。
实际操作中可结合所使用的数据治理工具，与数据治理工具供应商进行协商，建立符合集团公司的流程管理。
5.4IT技术应用
5.4.1支撑平台
现市场上关于数据治理平台存在不同的成熟产品，但在功能实现上大致相同，具体可参加下图了解。
5.4.2技术规范
技术规范是保障数据治理平台可持续管理的基础，随着数据量的增长、技术水平的发展，为更好、可持续的实现数据资产的管理、应用，需建立明确的技术规范。
附件A数据管理规范
为逐步提高数据资源利用效果，推动信息化建设管理向标准化、信息化和数字化方向发展，数据管理应遵循以下原则：
（1）统一规范。
数据标准要严格执行省交通运输厅的统一标准。
（2）分级管理。
实行分层级的数据管理模式，明确职责分工，层层落实责任。
（3）过程控制。
建立数据从采集、报送、审核到应用、维护全过程的控制规范，保证数据质量，提高应用效果。
（4）保障安全。
建立数据访问的身份验证、权限管理及定期备份等安全制度，规范操作，做好病毒预防、入侵检测和数据保密工作。
（5）数据共享。
整合应用系统，做到入口唯一，实现数据一次采集，集中存储，共享使用。
数据管理的规范工作包括：
数据标准、数据采集、数据审核、数据维护、数据分析、数据应用、数据发布、数据传输、数据存储（备份、恢复）、数据安全管理、数据质量监控、数据管理考核等。
（一）数据标准
第一条安徽省交通运输行业数据必须按国家交通部制定的数据标准和代码规范执行。
国家交通部标准中未包括的内容执行安徽省交通运输厅的统一规范。
第二条在数据采集工作中，各级应严格依据省局制定的标准进行数据的采集录入、审核修正、数据质量监控和管理考核，确保数据质量。
第三条数据指标的设定和修改必须严格执行软件的管理规定和程序。
凡使用省局统一软件的，市局对有关数据指标无权制定和修改，必须执行全省统一规范。
使用非省局统一软件的，市局业务管理部门应根据工作需要和所管软件的需求变化，及时提出设定（修改）数据指标的具体内容、质量标准和时间要求，并明确数据录入部门、录入岗位和录入时限，报分管领导批准后提交安徽省交通运输联网运行管理中心。
安徽省交通运输联网运行管理中心应根据业务管理部门的需求，及时制定（修改）数据采集的技术规范，包括数据采集格式、权限设定和方法步骤等，并按时向业务管理部门通报所采集数据的指标内容变化情况，以便业务部门根据采集到的指标提出数据加工需求。
第四条数据指标的确定应以有效实用和优化服务为目标，不断提高数据集中度和信息共享度，科学归并各项业务的同类、同属性指标，避免业务部门重复上报数据。
（二）数据采集
第一条数据采集重点是原始数据的采集，原始数据主要包括业务部门通过纸质资料报送的数据，通过电子传输报送的数据（含电磁介质报送的数据和网络传输报送的数据，下同）；相关部门通过纸质、电子传输提供的数据；管理业务处理结果（检查、调查、核实、认定、审批等）产生的数据。
第二条数据采集主要依靠应用系统进行录入（导入），现用应用系统不能满足数据采集需要的，通过相关系统的补录模块进行数据录入（导入）。
第三条数据采集方式分为手工采集、数据电文导入和光学字符识别（OCR）、图形扫描等其他方式。
为保障数据采集的质量，提高数据采集的效率，应充分应用信息化技术，最大限度地减少手工录入。
第四条为提高数据录入质量，各市交通部门有关单位要认真执行资料数据的核对制度，严格以原始资料为依据，确保录入数据的一致性和准确性。
数据采集录入前，操作人员应先将准备录入的原始资料或有关表证单书进行完整性、逻辑性、真实性审核，发现漏填、错填和逻辑关系不符的，应于做出修正或补正；
第五条对通过电子传输方式报送数据的，数据必须通过接收软件相应设置的完整性、逻辑性审核。
第六条各级各单位应建立纸质数据和电子数据的核对制度，明确职责分工和工作程序，落实岗位责任，发现问题及时处理。
第七条对于交通部、省厅没有规定的数据采集标准规范，各局市交通部门及信息化责任部门应根据不同的数据采集岗位和软件覆盖面，细化工作职责，量化作业标准，结合业务操作规程，建立统一的数据采集录入操作规范和管理制度。
数据采集规范应包括数据来源、采集时间、操作岗位、操作步骤、操作内容和采集内容的逻辑校验等要素。
第八条各级数据采集人员应强化数据质量意识,熟练掌握正确的采集和审核方法，按照部门职责分工，严格按照相关操作规范采集各类数据。
第九条任何人不准擅自委托他人以本人用户名录入数据。
确因工作需要委托他人以自己名义录入的，必须报经主管领导批准，并及时更改口令。
第十条安徽省交通运输联网运行管理中心应简化、归并各级地单位报送的报表，统一采集，集中处理，自动生成，分别使用，提高工作效率和质量，减轻各级单位的工作量。
（三）数据审核
第一条数据审核是确保数据质量的重要环节。
审核的重点是数据的及时性、完整性、真实性、准确性和规范性。
（1）及时性是指数据要在规定的时间内采集，确保应用系统数据与实际交通信息业务同步；
（2）完整性是指数据采集应按照有关规定及相应表、证、单、书采集的要求进行，不得缺表或漏项，杜绝数据的机外操作和循环；
（3）真实性是指数据采集要如实反映交通行业管理实际，以合法、真实的原始资料为依据，不得随意捏造;
（4）准确性是指数据采集应准确反映交通行业管理实际，与纸质资料数据一致，数据之间逻辑相符，不得出现运算错误或逻辑错误；
（5）规范性是指数据采集应按照统一的业务标准及技术规范进行。
第二条各市交通部门及相关岗位人员按照自身工作职责范围，负责相关数据的日常审核。
第三条为加强数据质量管理，省厅建立数据审核制度，数据管理员定期或不定期对已采集数据进行审核。
对审核中发现的数据质量问题应及时反馈至具体的原始数据采集岗，限期补录修正。
第四条各级可采取人工抽样、数据软件检测等方式进行数据审核。
对检索出不符合标准的数据，反馈至原数据采集岗进行补录修正。
在数据应用环节发现的数据采集差错，应通过相关业务管理部门的数据管理员进行审核确认，然后反馈至原数据采集岗进行变更修正。
第五条审核中发现的差错应及时通知相关部门。
第六条数据审核岗人员与数据采集岗人员对数据问题有异议的，由上级业务主管部门负责对争议事项做出裁定。
第七条 对各级数据审核发现的问题数据基层分局已无权限修正的，严格按照数据维护规定的程序开展修正工作，任何人不得擅自修改。
（四）数据维护
第一条数据维护包括对数据中错误数据的修正、不完整数据的补充、垃圾数据的清理及历史数据的迁移等。
第二条各市交通业务管理部门应结合各应用系统制定详细的数据维护工作制度，明确数据维护的权限、职责，严格按照工作制度进行数据维护。
已经进入应用系统的数据，不得擅自修改、删除。
第三条对错误数据的修正和不完整数据的补充，省厅统一按以下程序处理：
（1）对尚未录入应用系统或已录入尚保留修改权限的数据，需修改的，可由前台原数据采集岗根据审核意见纠正后重新录入（或直
升级会员 