企业数据架构规划和治理浅析.docx

企业数据架构规划和治理浅析.docx

《企业数据架构规划和治理浅析.docx》由会员分享，可在线阅读，更多相关《企业数据架构规划和治理浅析.docx（9页珍藏版）》请在冰豆网上搜索。

企业数据架构规划和治理浅析

企业数据架构规划和治理浅析

作者：

朱焕亮张佩民

来源：

《中国信息化》2016年第08期

        一、数据架构的定义

        在阐述数据架构的定义之前，先明确复杂组织体的概念。

        TOGAF将“复杂组织体”定义为具有一系列共同目标的组织集合。

一个复杂组织体可能是政府机构或者整个公司，当今的扩展型复杂组织体往往还包括合作伙伴、供应商和客户等。

复杂组织体架构是根据复杂组织体战略架构，站在全业务视角的信息化的总体设计，属于顶层设计。

        复杂组织体架构包括四个架构域：

业务架构、数据架构、应用架构和技术架构。

        业务架构定义业务策略、治理、组织和关键业务流程。

        数据架构是对复杂组织体的主要数据类型及来源、逻辑数据资产、物理数据资产以及数据管理资源的结构及交互的描述。

        应用架构提供包含待部署的独立应用、应用之间交互及其与组织的核心业务流程间的关系的蓝图。

        技术架构描述支持业务、数据和应用服务部署所需的逻辑的软件与硬件能力。

这包括IT基础设施、中间件、网络、通信、处理和标准等。

        数据架构规划是企业对数据架构比较全面长远的发展计划，是对未来整体性、长期性、基本性问题的思考和考量，也是设计数据相关活动的方案。

数据架构规划的目标是为了实现企业数据的规范化、一致性、准确性和完整性，并在此基础上，充分挖掘数据的价值，有效支持企业的数据管理和经营决策分析。

        数据架构治理是开展数据架构规划必需的原则、规范、规则和决策程序等，具体体现为数据标准规范、数据治理组织、管控流程和技术工具等。

        二、数据架构规划和治理的现状

        中国企业信息化经历了三十多年的快速发展，这三十年的发展，积累了很多的经验，也产生了很多的教训。

随着信息化建设的快速发展，很多企业都面临着越来越多的数据方面的问题。

这些问题包括：

        缺乏全业务视角的数据总体设计。

很多所谓的信息系统实际上是一些互不关联的数据结构和程序的堆砌，尽管企业信息系统繁多，但数据被分散在众多应用系统之间，信息孤岛林立，核心业务覆盖不完整；数据集成共享困难，数据核对、清理、映射工作量巨大，集成成本高。

        缺乏统一的数据标准。

企业内数据入口众多，数据标准、规则不一致，关键基础数据被多头管理，数据分散混乱质量差，数据过时和数据缺失的情况普遍存在。

严重影响了业务报表、统计、分析的准确性，使宝贵的数据资源无法得到高效利用。

        缺乏有效的数据治理机制。

很多企业还没有建立完整的数据规范、管控流程和技术工具来确保数据的有效性、一致性、准确性。

治理的缺失加重了管理的混乱，影响了信息系统的扩充能力，也无法快速满足业务发展的要求。

        综上所述，对很多企业来说，低质量的数据资产已经成为信息化与业务深度融合过程中的关键制约因素。

        三、数据架构内容模型

        数据架构规划是全局性、基础性构想，因此它对于统一企业核心业务概念，规范数据模型，在数据层面达成统一认知能够起到重要的作用，这将为充分利用和挖掘数据价值打牢基础。

数据架构能够指导企业进行数据存储、访问、整合和分析；其内容需要包含数据的静态架构，如数据模型、数据、DBMS及其相关软件、硬件和网络基础设施等，又包含数据的动态架构，如数据整理、清洗、转换和传输，数据集成，信息访问服务等。

因此数据架构的内容要包含数据定义、数据管理、数据使用、数据治理四个方面。

数据架构内容模型如图1所示。

        数据定义是数据架构中的基础内容，描述了业务对象及其关系、模型、特性、约束、分析规则等；

        数据管理描述了数据架构规划中对于数据管理、数据维护方面的内容；

        数据使用包含数据在企业范围内、外使用的情况，对于大多数应用系统来说，它们一方面是数据服务的提供者，一方面又是数据服务的使用者；

        数据治理包括为了规范数据标准、提高数据质量和保证数据安全而建立的标准、规范、流程、工具和评价考核体系等。

        四、数据架构规划的方法和原则

        数据架构规划工作方法包括：

参考数据架构的原则，在深入分析数据架构现状的基础上，结合企业需求，借鉴行业先进实践，根据企业的实际情况裁剪数据架构内容模型、配置数据治理机制，进行目标数据架构的规划。

如图2所示。

        数据架构规划过程的本质是设计过程，设计存在根据具体场景进行调整、适应和妥协的情况；在数据架构规划过程中进行适应、妥协时，需要依据数据架构原则决策。

因此企业在开展数据架构规划时，应该制定适合企业实际情况的数据架构原则，例如：

（一）灵活性原则：

数据架构要充分考虑灵活性，满足企业内不同的业务需求，并适应业务的变更；

（二）高效性原则：

保证数据校验、加载、迁移、加工的高效性，支持数据服务的快速生成；

        （三）可扩展性原则：

数据架构需要考虑未来的可扩展性，减少需求变更对数据架构的冲击。

        五、数据架构规划和治理的步骤

        数据架构规划主要依据数据架构规划工作方法展开，可以分为数据需求要点收集、数据架构现状分析、数据架构内容模型裁剪、目标数据架构规划四部分。

其中数据需求要点收集、数据架构内容模型裁剪与具体的架构愿景有关，不再详述；主要阐述数据架构现状分析和目标数据架构规划的方法。

（一）数据架构现状分析

        在进行目标数据架构规划之前，深入进行现状分析是非常重要的，通过现状分析可以摸清企业数据架构和数据资源“家底”，发现存在的问题，并籍此明确未来的改进方向。

        数据架构现状分析可以通过现状调研、资料分析、业务访谈、同行比较等途径实现。

现状分析结合数据架构内容模型，以发现问题、理解问题、分析问题为主。

数据架构现状分析的问题和数据架构改进方向，将成为未来数据架构规划的重要依据和输入。

        数据架构现状分析建议包括的内容如表1所示。

        通过上述的数据架构现状梳理，可以掌握比较全面的企业数据架构问题，为进一步的改进和优化做好准备。

（二）目标数据架构规划

        目标数据架构是企业未来的数据架构蓝图，是企业信息化改造的方向；目标数据架构将帮助企业获得更优质的数据资源，并从数据资源中挖掘更大的商业价值。

目标数据架构规划的要点在于：

        1.遵照企业业务战略，统一进行数据架构规划，建立企业范围内共同遵守、执行的标准和规范；

        2.结合数据架构内容模型，以及现有数据架构存在的问题，制定改进的方向，在目标数据架构规划中予以优化；

        3.建立数据架构治理机制，落实监管，提升数据架构各个层次的管控及协作能力，使优化不断持续进行；

        这里需要反复强调的是，一定要统一进行数据架构规划，进行全业务视角的总体设计，而不是从单独的项目或业务局部出发；另外，数据架构规划是个持续的过程，应该伴随着企业的发展、及企业对数据的要求持续演进。

        由于企业内的数据纷繁复杂，种类繁多；不同的企业面向不同的业务领域，数据特征差别很大，企业在进行数据架构规划时，往往会感觉千头万绪，问题众多，无从下手。

因此找准合适的切入点，明确着力点，逐步理顺和规划显得尤为重要。

        通过分析电信、银行的一些数据架构规划案例可以看出，数据架构规划可以按照不同的数据分类、不同的数据架构目标分阶段、分步骤，循序渐进的展开。

一般来说，可以把数据架构规划过程分为这样几个阶段：

        1.数据资源规划阶段：

配合业务架构过程，结合数据架构内容模型进行初步梳理，结合企业发展战略和未来需求，拟定数据架构优化设计，指导未来IT建设。

        2.规范主数据管理阶段：

在数据资源规划的成果基础上，聚焦于标准化企业主数据，统一规划、平滑过渡、分步实施，建立企业主数据标准，实现主数据的一致性、完整性、相关性和精确性。

主数据管理可以增强IT结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的扩展和变化。

        3.数据集成或信息集成阶段：

在企业主数据已经标准化的基础上，对企业信息系统不断的、持续的进行改造和优化，使信息系统从功能、粒度、响应速度等方面、更符合业务架构快速发展的要求；信息系统的物理模型进一步规范，符合企业级模型的要求；并通过数据集成和信息集成的规范、方法和工具，解决企业内的信息孤岛现象，使相关的多元信息有机融合并优化使用。

集成的核心是以数据资源作为大系统，在规范的指导下，采取技术手段进行整合，实现资源共享。

        4.商业智能阶段：

在数据资源整合的基础上，充分利用数据的核心资产价值，应用数据仓库、数据挖掘和分析、数据可视化分析、大数据等技术，发挥信息化对业务的引领作用，增强企业的竞争力和领导层的决策能力，为客户提供个性化服务。

        由于数据架构规划一般要伴随业务架构规划展开；并且是在企业信息化发展的特定阶段和合适的时机，才能释放巨大的效力，所以根据企业的实际情况，选择具体的阶段和步骤，有侧重点的开展工作，能够取得较好的效果。

（1）数据资源规划阶段

        数据资源规划适合于具有以下特点的企业：

        已经拥有大量的信息系统，却从来没有全面、有效梳理、规划过企业的业务架构和数据架构；

        历史上有关信息化的企业决策主要受软件供应商的营销能力影响；

        企业仍在持续快速发展，但IT无法与业务取得一致，IT成为企业战略落地的阻碍。

        对于这一类的企业，在开展数据架构规划时，应首先侧重于梳理企业的数据资源，了解基本面。

通过数据资源规划，在摸清核心业务数据现状、数据模型及数据分布情况的基础上，结合当前的业务需求和未来的业务需求，重新定义符合企业发展战略的数据模型，规划数据分布，定义数据标准，建设数据治理和数据管理组织，“盘活”数据资产。

        数据资源规划阶段的输出物包括以下内容，如表2所示。

（2）规范主数据管理阶段

        规范主数据管理适用于具有以下特点的企业：

        已经进行过数据资源规划的全面梳理；

        企业应用架构已经能够按照外部交互层、分析决策层、管理支持层、业务运营层、内部协作层五个层次进行基本的划分，业务系统虽然有能力重叠或覆盖不全的问题，但基本上有着比较清晰的功能定位和特定的使用者。

        主数据管理使企业能够集中管理主数据，在分散的系统间保证公共基础数据的一致性、准确性和完整性；增强快速部署新应用、扩展业务需求的能力，改善系统的业务敏捷性。

主数据管理的任务就是从企业的业务数据中分离、整合公共基础数据，集中统一进行主数据的清洗和整合，并且以服务的方式把统一的、完整的、准确的、具有权威性的共享数据分发给企业范围内需要使用这些数据的交易型系统和分析型系统。

        规范主数据管理阶段的主要步骤包括：

建立主数据管理标准、主数据质量标准、建立主数据管理组织、标准化主数据工作流程、构建主数据管理系统及相关工具等。

        （3）数据集成或信息集成阶段

        对于进入到数据集成或信息集成阶段的企业来说，公共基础数据已经在企业范围内实现了标准化和一致性，伴随着信息化系统的不断改造和完善，IT技术创新与企业业务创新相融合。

在这种情况下，以数据资源作为大系统，在规范的指导下，采取技术手段进行整合，实现资源共享，将会释放数据作为企业核心资源的价值。

        这一阶段的主要步骤包括：

建立企业范围内的数据集成规范和标准、构建数据集成平台或信息集成平台等。

        （4）商业智能阶段

        商业智能帮助数据使用者把数据转换成具有商业价值的、可以快速获取的信息和知识；并以适当的形式和时机，传递给数据使用者。

从技术的角度来说，商业智能是综合利用大数据、数据仓库、数据分析和挖掘等技术，以抽取、转换、查询、运算、分析和预测为主要方法，帮助企业完成决策分析的解决方案。

        影响商业智能项目成功的因素很多，但分析一些失败的商业智能项目案例，可以发现失败的商业智能项目具有这样一些特点：

        数据挖掘和分析所需的大量的数据来自不同的业务系统；而不同业务系统之间业务对象概念不统一，含义不一致，造成数据混乱、质量低下，影响数据分析的准确性；

        基础数据不规范、不统一、不完整，造成数据抽取和集成困难；

        企业应用的数据集成能力薄弱，商业智能项目中的大量时间和资金用于解决最基础的数据集成问题；

        从以上造成商业智能项目失败的原因可以看出，要想让数据资源产生价值，完成高质量的数据资源规划梳理、建设主数据管理规范和数据集成机制仍然是非常基本、非常重要的必修课；数据架构规划过程需要一步一个脚印的扎实推进。

        六、结语

        对于企业而言，真实的数据架构也许从来都不是完美的。

数据架构规划内容模型和数据架构规划工作方法，提供了一致的模型和方法来帮助企业聚焦数据架构关注点、定位数据架构中存在的各种问题，进而改进或优化数据架构。

为了避免风险和重复投资，企业信息化发展到一定的阶段，尤其是大型企业，对IT建设进行长期和短期规划是必要的。

数据架构规划内容模型和数据架构工作方法可以为企业数据架构的规划提供方向性指导；另外，在数据架构规划过程中，企业应根据自身的实际情况，分阶段、有侧重点的踏实推进。