OracleSOA主数据管理解决方案.docx

1、OracleSOA主数据管理解决方案Oracle技术解决方案1.概述1.1背景1.1.1南方电网“十一五”信息化现状 Oracle主数据管理方案南方电网的数据质量管理必须有一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。（1）数据标准管理数据标准包括各业务域的数据集标准、数据模型标准及信息分类编码标准。这些标准用于指导各业务系统建设与实施。在标准管理上，数据资源管理工具应能有效管控标准的变更与执行。尤其是“十二五”期间，如何管理网省两级、省级集中的业务系统的统一版本问题是关键。（2）主数据管理通过企业范围内的统一视图，即ECIM模型，实现主数据管理，促

2、进业务系统的数据集成与共享。主数据管理需要解决主数据的定义、标识、存储、汇集、清洗、监管与共享。主数据可以为业务系统或数据中心服务。（3）数据质量管理数据管理的最终的目标是为了提升系统数据质量。在主数据的清洗阶段，通过数据质量管理工作，对数据进行解析、标准化、匹配&去重、补充及验证建立可靠的数据。对于核心结构化数据在加载到数据中心时也进行相似的工作，提高决策支持水平。南方电网的主数据管理系统从 IT 建设的角度而言都会是一个相对复杂的系统，往往会和企业数据仓库 / 决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会涉及到 ETL、流程、SOA、企业服务总线等多个方面，一个典型的主数据

3、管理的信息流为：某个业务系统触发对企业主数据的改动；主数据管理系统将整合之后完整、准确的主数据分发给所有有关的应用系统；主数据管理系统为业务系统和决策支持以及数据仓库系统提供准确的数据源。因此对于南方电网数据质量管理的建设，必须从项目建设初期就考虑整体的平台框架和技术实现。Oracle主数据管理（Master Data Management，MDM）是当前业界最完整的是一种集成的、完整的企业主数据（企业业务运行和商务分析所依赖的关键性基础数据）管理平台，具有企业级主数据存储、主数据整合、主数据清洗、主数据监管以及主数据共享等五大功能，可全面连接企业数据内容（广泛使用和在部门间共享的数据）和实现

4、企业范围内的主数据统一、完整和一致。作为企业的真实数据来源，Oracle主数据管理(MDM)平台通过数据治理服务以及对周边应用系统的集成和对商务智能系统的支持，来统一管理企业内重要的基础数据信息，可以整合并维护企业范围的全面、准确且权威的主数据，并将这些主数据信息作为共享服务分发到所需的业务和分析系统。Oracle主数据管理解决方案具有以下特性：保证数据的唯一性和准确性：有效整理和集中分散在关键企业流程和应用软件中的数据片断，通过一系列匹配、整合和清洗规则使之形成单一真实数据源，并提供基于工作流的数据监管流程来实现持续的数据质量维护。最后将统一的数据资产作为Web服务提供给周边的业务系统，实现

5、企业范围的主数据协同； 有效降低数据管理成本：提供统一的资源库来集中管理企业重要的数据资产，并能将对这些数据资产的访问以服务的方式提供给周边应用系统，实时地提供访问主数据的WEB服务，包括匹配、申请全部信息以及申请所需信息等； 实现更好的报表：准确、有效的数据是准确、有效的报表的基础，Oracle MDM可以将清洗、排重、整理之后的准确数据提供给企业的商务分析系统，得到更加准确的决策支持； 提供企业系统架构灵活性和创新性的基础：维护持续的、唯一而准确的主数据资产，能够在不断变化的业务环境中增强IT弹性，满足爆炸式数据增长的需求。 Oracle主数据管理能支持以下六大功能：指定每个特定主数据域的

6、业务职责，例如，产品、客户、供应商和组织结构。严格履行职责可保证接入共享资源的系统始终保持高质量主数据。提取分散在各个应用系统中的主数据集中到主数据存储库,主数据存储库一般采用二维数据库存储主数据。根据企业业务规则和企业数据质量标准对收集到的主数据进行加工清理，从而形成符合企业需求的主数据。制定主数据变更的流程审批机制，从而保证主数据修改的一致性和稳定性。实现各个数据利用系统与主数据存储库的数据同步，从而保证每个系统使用的主数据相同。）随着IT系统的建设，主数据的修改动作必然从现有分散的各个系统转移到主数据存储库集中进行，因此必须保证当前主数据管理系统的灵活性，方便修改、监控、更新关联系统主数

7、据的变化。Oracle主数据管理在企业范围内主数据协同方面完善了一套端到端的模式可满足客户不同的实施需要，即“推动模式”和“拉动模式”，前者通过前端独立应用软件（包括Oracle应用系统、企业自主开发以及第三方软件）的主数据改动，经过Oracle 应用集成架构自动且快速地同步到Oracle MDM主数据平台，可实现企业范围内的全面数据整合，而后者则是由主数据平台主动对前端应用软件进行实时的访问，获取新增、更改和补充数据，并经过 Oracle 应用集成架构和内部数据规则实现标准化，从而最终在主数据平台实现唯一准确地共享数据。22.1Oracle主数据管理设计22.12.1.1Oracle主数据管

8、理总体架构设计Oracle主数据管理的主要功能可归结为以下六大功能：主数据存储主数据整合与连接主数据质量管理主数据管理监控主数据共享安全可靠的平台主数据存储一个具有无限可扩展性的内置、灵活（随时间变化）的开放数据模型可维护南方电网主数据和所有需要的属性（结构化和非结构化的）、相关实体、分类和关系；可跟踪主数据属性、审计跟踪信息和历史主数据剖析的来源主要用于存储整合后主数据，将各系统的需求信息概括形成一条完整的记录并进行存储供应，提供一个完整的数据模型。主数据的不同部分分布在不同的业务系统中，比如一个call center系统需要保存客户的所有联系信息，但是一个计费系统可能只需要保留客户的与计费

9、相关的信息，如何将客户信息形成一条完整的记录并进行存储供应，当然是需要概括所有这些系统的需求，提供一个完整的数据模型。 数据整合与连接领先的嵌入式数据质量管理工具及与第三方数据源的集成，用于验证和充实数据可保持数据最新的持续数据清理功能集快速安全的参数化搜索引擎，能识别和避免重复数据 智能合并和自动合并功能，消除数据重复，同时确保正确的数据属性排除利用与外部内容提供商的预建集成来充实主数据内容包括主数据生命周期管理工作流主数据分散在不同的业务系统中，要进行数据整合，第一步是实现这些异构系统的互联互通，然后通过一定的触发机制将各个系统针对主数据的修改同步到主数据存储库。但是在实施数据集成的过程中

10、，由于不同系统提供的数据内容、数据格式和数据质量千差万别，甚至会遇到数据格式不能转换或数据转换格式后丢失信息等问题，将会严重阻碍数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理是数据共享中心建设的一个关键难点。ETL是实现数据集成的主要技术。ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。(1)数据抽取：从源数据源系统抽取目的数据源系统需要的数据；(2)数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。(3)数据加载：将转换后的数据装载到目的数据源。ETL过程中

11、的主要环节就是数据抽取、数据转换和加工、数据装载。Oracle的主数据整合管理ETL基于ODI来实现，使用ODI设计和生成典型格式；利用已有的元数据格式设计MDM 应用 (实体, 字段, 关系)；生成和维护主数据结构；生成和部署转换。主数据质量管理为每个主数据实体创建通用ID并构建针对每个所连接记录/系统对的交叉引用一个数据导入工作台和用户界面，以帮助数据管理员管理源系统的映射和数据加载及主数据剖析使用预建、符合标准的业务服务和适配器实现集成使用可配置的属性“排除”规则，根据多个数据源创建单一的记录利用基础服务框架的数据联合功能 主数据维护着企业里该种类型数据的最值得信任的数据，所以使用质量管

12、理技术来保证这些数据的准确是主数据管理里非常重要的一环。 1. 数据清洗：数据清洗是对数据进行校验和标准化，比如地址邮编是否存在等等。2. 数据匹配：数据匹配是找出有可能重复的记录。比如MDM系统里有两个阈值是用于控制数据匹配的流程，第一个阈值是高分阈值，对于数据匹配分值高于高分阈值的记 录将会使用数据存活规则进行自动合并；第二个阈值是中分阈值，数据匹配得分在高分阈值和中分阈值之间的记录将会进入人工判断工作流，由管理员或者其他指定 的人决定合并还是作为新记录。低于中分阈值的记录都将会被作为新记录。数据存活规则（Survivorship rules）一般而言，企业里的主数据来源于企业里的各个系统

13、，当不同系统的同一个属性值有不同的值的时候，就需要决定哪一个系统的值是准确的。数据存活规则指定各种规则来决定新的数据进入到主数据库或者当新数据和旧有主数据冲突的时候的处理方法。数据存活规则主要有三种：Recent规则：当相同的数据进入主数据系统的时候，以后来的数据为准，后来数据替换原来的数据。比如contact（联系人）信息，缺省是以后来的更新为主。History规则：当相同的数据进入主数据系统的时候，以原来的数据为准，不接受后来数据的更新。Source规则: 当相同的数据进入主数据系统的时候，以数据来源系统的可信度为作为使用哪个数据最后存活的规则。比如当源系统有A，B，C三个系统的时候，我们

14、需要在主数 据管理系统里注册这三个系统的时候，同时给这些源系统评分，则当使用source规则的时候，则以后的数据将以评分高的系统为准。比如有三个系 统，CRM,财务，物流，对于客户信息而言，我们认为CRM系统里的客户信息应该是最准的，我们应该给于CRM系统较高的分值，则这个时候对于客户数据我 们将使用Source规则，则以后所有的CRM系统相应客户的更新会覆盖原来不是CRM系统的更新。3.数据质量管理流程数据质量的大致控制流程，即当记录进入主数据系统时，先会在主数据系统里寻找可能匹配的记录，如果结果认为是不匹配， 则将进入处理不匹配流程来增加一条新记录；如果是分值足够高，则进入自动匹配流程把该

15、记录和原有记录进行数据存活规则处理并合并记录；如果是分值不足够 高，则需要人工来决定该记录是新记录还是需要和原有记录合并。主数据管理监控最佳的工作流功能（例如针对南方电网主数据定义和审批路由的可配置工作流）响应整个主数据管理生命周期事件;oracle BPEL 规范制定自动化业务处理流程，支持用户自定义变更类型确保坚如磐石的安全性和法规遵守证明的完整历史和审计跟踪纳税人数据认证，支持机构创建数据质量标准，遵守这些标准并提升用户对数据的信心商务智能基础架构，支持剖析、法规遵守和业务绩效指标自动化、人工流程，提供良好的用户界面UI，多种通知方式自动化、人工的审核和批准，逐级审批易于多组织的协同工作

16、主数据发布和共享面向终端用户和数据管理员的直观GUI，管理主数据的整个生命周期从创建或导入主数据信息到清理、匹配、增强和发布。使用预建的流程使南方电网更轻松地管理主数据对所有集成模式实时（紧耦合和松耦合）、近实时（松耦合）和批量的严格的多模型支持 提供作为业务服务和Web服务的常用功能一个内部触发的机制，创建变更信息并向所有相连系统部署为所有的管理软件和分析系统提供主数据记录和所选属性在面向服务的架构(SOA)和/或消息传递总线上的运营管理软件和数据仓库双向交互通过Oracle应用集成架构 (AIA) 流程集成包 (PIP) 预建的集成与Oracle商务智能企业版 (OBI EE) 预建的集成

17、为了实现主数据共享，首先全网应该各个分散的业务系统连接起来，实现各个业务系统与主数据存储的互联互通，目前的南网主数据管理解决方案主要采用两种方式来实现：基于ETL工具的方式和基于SOA体系架构的方式。1.基于ODI的方式基于ODI这样的ETL工具设计的架构更适合全网业务系统中的非实时数据量大的主数据共享发布。如上图所示，采用基于ODI的ETL工具具有连接各种异构数据源和变化捕捉的能力，采用它来实现MDM中异构系统的数据触发、整合和发布应该是顺理成章的事情，当某个主数据的源发生变化时，ETL的CDC(变化数据捕捉)功能就会捕获到变化，进而将变化的数据传输到主数据管理系统的临时存储区，然后ETL工

18、具根据定义的数据转化规则对数据进行清洗转化，形成主数据，进而ETL调用审批监管流程，一旦获得审批，ETL即可将主数据同步到主数据存储系统，同时分发给各个订阅该主数据的业务系统。同时ODI可以支撑流程的设计、运行、监控，否则ETL工具必须可以调用其它的工作流引擎，ODI可以实现与SOA的无缝集成，既可以将数据或者转化封装为Web Service服务，也可以调用外部的Web Service服务。 2.基于SOA架构的方式：在该方案更适合实时的数据量小的主数据共享发布，采用OSB（企业服务总线）技术构建应用集成平台，采用web service方式实现在多个系统间应用集成和互联互通。应用集成平台是数据

19、采集、数据交换及服务提供能力的直接承载。数据的收集和分发采用各种应用和适配器实现，各种应用适配器一般提供变化数据的的轮询或者推送功能。监控管理可以采用SOA中的工作流引擎来实现，同时SOA中的流程监控系统可以对整个主数据的收集、转化、审批分发提供端到端的监控。采用SOA技术设计的主数据管理架构基于J2EE的开放架构，会非常灵活，同时便于和其它系统集成，系统的扩展性比较好，其问题在于如果主数据同步的量非常大，效率会有一定问题。安全可靠的平台基于标准的开放平台 多语言和多国家支持经验证的平台，全球各行业（包括公共部门）数千客户的选择面向混合的重工作负载Oracle拥有巨大数目的客户下关键数据访问的

20、高度可用和可伸缩的平台。安全特性包括全面且灵活的认证、全面的审计和监控以及所有架构级别的加密。Oracle已经获得了17项独立安全性评估的担保，确立了Oracle在该领域的领导地位。这些评估包括TCSEC、ITSEC、FIPS和各种通用标准评估。2.1.2主数据方案设计 主数据管理的核心是数据整合、数据管控和数据服务。在横跨这三个层次需要进行数据安全管理、质量管理和元数据管理。下面分别进行介绍：数据整合：数据整合就是将离散于各个业务系统中的数据进行集中化，统一整合集成至数据中心。数据整合将通过ETL工具实现数据的抽取、转换和加载等功能。数据管控：主要包含数据中心物理模型、逻辑模型的设计，数据的

21、维护管理以及存储管理等管控功能。数据服务管控：数据服务管控主要是对采集至数据中心的数据进行数据交换和管控，主要包括数据交换服务设计，数据总线交换共享，以及数据交换管理等功能。元数据管理：元数据管理是整个数据共享中心中基础信息的管理，包括ETL元数据、接口元数据、模型元数据和数据服务元数据等的管理功能。质量管理：在数据管理的不同阶段，数据管理对数据质量管理的侧重点也有所不同。数据质量管理的目标，逐步从单纯地提高数据准确性，延伸至保障数据的完整性、唯一性、合法性、一致性、及时性等属性；从单纯以技术角度考虑数据质量问题，发展至从用户视角衡量数据质量问题，提高用户对数据的满意度；建立数据质量监控机制，

22、及时发现、报告、处理数据共享中心中的数据质量问题。数据质量管理子系统是数据共享中心中数据质量管理体系的重要组成部分。安全管理：主要包括数据存储安全、数据管控安全和数据交换等安全管理。主数据方案设计原则主数据方案设计，遵循以下一般原则：每类业务数据实体的属性有且仅有一个所有者（Owner），零个或多个消费者（Consumer）；对数据的维护必须通过所有者进行，消费者对数据只有只读功能；如果消费者需要对数据进行维护，必须调用所有者数据维护服务；数据有且仅有一个主数据源（Master Location），主数据源可以是数据所有者的应用数据库（ADB）或者数据中心数据库。基于性能的考虑，消费者可以在A

23、DB保存数据的备份，由主数据源实时或定时发起数据同步；主数据源提供相应的数据存储和数据服务；主数据集成方案设计根据主数据源位置（Location）、数据冗余方式（Redundant）和数据维护的归属（Owner），一般的主数据集成方案分析如下表：方案123456主数据源数据中心数据中心数据中心数据中心ADBADBOwner 数据中心数据中心ADBADBADBADBConsumer是否有备份YNYNYN数据维护方式Owner读直接读Owner ADB中的数据备份同1调用数据中心数据访问服务调用数据中心数据访问服务直接读Owner ADB直接读Owner ADBOwner写Step 1、在一个交易

24、内写Owner ADB和数据中心；Step 2、通过数据中心启动对Consumer ADB的数据同步在一个交易内写Owner ADB和数据中心Step 1、调用数据中心数据维护服务；Step 2、通过数据中心启动对Consumer ADB的数据同步调用数据中心数据维护服务Step 1、写Owner ADB；Step 2、通过数据中心或主数据源启动对Consumer ADB的数据同步写Owner ADBConsumer读直接读Consumer ADB中的数据备份调用数据中心数据访问服务直接读Consumer ADB中的数据备份调用数据中心数据访问服务直接读Consumer ADB中的数据备份通过

25、数据中心的统一视图获取数据；Consumer写Option1：在一个交易内，Consumer调用Owner的数据维护服务，同时写Consumer ADB；Option2：集成Owner的数据维护界面，由数据中心启动同步Consumer ADBOption1：Consumer调用Owner的数据维护服务；Option2：集成Owner的数据维护界面同1同2同1同2下面就各个方案进行分析，对于方案1和方案2：这两种方案主要适用于尚无任何系统时，进行一体化系统建设，如应用于已有系统则改造量较大。同时，这两种方案均以数据中心做为主数据的维护中心。对于方案3、4和方案5、6：方案5、6较适合已有大量系统

26、的情况，带来的系统改造量最小。方案3、4适合在主数据维护职能不变的情况下将主数据在数据中心中进行集中，并提供给新建应用。主数据实施方案设计1、主数据创建抽取设计主数据创建抽取过程如下：其一、先对现有业务系统进行解耦，解决目前各业务系统间交叉访问，耦合度过高的问题。通过建设共享数据库，并将目前南方电网各系统交叉访问的共享数据通过数据复制机制同步或异步复制到共享数据库，然后再更改各业务系统现有的共享视图或物化视图定义，将共享访问数据源统一指向共享数据库。通过共享数据库的建设及数据复制机制的建立，可以将目前网状的交叉访问接口平滑过渡到基于共享数据库的星状接口，有效解决各系统依赖度过高的问题，同时也为

27、下一步各系统的升级改造打下基础。这里的数据复制产品可以考虑Oracle的GoldenGate实时复制产品，先将数据复制到共享数据库，完成“系统解耦”工作。其二、是进行数据共享协同平台的建设。在进行系统解耦时，我们会构建共享数据库，但该共享库仅仅是将当前分散到各业务系统的共享数据进行了集中，还缺乏统一的规划，因此还需要对共享库进行重新规划设计，同时也需要对共享协同平台和外部交换库进行规划设计。总体规划设计完成后，即可开始构建数据共享中心和业务协同平台，其中数据共享中心构建完成后，就可以逐步将各系统间原来基于视图和物化视图的数据共享访问调整为基于数据共享中心的访问模式。共享库规划生成主数据管理，可

28、以考虑Oracle Data Integrator产品，实现数据ETL的工作。2、主数据共享分发流程设计主数据创建生成后，就是对主数据进行有效管理和利用。同其他系统进行可以进行实时或半实时的同步从多个源系统建立统一、完整的记录，再将主数据信息同步到其他系统中。通过内嵌的集成服务同其他系统进行集成，例如丰富的公共API和业务事件。通过不断的数据清理和转换规则来确保同步数据的质量。主数据管理功能设计主数据的管理功能基本与内部交换数据、外部交换数据相似。2.1.3交换数据方案设计内部数据、外部数据在数据交换上的业务功能和逻辑，以及技术实现都是相似的，可以采用相同的数据交换方案框架。数据交换方案框架涵

29、盖了数据交换，质量清洗，数据管控和数据使用，解决了如何在核心数据上实现统一的存储，维护和使用的问题。数据集成：数据集成就是将离散于各个业务系统中的数据进行集中化，统一整合集成至数据共享中心。数据集成需要对南方电网内部系统以及外部系统进行数据集成。对于不同的数据集成场景，有不同的数据集成实现模式，比如有基于Oracle ODI的“拉”数据集成模式和基于ESB总线的“推”数据集成模式等。质量管理：在数据管理的不同阶段，数据管理对数据质量管理的侧重点也有所不同。数据质量管理的目标，逐步从单纯地提高数据准确性，延伸至保障数据的完整性、唯一性、合法性、一致性、及时性等属性；从单纯以技术角度考虑数据质量问

30、题，发展至从用户视角衡量数据质量问题，提高用户对数据的满意度；建立数据质量监控机制，及时发现、报告、处理数据共享中心中的数据质量问题。数据质量管理子系统是数据共享中心中数据质量管理体系的重要组成部分。图：数据质量管理数据管控：数据管控不是纯粹的技术问题，而是由技术、人、信息和流程4个方面共同影响的综合管理问题。数据管控的演进思路划分为4个步骤：提出管理需求、制定管理流程框架、细化具体管理流程、与组织机构具体角色进行对应。数据使用：存在于数据共享中心中的数据主要有两大方面的使用，一是封装成数据服务，并集成于业务协同平台（服务总线平台）进行数据服务共享，南方电网信息内部系统和其他外部系统统一通过业

31、务协同平台获取所需业务数据；二是基于数据共享中心的集成化数据进行综合查询分析的应用，查询分析统计功能不再基于核心业务数据库，避免造成对核心业务系统的性能影响。图：数据服务共享2.1.4数据交换系统功能设计基于内部数据交换方案框架，并结合南方电网数据共享协同平台总体功能需求分析的基础上，梳理出南方电网共享中心的总体功能组织结构如下图所示：以下将分别对数据共享中心数据集成域、数据管控域、质量检测域和数据使用域的功能规划进行详细介绍：数据集成数据集成引擎（Data Integration Engine）面向应用系统，在各个应用系统的数据源中提取数据，是一个跨平台的用于整合异构系统数据的ETL工具，在数据共享中心中，数据集成引擎实现了从各业务应用系统的数据源中提取用于整合共享的数据，经过质量检查后，按新的数据模型对数据进行转换和清洗，正确无误后加载到目标数据共享中心中。下面对数据集成引擎中的各个部分的功能进行详细介绍。元数据模型