主数据管理 1.docx
《主数据管理 1.docx》由会员分享，可在线阅读，更多相关《主数据管理 1.docx（15页珍藏版）》请在冰豆网上搜索。
主数据管理1
主数据管理（MDMMasterDataManagement）描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性。
主数据管理的关键就是“管理”。
主数据管理不会创建新的数据或新的数据纵向结构。
相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据。
主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术和流程，用于自动、准确、及时地分发和分析整个企业中的数据，并对数据进行验证。
主数据管理解决方案具有以下特性：
·在企业层面上整合了现有纵向结构中的客户信息以及其他知识和深层次信息
·共享所有系统中的数据，使之成为一系列以客户为中心的业务流程和服务
·实现对于客户、产品和供应商都通用的主数据形式，加速数据输入、检索和分析
·支持数据的多用户管理，包括限制某些用户添加、更新或查看维护主数据的流程的能力
·集成产品信息管理、客户关系管理、客户数据集成以及可对主数据进行分析的其他解决方案。
由于和主数据管理关联的方法和流程的运行与企业的业务流系统及其他系统彼此独立，因此这些方法和流程不仅能检索、更新和分发数据，还能满足主数据的各种用途。
主数据管理通过将数据与操作应用程序实时集成来支持操作用途。
主数据管理还通过使用经过授权的流程来创建、定义和同步主数据来支持协作用途。
最后，主数据管理通过事件管理工具事先将主数据推送至分析应用程序来支持分析用途。
MDM为继承和管理参考数据提供免代码、低维护的解决方案。
在MDM系统成为数据仓库的维数据的确定来源后，它使数据仓库能够侧重于卷管理和数据交付的数据管理目标。
简而言之，主数据管理提供以下功能：
1.“匹配与合并”逻辑，用于从一个或多个源系统识别并整合重复记录
2.宽泛的单元格级别关联和历史记录，为数据内容提供了详细的审计跟踪
3.适用于跨所有数据源和应用程序的所有关系数据的中央资料库
这些功能将极大降低与以下所述的数据仓库有关的总体开发和维护工作：
1.MDM共享维度
对于数据仓库的共享维度，MDM系统将是合规，已集成、已清洗和标准化的单一数据源。
此系统将消除在填充合规的数据结构时所牵涉的大部分转换工作，使数据仓库资源能够着重于回答业务问题，而不是集成数据。
2.MDM渐变维度
对于保持维度变更的历史记录而言，渐变维度是最为有效和使用最为频繁的方法。
通过提供进行历史记录跟踪的选项，MDM系统解决了这个性能问题。
它可以记录所有对参考数据实体的更改，解放数据仓库，使之可以在维度渐变时权利跟踪数据细分的更改。
当数据仓库维度增长放缓时，它们可以将查询和加载性能受到的影响降至最低。
如果用户希望查询某记录的非渐变维的历史记录，他们可以展开浏览MDM系统中的历史记录表。
3.MDM和数据沿袭
数据仓库元数据和沿袭解决方案一般仅限于提供结构化和流程沿袭。
MDM使用户不必再执行费时的手动数据跟踪，因为MDM为每个记录上的每个字段均保留了详细的数据沿袭（即在单元格级别的跟踪数据沿袭）。
对于基础对象中的每个数据单元格，MDM系统可以识别为单元格提供值的源系统，尤其根据值的最新更新时间来识别该值是由哪个源系统中的哪条记录提供的。
MDM系统还跟踪所有记录合并的历史记录。
主数据集成主要实现的是数据的接收和分发两个功能。
针对系统中已经完成审核的主数据，系统管理员可以通过配置接口内容，将符合要求的主数据分发到目的系统中，将主数据集成到外部系统中；而外部系统也可以选择需要处理的主数据信息，调用系统中对外发布的接口，完成数据的接收。
在主数据模型中，我们设置一类主数据通用的属性，这一类属性能够被多个主数据公用。
我们创建这样一个模型，设置它的公共属性以及一些必要的信息，并将这样一个模型存储于系统中，那么我们在创建主数据的时候就可以调用这样的主数据模型，在主数据模型上面进行主数据的创建，我们可以在此主数据模型上面添加新的属性，新的条件以适应我们需要创建的主数据。
通过这样的一个设计，使用者可以比较方便的创建一个主数据，创建一类信息的主数据模型之后，下次在创建主数据时直接调用模型就好，而不必再次进行那些公用属性的创建过程，极大减少了使用者的工作量。
在主数据模型功能中，又分为主数据模型创建，主数据模型审核，主数据模型查询和主数据模型维护。
主数据模型创建就是创建实体数据模型的阶段，在创建模型的过程中，首先需要输入模型的基本信息，例如模型代码、模型名称、是否启用分类结构、是否启用分类权限等信息。
这些基本信息是模型所必须具备的信息，也是一类主数据都需要的信息。
在输入完主数据模型的基本信息后，还需要对主数据模型进行属性配置、元属性配置、编码规则配置、校验规则配置、显示列配置和附件配置。
在属性配置中，系统管理员可以变更当前主数据模型中的任意属性信息，以求达到完整的主数据模型信息记录。
在系统中属性分为三种类型，分别是普通属性，列表属性和树形属性。
普通属性即该属性不涉及到一对多或包含关系的属性，这种信息就以普通属性来存储，如供应商编码、供应商名称等一对一的信息就采用普通属性进行处理；列表属性即该属性存在一对多的关系，这种信息需要以列表的属性来存储，如供应商主数据中的银行账户属性，一个供应商可以对应多个银行账户，所以银行账户属性设置为列表属性；树形属性即该属性存在包含关系，这种信息需要以树形属性存储。
除了属性的分类以外，对于每一个属性还需要对属性编码和属性名称等信息进行配置。
创建不同的属性是为了在属性中进行元属性的配置做准备。
元属性配置在属性保存后进行。
前文中已经提到过，元属性就是属性的属性，也就是属性的再次细分。
比如物料信息中的规格属性，就可以再次进行细分，它的元属性就可以再次包括物料的长、宽、高等信息，这些信息就是元属性。
在配置元属性时需要选定其所属的属性信息以便系统明确二者的从属关系。
除了需要配置元属性的名称编码以外，系统还为元属性提供了类型，长度，是否必填项，默认值，取值方式，附表，引用主数据模型等方面的配置。
这里挑出主要内容进行说明，在类型配置中，可将字符、整形、浮点小数、日期作为该元属性的类型；限定元属性输入内容的长度；系统提供7种取值方式：
文本、下拉框、可编辑的下拉框、弹出窗口、可编辑弹出窗口、元属性组合、可编辑的元属性组合，其中可编辑的元属性组合可以由其他若干个元属性组合成为一个元属性；当取值方式中存在下拉框、元属性组合或弹出窗口时，可以再附表中对设置预定值以供选择。
除了以上配置以外，系统还提供了对于元属性前置符号、后置符号、连接符号和计量单位的配置功能。
在校验规则配置中，主要针对主数据模型中的元属性进行校验。
校验规则分为唯一性校验和关联性检验。
关联性校验主要针对元属性之间的关系进行校验，是对于多个元属性的组合进行的校验，关联性校验中也需要进行条件表达式，元属性选定，校验规则级别和校验规则的设置，
主数据模型是主数据创建的基础，只有实现了主数据模型的功能后才可以进行主数据的管理。
拿程序的思想来作为类比，主数据模型就是创建一个类，而并没有去真正的使用这个类；而创建主数据就是对这个类进行实例化的过程，经过主数据的创建以后，我们在对这个主数据进行变更，审核，查询，归档和集成等操作，也就相当于对这个实体对象进行各种操作。
主数据管理分为主数据创建，主数据变更，主数据审核，主数据查询和主数据归档。
主数据创建中实现的是主数据的创建功能，每一类主数据的创建都是在相应主数据模型下来进行的。
主数据的创建中除了需要对于主数据的必要信息进行初始化以外，还需要对于属性、元属性、编码、附件进行配置，并且所填写的主数据信息还需要符合校验规则和编码规则。
在填写主数据信息时，所有红色标志的元属性信息都为必填项，不填写将给出错误提示信息；前置符号、后置符号、连接符和计量单位的校验只针对元属性值存在的情况下，如果元属性值未填，则以上符号不作为必填项校验；编码规则配置方面，如果主数据模型编码采用的是自动配置，则在主数据创建时不必进行编码的配置；如果选择手动配置方式，除了对编码必要的配置以外，还需要对于编码规则中的各个编码段进行配置，进而才能完成编码配置。
主数据创建的过程中还可以进行附件的上传，主数据模型中的附件是所有该类主数据的公共附件，主数据创建中上传的附件是各个主数据自身的附件。
将以上信息填写好后，便可以进行主数据信息的保存。
如果主数据的所有信息与主数据模型的编码规则，校验规则都不冲突，那么该主数据保存成功，完成主数据的创建；如果主数据的信息与编码信息，检验规则冲突，则系统给出冲突的信息和冲突因素，此时主数据不能完成保存，但是系统提供主数据的暂存功能，能够把当前的信息暂时存储在数据库中的临时表中，对冲突信息更改后在进行保存，完成主数据的创建。
主数据变更中实现的是对于主数据信息的变更操作，用户通过点击主数据列表中的超链接，进入到主数据详细信息的页面，之后再进行相应的修改操作。
需要注意的是主数据变更也需要进行工作流的绑定，按照工作流的流程进行逐层的审核工作。
如果主数据中的内容没有变更，那么不能进行变更数据的提交工作。
变更通过后，变更之前的版本信息将被保存在历史数据中，用户可以通过历史版本号查看到主数据的变更过程。
主数据审核实现的是主数据审核的功能，拥有当前流程环节的用户可以进行数据的审核、拒绝至提交人、拒绝至审核人的操作。
同一操作环节的用户可以进行数据的认领审核功能，超出时限的个人认领任务将会重新回到未审核数据中。
只有审核完全通过的数据才会在历史版本中进行收录。
同时在审核时需要填写审核意见，方便其他人员对数据操作。
主数据集成实现的是主数据管理平台与第三方系统数据的交换功能。
系统提供两种方式：
被动式接收请求发送数据方式和主动发送数据方式。
在被动式服务中，第三方系统作为发送端进行主数据的请求，主数据系统根据请求内容，将符合条件的主数据通过接口返回给第三方，并且其数据格式满足第三方需求。
主动式服务是由主数据系统作为发送端，向第三方进行请求，第三方应答后进行数据的集成操作。
在主动式服务时，系统提供了定时分发、即时分发和手动分发三种分发策略。
手动分发由系统操作人员选定主数据，进行数据交换。
对于分发失败的数据，可再次调整接口进行数据的再次分发；自动分发采用定时器的方式，系统自动向第三方系统定时发送数据，对于失败的数据会将失败的原因记录下来，超过设定的失败次数，数据将不会进行分发。
而是由系统操作人员进行手动分发或数据的调整。
在数据查询功能中，能够基于各类主数据的元属性信息进行快速查询、高级查询、模糊查询和精确查询，同时支持数据集成信息的检索。
使用基于主数据管理系统的方法来建立数据集成系统，可以解决数据集成中的如下两个关键问题：
1、能够对参与集成的各应用系统中的数据实施单独管理，因此可以确保数据的完整性、可靠性，提高数据质量，避免各应用系统中数据的不一致性；
2、企业的核心数据往往要求在多个业务系统中被使用，主数据管理的方法可以保证参与集成的业务系统都能够实时地访问到这些数据。
主数据管理是一项针对数据集成问题的新兴的解决方案，主数据管理解决方案相关的支撑技术主要包括如下几个方面：
源数据剖析、数据标准化、匹配、记录联合以及同步。
另外，主数据管理的解决方案需要引入元数据管理来标准化主数据的表示。
Oracle则在客户主数据管理系统UCM（UniversalCustomerMaster，全局客户主数据）中实施了主数据管理。
该系统包含客户主数据模型存储、数据质量控制和额外的数据集成管理三个模块。
Oracle使用如下的方式保证主数据系统中新进入的数据的质量：
当记录进入主数据系统时，先会在主数据系统里寻找可能匹配的记录，如果结果认为是不匹配，则将进入处理不匹配流程来增加一条新记录；如果是分值足够高，则进入自动匹配流程把该记录和原有记录进行数据存活规则处理并合并记录；如果是分值不足够高，则需要人工来决定该记录是新记录还是需要和原有记录合并。
主数据管理系统的提出就是为了解决以下种种问题：
国内的一些大型企业的各个部门中都有各自的计算机应用软件和数据库系统，这些软件有自行开发的，也有从其它公司引进的。
虽然它们在生产和销售中起到了一定的作用，但是由于这些应用软件和数据库系统开发时很少使用统一的设计规范，经常会出现数据不一致的情况存在；另外，由于系统开发时数据接口编写的不一致，针对数据库或其它种类的数据源的调用可能并不一定相同。
这些种种可能性都制约了系统间数据的相互调用。
主数据是企业业务中相对静态不变的实体信息的描述，在多个业务事务实例（包括同类业务的若干实例）中反复使用，是业务运行中所必须的关键信息及其元数据。
主数据通常包括企业的组织结构、产品、客户、雇员、材料、供应商等。
例如，ERP系统中通常会有客户、物料和账户作为主数据。
主数据通常是公司的关键财产。
通过利用SOA自身的技术优势来搭建主数据管理系统，是目前工业界主流的做法。
图2-1是关于面向服务的主数据系统架构参考视图。
主数据存储部署
主数据管理系统的存储方案分为三大类：
集中式存储、分布式带同步存储和仓储参照式存储。
1、在集中式存储方案中，将会有一个单独的数据存储，它负责所有主数据和非主数据的保存。
业务系统对主数据和非主数据的访问必须通过主数据存储获得数据。
因此，这实际上相当于一个简单的单数据源的数据系统。
集中式存储方案的优点和缺点分别为：
优点：
数据集中存储，维护方便，而且不需要进行数据源之间的映射，修改数据方便，只需要对单数据源进行改动，并且数据的格式统一，不需要进行数据转换。
缺点：
每次数据访问时都要通过TransactionHub，导致Hub上负载过重；另外，由于TransactionHub作为数据存放的唯一数据源，一旦它出现网络中断或者硬件错误，都不能保证业务系统对数据存储的访问能够得到及时正确的响应。
2、在分布式带同步存储方案中，主数据的部分集中存储在一个数据源，其他数据可能分开到几个数据源存放。
数据在各数据源中可能出现重复存储，这时要求主数据管理系统负责数据之间的同步。
分布式带同步存储方案的优点和缺点如下：
优点：
应用系统业务逻辑及其数据（如图中的Sales和SalesData）可以在同一台机器上实现，这样，在处理该系统的数据请求时，部分数据可以是
本机存取，加快处理速度。
缺点：
数据的更新与一致性检验需要花费一定的时间。
3、仓储参照式存储方案提供一个参照数据源，在该数据源上只记录元数据信息以及数据存放位置。
数据在各数据源可能存在重复存储的关系。
主数据中实体的主属性以外的部分通过外键映射到主数据中。
仓储参照式数据存储方案的优点和缺点如下：
优点：
数据实例中只被一个系统使用的数据源可以与应用系统放在同一台机器上，而对那些可能被多个系统访问的数据实例可以选择一个业务系统存放，也可以重复存储在各个数据源上，使网络访问化为本地访问。
对于主数据而言，我们可以通过仔细地选择它们的存放位置达到负载均衡。
缺点：
数据的存放是异地的。
有时甚至可能出现同一个实体的不同属性值被存放到不同机器上的情况，各业务系统可能会出现获取其它系统中大量数据实例的情况，这对网络的消耗是非常大的。
主数据管理相关技术
一、源数据剖析：
源数据剖析通常作为主数据管理实施过程的第一个阶段。
首先了解源系统中的数据十分关键，这有助于了解源数据的质量，以及源数据中的使用模式和规则。
源数据剖析工具的目的就是要自动化这一流程，同时详细洞察源系统中的数据，避免传统数据分析的手工操作。
目前已经出现了较为成熟的产品，如IBMProfileStage。
数据剖析过程用于评估数据质量，由多种分析组成，它们调查和研究数据的结构和内容，并对数据作出推断。
在分析完成后，用户可以检查结果，并接受或拒绝推断结果。
下图展示了数据剖析的几个分析过程的关系。
其中虚线表明列分析不必在跨域分析前做。
1、列分析：
用于理解数据的结构和内容，找出可能影响数据质量的异常，列分析是所有其他分析的先决条件，列分析过程中，在一个表或文件中的列或字段数据将被评估，并且建立频率分布。
该频率分布概括了每列相关数据特征的统计和推断的结果。
用户可以检查频率分布以找出数据中的异常，并随后使用数据清洗工具清除异常。
频率分布的结果通常也作为后续分析，如主键分析和基线分析的输入数据的一部分。
列分析一般主要包括四种分析：
域分析：
识别无效和不完备的数据值；
数据分类分析：
为数据中每列推断出一个数据类，用于分类数据；
格式分析：
为数据值建立一个格式表达式，用于确保与定义的标准一致；
数据属性分析：
分析数据中定义的属性的准确性。
2、主键分析：
主键是用于在表中识别一行而使用的一列或多列。
一个主键必须是唯一且不能包含null值，例如：
包含客户号的列。
主键分析是识别表中所有候选关键字的过程，其目的是检测出一列或多列，它们可能适合作为相应表的主键。
3、外键分析：
基于上述列分析的结果，可以通过设定系统定义阈值等方式挑选主键，因为要成为主键的一个候选，列必须包含唯一值的百分比应当比系统定义阈值还要高，例如一个系统定义阈值为95%，则某列包含95%或更多的唯一值时，可被推断作为主键的候选，而剩余的5%是重复值，重复值的出现可能由于数据与其他数据源整合或数据格式改变等，所以如果确定这样的列为主键，需要清除这些重复值。
用户也可以通过比对某个几个列组成的数据样例或整体源数据来参与挑选多列主键。
4、跨域（cross-domain）分析：
跨域分析决定了是否多个列共享一个公用域，是比对选定的表集合中每个表所有列与其他表所有列的过程。
其目的是检测出共享某个公用域的那些列，一个公用域的存在表明多列包含重迭数据。
共享一个公用域的列可能指示一个外键和一
个主键之间的关系，然而，大多数这样的公用域表示列之间的冗余。
如果存在冗余，可能需要清除。
例如，当数据被系统处理流程移入不同表时，数据很可能产生冗余。
例如，银行A希望将自己的客户数据与银行B的客户数据进行整合，则两个银行都可能包含冗余的客户数据。
跨域分析过程通常是选定两列或多列进行相容性分析和跨域公用性分析。
5、基线分析：
基线分析是对相同数据源比对以前的分析结果与现在的分析结果。
如果前后有差异，应评估变化的意义，如是否质量被提高了。
为了比较数据，首先选定一分析结果作为基线版本，再用基线版本去比较同一数据源的所有后续分析结果。
二、数据标准化：
标准化是主数据管理的一部分，通常：
在主数据管理实施中处在源数据分析之后，匹配与记录联合之前。
由于企业在实施信息系统集成时要兼顾遗留系统和集成系统两个方面的需求，既要考虑到系统集成的需要也要考虑到遗留系统对集成系统的制约，同时由于设计和实施集成系统费用和资源上的限制，标准化其中的数据对集成系统的质量影响十分巨大。
数据标准化是为了建立核心商业实体的描述规则。
由于核心商业实体往往在企业中多个数据源中同时使用，而且很可能描述不同，因此有时需要在主数据管理系统中创建参照数据来标准化源数据。
标准化就是这样的一个过程，它能够固定信息或属性的描述方式。
标准化是“固定组织”信息或属性以及向每个固定组织的信息分配以商业为导向的语义标签的流程，通常可以通过创建规则的方法来标准化与核心商业实体有关的信息。
主数据的标准化必须灵活适应在一个通用平台上对各种姓名、商业名称、国际区域/语言、产品、部件和材料数据的处理。
数据标准化的目的是为了更好地进行匹配，以确定哪个记录以及记录的哪些属性反映了正确的信息而需要保留，哪些属性需要丢弃，同时标识潜在的重复记录并加以剔除。
三、主数据匹配
数据匹配的目的是确保没有两个或多个对象记录代表同一个对象实体，减少记录的重复存储。
数据匹配用在主数据管理的环境中，主要作用是通过对系统中的新进入的记录数据和已有记录数据的匹配，判断新进入的记录是否已经存在于系统中。
通常这项工作在信息管理系统中都采用简单地匹配每条属性值的方法来进行，但是由于主数据管理系统中进入的数据可能仅仅是在某些表达方式等细微的差别上和系统记录不同，因此必须采用更复杂一些的匹配方式。
实现数据匹配的主要方法包括确定性匹配算法、概率性匹配算法、机器学习算法等。
1.确定性匹配算法
这类算法把第一条记录的每个属性和第二条记录的对应属性进行比较，这种比较是字节级别的。
比如比较第一条记录的身份证号和第二条记录的身份证号，比较的结果只有两种可能，匹配或不匹配。
做确定性匹配之前，需要对输入数据进行清理和标准化的工作，以提高匹配的效率。
对于某些属性可能会出现空白，拼写错误或丢失字符的情况，改进的确定性匹配算法可以使用模糊逻辑技术。
2.概率性匹配算法
通过分析各属性值的匹配，采用权重分配计算匹配相似度，设定匹配阈值。
四、主数据同步
数据同步的主要目的是在数据对象存在副本或者数据项之间存在依赖关系的时候，保持数据之间的一致性。
主数据管理系统中需要进行数据同步的情况包括两种，数据存在副本的情况和属性值之间按照业务规则的定义存在依赖关系的情况。
目前数据同步的方法主要包括实时更新和非实时更新两种，实时更新是指在数据产生变化的时候主动通知其他数据库中的副本做相应的修改，例如采用两阶段提交协议来同步相应的副本更新，而非实时更新则是通过系统在各网络节点上复制数据来保证数据同步。
1.多副本情况下的数据同步：
在多个副本中，定义一个副本作为主副本，在对象更新时首先要更新主副本。
事务中对多个副本中任何更改都映射对主副本的更改。
一旦主副本发生更改，就把更新传播到其它副本。
存储副本的优点是增加可用性和并行性，但缺点就是增加了同步的开销。
系统必须保证数据的所有副本是一致的，否则就可能产生计算错误。
在多个副本中，应该选择一个作为主副本，在对象更新时首先要更新主副本。
事务中对多个副本中任何更改都映射到对主副本的更改。
一旦主副本发生更改，就把更新传播到其它副本。
为了保证运行在副本站点上的事务看到一致的数据库视图，副本应该反映站点上的数据的事务一致性快照。
也就是说，副本应该反映按串行化顺序排列的先于某个事务的事务所做的更新，而不应该反映按串行化顺序排在该事务之后的事务所做的更新。
2.属性值之间存在依赖关系的情况下数据的同步：
两个或多个属性之间按照业务规则的定义可能存在依赖关系。
如果这些属性数据是在物理设计阶段存放在一个数据库系统中，那么可以利用数据库系统所提供参照完整性约束校验来保持属性数据之间的同步关系。
也可以定义触发器、断言或者存储过程来实现。
在两个属性分布存储在不同数据库系统的情况下，此时就必须在元数据管理系统中记录两个属性之间的位置以及函数映射关系，以便更新的时候快速定位，同步更新。
五、主数据转换：
数据转换是指从多个数据来源中提取、转换和合并到单个或多个目标的过程。
由于数据源所依赖的应用系统、数据库管理系统、操作系统之间的不同，以及在存储模式上的不同造成了数据源在系统上的异构和模式上的异构。
数据的存储模式包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种，其中关系模式为主流存储模式。
但即使是同一种存储模式，它们在体系结构、数据类型和操作方法上等都存在着差异。
例如，Oracle采用的数字型为Number，而SQLServer采用的数字型有int、float和double型。
目前异构数据源间数据转换的主要方法有：
基于软件工具的转换方法。
数据库管理系统一般都提供将外部文件数据转移到本身数据库表中的数据装入工具，如Oracle提供的将外部文本文件中的数据转移到Oracle数据库表的数据装入工具SQLLoader，利用这些软件工具可简单、快速地实现数据转换。
但这种数据转换程序是特定的、专用的，要求目的数据库必须是转换工具对应的数据库，且多用手工方式进行转换，数据更新时会带来不
升级会员 