综合分析系统技术规范元数据管理分册.docx

1、综合分析系统技术规范元数据管理分册 中国移动综合分析系统技术规范-元数据管理分册业务需求版本号：V2.0.0中国移动通信有限公司2010-06前 言本技术方案由中国移动通信有限公司提出并归口。本方案起草单位： 中国移动通信集团公司网络部本方案主要起草人： 唐世萍、邱佳、沈萌、赵佳、陈燕琦、姚旭、方胜、孔祥凯、刘鸣东、丁朝阳、李荣盛等本方案解释单位：中国移动通信集团公司网络部附图目录1 范围2 中国移动综合分析系统技术规范，定义中国移动综合分析系统的系统架构、关键技术、逻辑模型、源系统接口、元数据与数据质量管理、系统管理与安全管理和技术要求。3 引用文件4 下列文件中的条款通过本标准的引用而成为

2、本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。5 术语和缩略语6 6.1 术语6.2 下列术语、定义适用于本规范：术语代码术语名词术语解释服务台也称为帮助台，IT服务管理与用户的接口，受理并处理用户的服务请求。事件管理和帮助台一起组成事件处理流程，有效解决各类IT突发事件，尽快恢复IT服务。问题管理寻求IT故障的根源，解决存在问题的流程，能消除或减少IT事件的发生。配置管理管理各IT资产系统(配置元素，CI)的流程，包括相互间

3、的关联与依赖关系。变更管理对变更请求进行记录、跟踪与管理的流程，消除或减少IT变更对生产环境和系统的影响和风险，保证变更的平稳运行。监控管理完成对平台部件、应用的统一监控、统一维护，包括集中监测和故障定位与管理。运维管理包括帮助台/事件管理，配置管理，问题管理和变更管理等流程，作为业务支撑网网管分阶段实施所建议的第一阶段。服务管理业务支撑网网管分阶段实施所建议的第二阶段，在企业的IT环境中了解业务的IT服务级别需求，以此定义双方同意的服务级别，并通过标准的流程进行服务级别的监视，汇报和改进，最终实现量化管理， 实现连续的质量改进循环，把IT部门建设成为真正的服务中心。6.3 缩略语6.4 下列

4、缩略语适用于本规范：缩写英文描述中文描述RESTRepresentational State Transfer表述性状态转移XMIXML Metadata InterchangeXML元数据交换OLAPOn-line Analysis Process在线分析处理ETLExtraction Transformation Loading抽取、转换和加载DWData Warehouse数据仓库CWMCommon Warehouse Metamodel公共仓库元模型7 元数据管理8 8.1 元数据管理范畴8.2 8.2.1 元数据的定义8.2.2 元数据是描述数据的数据（data about data

5、），主要是描述数据属性（property）信息，用来支持如指示数据来源、数据类型、数据有效期和有效性等属性的管理和应用等功能。元数据的描述范畴包括领域概念(Domain Concepts)、领域关系(Domain Roles)、领域规则(Domain Rules)的、领域语义(Semantics)和知识(Knowledge)。8.2.3 元数据管理目标8.2.4 中国移动的OSS2.0的数据管控体系（DMA）规划中对数据管控提出了数据要透明、数据质量可评估、可建立数据质量考评体系、数据可管理四大管理要求。综合分析系统通过引入元数据管理来实现数据管控体系（DMA）中的数据要透明和可管理的要求，同

6、时为建立数据质量考评体系和数据质量可评估提供支持。元数据管理的具体目标包括：1) 实现元数据的全程统一管理2) 把分散在不同系统、不同工具、不同人员中的元数据信息进行统一管理，实现数据从业务层至技术层的全面贯通。具体至综合分析系统，要完成系统的采集平台、ODM-DB、ETL、数据仓库、OLAP、应用和呈现整个过程的元数据管理；从而使得技术人员和业务人员可以统一地对综合分析系统中的元数据进行维护、监督、探查和实现元数据的调用。3) 实现数据透明管理要求4) 通过对数据源定义、目标定义、转换规则等相关的关键信息的管理，达到数据透明的管理目标，具体包括的数据结构透明、数据含义透明、数据转换规则透明等

7、。5) 为数据质量管理和考评提供支持 6) 为数据质量管理体系架构中的功能层和应用层提供信息支撑。以元数据管理为基础建立数据质量监控模块，进行综合分析系统数据质量的全程监控。7) 为综合分析系统系统提供基础信息支撑，提升系统的可用性、易用性8) 通过对系统元数据的有效维护管理，以及全面的服务接口的提供，能够使综合分析系统的应用范围能到扩展。随着不断完善和扩充元数据对外服务接口内容，使综合分析系统有能力实现向外部模块或子系统提供元数据内容和元数据分析服务。8.2.5 元数据管理范畴8.2.6 元数据管理的最终目标是实现对OSS2.0支撑体系涉及的所有元数据的管理，实现整个OSS2.0支撑体系融入

8、式的元数据管理。系统采用分步策略实现向最终目标的演进。现阶段元数据管理的范围只限于管理综合分析系统的元数据，具体管理的内容包括数据仓库元数据元数据、ETL过程、OLAP模型和综合分析系统指标、报表元数据等。综合分析系统的元数据分类可以划分为三类元数据：技术元数据、业务元数据。这两种元数据的具体描述如下： 技术元数据 技术元数据是描述综合分析系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖综合分析系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节； 对于技术元数据，需要包括以下信息：（1）数据仓库结构的描述，包

9、括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；（2）业务系统、数据仓库和数据集市的体系结构和模式；（3）汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；（4）由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则。 业务元数据 业务元数据从业务角度描述了综合分析系统中的数据，它提供了介于使用者和实际系统之间的语义层，使得业务使用人员不需要了解技术实现原理，也能够明白综合分析系统中的数据脉络和数据定义。 业务元数据需要包括以下信息：（1）使用者的业务术语所表达的数据模型、对象名和

10、属性名；（2）访问数据的原则和数据的来源；（3）系统所提供的分析方法以及公式和报表的信息。附图1. 综合分析系统元数据管理范畴附图2. 8.2.7 元数据管理内容8.2.8 综合分析系统的数据来源于不同的业务系统中，不同的业务系统使用不同的工具集成，元数据分布在各种工具中，依据不同的来源，根据综合分析系统元数据涉及的环节可分为ETL元数据、数据仓库元数据、OLAP元数据、相关业务元数据等。8.2.8.1 ETL元数据8.2.8.2 ETL过程中的元数据，主要偏向于技术元数据，应纳入元数据管理的范畴。管理的ETL产品应包括“第三方ETL产品”和“自主开发ETL产品”。“第三方ETL产品” 是指非

11、综合分析系统应用软件开发商或集成商自己开发的，以软件产品形式在市场上销售的且占有较大市场份额的通用ETL产品。例如：ODI、SSIS、DataStage等。“自主开发ETL产品”，是指由综合分析系统应用软件开发商或集成商自己开发的具有ETL功能的软件。在综合分析系统中，ETL元数据来源于ETL工具和ETL处理过程，包括：1) ETL映射规则2) ETL单元：ETL 作业名称、存储过程名称、输入数据集、输出数据集3) ETL流程：开始ETL单元、下一单元、结束单元4) ETL装载记录：ETL流程开始时间、ETL单元开始时间、流程结束时间，单元结束时间8.2.8.3 数据仓库元数据8.2.8.4

12、ODS元数据和DW元数据均属于数据仓库元数据，是数据仓库系统的核心元数据。数据仓库系统RDBMS进行数据的存储和管理，设计模型采用星型模式、雪花模式等，遵循数据仓库的设计准则，实现主题、维、度量等多维模仿概念模型。1) 数据仓库逻辑模型：实体名称、属性名称和类型、关系2) 数据仓库物理模型：数据库名称、模式名称、表、字段、主键、外键、索引、分区8.2.8.5 OLAP元数据8.2.8.6 1) 维度：维名称、维元素、钻取路径、级别2) 度量：度量名称、格式、计算公式3) Cube：维度、度量、数据量4) 星型模式：事实表、维表、汇总表8.2.8.7 相关业务元数据8.2.8.8 业务元数据包括

13、业务术语、业务描述、业务指标以及业务规则等相关信息，系统中涉及到的指标、报表、维度数据以及编码都属于业务元数据的范围。业务元数据可以根据具体的业务发展进行持续定义和维护管理。业务元数据和技术元数据之间的映射关系也属于元数据的管理范围，在综合分析系统中，体现在语义层的数据业务含义与逻辑层、物理层的技术数据实体之间的关联关系。例如一个KPI指标在数据仓库中所对应的库表、字段以及相应的转换过程。8.3 元数据管理模块体系架构8.4 本章节对元数据管理系统体系架构做出要求和描述，主要包括功能结构和技术架构。8.4.1 功能架构8.4.2 描述元数据管理模块体系架构，可包括元数据获取层、元数据存储层、元

14、数据功能层和元数据应用层，如附图2所示。附图3. 综合分析系统元数据管理模块功能结构图附图4. 8.4.2.1 元数据获取层8.4.2.2 从各专业网管系统、相关源系统、BI工具和业务资源中获取元数据；要求支持手工和自动获取两种方式。对于自动获取方式提供适配器管理，并能够提供SQL解析和API接口抽取元数据等功能。对元数据手工获取提供与各种元数据相适应的元数据手工录入功能支持。8.4.2.3 元数据存储层8.4.2.4 从获取层得到的各类元数据存储在存储层的元数据库中，存储的元数据包括业务元数据、技术元数据和管理元数据。8.4.2.5 元数据功能层8.4.2.6 元数据功能层为前端元数据应用提

15、供了基本的功能支撑，主要包括元数据基本功能、元数据分析功能、元数据服务接口和元数据权限管理等。8.4.2.7 元数据应用层8.4.2.8 在元数据管理模块功能层的支持下，元数据应用层通过对功能层的功能调用，可以针对业务面临的实际问题提供应用解决方案。如报表管理、包含指标管理和数据质量管理等。8.4.3 技术架构8.4.4 元数据管理模块的技术结构对内要求具有良好扩展性，以及能力公开的特性。对外要求提供方便的集成方式，其前端界面需要集成到综合分析门户中。元数据管理模块的技术结构如附图3所示。附图5. 综合分析系统元数据管理模块技术结构图附图6. 在上图中，元数据、元模型和相关配置信息统一存储在关

16、系数据库中。其中的元数据信息通过数据对象映射，转换成满足CWM规范的数据对象，为元数据获取组件和功能组件提供面向对象的数据存取服务。元数据获取的数据源包括数据处理过程、ER逻辑模型、OLAP对象和数据库对象等。元数据获取组件为元数据自动获取提供了一个可扩展的框架。在该框架中，可以针对每种不同的数据源，提供专用的元数据获取适配器。例如，对于数据处理元数据，可以提供SQL脚本解析器。元数据功能组件包括元数据的管理和应用的基础功能组件。例如对血缘分析、影响分析、元数据检索和差异比较等功能。元数据功能组件为元数据应用所调用，同时通过REST风格的Web服务实现元数据访问接口的封装，对外提供元数据公开访

17、问功能。要求元数据支持通过Portlet和IFrame等方式集成到综合分析系统中。此外，元数据管理模块还要包括调度控制、流程控制和权限管理等基础控制功能，为元数据应用组件、功能组件和获取组件的有机配合提供支持。 元数据管理从系统各模块：数据采集、ODM、DW等中获取元数据信息 元数据管理系统作为数据质量管理系统的依据，指导数据质量管理系统评价数据质量 元数据管理系统提供指标库数据供页面呈现 元数据管理系统通过API接口调用向外部暴露数据 安全模块获取元数据的指标敏感度描述 元数据为DW数据的有效期管理提供指导 8.5 元数据管理模块主要功能8.6 本章节对元数据管理模块自身具备的功能做出要求和

18、描述，主要包括元数据基本功能和元数据分析功能。8.6.1 元数据基本功能8.6.2 本章节对元数据管理模块基本功能做出要求和描述，主要包括元数据基本维护、元数据变更管理、元数据查询、元数据统计、元数据质量管理和元数据权限管理。8.6.2.1 元数据的基本维护8.6.2.2 元数据维护提供对元数据的增加、删除和修改等基本操作。对于元数据的增量维护，要求能保留历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向综合分析系统的其它模块提供元数据维护接口。8.6.2.3 元数据变更管理8.6.2.4 元数据变更管理包括变更通知和版本管理两个部分。变更通知是当元数据发生改变时，系

19、统自动发送信息（邮件、短信）给订阅用户。用户可以主动订阅自己关心的元数据，帮助了解与自身工作相关的业务系统变更情况，提高工作的主动性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。要求的基本功能是能够显示同一实体的元数据的修改历史。另外还提供版本差异分析和版本变更分析等。并且能够进行单个元数据版本的恢复。元数据变更还要满足元数据管理流程上的约束（注：具体流程由EOMS系统承载，未来考虑综合分析系统与EOMS系统的流程对接，本期工程暂不考虑）。8.6.2.5 元数据查询8.6.2.6 对元数据库中的元数据基本信息进行查询的功能，通过该功能可以查询数据库表、维表、指标、过程及参与的输

20、入输出实体信息，以及其它纳入管理的实体基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能要求支持对历史版本信息的查询，以了解具体实体的历史变更情况。8.6.2.7 元数据统计8.6.2.8 元数据统计是指用户可以按不同类别进行元数据个数的统计。方便用户全面了解元数据管理模块中的元数据分布，该统计功能可以按元数据类型、元数据创建者和元数据的版本号来进行统计。8.6.2.9 元数据质量管理8.6.2.10 元数据管理模块应具备对元数据本身质量进行检查的功能。元数据质量检查包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、

21、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。对于以上检查结果，元数据管理模块可生成详细的检查报告，并能够支持相关人员对检查报告的检索和查找，能够把指定的检查报告导出成Excel、PPT等更易于阅读的文档。8.6.2.10.1. 元数据一致性检查8.6.2.10.2. 一致性检查主要是指从运营分析系统中抽取元数据，并与元数据库的对应信息进行比较，及时发现运营分析系统的应用变更，保证元数据的及时更新。一致性检查包括两种方法：自动检查和人工检查。自动检查：是指对于需要检查的元数据，利用API或其它形式接口对综合分析系统中的元数据进行直接查询访问，获得相应的元数据，然后进行比较

22、，从而确定相应的元数据是否保持同步。人工检查：是指对于无法进行自动检查的元数据，需要在综合分析系统与元数据库之间进行人工比较，从而确定相应的元数据是否保持同步。人工检查可以分为不定期人工检查和定期人工检查。在一致性检查发现差异时，原则上不能直接修改元数据库中的元数据，而是给出各类元数据的差异报告，结合元数据变更管理流程，并由元数据管理员确认并审核后，利用元数据维护工具进行元数据的更新。8.6.2.10.3. 元数据属性检查8.6.2.10.4. 元数据属性检查是对元数据库中实体属性详细信息方面的检查，包括元数据属性填充率检查、元数据名称重复性检查和元数据关键属性值的唯一性检查等。对于元数据属性

23、填充率检查，省公司可以根据自己的建设情况，抽样检查部分重要属性，原则上必须涵盖实体的关键属性。对于元数据名称重复性检查，要求涵盖指标、维度、接口、数据库表、存储过程和ETL处理过程等重要类型的实体。8.6.2.11 元数据权限管理8.6.2.12 元数据模块的权限管理负责元数据管理功能的权限分派、审批以及访问日志记录，实现对元数据管理模块的数据访问和功能的使用进行有效监控。元数据管理模块的权限管理工作应纳入综合分析系统中统一管理。8.6.3 元数据分析功能8.6.4 本节详细描述了综合分析系统元数据管理模块功能层的各个分析功能。本章节对元数据管理模块分析功能做出要求和描述，主要包括元数据血统分

24、析、元数据影响分析、数据映射分析、差异分析和实体关联分析。8.6.4.1 血统分析8.6.4.2 血缘分析（也称血统分析）是指从某一实体出发，往回追溯其处理过程，直到综合分析系统的数据源接口采集层。对于不同类型的实体，其涉及的转换过程可能有不同类型，如：对于底层仓库实体，涉及的是ETL处理过程；而对于仓库汇总表，可能既涉及ETL处理过程，又涉及仓库汇总处理过程；而对于指标，则除了上面的处理过程，还涉及指标生成的处理过程。数据源接口实体由源系统提供，作为综合分析系统的数据输入，其它的数据实体都经过了一个或多个不同类型的处理过程。血缘分析正是提供了这样一种功能，可以让使用者根据需要了解不同的处理过

25、程，每个处理过程具体做什么，需要什么样的输入，又产生什么样的输出。为实现血缘分析，对于任何指定的实体，首先获得该实体的所有前驱实体，然后对这些前驱实体递归地获得各自的前驱实体，结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。血缘分析应能够以图形的方式展现所有实体和处理过程。8.6.4.3 影响分析8.6.4.4 影响分析是指从某一实体出发，寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。影响分析应能够以图形的方式展现所有实体和关联关系。8.6.4.5 数据映射分析8.6

26、.4.6 用户能够查看数据处理程序内部的映射关系，了解数据加工过程的细节。以图形展现数据的处理过程。8.6.4.7 差异分析8.6.4.8 实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，包括名字、属性及数据血缘和对系统其他部分影响的差异等。8.6.4.9 实体关联分析8.6.4.10 实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况，形成一张实体和所参与处理过程的网络，从而进一步了解该实体的重要程度。本功能可以用来支撑需求变更影响评估的应用。对于关系数据表，可以分析与某个表有关的实体或处理过程，查看具体数据的使用情况，从

27、而判断该表的重要程度。该功能有助于寻找数据库中关键表和冗余表，为系统调优提供支持。8.7 元数据管理模块对外接口8.8 本章节对元数据管理模块与其他系统的数据传输接口做出要求和描述，主要包括元数据读取接口、写入元数据接口、元数据调用接口、元数据应用二次开发接口和省部接口。8.8.1 外部元数据读取接口8.8.2 要求元数据系统能够自动读取第三方工具软件中的元数据信息，对于采用自动获取方式获取的元数据，元数据管理模块需要提供相应的读取接口。这些自动获取功能可以划分为如下几类： XMI接口 对于DataStage和PowerCenter等ETL工具，IBM DB2 Warehouse Manage

28、r,Oracle Warehouse Builder Repository等数据仓库管理工具，Oracle OLAP Server等OLAP工具和其它兼容CWM的前端展现工具可以通过XMI接口自动获取元数据。 数据库访问接口 对于数据库对象，例如Oracle等DBMS中的数据库表、视图、字段和存储过程等，要求支持通过ODBC/JDBC等数据库访问接口自动获取元数据。 工具API接口 对于ERWIN、PowerDesigner等建模工具，Business Object Reporter等前端展现工具，Essbase/IBM DB2 OLAP Server、DB2 Cube Views、Cogno

29、s和SAS OLAP Server等OLAP工具，要求使用该工具特定的元数据访问接口自动获取元数据。 SQL解析 对于DataStage中的源定义SQL语句，Essbase中的Rule文件映射SQL语句和数据处理运行日志中的SQL语句，要求通过SQL自动解析的方式获取元数据。而TCL脚本程序要求通过TCL脚本自动解析的方式获取元数据。元数据读取接口随实现元数据获取方式的改变而增加或减少，本章节于本文4.6.1章节互为参考。8.8.3 外部元数据写入接口8.8.4 要求元数据管理模块支持元数据的写入，具体可分为两种形式： 系统运维人员通过手工的方式将元数据批量导入元数据存储库。 要求以文件形式提

30、供元数据系统的元数据整理模版，例如Excel文件。系统运维人员可以将元数据基本信息、元数据属性信息和元数据关联关系在模版中进行整理，并一次性批量导入元数据库。 元数据模块自动获取第三方工具中的元数据。 关于以上元数据的手工获取、自动获取部分，可参见本文档4.6.1章节元数据获取部分内容。8.8.5 元数据对外服务接口8.8.6 元数据管理模块通过API实现元数据对外服务，供外部系统对元数据进行调用。要求元数据管理模块提供数据调用API，整套API可以基于Java RMI等传输协议实现。外部系统通过所提供的API方法能够实现元模型、元数据及元数据基本功能的调用。要求通过API的内容包括： 元模型调用与管理，元模型的增加、删除、修改、查询、读取等操作可以通过API实现。 元数据的调用，元数据的增加、删除、修改、查询、读取等操作可以通过API实现。 元数据基本功能的调用，提供血统分析、影响分析、差异分析等图形化分析功能的对外调用。 8.9 用元数据的模块周边接口图8.10 附图7. 综合分析系统元数据管理模块边界接口图附图8. 元数据管理从系统各模块：数据数据源、ODM、DW、ETL、OLAP、上层应用等中获取元数据信息 元数据管理系统作为数据质量管理系统的依据，指导数据质量管理系统评价数据质量，主要体现为数据的