CTGMBOSS EDAODS总体规范V10.docx

1、CTGMBOSS EDAODS总体规范V10EDA-ODS：总体规范版本1.0中国电信集团公司2007年7月目 录1 文档说明 11.1 编制说明 11.2 适用范围 21.3 起草单位 21.4 解释权 21.5 版权 22 系统综述 32.1 驱动力 32.1.1 业务发展的需要 32.1.2 数据共享的需要 42.1.3 数据质量提升的需要 52.2 系统定位 52.3 业务目标 72.3.1 统一准实时数据共享 82.3.2 生产经营数据质量检查 82.3.3 统一客户视图的提供及展示 82.3.4 生产经营报表统一的提供和展示 92.3.5 关键生产经营绩效指标与经营风险的监控 92

2、.3.6 生产经营过程所需跨系统数据的批量计算 92.4 系统目标 102.4.1 数据整合 102.4.2 数据共享 102.4.3 数据应用 112.4.4 数据质量管控 123 系统架构 123.1 数据架构 123.1.1 接口数据层 133.1.2 整合数据层 143.1.3 汇总数据层 143.1.4 数据共享层 143.1.5 元数据层 153.2 功能架构 153.3 技术架构 164 系统边界 174.1 ODS与生产系统 174.1.1 ODS和生产系统对比分析 174.1.2 ODS系统和生产系统功能边界划分 194.2 ODS与EDW 214.2.1 ODS和EDW对比

3、分析 214.2.2 ODS系统和EDW区别与功能边界划分 234.2.3 ODS与EDW在企业数据架构下有效协作 265 系统演进 275.1 系统演进总体论述 275.2 系统演进阶段 275.2.1 数据整合阶段 275.2.2 应用开发阶段 315.2.3 完善提升阶段 366 附录 386.1 主要编制人员 386.2 术语解释 396.3 ODS业务应用 396.3.1 业务应用蓝图 406.3.2 售前环节 406.3.3 售中环节 446.3.4 售后环节 506.3.5 其他综合应用 556.4 系统实施演进表 661 文档说明1.1 编制说明中国电信集团明确提出了客户品牌统

4、领市场经营工作的要求，在市场经营的各项具体工作中细化和逐步落实客户化经营思路，适应以“产品”为中心向以“客户”为中心的转变，要求在市场经营的各项具体工作中细化和逐步落实客户化经营思路。市场的转型对于IT系统固化以客户为中心的市场计划、营销策划、销售、服务、统计分析等工作提出了更高的要求，需要相关流程的变更和优化，需要建立和应用360度客户统一视图信息，在各环节中应用客户统一视图信息，同时实现信息在各渠道和前后端的进一步共享。在客户化流程的设计中我们发现客户服务和营销过程越来越依赖于频繁地查询集成的客户信息，这些都需要跨系统运营数据的支撑；同时，由于各系统数据标准不一致，存在同样信息在不同系统中

5、取值不同的现象，带来了信息的不一致，无法取得一致的统计分析数据，不利于企业的精确化管理，给业务发展带来一定影响。中国电信ITSP1.0和CTG-MBOSS规范中提出的ODS（运营数据仓储）对于解决以上问题是及时和有效的。ODS是中国电信IT架构中的重要组成部分，在ITSP1.0和CTG-MBOSS中已经明确了其在企业信息化系统中的定位：即数据整合（承载客户统一视图）、数据共享、跨系统数据应用和数据质量检查。随着CRM、计费、服务开通、资源等核心IT系统建设的逐步开展，尤其是CRM、计费省集中系统的逐步到位以及客户品牌统领市场经营工作对IT固化生产流程的迫切要求，使得ODS成为承载企业数据模型及

6、数据标准，并据此整合各系统数据以实现企业跨系统数据共享，提供跨系统数据应用，提升数据质量的最好承载平台。因此，作为对中国电信CTG-MBOSS系列规范的必要补充，统一各省和系统集成商的认识，解决以上问题，我们制定了中国电信运营数据仓储（简称ODS）相关规范，主要包含中国电信集团运营数据仓储系统(ODS)规范总册（以下简称ODS规范总册）和中国电信集团运营数据仓储系统(ODS)技术分册（以下简称ODS技术总册）。ODS规范总册主要介绍了ODS系统建设驱动力、业务目标、系统目标、系统架构、系统边界及系统演进等方面的内容，明确指出了中国电信ODS系统的定位、功能及与其它周边系统的边界划分原则。ODS

7、规范总册从总体上指导各省ODS的建设。ODS技术分册主要介绍了ODS系统技术架构、功能框架、系统总体及各功能域各自的技术特点和技术要求以及ODS系统实施与系统部署等方面的内容。ODS技术分册从技术角度指导各省ODS的建设。与此规范配套下发的还有中国电信EDM模型3.0，其中BSS部分设计了细化到具有物理模型特征的逻辑模型，此部分作为ODS规范的重要组成部分，直接作为ODS整合层数据模型的实施要求。1.2 适用范围本规范适用的范围为中国电信集团公司。1.3 起草单位本规范起草单位为中国电信集团公司。（参加编写总册的人员名单见附录一。）1.4 解释权本规范的解释权属于中国电信集团公司。1.5 版权

8、本规范的版权属于中国电信集团公司。2 系统综述2.1 驱动力客户品牌统领的市场经营工作带来了市场经营工作的巨大转型，对信息化也提出了很高的转型要求，IT系统需要围绕市场转型，实现从单一产品为中心向客户为中心的支撑能力的提升。客户品牌统领的市场经营工作对统一的客户信息视图提出了更高的要求，要求企业的销售品策划、销售过程、服务过程，以及后续的统计、分析、考核等均以客户为中心开展，这就要求在新老系统并存支撑市场经营工作快速转型的过程中，有一个跨系统的数据共享平台，支撑售前、售中、售后不同环节的跨系统数据应用需求。同时，精确管理也迫切要求实现统一的运营数据标准，提高数据共享的效率和准确率，提升数据质量

9、；另外，通过数据的整合与信息的有效共享，也将推动企业业务流程逐步优化。在ITSP的指导下，各省MBOSS系统按照“松耦合、模块化、可配置”的基本架构原则进行实施，以灵活快速支撑不断变化的市场需求。“松耦合”专业化的架构设计原则要求建设MSS、BSS、OSS、EDA四大系统域以及各子系统，多个系统间数据的共享及跨系统数据的应用支撑就成为IT本身面临和需要解决的重要问题，需要在IT架构中明确采用跨系统的数据共享平台予以解决，依据ITSP规划及CTG-MBOSS规范指导，2.1.1 业务发展的需要1. 客户品牌经营的需要 1）客户品牌经营需要IT系统能够向营销、销售、服务人员提供360度的统一数据视

10、图数据，如客户数据，产品数据，但是这些核心数据目前分布在多个IT系统中，EDW系统虽然整合了部分数据，但是其整合频率较低，不能够满足数据实时/准实时性数据提供的要求；2）客户品牌经营要求针对客户进行完整的的评价，如客户积分、信用度计算等，并将结果应用到客户营销、销售和服务工作中，但是目前客户数据分散在的多个IT系统中，难以对于客户进行完整的评价。2. 精确管理的需要 1）精确管理需要对市场计划、营销活动与销售、服务等售前、售中、售后关键环节（如订单、工单、故障单等）的执行情况进行统计与监控，及时反应企业的生产经营效率； 2）精确管理要求IT系统能够迅速的反映各部门、各团队或各渠道关于用户发展数

11、、业务量、收入等关键绩效指标，通过KPI和实际完成状况的关联，完成对各部门、团队或渠道的KPI指标进行统计、监控，其结果也能反馈给管理部门以便迅速地做下一步决策； 3）精确管理要求实现统一企业经营报表的数据源，形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经营报表的统一提供和展示，实现“商务领航”等客户品牌统计指标体系，实现客户、产品、量收等多维度的报表需求，解决CRM、计费等生产系统分别按照本系统的自有数据向外提供经营报表，数据标准不统一造成同一统计指标的差异性等问题。要解决以上业务发展问题，都需要时效性较高的跨系统数据支撑，现存的任何一个单独IT系统都无法有效支撑以上业务发展的

12、需要，因此，迫切需要建设一个准实时地整合跨系统数据的IT系统，而企业运营数据仓储（ODS）便是有效支撑以上业务发展需求的一个很好的承载平台。2.1.2 数据共享的需要1. 快速支撑跨系统应用的需要越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑。将各生产系统数据准实时整合到统一的数据共享平台上，有利于提高数据共享能力，实现跨系统应用的快速支撑。同时，基于准实时数据共享平台实现一些基于企业运营数据的统计、监控及计算类的应用，同时可减轻生产系统的压力，使生产系统专注于生产运营，提高专业化运作效率，降低企业运营成本。2. 促进企业数据模型（EDM）落地企业数据模型描述了中国电信在业务运营和

13、管理中所涉及的核心业务概念和关系，作为企业的数据标准指导各个应用系统的数据模型统一设计，从根本上保证系统之间数据理解的一致性。由于很多系统建设早于企业数据模型的发布，很多系统在实施中以功能建设为主，对数据模型的设计不够重视，造成各系统间概念不统一、数据模型不一致，数据共享困难，数据转换存在信息丢失。因此，建设基于企业数据模型的数据共享平台，形成中国电信企业层面的统一信息视图，并在整合各生产系统数据过程中，发现生产系统数据模型与企业数据模型的差异，能够促进各系统的数据模型逐渐统一到企业数据模型。3. 形成企业标准数据，解决多系统间网状数据接口的需要目前，同一数据分散在多个不同的生产系统（如CRM

14、、计费、渠道、10000号等）中，数据通过系统之间的网状接口进行共享，从不同系统中获取所需的数据时，由于数据属主不确定，存在数据的不一致现象。因此需要建立企业数据共享平台，明确数据的唯一来源，形成企业的标准数据，保证数据的完整性、准确性和一致性，一方面为各系统提供集中一致的数据共享服务，另一方面能降低系统间网状接口的复杂性，减少单一系统的升级改造对周边系统的影响，降低生产系统的生产压力。2.1.3 数据质量提升的需要伴随着各生产系统的建设和改造，由于种种历史原因，存在生产系统之间数据不一致，数据质量差等问题。为了解决以上的数据质量问题，通过建立企业数据共享平台，在收敛全企业生产系统运营数据的过

15、程中，采用数据检查稽核手段及完善的数据管控流程，能够发现源生产系统的数据质量问题，以促进各生产系统数据质量的持续提升。2.2 系统定位为解决业务发展中的存在的问题，需要建设一个跨系统的数据共享平台以支撑售前、售中、售后不同环节的业务流程对跨系统数据应用需求。ODS便是这样一个跨系统运营数据的共享平台，承接操作环境和分析环境。早在中国电信的ITSP规划及CTG-MBOSS规划中已经明确了建设ODS（运营数据仓储），使之成为企业级跨系统共享数据平台的必要性，为ODS给出了明确的定位。根据ITSP规划，中国电信的企业信息化体系由管理支撑系统（MSS）、业务支撑系统（BSS）和运营支撑系统（OSS）组

16、成，统称为CTG-MBOSS。CTG-MBOSS的基础架构包括企业应用整合平台（EAI）、企业数据架构(数据模型、运营数据仓储ODS、数据仓库)、数据中心、DCN网络等。如下图所示：图 21 ODS在ITSP中的定位企业数据架构建立在统一的数据模型基础上，由应用系统自有数据库、运营数据仓储(ODS)、数据仓库(DW)三个层面组成。其中ODS存储按主题分类的面向运营的准实时数据，提供统一的企业数据视图；应用系统自有数据库存储该应用系统内部实时交易数据；DW存储面向经营决策分析的历史数据。在中国电信CTG-MBOSS规范中，运营数据仓储(ODS)是企业数据架构的一个组成，ODS在CTG-MBOSS

17、企业数据架构的位置如图所示： 图 22 ODS在CTG-MBOSS中的定位运营数据仓储(ODS)处于操作环境和分析环境之间。ODS对应用系统产生的数据进行清洗、过滤和整合，是提供给企业数据仓库高质量数据的重要来源之一，同时为各个应用系统提供近实时的运营报表等跨系统共享数据服务。在企业运营层，对于需要同时利用跨系统的操作型数据和相关分析结果数据的协作型应用需求，ODS也起到关键支撑作用。遵照ITSP和CTG-MBOSS对于ODS的定位，结合企业目前的业务发展需要、数据共享需要及数据质量提升需要，提出ODS系统的目标如下：2.3 业务目标ODS作为一个独立的系统，是企业数据架构的重要组成部分。OD

18、S完成跨系统数据整合后，可实现以下的业务支撑目标：2.3.1 统一准实时数据共享ODS为企业各生产系统提供统一共享数据接口，减少系统间相互接口的重复性，降低接口的复杂程度，提高系统间接口效率与质量，同时为跨系统数据应用提供数据支撑。ODS作为中国电信企业运营数据共享平台，不仅仅是中国电信各业务部门和企业管理层获取统计数据的唯一来源，同时也是国家公安与安全机构、金融机构等外部机构获取中国电信运营数据的来源。2.3.2 生产经营数据质量检查生产经营的数据质量不高对企业收益、客户服务和日常业务流程都会带来很大影响。ODS作为收纳企业运营数据的仓储中心，是提升生产运营数据质量的很好承载平台。ODS系统

19、对抽取到的各生产系统的数据进行属性合法性检查、数据表关联性检查、数据比对稽核等以发现数据质量问题，提交给源生产系统做数据的修正后再提交给ODS系统，形成这样一个数据质量管理的闭环流程，提升生产经营数据质量。另外ODS通过向其它应用提供经过数据质量提升、标准化后的数据，可促进企业标准化数据的应用。2.3.3 统一客户视图的提供及展示中国电信通过前台营业厅、网上客服中心、10000号等多种渠道向客户提供销售服务，基于ODS实现统一客户视图信息的共享，在各个接触点上提供及展现统一的客户视图信息，支撑营销、销售、服务等多个层面快速准确地获取客户、产品等信息，能提升客户感知。ODS能够支持营销人员获得营

20、销活动所需的市场统计数据和目标客户数据，以便进行精确化营销；能够支撑销售人员通过统一客户视图信息及其统计数据的即席查询，以发现客户需求，增加销售机会；能够支撑服务人员通过跨系统数据的支撑，了解客户全方位的信息，以进行客户分等级服务等工作。2.3.4 生产经营报表统一的提供和展示目前，CRM、计费等生产系统分别按照本系统的自有数据向外提供经营报表，不同部门对数据的时间和业务概念理解不一致，造成不同系统的报表有差异，同时手工进行报表拼凑也会造成差异。于是，产生了不同部门有差异不同组织层级有差异的报表，而且大量需求不固定的对外报表提供对生产系统性能影响很大，不利于生产系统核心事务处理的稳定运行。因此

21、，通过ODS统一企业经营报表的数据源，形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经营报表的统一提供和展示，以支撑客户品牌统领的市场经营工作和精确化管理需要。2.3.5 关键生产经营绩效指标与经营风险的监控全过程的营销支撑需要对市场计划、营销活动、销售活动等各项工作进行事前预测和事中监控，ODS能够基于从各生产系统搜集到市场营销与销售的相关信息，对市场营销与销售业绩完成情况进行统计，并通过客户发展、业务量、收入等关键绩效指标和实际完成状况的关联，完成对各部门、团队或渠道的关键生产经营绩效指标的监控与考核。通过客户发展、业务量、收入等指标与过网数据、竞争数据的关联，能够进行风险的预

22、警和监控。2.3.6 生产经营过程所需跨系统数据的批量计算为了支撑客户品牌经营工作的开展，实现基于客户品牌维度的相关量收指标统计，需要实现“商务领航”和“我的e家”等客户品牌的标注；为了更好地提升客户管理能力，需要建立客户积分、信用度等客户评价体系；为了加强代理商的管理，发展优质客户，需要复杂、完善的渠道佣金计算支持。随着以“产品”为中心向以“客户”为中心的转型，越来越多经营过程中所需的基于跨系统大量细节数据的批量计算功能都需要ODS提供。除以上几大类的业务目标外， ODS上还可根据业务发展需要不断扩展其上可支撑的业务功能，可扩展业务功能范围的总体原则需遵循本规范2.4节明确的ODS系统目标及

23、第5章“系统边界”中制定的边界划分原则。2.4 系统目标ODS作为企业运营数据共享平台，收敛企业各业务系统中的运营数据，按照企业数据模型进行数据整合，提供运营数据共享，支撑跨系统数据的应用，提升数据质量。2.4.1 数据整合ODS在对企业运营数据的整合过程中能够实现以下三个统一：1. 统一数据模型由ODS承载企业数据模型（EDM），促进企业各系统数据逻辑模型的统一。在MBOSS体系内新建或改造的系统，其数据模型应向ODS所承载的企业数据模型靠拢。数据模型是各系统及应用间交互的基础，通过数据模型的统一，减少系统及应用间复杂的转换，提高系统、应用、接口的效率。2. 统一数据标准ODS中建立标准的数

24、据编码目录，源系统数据依据标准的数据编码目录，经过整合后进入ODS中存储，实现企业数据的标准化与统一存储。3. 统一数据视图基于ODS所存储的数据，支撑实现统一数据视图，使企业在客户、产品、资源等视角获取到的信息是一致的，提升客户、企业内部的管理人员与分析人员对系统的感知。2.4.2 数据共享ODS将各生产系统的数据整合后，在系统上基于整合好的数据提供查询、报表、计算等应用外，ODS还将系统内整合好的数据以数据共享的形式提供给其它系统。ODS主要提供两种数据共享方式，一种是准实时批量数据提供；另一种是实时查询服务。准实时批量数据提供即ODS系统将获取到的生产系统的数据以准实时提供给其它需要此数

25、据且对数据实时性要求相对不高的生产系统，以减少生产系统间的网状接口，例如ODS可向号码百事通提供来自CRM系统的用户号码信息等；同时ODS还可将整合好的跨系统数据以准实时批量数据提供方式提供给外系统，以配合外系统支撑部分客户销售服务流程等。实时查询服务即ODS系统通过实时查询服务方式将ODS系统内整合好的跨系统数据向外系统提供，以配合外系统支撑客户统一视图查询、清单查询、帐单查询等功能。同时，对于生产系统间不带有业务逻辑交互的实时数据共享（如CRM向ISMP平台提供用户状态变更数据），随着ODS的演进过程及ODS共享数据的实时性的提高，只要ODS提供共享数据的实时性能够满足外系统对数据实时性的

26、要求，则外系统原来从数据的产生系统获取共享数据的方式需要改为从ODS获取需要的共享数据，以减少系统间网状接口，降低耦合程度，极大减少单一系统升级对其他系统的影响。2.4.3 数据应用ODS整合和承载了企业细粒度运营数据，可以开发出很多应用。本着数据与应用相对分离的基本思想，ODS的数据应用需要与ODS的数据承载松耦合设计。数据应用可以由ODS系统基于整合好的数据直接提供，也可以由EDA架构下的其他应用功能提供（在这个场景下ODS提供只数据）。ODS可以直接或者与EDA架构下其他应用功能协作提供以下功能：1. 查询ODS提供查询条件不固定的按需查询功能。用户可以根据关心的维度查询ODS中整合好的

27、360度业务全貌数据，例如，为渠道经理提供完整客户视图信息的查询，为营业员、10000号客服人员、客户提供完整客户视图查询、帐单查询等。2. 固定报表固定报表是维度和指标固定的统计结果的展示，在ODS系统中对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，基于性能影响和资源开销两方面的考虑，应采用后台通过作业的方式提前自动生成，在需要时可以立即展现结果。报表展现应支持多种图表方式，如饼图、柱图、线图等；支持报表数据导出为其他文件类型，如EXCEL、CSV、XML、PDF、WEB存档文件等；支持报表精确打印控制。ODS中可实现的固定报表有客户品牌统计报表、企业数据应用门户部分

28、报表等。3. 动态报表基于ODS整合好的数据，可以利用报表工具按使用者关心的维度和指标对数据进行主题性的统计，动态报表中维度和指标不固定，可在数据模型支持的范围内变换。在ODS上可实现以下的动态报表：用户发展数、使用量、业务收入、欠费、竞争统计；市场计划统计与监督；商机的统计和监控；KPI考核与监控等。4. 计算ODS系统在整合好的数据基础上按照设定好的业务规则进行部分属性数据计算，计算结果不在ODS系统中直接更新，而是由ODS返回到该属性数据的属主生产系统，由属主生产系统完成该属性数据的更新后再通过数据抽取、加载过程进入ODS之后更新。可在ODS上实现的批量计算包括：客户品牌标签的标识、客户

29、积分计算、客户信用度计算等。2.4.4 数据质量管控ODS在数据收敛的过程中，能完成以下数据质量管控工作：1） 数据质量校验根据规则对ODS所存储的数据进行一致性、完整性、正确性的校验，形成数据校验结果并交付源系统进行修正。2） 数据质量管控通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控，达到数据质量逐步完善。3 系统架构 3.1 数据架构ODS数据层次架构分为接口数据层，整合数据层、汇总数据层、数据共享层、元数据层，如下图所示： 图 31 ODS系统数据架构对于各数据层次的解释详见以下描述。3.1.1 接口数据层接口数据层存储的是由ODS从源系统采集的数据

30、，其主要特点如下：1. 接口数据层存储ODS采集的外围接口数据，如CRM、计费、OSS等系统需采集到ODS的数据。2. 接口数据层的数据模型与外围系统基本保持一致。3. 接口数据层的数据与外系统保持实时/准实时同步，对于有实时要求的数据域，应尽可能提高数据的实时性。3.1.2 整合数据层整合数据层存储是经过数据清洗、转换、整合后的运营数据，是ODS的核心数据层，其主要特点如下：1. 整合数据层是ODS存储数据的核心层。2. 整合数据层中的数据原则上是统一编码格式的数据，可作为企业数据标准指导外围系统逐步统一数据格式。3. 存储数据模型遵循集团EDM模型，按数据主题域体系组织，落实具有物理特征的

31、EDM逻辑模型。3.1.3 汇总数据层汇总数据层存储根据主题维度形成的企业统计、汇总数据，其主要特点如下：1. 根据主题报表加工需要，形成汇总数据。2. 按主题存储汇总数据，通过日期、地区、产品规格、销售品规格、渠道类型、处理类型等维度对运营数据进行计算后形成汇总数据存储。3. 可基于原有汇总数据基础上，根据需要继续汇总，形成多级汇总数据。3.1.4 数据共享层数据共享层是基于ODS中收敛整合好的数据，对外提供数据共享，数据共享层本身不提供数据的存储，其主要特点如下：1. 数据共享层统一对外系统提供共享数据。2. 对各系统共享的信息尽可能从整合数据层映射、共用。另外，考虑到企业中类似于清单类的

32、数据，其特点是数据量巨大，并且此类数据进入ODS并不需要复杂的转换与整合，而只是简单的复制到ODS中；因此如果已有相应系统提供清单数据查询支撑，从节约企业成本、减少数据冗余的角度，该类型数据并不采集到ODS系统中，而是直接将其在源系统的存储数据作为ODS的共享层数据来源之一，逻辑上纳入ODS系统。对于用户量不大的省份可由ODS直接存储并提供清单数据。3.1.5 元数据层元数据（Metadata）是关于数据的数据，是对数据的含义、功能、来源等进行描述，内容包括在ODS系统建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。元数据可以帮助ODS管理员和ODS的使用人员方便地找到他们所关心的数据。