中国移动企业级大数据中心建设指导意见V11终版资料.docx

1、中国移动企业级大数据中心建设指导意见V11终版资料中国移动企业级大数据中心建设指导意见为进一步提高中国移动互联网战略的服务能力， 对内驱动企业管理的精细化、智能化，对外提供信息服务型产品，实现大数 据开放后的运营和服务提升， 公司决定在全国范围内实施中国移 动企业级大数据中心建设工作， 通过整合全公司数据资源， 盘活 数据资产，助力公司第三条曲线的拓展，以服务“内增效、外增 收”的整体企业战略，保证中国移动在激烈市场竞争中的可持续 发展。一、建设要求与重点企业级大数据中心作为中国移动唯一、 统一的数据采集、处理、服务和运营的平台，通过“统一采集、统一存储、统一管理、 统一运营和统一服务”，形成

2、集团及各省市公司“多节点”、“网状网” 形态的数据和服务共享能力； 具备独立机构以承担平台建维、 数据交换、资产管理、应用开发、数据服务和数据运营职责。为企 业内、外部客户提供“按需”的服务能力，辅助企业决策，彰显数 据价值。企业级大数据中心的建设要求包括三方面：（一）建好组织：建立相对独立的、专业的企业级大数据中 心管理机构，立足公司全局，全面负责企业级大数据平台的规划、 建设、运维，以及数据资产管理、产品开发和数据运营等职能。（二）搭好平台：企业级大数据中心满足中国移动全部数据 “统一采集、统一存储、 统一管理、统一运营、 统一服务”的要求， 实现逻辑集中；全部数据的采集、处理和存储分布于

3、多个节点， 进行物理分散，同时实现关键数据资产的异地容灾备份。（三）做好服务：企业级大数据中心能为集团各部门、专业 基地（位置等） 、专业公司（咪咕、互联网、政企、在线服务、 物联网等）、各省公司及外部行业提供灵活的“按需”服务。二、建设重点企业级大数据中心建设重点要求如下： （一）企业级大数据中心的能力要求 为了承接大数据中心的基础平台管理、 数据交换、资产管理、 应用开发、数据应用、数据运营六个职责，在大数据平台技术架 构层面提供数据基础服务能力、 系统平台管理能力、 数据资产管 理能力和应用共享开放能力四个部分：数据基础服务能力： 数据基础服务能力是大数据平台的基 础，包含数据采集功能、

4、数据存储运算功能、数据交互功能。数 据采集需包括来自 BSS 、 OSS 、 MSS 的基础数据、来自于用户 上网行为的 DPI 二次解析数据以及来自外部的第三方数据的数 据采集。数据存储运算功能可根据数据类型及应用采用不同类型 的数据库技术实现对不同价值、 规模、 时效性的数据差异化存储 和运算。数据交互功能是实现不同形式的数据存储之间的数据交系统平台管理能力： 大数据平台需具备系统平台管理能力， 提供对大数据平台的软件和硬件资源的管理，包括诸如资源管 理、负载管理、配额管理以及计量管理等。通过系统平台管理能 力大数据平台管理者可以根据租户提出的平台资源和能力的申 请进行资源分配、监控、动态

5、调整以及资源开销核算。数据资产管理能力： 数据资产管理能力包括数据质量管理、 数据安全管理等。数据安全管理提供跨租户、跨时间、跨平台、 跨任务的数据质量监控与管理。 数据安全管理能力对大数据平台 的使用者进行相关的账号、授权、鉴权等设置。应用共享开放能力： 为支持应用开发者高效、安全、规范的 进行应用开发， 大数据平台需要具有应用开放能力， 应用开放能 力包括开发者管理门户、 统一调度平台等功能。 通过开发者管理 门户实现注册认证、 资源申请、数据申请、 开发上线功能的管理。 统一调度平台需集成图形化的开发界面， 通过统一封装的函数库 提供类 SQL 的开发语言，以屏蔽底层差异性，降低业务人员

6、的 开发门槛，实现快速的业务开发。（二）企业级大数据中心的技术架构 按照“逻辑统一，物理分离”的原则构建全国统一的多域融合 企业级大数据中心。 在云资源池基础上按照“ 1+31 ”方式在总部和 省公司分别建设总部节点和省级节点。 总部节点采集总部系统和 专业公司系统以及全国性、 总体性对外业务合作的外部数据； 省 级节点采集省内系统 BSS 、MSS 、OSS 三域及其它系统数据、省级对外业务合作的外部数据。 总部节点和省级节点之间通过轻 度汇总和高价值详单数据接口进行数据交互，逐步形成全国共 享、按需服务、形成大数据的良性生态圈，对内对外提供数据、 平台和应用服务。利用现有集中化经分系统，

7、向企业级大数据中心演进， 利用 省公司现有经分系统能力， 演进为省公司大数据中心， 合理利用 现有资源，实现大数据中心能力的快速搭建和提升，打造DW+MPP+Hadoop ”混搭技术架构。Hadoop :承载大数据中心的ETL功能，实现三域数据定时、 实时数据处理；承载清单、网络信令、非结构化数据等基础数据 处理；建立企业级统一标准模型，并且对外提供明细查询服务。 采用Hadoop技术和PC服务器架构解决数据量大、 数据多样的 问题；MPP :是使用SQL进行结构化大数据处理和分析最好的技 术选择，具有高并发、支持多表联合复杂查询、高安全等优势。DW :传统数据库，面向企业级高性能数据处理，进

8、行复杂 汇总分析运算。采用高性能库和传统小机架构提升数据分析性 能，集中保障集团、省级应用。企业级大数据中心各节点按照能力需求划分为数据源、 资源池层、数据采集/分发层、数据计算和存储层、能力开放层、数 据运维和管理数据、数据应用。图2企业级大数据中心节点功能结构数据源数据源包括企业内部 BSS域、OSS域、MSS域各系统的 清单级和汇总级数据，以及企业外部系统的数据。重点接入LTE的XDR数据，实现O域、M域及外部数据 源与现有B域数据的融合;资源池层采用云计算、 虚拟化技术整合计算、 存储和网络等硬件资源 向上提供服务。数据采集和分发 以离线批抽取和在线实时抽取方式从数据源系统采集数据，

9、将采集数据或 DPI 二次解析后的数据按照数据种类分发至负责 数据计算和存储的各类集群，并协调各集群之间的数据同步。数据计算和存储为适应各类海量结构化， 非结构化数据的计算和存储要求的 多种集群。 包括面向批处理的 Hadoop 集群( MR ，Spark ，用于 ETL )、 面 向 文 件 存 储 和 查 询 的 Hadoop 集 群 ( HDFS,Hbase,Hive )、流处理集群( Storm/Spark Streaming ) 传统数据仓库集群 DW 、MPP 数据仓库集群、内存数据库集群。 各集群数据流向呈交叉网状，应支持资源的多租户调用。能力开放层从数据、 API 、工具三个层

10、次对外提供服务。透明数据层在 各类数据计算和存储集群之上提供一个面向各类应用的统一数 据访问能力， 屏蔽各计算和存储集群的复杂性。 OPEN API 以接 口方式封装各类数据计算和存储集群的能力，供各类应用调用。 并提供自助报表、 OLAP 工具、 SAS/SPSS 数据挖掘、 IDE 等工 具类服务。数据运维和管理包含数据资产管理、元数据管理、统一调度、多租户管理、 资源池运营、权限管理、安全管理、系统运维管理。数据应用架构上对数据和应用进行解耦， 各类应用（不同的应用开发 商）通过能力开放层的服务使用数据。应用涵盖企业内、外部， 包括报表、查询、统计、分析、挖掘，对外价值变现等。基于以上大

11、数据平台重点支撑的需求，系统技术架构应包括 数据源、数据采集与处理、数据存储、数据应用四个主要组成模 块。梳理大数据平台系统应具备的关键技术， 深入研究各项大数据关键技术，为未来公司级大数据平台建设实施工作提供技术储 备和参考。图2企业级大数据中心的技术架构（四）企业及大数据中心对外服务的模式与场景企业级大数据中心对外提供 SaaS、PaaS、DaaS的服务模式，将大数据采集、存储和处理的基础能力以及数据本身开放给 个性化应用的开发者，这些开发者可利用开放的能力， 开发个性 化应用（或数据）;将大数据的应用（或数据）提供给公司业务部门、网络部门以及外部行业客户 大融摇平台SaaSDaaSPaa

12、S三呼刁宅分圻应犀总魄营0F走十二wT Tf q*省分曲F据耶台（X江）（SaaSwwwwwDaaSvvvwwPaaS图3企业级大数据中心对外服务模式DaaS。SaaS （ Software as a Service ， “软件即服务）是按需求进行 应用开发，提供指标、报表或专题分析，以应用的方式提供给需 求方使用。使用者通常为无自行开发能力的需求方。 应用场景举例：1）市场部通过自助服务、即席查询等方式自行分析； 2）大数据平台运营方开发业务统计报表供市场部、 财务部等部门作为决策和管理依据。PaaS （Platform as a Service 平台即服务）提供给使用者部署应用到云基础设施

13、上的能力， 这些应用是使用者通过使用平台 支持的编程语言和提供的开发工具创建或采购的。 PaaS 使用者 不必关心底层云基础设施（包括网络，服务器，操作系统，或存 储），但需关心所部署的应用，并可能控制应用环境的配置。使 用者为有个性化需求、深度需求，利用平台工具和数据，自行组 织应用开发的内部需求者、 合作伙伴以及外部数据需求方。 应用 场景举例：网络部第三方厂商利用大数据平台直接调用三域融合 数据，利用其归属租户存储其分析数据， 通过统一 IDE 开发其应 用，以 API 接口方式与其原有应用对接。Daas（Data as a Service, 数据即服务 ）是对各种数据进行不 同程度“数

14、据封装”，通过各种服务方式向不同应用系统提供数据 服务，满足企业内外部用户的多样性数据请求。 建立数据服务请 求和数据之间标准化的访问接口， 提升与内外部系统的互动和信 息共享能力。使用者为有个性化需求、深度需求，需要从大数据 平台获取数据，自行组织软硬件资源以及应用开发的内部需求 者、合作伙伴以及外部数据需求方。应用场景举例： 1、开发者 通过数据集成平台进行批量数据的准备与接口配置。 2、开发者 通过数据封装平台将准备好的数据封装成相应的查询接口。 3、 开发者通过消息中间件平台提供的接入、接出能力进行接口配 置。 4、开发者将以上 3 类接口，注册到服务集成平台中，形成 数据服务访问接口

15、。 5、上层应用 （或外部系统 ），通过服务集成 平台查看数据服务接口信息，并调用。（五） 企业级大数据中心的数据治理企业级大数据平台的数据膨胀给整个开发、架构、运维体系 都难已承载巨量的数据， 对平台支撑以及系统管理能力带来巨大 的挑战， 同时数据是企业最核心的资产， 如何有效进行数据的保 值和增值，需要建立大数据中心的数据治理和数据资产运营管理 体系，实现数据管理的降本增效， 提升数据管理能力与数据价值。企业级大数据中心数据治理包括数据标准管理、数据运维、 数据资产运营和数据资产应用， 通过进行全面数据模型梳理、 优 化，实现数据资产的可视、可控，建立全流程的开发维护规范和 流程，支撑面向

16、内部应用和对外服务的数据管理应用。企业级大数据中心的数据资产包括基础数据、数据模型、挖 掘模型、数据字典、元数据及数据分析报告等方面。（1）数据标准管理当前大数据时代下， 数据作为企业最有价值的核心资产， 成 为企业间竞争的核心因素； 企业级大数据中心将不断引入三域数 据、企业外部数据等海量结构化、半结构化数据，数据管理、运 维难度加大， 亟需建立大数据平台完整的数据规则管理、 标准开 发以及运维体系：数据规则管理体系须加强大数据中心的数据管控， 增强数据模型设计、 数据字 典规则设置等管理流程标准化、规范化。标准开发体系支撑面向 PAAS 服务开放的图形化开发工具 , 支持应用商在企业级大数

17、据平台进行开发、 调用， 面向多租户实现图形化的开 发界面及统一封装函数库的集成；通过可视化拖拽方式对 API 进行编排，实现数据建模过程，满足业务部门自助开发的需求。 运用类 SQL 语言实现传统 DB 、HADOOP 、MPP 等平台的统一 操作，屏蔽差异。标准运维体系 解决大数据平台各系统串行调度模式无法满足多平台协作、 大并发处理的要求，通过对各平台数据处理任务基于输入表解 耦，简化调度配置及监控运维工作，提高了整体执行效率。（2）元数据管理 元数据管理属于企业级大数据中心的数据管理域的基础模 块，基于元数据的关联分析能力和图形化展现能力， 通过元数据 OpenAPI 实现能力开放，为

18、大数据中心的数据资产管理、数据 质量管理、 数据开发共享、 数据安全和业务应用提供辅助功能支 撑，提升企业大数据平台的运维管理水平和用户感知。企业级大数据中心的元数据包括技术元数据、 业务元数据和 管理元数据三类，涵盖大数据中心的数据源、资源池层、数据采 集和分发、数据计算和存储、能力开放层和数据应用层。与传统数据仓库相比， 企业级大数据平台元数据管理的差异 主要体现在两个方面：分布式存储和计算框架企业级大数据中心采用 MPP 数据库、 Hadoop 分布式存储和计算框架， 以降低数据存储和处理成本， 提升系统横向扩展能 力，支持互联网业务发展和大批量数据处理分析的需要。 数据源 接口文件以

19、HDFS 文件的形式进入 Hadoop 平台，经过一到多 个步骤的 ETL 处理后进入 HIVE 、HBASE 或者 MPP 数据库中。 与传统数据仓库相比， 大数据平台的数据实体数量更庞大， 数据 处理过程更复杂。多租户环境在大数据平台多租户环境下， 要求元数据管理模块为每个租 户分别提供逻辑上独立的元数据存储库、 元数据获取功能、 管理 功能和应用功能。每个租户可以通过调用元数据管理模块的 OpenAPI 实现元 数据的扩展管理功能和应用功能， 租户之间可以通过共享沙箱实 现元数据的共享访问。（3）数据质量管理 数据质量管理是企业级大数据平台数据管理域的核心子系 统之一，提供数据质量监控、

20、告警、问题分析处理和数据质量评 估等功能，旨在建立大数据平台数据加载处理和应用各个关键环 节、关键实体的数据质量监控预警机制，及时发现、报告、处理 大数据平台中的数据质量问题，保障大数据平台的数据质量。数据质量管理目标是保障企业级大数据平台数据准确性、 合 法性、及时性等，并为大数据平台运维人员提供数据的波动性、 平衡性、合理性等管理手段， 管理范围涵盖大数据中心的数据源、资源池层、数据采集和分发、数据计算和存储、能力开放层和数 据应用层。三、建设实施原则 为了保障企业级大数据中心的顺利建设， 要求按照如下六项 原则进行推进：1、统一原则：以“建好组织、搭好平台、做好服务”为目标， 实现统一采

21、集、统一存储、统一管理、统一运营、统一服务；2、开放原则：借鉴互联网思维，强调开放、协作、共享， 打造开放的“和生态”；3、先进原则：积极研究、引入先进技术及经验，建设“低成 本、高效率”的大数据中心；4、安全原则：强化流程管理和日常监控，保障信息安全； 建立异地容灾平台，保护企业关键数据资产；5、利旧原则：充分考虑现有系统、平台在架构、数据、应 用、运维和人员等方面的储备和积累， 把已有的资源尽量充分复 用或利旧，降低整体成本；6、渐进原则：统一规划、分步实施，逐步优化组织机构， 完善平台能力， 提升服务能力， 稳步推进企业级大数据中心建设。四、组织架构及职责、岗位建议（一）企业级大数据中心

22、组织保障建议为了保障企业级大数据运营工作， 尽快发挥数据价值， 根据 当前各省公司实际发展现状，对组织架构建议如下： 目标方案：各省公司由总经理或分管副总经理担任公司 CIO （首席信息官） 一职，统筹大数据相关工作， 并增设二级部门“大 数据中心”。大数据中心由具有市场、网络、财务等专业技能人员 联合组成，承担大数据平台的规划、建设、维护及运营职能 ;过渡方案：各省公司在业务支撑系统部下设二级副部门“大 数据中心”。大数据中心由业务支撑中心人员为主组成， 承担大数 据平台的规划、建设及维护职能。推荐各省选用目标方案。 存在相关困难的， 可以以过渡方案 逐步演进。（二）大数据中心职责大数据中心

23、职责如下：一、负责大数据平台的规划、大数据技术演进的研究、大数 据平台的建设和维护、以及相关系统、数据等安全规划和实施；二、制定大数据管理相关规章制度， 构建完善的数据治理体系，实现跨域数据的元数据、数据模型管理、数据质量管理和数 据生命周期管理等；三、负责大数据产品的研发，覆盖产品设计、开发和运营， 以及效果后评估全流程管理，包括数据产品商品化过程的管理， 以及数据服务的计费；四、负责大数据产品售前、售中、售后的一体化支撑，探索 大数据对内部各部门的服务模式， 以及对外在各行业的解决方案 以及商业模式，形成大数据应用的产品。（三）与现有职能部门的关系 大数据中心通过统一采集企业内外部各数据源

24、系统数据， 通 过加工处理后形成大数据服务产品， 为内部各相关部门及外部实 体提供服务。与数据源管理部门的关系： 大数据中心作为企业级数据资源池， 与数据源管理部门协调 制定数据获取标准，统一采集 B域、0域、M域数据。数据源 管理部门包括：业支、网管、数据、业务基地、财务、人力等。 同时，根据对外服务需要，接入外部数据源提供的相关数据。数据源管理部门负责参照标准数据获取标准， 及时、 准确地 提供数据。与内部服务部门的关系： 大数据中心为内部各服务部门提供大数据产品服务， 服务对 象部门包括：市场、集客、数据、网络、财务、审计、人力、计 划等。内部各服务部门负责提交业务需求及产品使用效果反馈

25、。与外部服务对象的关系： 大数据中心提供面向外部对象的行业应用产品及信息服务，服务对象包括：政府机关、各企事业单位、个人等。（四）岗位人员建议设置（1 ）岗位设置基于大数据中心职责要求，建议配置如下岗位： 平台规划、建设和维护类：包括：平台架构岗位、技术开发岗位、平台维护岗位。 数据运营类：包括：数据保障岗位、业务分析岗位、数据挖掘岗位和数 据产品岗位。各岗位具体职责如下：平台架构岗位负责平台建设和技术保障，包括：大数据平台规划设计、 大数据平台运营管理、数据平台相关技术保障、测试平台的 维护。技术开发岗位负责大数据平台的技术研究、开发和改进，包括平台软 件、中间件等设计、开发。平台维护岗位负

26、责大数据平台的系统维护、业务维护，包括：系统监 控、系统优化、业务监控和业务优化。数据保障岗位负责数据的加载以及数据质量保障，包括：各类数据的 加载、数据质量的保障、信息安全的保障、数据能力的开放。业务分析岗位负责业务分析和需求导入，包括：业务调研、需求分析、跨部门沟通、相关业务运营。数据挖掘岗位培养数据科学家。负责大数据建模和创新，包括：大数据分析、大数据建模、大数据挖掘、机器学习。产品经理岗位负责大数据产品的设计策划、开发、营销，包括：产品 运营、数据服务、可视化和平台产品的设计、行业解决方案 和运营。（2 ）角色设置大数据技术和应用对公司的人才培养提出了新的要求， 传统的技术人才已经无法

27、满足大数据变现的需要， 因此，公司需要物色和培养大数据相关的专业人才。 在大数据运营的过程中，中国 移动自有技术力量不可或缺， 必须具有掌握核心架构的人员， 与 业务、流程和分析相关的内容也应该自我掌控。 结合国内外电信运营商的先进经验，企业级大数据中心需要具备以下类型的人 员：运营分析师：按照公司领导和业务部门的需求，深入分析和挖掘数据，形成专题分析报告；数据科学家：建立各种数据挖掘模型，进行数据的深度分析；数据管理员：制定数据规范，实施“数据治理；及时解决数据质量问题；数据建模师：制定标准的数据模型，确保数据模型的一致性，评估逻辑模型和物理模型的差异和矛盾；数据架构师：设计数据库，数据模型

28、， ETL过程，数据仓库设计和数据系统的改进。对数据架构的发展未来做出决 定和建议；技术架构师：紧跟新技术，组织对产品的测试和选型，负责制定创新架构；数据咨询师：借助我公司的数据资源帮助企业内外部的组织实施各类大数据项目；数据产品师：负责大数据产品的设计策划、开发、营销。（3）人员配置建议借鉴互联网公司运营大数据平台的经验， 结合中国移动现状 建议人员配备分三个阶段逐步增强中国移动自有力量， 逐步掌握 大数据平台的核心技术、 开发和数据运营，分阶段降低厂商支撑 人员比例。初期阶段，以现有厂商合作模式为主， 在平台规划和设计方 面增加中国移动自有人员能力和数量， 掌握核心架构规划和设计 能力，掌

29、控数据运营核心环节。同时鉴于大数据新技术的复杂性， 增加支撑厂商的大数据平台规划、 建设和维护人员， 以及数据运 营人员。 建议中国移动大数据中心规划、 建设和维护人员每个省 达到 20-30 人，数据运营人员 5-10 人，厂商支撑人员 65-100 人。移动人员和厂商人员比例达到 1:2.5 左右。中期阶段， 逐步增强中国移动自有力量， 在掌握核心架构和 能力基础上， 逐步掌握核心功能的开发和维护。 逐步减少厂商的 支撑人员占比。 建议中国移动大数据中心规划、 建设和维护人员 达到 50-70 人，数据运营 15-30 人，厂商支撑人员 65-100 ，移 动人员和厂商人员比例达到 1:1

30、 左右。最终阶段， 团队全部以中国移动自有人员组成， 全部负责平 台的规划、建设和维护，以及全流程的数据运营。建议中国移动 大数据中心规划、建设和维护人员达到 80-120 人，数据运营 30-50 人。五、演进阶段 以“搭平台、促运营、和生态 ”为三个阶段，从组织、平台及 服务三个方面逐步演进，实现企业级大数据中心的目标。（一）起始阶段 - 搭平台 组织：采取二级部门下挂中心的形式成立大数据中心， 设立 大数据规划、建设和维护岗位，制定数据管理流程，保障大数据 基础平台的建立。平台：构建可以处理海量大数据、非结构化数据、实时流数 据计算的 hadoop 、MPP 、DW 混搭的企业大数据平台

31、。 汇聚 B、 O 、M 三域数据，按数据不同特性分别在不同的数据库中存储。 形成数据的统一模型。服务：面向公司各部门、 第三方提供基于 DaaS 的数据统一 访问 API ，数据质量管理能力。（二）发展阶段 -促运营 组织：升级大数据中心为二级部门，增加数据保障、业务分 析、产品经理等岗位向规划、 建维、运营独立的大数据中心演进， 实现大数据中心从规划、建设、维护到运营的一体化管理。平台：通过研究 Spark 、 Yarn 等大数据中心相关技术进一 步扩充和完善平台， 丰富平台的开放能力， 丰富透明数据访问工 具，支持多租户及快速的应用开发。汇聚行业应用、基地公司等 数据，完善跨域数据融合建

32、模， 形成企业大数据平台的统一运维 管控。服务：丰富 PaaS 平台环境、数据处理工具、资源管理工具 等，实现数据的便捷处理。面向合作伙伴开放，实现应用的百花 齐放。（三）完善 -和生态 组织：经过前期积累，对标互联网公司，成立规划、建维、 运营独立的大数据中心，独立实施大数据的商业化运营。平台：实现平台能力的全面开放，提供敏捷开发功能组件， 支持应用快速部署。形成逻辑集中、物理分散的模式，实现各省 结点之间数据可以相互访问的全网统一大数据平台。服务：丰富 SDK 、中间件等应用开发工具的 SaaS 平台， 实现数据安全高效开放、 应用迅速开发部署。 打造和建设可以在 各省节点间共享服务的企业级