中国移动企业级大数据中心建设指导意见V11终版资料全Word格式文档下载.docx

中国移动企业级大数据中心建设指导意见V11终版资料全Word格式文档下载.docx

《中国移动企业级大数据中心建设指导意见V11终版资料全Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《中国移动企业级大数据中心建设指导意见V11终版资料全Word格式文档下载.docx（12页珍藏版）》请在冰豆网上搜索。

通过系统平台管理能力大数据平台管理者可以根据租户提出的平台资源和能力的申请进行资源分配、监控、动态调整以及资源开销核算。

数据资产管理能力：

数据资产管理能力包括数据质量管理、数据安全管理等。

数据安全管理提供跨租户、跨时间、跨平台、跨任务的数据质量监控与管理。

数据安全管理能力对大数据平台的使用者进行相关的账号、授权、鉴权等设置。

应用共享开放能力：

为支持应用开发者高效、安全、规范的进行应用开发，大数据平台需要具有应用开放能力，应用开放能力包括开发者管理门户、统一调度平台等功能。

通过开发者管理门户实现注册认证、资源申请、数据申请、开发上线功能的管理。

统一调度平台需集成图形化的开发界面，通过统一封装的函数库提供类SQL的开发语言，以屏蔽底层差异性，降低业务人员的开发门槛，实现快速的业务开发。

（二）企业级大数据中心的技术架构

按照“逻辑统一，物理分离”的原则构建全国统一的多域融合企业级大数据中心。

在云资源池基础上按照“1+31”方式在总部和省公司分别建设总部节点和省级节点。

总部节点采集总部系统和专业公司系统以及全国性、总体性对外业务合作的外部数据；

省级节点采集省内系统BSS、MSS、OSS三域及其它系统数据、省级对外业务合作的外部数据。

总部节点和省级节点之间通过轻度汇总和高价值详单数据接口进行数据交互，逐步形成全国共享、按需服务、形成大数据的良性生态圈，对内对外提供数据、平台和应用服务。

图1中国移动企业级大数据中心的体系架构

利用现有集中化经分系统，向企业级大数据中心演进，利用省公司现有经分系统能力，演进为省公司大数据中心，合理利用现有资源，实现大数据中心能力的快速搭建和提升，打造“DW+MPP+Hadoop”混搭技术架构。

Hadoop：

承载大数据中心的ETL功能，实现三域数据定时、实时数据处理；

承载清单、网络信令、非结构化数据等基础数据处理；

建立企业级统一标准模型，并且对外提供明细查询服务。

采用Hadoop技术和PC服务器架构解决数据量大、数据多样的问题；

MPP：

是使用SQL进行结构化大数据处理和分析最好的技术选择，具有高并发、支持多表联合复杂查询、高安全等优势。

DW：

传统数据库，面向企业级高性能数据处理，进行复杂汇总分析运算。

采用高性能库和传统小机架构提升数据分析性能，集中保障集团、省级应用。

企业级大数据中心各节点按照能力需求划分为数据源、资源池层、数据采集/分发层、数据计算和存储层、能力开放层、数据运维和管理数据、数据应用。

图2企业级大数据中心节点功能结构

数据源

数据源包括企业内部BSS域、OSS域、MSS域各系统的清单级和汇总级数据，以及企业外部系统的数据。

重点接入LTE的XDR数据，实现O域、M域及外部数据源与现有B域数据的融合；

资源池层

采用云计算、虚拟化技术整合计算、存储和网络等硬件资源向上提供服务。

数据采集和分发

以离线批抽取和在线实时抽取方式从数据源系统采集数据，将采集数据或DPI二次解析后的数据按照数据种类分发至负责数据计算和存储的各类集群，并协调各集群之间的数据同步。

数据计算和存储

为适应各类海量结构化，非结构化数据的计算和存储要求的多种集群。

包括面向批处理的Hadoop集群（MR，Spark，用于ETL）、面向文件存储和查询的Hadoop集群（HDFS,Hbase,Hive）、流处理集群（Storm/SparkStreaming）传统数据仓库集群DW、MPP数据仓库集群、内存数据库集群。

各集群数据流向呈交叉网状，应支持资源的多租户调用。

能力开放层

从数据、API、工具三个层次对外提供服务。

透明数据层在各类数据计算和存储集群之上提供一个面向各类应用的统一数据访问能力，屏蔽各计算和存储集群的复杂性。

OPENAPI以接口方式封装各类数据计算和存储集群的能力，供各类应用调用。

并提供自助报表、OLAP工具、SAS/SPSS数据挖掘、IDE等工具类服务。

数据运维和管理

包含数据资产管理、元数据管理、统一调度、多租户管理、资源池运营、权限管理、安全管理、系统运维管理。

数据应用

架构上对数据和应用进行解耦，各类应用（不同的应用开发商）通过能力开放层的服务使用数据。

应用涵盖企业内、外部，包括报表、查询、统计、分析、挖掘，对外价值变现等。

基于以上大数据平台重点支撑的需求，系统技术架构应包括数据源、数据采集与处理、数据存储、数据应用四个主要组成模块。

梳理大数据平台系统应具备的关键技术，深入研究各项大数据关键技术，为未来公司级大数据平台建设实施工作提供技术储备和参考。

图2企业级大数据中心的技术架构

（四）企业及大数据中心对外服务的模式与场景

企业级大数据中心对外提供SaaS、PaaS、DaaS的服务模式，将大数据采集、存储和处理的基础能力以及数据本身开放给个性化应用的开发者，这些开发者可利用开放的能力，开发个性化应用（或数据）；

将大数据的应用（或数据）提供给公司业务部门、网络部门以及外部行业客户。

图3企业级大数据中心对外服务模式

大数据中心对外提供服务的模式分为三种：

SaaS、PaaS和DaaS。

SaaS（SoftwareasaService，“软件即服务”）是按需求进行应用开发，提供指标、报表或专题分析，以应用的方式提供给需求方使用。

使用者通常为无自行开发能力的需求方。

应用场景举例：

1）市场部通过自助服务、即席查询等方式自行分析；

2）大数据平台运营方开发业务统计报表供市场部、财务部等部门作为决策和管理依据。

PaaS（PlatformasaService平台即服务）提供给使用者部署应用到云基础设施上的能力，这些应用是使用者通过使用平台支持的编程语言和提供的开发工具创建或采购的。

PaaS使用者不必关心底层云基础设施（包括网络，服务器，操作系统，或存储），但需关心所部署的应用，并可能控制应用环境的配置。

使用者为有个性化需求、深度需求，利用平台工具和数据，自行组织应用开发的内部需求者、合作伙伴以及外部数据需求方。

网络部第三方厂商利用大数据平台直接调用三域融合数据，利用其归属租户存储其分析数据，通过统一IDE开发其应用，以API接口方式与其原有应用对接。

Daas（DataasaService,数据即服务）是对各种数据进行不同程度“数据封装”，通过各种服务方式向不同应用系统提供数据服务，满足企业内外部用户的多样性数据请求。

建立数据服务请求和数据之间标准化的访问接口，提升与内外部系统的互动和信息共享能力。

使用者为有个性化需求、深度需求，需要从大数据平台获取数据，自行组织软硬件资源以及应用开发的内部需求者、合作伙伴以及外部数据需求方。

1、开发者通过数据集成平台进行批量数据的准备与接口配置。

2、开发者通过数据封装平台将准备好的数据封装成相应的查询接口。

3、开发者通过消息中间件平台提供的接入、接出能力进行接口配置。

4、开发者将以上3类接口，注册到服务集成平台中，形成数据服务访问接口。

5、上层应用（或外部系统），通过服务集成平台查看数据服务接口信息，并调用。

（五）企业级大数据中心的数据治理

企业级大数据平台的数据膨胀给整个开发、架构、运维体系都难已承载巨量的数据，对平台支撑以及系统管理能力带来巨大的挑战，同时数据是企业最核心的资产，如何有效进行数据的保值和增值，需要建立大数据中心的数据治理和数据资产运营管理体系，实现数据管理的降本增效，提升数据管理能力与数据价值。

企业级大数据中心数据治理包括数据标准管理、数据运维、数据资产运营和数据资产应用，通过进行全面数据模型梳理、优化，实现数据资产的可视、可控，建立全流程的开发维护规范和流程，支撑面向内部应用和对外服务的数据管理应用。

企业级大数据中心的数据资产包括基础数据、数据模型、挖掘模型、数据字典、元数据及数据分析报告等方面。

（1）数据标准管理

当前大数据时代下，数据作为企业最有价值的核心资产，成为企业间竞争的核心因素；

企业级大数据中心将不断引入三域数据、企业外部数据等海量结构化、半结构化数据，数据管理、运维难度加大，亟需建立大数据平台完整的数据规则管理、标准开发以及运维体系：

数据规则管理体系

须加强大数据中心的数据管控，增强数据模型设计、数据字典规则设置等管理流程标准化、规范化。

标准开发体系

支撑面向PAAS服务开放的图形化开发工具,支持应用商在企业级大数据平台进行开发、调用，面向多租户实现图形化的开发界面及统一封装函数库的集成；

通过可视化拖拽方式对API进行编排，实现数据建模过程，满足业务部门自助开发的需求。

运用类SQL语言实现传统DB、HADOOP、MPP等平台的统一操作，屏蔽差异。

标准运维体系

解决大数据平台各系统串行调度模式无法满足多平台协作、大并发处理的要求，通过对各平台数据处理任务基于输入表解耦，简化调度配置及监控运维工作，提高了整体执行效率。

（2）元数据管理

元数据管理属于企业级大数据中心的数据管理域的基础模块，基于元数据的关联分析能力和图形化展现能力，通过元数据OpenAPI实现能力开放，为大数据中心的数据资产管理、数据质量管理、数据开发共享、数据安全和业务应用提供辅助功能支撑，提升企业大数据平台的运维管理水平和用户感知。

企业级大数据中心的元数据包括技术元数据、业务元数据和管理元数据三类，涵盖大数据中心的数据源、资源池层、数据采集和分发、数据计算和存储、能力开放层和数据应用层。

与传统数据仓库相比，企业级大数据平台元数据管理的差异主要体现在两个方面：

分布式存储和计算框架

企业级大数据中心采用MPP数据库、Hadoop分布式存储和计算框架，以降低数据存储和处理成本，提升系统横向扩展能力，支持互联网业务发展和大批量数据处理分析的需要。

数据源接口文件以HDFS文件的形式进入Hadoop平台，经过一到多个步骤的ETL处理后进入HIVE、HBASE或者MPP数据库中。

与传统数据仓库相比，大数据平台的数据实体数量更庞大，数据处理过程更复杂。

多租户环境

在大数据平台多租户环境下，要求元数据管理模块为每个租户分别提供逻辑上独立的元数据存储库、元数据获取功能、管理功能和应用功能。

每个租户可以通过调用元数据管理模块的OpenAPI实现元数据的扩展管理功能和应用功能，租户之间可以通过共享沙箱实现元数据的共享访问。

（3）数据质量管理

数据质量管理是企业级大数据平台数据管理域的核心子系统之一，提供数据质量监控、告警、问题分析处理和数据质量评估等功能，旨在建立大数据平台数据加载处理和应用各个关键环节、关键实体的数据质量监控预警机制，及时发现、报告、处理大数据平台中的数据质量问题，保障大数据平台的数据质量。

数据质量管理目标是保障企业级大数据平台数据准确性、合法性、及时性等，并为大数据平台运维人员提供数据的波动性、平衡性、合理性等管理手段，管理范围涵盖大数据中心的数据源、资源池层、数据采集和分发、数据计算和存储、能力开放层和数据应用层。

三、建设实施原则

为了保障企业级大数据中心的顺利建设，要求按照如下六项原则进行推进：

1、统一原则：

以“建好组织、搭好平台、做好服务”为目标，实现统一采集、统一存储、统一管理、统一运营、统一服务；

2、开放原则：

借鉴互联网思维，强调开放、协作、共享，打造开放的“和生态”；

3、先进原则：

积极研究、引入先进技术及经验，建设“低成本、高效率”的大数据中心；

4、安全原则：

强化流程管理和日常监控，保障信息安全；

建立异地容灾平台，保护企业关键数据资产；

5、利旧原则：

充分考虑现有系统、平台在架构、数据、应用、运维和人员等方面的储备和积累，把已有的资源尽量充分复用或利旧，降低整体成本；

6、渐进原则：

统一规划、分步实施，逐步优化组织机构，完善平台能力，提升服务能力，稳步推进企业级大数据中心建设。

四、组织架构及职责、岗位建议

（一）企业级大数据中心组织保障建议

为了保障企业级大数据运营工作，尽快发挥数据价值，根据当前各省公司实际发展现状，对组织架构建议如下：

目标方案：

各省公司由总经理或分管副总经理担任公司CIO（首席信息官）一职，统筹大数据相关工作，并增设二级部门“大数据中心”。

大数据中心由具有市场、网络、财务等专业技能人员联合组成，承担大数据平台的规划、建设、维护及运营职能;

过渡方案：

各省公司在业务支撑系统部下设二级副部门“大数据中心”。

大数据中心由业务支撑中心人员为主组成，承担大数据平台的规划、建设及维护职能。

推荐各省选用目标方案。

存在相关困难的，可以以过渡方案逐步演进。

（二）大数据中心职责

大数据中心职责如下：

一、负责大数据平台的规划、大数据技术演进的研究、大数据平台的建设和维护、以及相关系统、数据等安全规划和实施；

二、制定大数据管理相关规章制度，构建完善的数据治理体系，实现跨域数据的元数据、数据模型管理、数据质量管理和数据生命周期管理等；

三、负责大数据产品的研发，覆盖产品设计、开发和运营，以及效果后评估全流程管理，包括数据产品商品化过程的管理，以及数据服务的计费；

四、负责大数据产品售前、售中、售后的一体化支撑，探索大数据对内部各部门的服务模式，以及对外在各行业的解决方案以及商业模式，形成大数据应用的产品。

（三）与现有职能部门的关系

大数据中心通过统一采集企业内外部各数据源系统数据，通过加工处理后形成大数据服务产品，为内部各相关部门及外部实体提供服务。

●与数据源管理部门的关系：

大数据中心作为企业级数据资源池，与数据源管理部门协调制定数据获取标准，统一采集B域、O域、M域数据。

数据源管理部门包括：

业支、网管、数据、业务基地、财务、人力等。

同时，根据对外服务需要，接入外部数据源提供的相关数据。

数据源管理部门负责参照标准数据获取标准，及时、准确地提供数据。

●与内部服务部门的关系：

大数据中心为内部各服务部门提供大数据产品服务，服务对象部门包括：

市场、集客、数据、网络、财务、审计、人力、计划等。

内部各服务部门负责提交业务需求及产品使用效果反馈。

●与外部服务对象的关系：

大数据中心提供面向外部对象的行业应用产品及信息服务，服务对象包括：

政府机关、各企事业单位、个人等。

（四）岗位人员建议设置

（1）岗位设置

基于大数据中心职责要求，建议配置如下岗位：

●平台规划、建设和维护类：

包括：

平台架构岗位、技术开发岗位、平台维护岗位。

●数据运营类：

数据保障岗位、业务分析岗位、数据挖掘岗位和数据产品岗位。

各岗位具体职责如下：

●平台架构岗位

负责平台建设和技术保障，包括：

大数据平台规划设计、大数据平台运营管理、数据平台相关技术保障、测试平台的维护。

●技术开发岗位

负责大数据平台的技术研究、开发和改进，包括平台软件、中间件等设计、开发。

●平台维护岗位

负责大数据平台的系统维护、业务维护，包括：

系统监控、系统优化、业务监控和业务优化。

●数据保障岗位

负责数据的加载以及数据质量保障，包括：

各类数据的加载、数据质量的保障、信息安全的保障、数据能力的开放。

●业务分析岗位

负责业务分析和需求导入，包括：

业务调研、需求分析、跨部门沟通、相关业务运营。

●数据挖掘岗位

培养数据科学家。

负责大数据建模和创新，包括：

大数据分析、大数据建模、大数据挖掘、机器学习。

●产品经理岗位

负责大数据产品的设计策划、开发、营销，包括：

产品运营、数据服务、可视化和平台产品的设计、行业解决方案和运营。

（2）角色设置

大数据技术和应用对公司的人才培养提出了新的要求，传统的技术人才已经无法满足大数据变现的需要，因此，公司需要物色和培养大数据相关的专业人才。

在大数据运营的过程中，中国移动自有技术力量不可或缺，必须具有掌握核心架构的人员，与业务、流程和分析相关的内容也应该自我掌控。

结合国内外电信运营商的先进经验，企业级大数据中心需要具备以下类型的人员：

●运营分析师：

按照公司领导和业务部门的需求，深入分析和挖掘数据，形成专题分析报告；

●数据科学家：

建立各种数据挖掘模型，进行数据的深度分析；

●数据管理员：

制定数据规范，实施“数据治理”，及时解决数据质量问题；

●数据建模师：

制定标准的数据模型，确保数据模型的一致性，评估逻辑模型和物理模型的差异和矛盾；

●数据架构师：

设计数据库，数据模型，ETL过程，数据仓库设计和数据系统的改进。

对数据架构的发展未来做出决定和建议；

●技术架构师：

紧跟新技术，组织对产品的测试和选型，负责制定创新架构；

●数据咨询师：

借助我公司的数据资源帮助企业内外部的组织实施各类大数据项目；

●数据产品师：

负责大数据产品的设计策划、开发、营销。

（3）人员配置建议

借鉴互联网公司运营大数据平台的经验，结合中国移动现状建议人员配备分三个阶段逐步增强中国移动自有力量，逐步掌握大数据平台的核心技术、开发和数据运营，分阶段降低厂商支撑人员比例。

初期阶段，以现有厂商合作模式为主，在平台规划和设计方面增加中国移动自有人员能力和数量，掌握核心架构规划和设计能力，掌控数据运营核心环节。

同时鉴于大数据新技术的复杂性，增加支撑厂商的大数据平台规划、建设和维护人员，以及数据运营人员。

建议中国移动大数据中心规划、建设和维护人员每个省达到20-30人，数据运营人员5-10人，厂商支撑人员65-100人。

移动人员和厂商人员比例达到1:

2.5左右。

中期阶段，逐步增强中国移动自有力量，在掌握核心架构和能力基础上，逐步掌握核心功能的开发和维护。

逐步减少厂商的支撑人员占比。

建议中国移动大数据中心规划、建设和维护人员达到50-70人，数据运营15-30人，厂商支撑人员65-100，移动人员和厂商人员比例达到1:

1左右。

最终阶段，团队全部以中国移动自有人员组成，全部负责平台的规划、建设和维护，以及全流程的数据运营。

建议中国移动大数据中心规划、建设和维护人员达到80-120人，数据运营30-50人。

五、演进阶段

以“搭平台、促运营、和生态”为三个阶段，从组织、平台及服务三个方面逐步演进，实现企业级大数据中心的目标。

（一）起始阶段-搭平台

组织：

采取二级部门下挂中心的形式成立大数据中心，设立大数据规划、建设和维护岗位，制定数据管理流程，保障大数据基础平台的建立。

平台：

构建可以处理海量大数据、非结构化数据、实时流数据计算的hadoop、MPP、DW混搭的企业大数据平台。

汇聚B、O、M三域数据，按数据不同特性分别在不同的数据库中存储。

形成数据的统一模型。

服务：

面向公司各部门、第三方提供基于DaaS的数据统一访问API，数据质量管理能力。

（二）发展阶段-促运营

升级大数据中心为二级部门，增加数据保障、业务分析、产品经理等岗位向规划、建维、运营独立的大数据中心演进，实现大数据中心从规划、建设、维护到运营的一体化管理。

通过研究Spark、Yarn等大数据中心相关技术进一步扩充和完善平台，丰富平台的开放能力，丰富透明数据访问工具，支持多租户及快速的应用开发。

汇聚行业应用、基地公司等数据，完善跨域数据融合建模，形成企业大数据平台的统一运维管控。

丰富PaaS平台环境、数据处理工具、资源管理工具等，实现数据的便捷处理。

面向合作伙伴开放，实现应用的百花齐放。

（三）完善-和生态

经过前期积累，对标互联网公司，成立规划、建维、运营独立的大数据中心，独立实施大数据的商业化运营。

实现平台能力的全面开放，提供敏捷开发功能组件，支持应用快速部署。

形成逻辑集中、物理分散的模式，实现各省结点之间数据可以相互访问的全网统一大数据平台。

丰富SDK、中间件等应用开发工具的SaaS平台，实现数据安全高效开放、应用迅速开发部署。

打造和建设可以在各省节点间共享服务的企业级大数据生态圈，成为未来的大数据生态圈的核心协同者和服务者。