中国移动通信网优大数据平台运营指导意.docx
《中国移动通信网优大数据平台运营指导意.docx》由会员分享，可在线阅读，更多相关《中国移动通信网优大数据平台运营指导意.docx（13页珍藏版）》请在冰豆网上搜索。
中国移动通信网优大数据平台运营指导意
中国移动网络部网优大数据平台
运营指导意见
V3.0
中国移动通信集团网络部
2018年3月
1、总则
总部网络部提出以“一级平台、两级集中”的工作目标，打造一套集全网汇总、质量分析、专项优化、智能分析、集中优化、应急保障于一体的网优大数据平台。
通过网优大数据平台的自主研发和全网部署，构建全网统一的系统架构、数据来源、算法实现和分析规则，逐步落实网优IT自主开发、核心能力内化，探索各省分布部署、总部网络部与各省联合集中运营的网优大数据平台新模式和新流程。
为明确总部网络部、各省公司工作流程与职责，保证网优大数据平台全面应用于优化生产的落地效果，特制定本指导意见。
本指导意见对网优大数据平台运营各个环节的工作内容、职责划分进行了明确的说明，从运营原则、运营主体、运营流程等方面进行了内容细分，构建了以总部网络部为中心、各省公司为节点的统一运营管理方式，保证网优大数据平台的高效运营。
2、目的与适用范围
本指导意见适用于总部网络部网优大数据平台的开发部署工作以及各省基于总部网络部网优大数据平台的日常运维、二次开发与自主创新工作。
3、运营原则
网优大数据平台基础平台由总部网络部自主研发部署，构建网优数据采集解析、基础汇总分析以及数据共享能力，作为全网网优数据的唯一数据接口；上层应用由总部、省公司及支撑单位根据一线生产需求共同研发，实现上层应用的百花齐放。
4、运营主体及职责划分
网优大数据平台的运营包含三大运营主体，分别为“网优大数据平台技术咨询委员会”、“总部网络部无线优化处”、“各省网优中心”，各运营主体职责如下：
1）网优大数据平台技术咨询委员会
由总部网络部与部分先进省公司的网优与IT领域技术专家共同成立“网优大数据平台技术咨询委员会”，人员为10-20人。
技术咨询委员会主要负责研讨制定技术路标、各类规范、需求评审以及技术评审等工作。
主要负责内容如下：
●制定技术演进路线
定期研讨发布网优大数据平台技术架构演进路线规划，定期发布技术白皮书，明确网优大数据平台及其上层应用的IT技术要求，持续保持平台架构领先。
●相关标准化制定
网优大数据平台数据接口规范，便于平台数据共享。
网优大数据平台测试规范。
●需求评审
对总部及各省基于网优大数据平台的上层应用开发需求进行评审，明确后续开发方式。
●最佳实践技术评审
对各省上报的基于网优大数据平台的自研成果进行技术先进性、可落地性评审，给出推广方案。
2）总部网络部无线优化处
总部网络部无线优化处，主要负责基础平台的开发、部署、升级以及通用功能模块的开发，负责各省网优中心更好的推进网优大数据平台的技术演进及落地应用。
主要负责内容如下：
●自主开发
负责网优大数据基础平台的开发。
针对总部项目经理提出的基础分析需求，进行相应应用开发。
●平台部署
网优大数据基础平台的部署。
指导省端网优大数据平台的部署。
●需求管理
需求的收集、整理和必要的应用需求合并项避免过度的重复开发。
收集整理各省的二次开发模块内容和需求，提交技术咨询委员会评审。
●技术推广
对各省基于网优大数据平台自研的优秀应用进行全网推广。
带动各省优化人员向大数据化网优转型发展。
3）各省网优中心
各省网优中心为网优大数据平台的省端落地应用单位，需配备2-3名专职IT人员，配合总部网络部做好网优大数据平台的平台部署、二次开发与日常运维。
主要负责内容如下：
●平台部署
配合协调平台部署所需的各项资源。
依据总部网络部网优大数据数据采集规范，部署省端网优大数据平台，同时进行数据采集，并入库大数据源。
依据总部网络部技术框架，部署采集存储服务器集群及采集层数据层系统。
●应用开发
按照总部网络部数据共享接口规范，提供数据共享功能。
制定省公司数据模块开发计划，进行差异化、个性化网优大数据平台二次开发及应用，实现数据应用的精细化运营和对网络优化工作的有效支撑。
●日常运维
省端网优大数据平台硬件、网络、系统软件的日常维护。
数据源质量、平台数据质量的日常监测维护。
配合总部网络部开展平台各类问题的定位。
按照总部网络部要求上报运营数据，以协助总部网络部开展数据管理、监督及核查工作。
5、平台运营流程
运营流程主要包含三大主流程，分别为平台部署流程、应用开发流程、日常运维流程。
平台部署流程主要用于规范平台部署中存在的各项工作，确保部署过程顺畅，提前规避相关问题点。
应用开发流程主要用于规范应用开发涉及的相关内容，确保各省公司积极创新，自主开发应用模块，百花齐放百家争鸣。
通过规范开发环节，避免过度的重复开发，确保开发的应用得到实际应用和验证，确保对于效果好的应用，能够得到全国推广。
日常运维流程主要用于规范日常运维内容，保证平台正常运转，数据质量得到保证。
5.1平台部署流程
网优大数据平台的平台部署流程又分为初始部署与升级部署等两类部署工作。
初始部署主要包括硬件协调及安装、网络环境打通、大数据组件安装、上层应用程序安装、平台调测上线等六个环节。
升级部署按照触发主体的不同，分为总部触发升级和省端触发升级。
总部升级主要包括平台前后台应用程序版本升级、新版本调测上线等重点工作。
省端升级主要包括相关数据报备。
5.1.1初始部署
初始部署具体流程如下：
初始部署流程图
主要步骤如下：
1）总部网络部发布网优大数据平台软硬件资源基础配置；
2）省公司根据网优大数据平台软硬件资源配置原则，结合本省网元规模，协调相应服务器硬件和网络条件；
3）省公司负责调通网优大数据服务期之间以及网优大数据服务期与数据源（包含但不限于NRM、PM、MR、OTT信令等）各位数据源之间的网络；
4）省公司在总部网络部的指导下按照指定技术框架进行大数据组件安装，包括网优大数据平台运行需要的Hadoop、Greenplum数据库、HBase数据库、Redis等大数据组件；
5）总部网络部对省公司部署环境、相关程序安装情况进行检查
6）通过检查后，总部网络部进行网优大数据平台应用程序部署，省公司负责配合总部网络部进行程序调测
7）省公司配合进行平台运行状态核查并反馈总部网络部，各项运行状态符合总部网络部要求后，初始部署流程结束。
5.1.2升级部署
●总部触发
升级部署具体流程如下：
升级部署流程图（总部触发）
主要步骤如下：
1）总部网络部发布新版本
2）平台进行部署升级，省公司应同步根据总部网络部升级的功能模块进行平台部署升级；
3）省公司配合进行新版本上线调试，并做好运行情况、数据质量、功能模块运行效果的持续监测。
●省端触发
升级部署流程图（省端触发）
主要步骤如下：
1）数据源版本升级报备：
省公司在有数据源版本升级或版本变更需求时书面向总部网络部进行报备；
2）自主研发模块升级报备：
省公司自主研发的系统功能模块部署升级需报备总部网络部；
3）硬件升级报备：
省公司根据数据处理及数据规模对硬件进行升级，保证平台运行顺畅；
5.2应用开发流程
网优大数据平台应用开发主要包括需求收集及评审、功能模块开发、性能测试、效果验证及推广等环节。
整体流程如下：
应用开发流程图
5.2.1需求收集及评审
●需求收集
总部网络部负责收集总部各项目经理及各省网优中心应用开发需求，各省公司通过需求申请表上报相应需求。
（模板详见附录）
●需求评审
总部网络部对需求进行收集和汇总，同时组织技术咨询委员会对功能需求进行评审，确定是否需要进行开发，对于需要进行开发的需求，对开发方式进行研讨，筛选出共性需求及个性化需求，发布评审内容，进行需求分派。
5.2.2功能模块开发
●需求分派
总部网络部遵循功能研发不重复、多功能合作研发的原则，针对共性需求由总部牵头组织力量进行开发，针对个性化需求由各省基于网优大数据平台的共享标准数据接口进行开发。
对于总部网络部指导全国运营生产重点功能模块开发由总部网络部开发，省公司配合部署至省端平台。
技术选型
在省公司开发应用功能的过程中，当需要引入新的大数据处理技术时，上报总部网络部，由总部网络部牵头，指导省公司进行技术选型，避免技术架构不统一造成的落后技术导致硬件资源和投资的浪费。
●功能模块开发
省公司根据总部网络部分派的任务和研发计划组建开发小组，对功能模块进行详细设计（功能算法、数据结构、类的层次等）和程序实现。
对于需要借助外部力量的，需要对合作单位签署《网优大数据平台应用开发安全责任承诺书》（模板详见附录）
●数据共享
由技术咨询委员会制定统一数据共享规范和接口规范，省公司通过该规范对数据源进行统一采集、统一解析，统一运算，统一共享。
●数据审批
由总部网络部制定数据审批流程，统筹规划省端程序所需处理和输出的数据及指标，省公司按照数据审批流程规范，安全使用数据。
5.2.3性能测试
●功能测试
对于总部网络部开发的功能，省公司配合对功能模块进行功能测试（包含逻辑功能测试、界面测试、易用性测试、安装测试、兼容性测试）等，根据测试结果输出测试报告，报备总部网络部；对于省公司开发的个性需求，也需要进行相应的功能测试。
●性能测试
对于总部网络部开发的功能，省公司配合对功能模块进行性能测试（包含一般性能测试、稳定性测试、负载测试、压力测试）等，根据测试结果输出测试报告，报备总部网络部；对于省公司开发的个性需求，也需要进行相应的性能测试。
5.2.4效果验证及推广
●效果验证
省公司在总部网络部的牵头下按计划完成应用功能研发，完成应用功能验证，以书面形式反馈应用效果；总部网络部完成应用的部署，相应省公司配合总部网络部完成应用的部署。
●应用推广
对于省公司开发的功能，经由技术咨询委员会完成效果确认后，由总部网络部根据省公司研发功能使用效果，评估对网络优化的实际意义，确定是否在全国各省公司进行推广；
5.3日常运维流程
网优大数据平台运营维护工作主要包含数据源维护、平台硬件维护、配套网络维护、数据库维护、应用软件维护等五项重点工作。
总部网络部负责和指导各省端网优大数据平台的总体运行维护和管理工作。
省公司具体负责网优大数据平台计算机硬件平台维护、配套网络维护、基础软件维护、应用软件维护系统运维管理，保障网优大数据平台系统的安全正常运行。
省公司均应明确网优大数据平台的运行维护职责、且安排不少于2-3名专职人员，专门负责本级网优大数据平台日常运行维护和系统安全、用户管理等工作。
省公司负责日常运行维护工作包括及时将系统运行中出现的软硬件故障、安全配置问题，以及诸如内部搬家、断电、线路检修、互联网地址变更等情况报备总部网络部；如实记录本地系统运行维护中发生的问题、故障现象及处置情况，并建立平台处置问题库。
日常管理工作包括系统安全管理，用户账号的添加、修改、删除，应用系统的授权数据恢复操作，以及对备份系统、备份策略、备份介质的维护管理等。
5.3.1数据源维护
●总部网络部
总部网络部端采集程序运行监控，软件版本升级维护
总部网络部端运维模块监控、通报采集数据源问题信息
●省公司
省端核查平台数据采集完整性，处理问题数据源数据准确性问题
省端采集源信息变更维护，上报总部网络部最新信息
省端维护更新资源管理系统数据（工参）
5.3.2平台硬件维护
●省公司
省端平台服务器硬件运行状态日常监控（处理、存储资源使用情况）
省端服务器硬件故障处理，配件更换（硬盘，内存，网卡等）
省端按平台处理性能及应用功能模块，扩容配套硬件进行支撑维护
5.3.3配套网络维护
●总部网络部
总部网络部端监控采集程序数据采集情况，排查定位网络问题。
总部网络部端平台内部网络程序间互访监控，确保采集、入库、应用查询网络正常。
总部网络部端网络异常问题与省端配合互调。
●省公司
省端处理平台数据采集网络问题，协调各方资源配合处理。
省端省内访问平台网络维护及数据信息安全维护。
省端平台对接系统及共享接口的网络链接维护。
5.3.4数据库维护
●总部网络部
总部侧网优大数据平台采集入库程序维护。
总部侧网优大数据平台数据库报表维护。
●省公司
省端网优大数据平台数据库入库性能监控。
省端网优大数据平台数据库资源运行维护。
5.3.5应用软件维护
●总部网络部
总部侧网优大数据平台各功能模块、应用页面查询使用维护。
总部侧网优大数据平台相关应用程序维护，应用更新、版本升级维护。
●省公司
省端网优大数据平台二次开发应用维护。
省端网优大数据平台用户账号管理维护。
说明：
1）平台硬件指服务器主机、网络设备及存储设备，统一部署在省端网管机房，便于完成对所需数据源的采集；
2）配套网络指保证信息系统相互通信和正常运行的网络组织，包括联网所需的交换机、路由器、防火墙等网络设备和局域网内连接网络设备的网线、传输、光纤线路等，用以保证平台稳定运行、平台应用web访问、数据采集及共享；
3）数据库指用于平台数据入库及存储所需的数据库资源，包括Hadoop集群、Hbase集群、Greenplum集群、Mysql、Redis等相关环境搭建；
4）应用软件指运行于平台服务器使用的操作系统、及系统之上直接提供服务或业务的网优大数据平台功能模块软件。
6、修订历史
日期.版本
修订历史
编制人
说明
2017年3月1日
V3.0
周兴围（集团）
2017年2月25日
V2.0
周兴围（集团）、冯先庆、金鑫、蔡林、杜鹏（贵州公司）
2017年12月8日
V1.0
冯先庆、金鑫、蔡林、杜鹏（贵州公司）
2017年1月30日
V2.0
周兴围（集团）
梳理流程
附录一：
网优大数据平台需求申请表
网优大数据平台需求申请表
需求提出公司
申请日期
申请人
申请人联系方式
需求名称
需求类型
□业务需求类□功能需求类□设置更新类
□设计优化变更类□错误修补类□系统类
需求等级
□特急□紧急□一般
要求完成时间
一、需求提出与说明
需求描述
需详细描述需求目标、范围、用户角色、业务场景等，如涉及流程信息应提供详细流程图与说明文档。
（流程图及其他支撑性文件可另附附件）
数据需求
需详细描述涉及的数据需求
二、需求评估（技术咨询委员会填写）
需求可行性评估
○可行○不可行
分析评估详细说明：
三、需求分析和反馈（技术咨询委员会填写）
需求编号
XXXQ-yyyymmdd-Num
实现方式
○新增功能○修改功能○配置变更○BUG修复
功能需求说明
（描述针对需求在功能的分析，需要进行哪些功能点的新增或改造）
实现建议方案
（实现方案简介、工作量估算、开发计划排期）
实现方案应当包含对需求的理解、实现思路、是否对现有平台存在改造或影响的描述；
环境资源中应当包含涉及系统环境、模块、外围系统配合工作；
工作量估算中应当包括人天，开发计划应当精确到天；
四、需求确认（总部网络部填写）
需求确认
□同意
□不同意（请注明理由，若有修改意见，请明确或附附件）
确认人签字
审核日期
填表说明:
（1）适应范围：
适应于网优大数据平台需求管理。
各公司发起的需求申请，需填写表中相关内容；本表由需求提出公司拟稿发起，第一部分由需求提出公司填写，第二部分、第三部分由技术咨询委员会填写反馈意见，第四部分由总部网络部进行确认。
（2）变更类型（非必填项）：
1.1业务需求类：
指需求公司提出的新的业务需求。
1.2功能需求类：
指需求公司提出的新的功能需求。
1.3设置更新类：
指通过更改系统设置和配置即可满足的需求。
1.4设计优化变更类：
指对现有平台的设计进行优化和变更的需求。
1.5错误修补类：
指对现有系统的Bug和错误进行修正的需求。
1.6系统类：
指系统主机、数据库、外围系统接口层面的需求。
（3）申请编号（非必填项）：
申请编号规则为：
XXXQ-yyyymmdd-Num
其中：
XXXQ：
XX需求，XX使用省份代码进行替代
YYMMDD：
提出需求的日期
YY：
需求日期的年份的后两位
MM：
需求日期的月份，不足两位的前面补0
DD：
需求日期的日，不足两位的前面补0
Num：
流水号
（4）省份代码
安徽
AH
吉林
JL
新疆
XJ
北京
BJ
江苏
JS
西藏
XZ
重庆
CQ
江西
JX
浙江
ZJ
福建
FJ
辽宁
LN
广东
GD
内蒙古
NM
甘肃
GS
宁夏
NX
广西
GX
青海
QH
贵州
GZ
四川
SC
河南
HA
山东
SD
湖北
HB
上海
SH
河北
HE
陕西
SN
海南
HI
山西
SX
黑龙江
HL
天津
TJ
湖南
HN
云南
YN
附录二：
网优大数据平台应用开发安全责任承诺书
升级会员 