浪潮-数据中台建设方案v1.0202001.docx
《浪潮-数据中台建设方案v1.0202001.docx》由会员分享，可在线阅读，更多相关《浪潮-数据中台建设方案v1.0202001.docx（33页珍藏版）》请在冰豆网上搜索。
数据中台建设方案
目录
第1章 综述..................................................1
1.1项目背景 1
1.2建设目标 1
1.2.1数据资产自动汇聚、一键发布 1
1.2.2数据资产可视、可用、可管理 2
1.2.3数据质量可控、可视、可追溯 3
1.3建设思路 3
第2章 建设方案..............................................5
2.1采集层 5
2.1.1采集适配模块 5
2.1.2数据处理适配器 5
2.1.3数据采集策略的定制管理 6
2.1.4数据补采 8
2.1.5采集调度模块 9
2.2数据模型层 18
2.2.1建模方法思路 19
2.2.2数据模型分层架构设计 22
2.3数据治理功能 24
2.3.1统一数据标准管理 24
2.3.2统一数据建模 24
2.3.2.1统一数据加工 25
2.3.3统一数据资产 25
2.3.4统一数据质量管理 25
2.3.4.1统一数据共享与开放 26
2.4能力开放 27
2.4.1数据资产开放 27
2.4.2指标开放 27
2.4.3数据服务超市 27
2.5网管迁移方案 28
2.5.1BI工具 28
2.5.2话务及数据专业报表明细整理 31
第0页，共32页
数据中台建设方案
第1章综述
1.1项目背景
在20年集团网络工作部署，明确提出构建网络中台，推进业务拉通和数据共享。
打造数据业务化、业务数据化、技术通用化的网管中台架构体系。
以业务与数据治理为核心，存量系统共性能力按需解耦改造、新增能力遵循分层架构建设。
1.2建设目标
针对本次系统接管与替换，在整体架构上考虑以中台支撑现有系统的发展，基于智慧平台构建的OSS数据中台，实现数据专业整合，打通专业信息壁垒和数据孤岛，提升数据规范化水平。
实现数据集中存储和业务逻辑的数据处理，包括按时间粒度和维度组合的数据汇总。
同时数据中台中的数据可根据需要封装后直接对上层应用开放。
1.2.1数据资产自动汇聚、一键发布
l数据资产多手段自动汇聚
通过三种手段实现数据处理相关的接口、模型、任务、服务、指标各环节元数据及血缘关系的自动获取，同时发布为数据资产。
血缘关系自动获取，自动获取数据实体间的上下游信息，字段之间转换关系。
血缘关系登记录入：
在无法自动获取血缘关系的场景下，提供血缘关系登记录入界面，以补充完整数据血缘关系。
元数据登记录入：
支持数据实体的批量录入功能，能够满足物理实体及
其元数据信息的快速创建。
第32页，共32页
l数据资产一键发布
依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、指标库、。
标签库：
展现企业的标签数据，用于包括开发人员、业务人员、运维人员理解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。
指标库：
展现企业的指标数据，用于包括开发人员、业务人员、运维人员理解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。
1.2.2数据资产可视、可用、可管理
l强化元数据管理能力
将数据开发过程和元数据登记录入过程融合，实现元数据信息的自动录入。
l实现数据开发的统一管控
数据生产各环节的开发工作基于数据管理模块实现，各环境的元数据信息自动获取，并同步给其他应用系统，确保应用系统的元数据信息与数据管理模块一致。
l数据资产应用审批
确保数据资产安全，上层应用或用户申请数据使用时，需要通过流程审批。
l数据对内开放信息完整
提供样例数据查询，字段级统计数据查询，以方便开发人员选择所需数据资
产。
1.2.3数据质量可控、可视、可追溯
l数据标准落地
结合湖南移动网络运维与业务发展要求，梳理适合本地的数据标准，并基于数据管理模块完成数据标准的IT落地。
l数据血缘关系可视
通过数据生产各环节的元数据信息自动获取，形成端到端的数据血缘关系，通过可视化手段呈现数据血缘关系。
l端到端数据质量监控
依托数据标准与数据血缘关系的构建，建立数据质量稽核告警与端到端可视化呈现机制，质量情况可监控，可量化。
1.3建设思路
系统整体分为数据采集层、数据模型层、能力开放层及功能域。
l数据采集层：
采集层采用模块化设计思想，从业务功能上分为采集适配器、数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块实现自身的业务逻辑控制和管理，通过多维监控和质量管理，实现对系统平台的实时多角度监控与数据质量管理；同时，开放标准化的外部管理接口，以实现对外的可管理性。
业务功能层面，每层只需要关心本层的数据、业务
逻辑和业务实现，层与层之间通过标准接口进行交互，能更好地实现系统的可扩展性。
l数据模型层：
结合业界规范和多年的O数据数据建模经验，综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面，采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清晰，提高了数据访问效率等。
l能力开放层：
主要提供发布订阅模式、异步模式、同步模式等不同模式的数据开放共享。
l数据治理功能域：
提供对数据的统一治理能力，主要包括数据标准管理、元数据管理、数据资产管理、数据安全管理和数据质量管理等能力。
第2章建设方案
2.1采集层
2.1.1采集适配模块
采集适配模块实现网元直连网管接口采集和OMC北向接口适配采集；采集适配器层接收采集任务，实现与设备侧的接口协议适配，从设备侧获取原始数据，进行数据采集，采集适配器的功能组成如下：
协议适配、数据获取，并支持被动接收设备侧发送的数据。
采集的源数据通过适配器北向接口向上共享。
采集适配器支持实时数据、非实时数据；协议接口类型支持文件接口、数据库接口、指令接口、Syslog接口、NetFlow接口、SNMP接口、CORBA接口等主流网管接口类型，同时支持接口类型的扩展。
系统提供采集适配器的注册、动态加载及注销功能，并提供采集、处理适配器参数配置界面，以及适配器状态查看功能。
并对适配器进行手工的状态变更，比如启动、停止、重启等操作。
2.1.1.1采集过程数据检测
能够及时检测设备侧发送过来的文件准备好消息通知或者原始数据准备情况，数据准备好消息接收到后立即进行采集；数据始终未达到设定的完整标准，也能把部分准备好的数据进行采集，可配合厂商侧的情况，尽最大可能完整及时的采集数据。
2.1.2数据处理适配器
数据处理适配器接收调度中心的数据处理命令，将采集适配器生成的数据进行处理、关联运算，通过ETL过程将数据录入到数据库中。
数据处理适配层接收处理任务，对数据进行解析、格式化，并根据需要进行,
风暴抑制、数据上报、KPI指标计算。
原始数据、格式化数据、KPI指标均可以推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。
可以有选择地提供告警数据过滤能力。
2.1.3数据采集策略的定制管理
根据第三方应用，或者定制的配置、性能和告警数据的特性，采用不同的策略利用导航方式创建采集流程，描述了在何时到何地采集什么样的数据。
以向导式根据不同业务需求创建合适的采集策略。
根据性能、配置和告警数据的特性，采用不同的策略创建流程，明确创建过程，降低用户输入错误率。
创建策略的步骤有采集数据（数据源和数据集）、处理数据（标准化）和制定策略。
描述了在何时到何地采集什么样的数据。
2.1.4数据补采
当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务级别的补采。
2.1.5采集调度模块
采集调度模块实现对各类采集任务的统一调度管理；
（1）根据策略，生成相应的任务，进行分发。
（2）接收适配器发送来的采集任务执行情况查看请求，如：
采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。
（3）接收自动补采模块发送的任务信息，然后对该任务进行分发。
（4）任务的重做或补采:
当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务级别的补采。
（5）通过消息通道，发送任务消息到采集适配器。
（6）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分担，可以参考采集适配器硬件配置、CPU占用率、内存总量、内存占用率和采集机空闲线程数、任务负载权重等信息。
（7）在采集适配器出现异常后，能够把未执行完成的任务重新执行。
（8）容灾能力：
包括三种级别的容灾，即任务、适配器实例和调度中心容灾。
任务级别的容灾是指当适配器实例宕机时，该适配器实例中的任务可以切换到其他适配器实例中执行；适配器实例级别的容灾是指当一个适配器实例宕机时，该适配器的其他实例可以接管任务的执行；调度中心级别的容灾是指一个调
度中心服务宕机后，其他调度中心服务可接管调度工作。
2.1.5.1采集策略接收
接收从数据共享层下发的策略信息，并把这些策略信息保存。
这里的策略是指：
采集的任务，该去哪个范围去采集，用什么频率去采集等。
采集目标网元资源与综合资源数据信息相关联，能够自动识别、同步网元信息，并能自动化完成采集关联动作。
2.1.5.2任务生成
根据策略数据生成任务，任务中包含采集源标识、指标组列表、采集的起始时间、结束时间、网元信息、任务唯一标识。
具有任务启停功能，即对已经停止或需要启动的采集任务，在界面上单击启动按钮，启动采集任务，对已经在运行的采集任务单击停止按钮，停止采集任务。
2.1.5.3任务分发
接收任务生成模块生成的任务，进行分发。
接收状态监控模块发送来的采集任务执行情况查看请求，如：
采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。
接收自动补采模块发送的任务信息，然后对该任务进行分发；通过消息通道，发送任务消息到采集适配器。
任务分发能够判断系统是否支持分布式软件部署，并能够依据各采集节点的负荷忙闲情况每次总是优先选择负荷最低的采集节点下发采集任务，以实现计算资源的负荷分担。
（1）接收任务生成模块生成的任务，进行分发。
（2）接收适配器发送来的采集任务执行情况查看请求，如：
采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。
（3）接收自动补采模块发送的任务信息，然后对该任务进行分发。
（4）通过消息通道，发送任务消息到采集适配器。
（5）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分担，可以参考采集适配器硬件配置、cpu占用率、内存总量、内存占用率和采集机空闲线程数、任务负载权重等信息。
（6）在采集适配器出现异常后，能够把未执行完成的任务重新执行。
下图描述了
升级会员 