广西统一采集平台培训文档.docx
《广西统一采集平台培训文档.docx》由会员分享，可在线阅读，更多相关《广西统一采集平台培训文档.docx（44页珍藏版）》请在冰豆网上搜索。
广西统一采集平台培训文档
广西统一采集平台培训文档
1业务目标
本期平台业务建设目标如下：
1.统一共享：
一次采集，多处使用；
实现灵活，精准的数据订阅；
实现高效，及时的数据分发；
实现安全可靠的数据共享；
统一北向接口协议（数据模型）；
被管理能力：
数据状态查询，指标算法查询，北向接口共享日志查询。
2.统一管理：
集中统一的配置管理及采集策略；
直观可控的自管理（系统健康管理、任务调度管理）；
透明可追踪的数据质量管理。
3.统一适配：
按照统一的协议和方式接入不同的适配器，实现各专业各类数据的统一采集；
适配器遵循统一的规范。
2系统总体设计
2.1总体架构
统一采集平台位于外部应用系统与网络设备层之间，实现对网络设备层各类网元设备数据源的统一管控，为外部应用系统提供统一的网元设备访问通道，并将采集的数据共享给外部应用系统。
2.2功能架构
统一采集平台采用模块化设计思想，从业务功能上分为采集适配器、数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块实现自身的业务逻辑控制和管理，同时，开放标准化的外部管理接口，以实现对外的可管理性。
业务功能层面，每层只需要关心本层的数据、业务逻辑和业务实现，层与层之间通过标准接口进行交互，能更好地实现系统的可扩展性。
统一采集平台功能框架如下图所示：
功能框架主要包含以下功能域：
1.采集适配器
采集适配器实现与设备侧的接口协议适配，从设备侧获取原始数据，进行数据解析（词法分析，数据格式标准化，根据处理规则将采集到的底层数据转换成相应的信息模型的数据）。
采集适配器的功能组成如下：
协议适配、数据获取、风暴抑制、数据解析、数据上报，并支持被动接收设备侧发送的数据。
经过解析后的源数据通过适配器北向接口向上共享。
2.数据处理
数据处理层接收采集任务，主动调用相应采集适配器从设备侧获取数据，对数据进行解析、归一化，并根据需要进行KPI指标计算。
原始数据、归一化数据、KPI指标均可以推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。
可以有选择地提供告警数据过滤能力。
支持采集适配器的灵活扩展以支持不同设备的数据接入。
3.采集调度
接收订阅策略，根据策略和当前时间实例化成采集任务，根据各采集节点的运行环境和资源空闲情况进行判断，能够选择合适的采集节点，并把任务下发；能够接收采集节点反馈的任务执行情况，并监控各采集节点运行状态；根据任务的采集结果分析数据是否完整，能够根据设定的策略触发数据的补采。
4.数据共享
接收外部系统发送的数据订阅请求，根据设定的数据订阅权限判断该订阅请求是否合理并作出响应。
数据准备好后，给订阅该数据的外部系统发送通知消息以及数据的访问方法，外部系统主动获取数据，对同一份数据的不同订阅者分别发送通知。
5.系统自身管理
包括对统一采集平台自身的管理，把适配器注册到平台中，设置访问设备的信息，对统一采集平台中任务执行情况、数据共享情况的监控，设定各外部应用系统对数据订阅的权限，支持通过统一采集平台直接完成外部系统对数据的订阅。
6.管理接口
统一采集平台对外提供可管理性，包括：
通过指标算法双向交换接口实现业务逻辑的可装载和可管控，通过数据质量报告接口实现数据质量状态的可管控，通过自身告警转发接口实现自身工作状态的可管控，通过实现到安全管理平台的接口，实现采集安全策略的可管控。
2.3运行环境
1、网络拓扑
2、服务器硬件配置
计算机名
OS类型
CPU（core）
内存
存储空间
宿主机
IP
部署软件
统一采集平台6
RedhatEL5.5x64
8
16G
OS:
32G
SWAP:
8G
DATA:
100G
HS22-OSS-2
10.184.144.160
话务网管采集
统一采集平台1
RedhatEL5.5x64
8
20G
OS:
32G
SWAP:
8G
DATA:
100G
HS22-OSS-3
10.184.144.155
传输网管采集
统一采集平台2
RedhatEL5.5x64
8
20G
OS:
32G
SWAP:
8G
DATA:
100G
HS22-OSS-4
10.184.144.156
话务网管采集
统一采集平台3
RedhatEL5.5x64
8
20G
OS:
32G
SWAP:
8G
DATA:
100G
HS22-OSS-5
10.184.144.157
话务网管采集
统一采集平台7
RedhatEL5.5x64
8
20G
OS:
32G
SWAP:
8G
DATA:
100G
HS22-OSS-6
10.184.144.161
话务网管采集
统一采集平台10
RedhatEL6x64
8
24G
100G
HS22-OSS-24
10.184.144.162
传输网管采集
统一采集平台11
RedhatEL6x64
8
24G
100G
HS22-OSS-25
10.184.144.163
传输网管采集
统一采集平台12
RedhatEL6x64
8
24G
100G
HS22-OSS-26
10.184.144.164
传输网管采集
统一采集平台13
RedhatEL6x64
8
24G
100G
HS22-OSS-27
10.184.144.165
传输网管采集
统一采集平台4
RedhatEL5.5x64
5
14G
OS:
32G
SWAP:
8G
DATA:
100G
外挂4.6T共享存储
HS22-OSS-8
10.184.144.158
备用管理服务器
统一采集平台5
RedhatEL5.5x64
5
20G
OS:
32G
SWAP:
8G
DATA:
100G
外挂4.6T共享存储
HS22-OSS-8
10.184.144.159
主用管理服务器
统一采集平台8
SunOS5.10
16
64G
100G
10.184.14.140
主用管理服务器
统一采集平台9
SunOS5.10
16
64G
100G
10.184.14.185
备用管理服务器
3、支持软件
JDK1.6
dc_perl
informix客户端
mq客户端
3软件部署
3.1核心管理服务器
目前核心管理服务器主要运行了以下程序模块：
GcpServerCore：
核心控制程序，负责对整个采集流程的监控，其它所有模块都要与其通信，为整个系统的大脑
hsqldb：
数据库模块，上层各项配置存储在改数据库中，包括用户信息、适配器信息、采集单元信息、采集策略等等
web_server：
上层web模块
GNDP：
话务北向入库模块，从GcpServerCore接受消息，完成话务数据入库
TMnorthAdapter：
传输北向接口，传输app与核心控制程序的通信通道，负责消息的传送以及采集策略转换等
pcm_loader_v5.pl：
处理话务有性能无资源的网元信息，与三期采集的pcm_loader.pl对应，新增了实时消息上报功能
pub2cm：
资源采集模块，与三期完全一致，程序及相关配置来源于三期采集系统
GcpMonitor：
系统自身监控模块，与GcpTool配合使用
GcpTool：
负责系统监控，该功能与GcpMonitor配合使用；负责日志清理、系统备份
ShellAgent：
代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用
AlarmSender：
告警转发模块，将告警转发至告警监控系统
3.2采集服务器
采集机只需部署采集模块及ShellAgent代理：
GcpCollector：
采集功能模块，完成数据采集，并生成数据文件，所有专业网管数据采集通用；采集模块集成了一个内存数据库（hsqldb），用于采集过程计算指标，相当于三期采集的dc_mysql
ShellAgent：
代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用
3.3程序目录说明
3.3.1核心平台（GcpServerCore）目录结构
/backup备份目录
/cfg配置文件目录
/cmd各命令目录
/data包含adaptors,filedata,meta_files,org_meta_files四个文件夹和一个tout.dat文件，syncData、transformXml_temp、xmlData、adaptor_temp同步元数据时临时目录
/lib存放核心平台用到的文件包
/log日志目录
3.3.2采集机（GcpCollector）目录结构
/cache临时缓存信息
/cfg配置文件目录，其中包括tools、dev这两个文件夹及clean.xml、gcp.cfg.xml，用于配置
/cmd存放用于执行采集机的各命令
/data包含share,temp,collectors,filedata,ftpCache,datasource六个文件夹和一个CMDATA.dat文件
/lib采集机用到的文件包
/log临时文件日志、采集机日志gcp.log、出错日志error.log
/temp临时文件夹
3.3.3采集平台（webserver）目录结构
/bin程序目录
/conf配置文件目录
/libjava类库
/logs日志目录
/temp临时文件
/webappsGCP6.1、ROOT和reports三个文件夹
/workcatalina所在的目录
Running.txt运行说明
LICENSE、NOTICE、RELEASE-NOTESTomcat的文件
3.3.4Shell代理（ShellAgent）目录结构
/bin程序目录
/log日志
/ShellCmd需要执行的命令
/ShellResult命令执行结果
3.3.5话务北向（GNDP）目录结构
/libjava类库
/cfg配置文件目录
/log日志目录
/cmd程序目录
/record入库消息目录
/data入库数据文件存放目录，其子目录中存在数据文件（csv）、数据文件字段说明（xml）、入库SQL语句（load.sql）、入库SQL执行输出（loadsql.out，可以定位入库情况及报错信息）
3.4程序配置说明
各个模块的配置参考附件：
4软件启停说明
4.1系统停止
按如下顺序停止：
1、停止所有采集机采集进程（采集的采集进程可单独重启）
/opt/Gcp/GcpCollector/cmd/stop.sh
2、核心服务器停止自身监控程序
/opt/Gcp/GcpMonitor/cmd/stop.sh
3、核心服务器停止话务北向接口程序
/opt/Gcp/GNDP/cmd/stop.sh
4、核心服务器停止传输北向接口程序
/opt/Gcp/TMnorthAdapter/bin/shutdown.sh
执行完脚本之后，”ps–ef|grepTMnorthAdapter”查看进程是否还存在，如存在则直接用kill杀掉
5、核心服务器停止pcm_loader进程
ps-ef|greppcm_loader_v5|grep-vgrep|awk'{print$2}'|xargs-ikill-9{}
6、核心服务器停止web服务
/opt/Gcp/web
升级会员 