中国移动上网日志留存系统Gn采集解析设备示范Word格式文档下载.docx
《中国移动上网日志留存系统Gn采集解析设备示范Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《中国移动上网日志留存系统Gn采集解析设备示范Word格式文档下载.docx（34页珍藏版）》请在冰豆网上搜索。
中国移动上网日志留存系统网络日志服务器接口规范
[11]
中国移动上网日志留存系统用户上网日志查询系统设备规范
[12]
中国移动上网日志留存系统用户上网日志查询系统接口规范
[13]
中国移动上网日志留存系统日志上报网关系统设备规范
[14]
中国移动数据流量DPI识别能力规范
[15]
中国移动信令监测系统接口规范—信令采集网关分册
[16]
QB-W-026-2011
中国移动IDC/ISP信息安全管理系统接口规范
[17]
中国移动手机恶意软件监测系统接口规范
[18]
中国移动性能管理系统数据接口规范－数据业务监测与分析系统分册
[19]
中国移动性能管理系统数据接口规范－信令监测系统分册
[20]
集中化经分系统与日志上报网关接口规范
[21]
中国移动上网日志留存系统“金库模式”实施指导意见
本标准由中国移动通信集团公司网络部提出，集团公司技术部归口。
本标准起草单位：
中国移动通信集团网络部
本标准主要起草人：
赵恒
1.范围
本标准规定了Gn采集解析设备的系统结构、功能要求、接口要求、性能要求、时间同步要求、网管要求、操作维护要求、网络安全要求，供中国移动内部和厂商共同使用；
适用于GPRS、EDGE及3G网络环境。
2.规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。
凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。
凡是不注日期的引用文件，其最新版本适用于本标准。
表2-1规范性引用文件
1.
《客户信息保密管理规定》
2.
《中国移动GSM通信网路由组织与局数据设置原则（第二分册：
GSM通信网网元数据设置原则）》
3.
《防火墙部署总体技术要求》
4.
《中国移动网管系统监控平台需求规范》
5.
《中国移动网管系统监控平台推广阶段技术规范》
3.术语、定义和缩略语
“必须”、“推荐”/“建议”、和“可选”等词语在本标准中的使用需遵循以下指导。
-“必选”/“必须”项是指业务、产品和设备所必须提供的功能或性能要求；
对应于RFC2119MUST，REQUIRED，SHALL。
-“推荐”/“建议”/“应”项是指在标准中未作强制要求，若业务、产品和设备提供的功能或性能要求被认为更佳；
对应于RFC2119RECOMMENDED，SHOULD。
-“可选”/“可”项指参考性要求，是业务、产品和设备在目前阶段可不提供的功能或性能要求；
对应于RFC2119MAY，OPTIONAL。
-必不能，不能，不得：
表示绝对的禁止；
对应于RFC2119MUSTNOT，SHALLNOT。
-不推荐，不建议：
表示若业务、产品和设备按照所述内容制作，被认为略次；
对应于RFC2119SHOULDNOT，NOTRECOMMENDED。
-规范中除了明确指明为“推荐”/“建议”、“可选”外，均为必须要求。
表3-1词语解释
词语
解释
全量信令数据
全量信令数据包含了被采集信令链路的全部信令内容
XDR信令数据
XDR信令数据是指基于全量信令数进行处理后，生成的供上网日志留存应用使用的信令及业务的详细记录。
DPI
DeepPacketInspection，深度包检测技术
DFI
DeepFlowInspection，深度流检测技术
IP
InternetProtocol，IP协议
ODBC
OpenDatabaseConnectivity，开放数据库连接
OMC
OperationManagementCenter，系统管理单元
SDTP
SharedDataTransferProtocol，共享数据传输协议
SNMP
SimpleNetworkManagement
Protocol，简单网络管理协议
TAP
TestAccessPoint，测试接入端口
FTP
FileTransferProtocol，文件传输协议
SFTP
SecureFileTransferProtocol，安全文件传输协议
4.设备在系统中的位置
系统分为采集、解码层、共享、应用四层。
数据采集层：
数据采集层的主要功能是实现Gn、防火墙、Gb/Iu-PS等接口数据的采集，并完成对采集数据的解析，生成原始XDR。
数据解析层:
数据解析层的主要功能是对采集的Mc接口原始信令进行解码，生成XDR等；
对Gn、防火墙、Gb/Iu-PS等接口采集生成的原始XDR进行分析，合成相关系统所需的目标XDR。
共享层:
共享层的主要功能是完成日志数据的存储、查询等，并面向应用层提供灵活的转发接口。
应用层：
应用层包含各应用系统。
图4-1上网日志留存系统结构图
本文档所述Gn采集解析设备位于上图数据采集层标示出的位置，完成Gn原始数据的采集、消息的解码合成、DPI/DFI分析，生成XDR数据和全量数据并向数据解码层传送。
5.功能要求
采集层设备需支持对Gn数据链路的采集、处理。
采集方式需符合相关规定的要求，对数据的采集不能影响到原有通信网络的正常功能。
需要完成的功能如下：
●数据旁路：
在原有数据链路上复制一份或多份数据传输给采集设备进行处理，对原有数据链路没有影响。
不同物理类型的接口，需要不同的旁路设备，包括：
⏹光口链路：
分光器
⏹电口链路：
●数据接入：
对于旁路出来的数据进行采集，能够同时接入多条不同类型的链路，包括但不限于：
GE光/电、10GE光。
需要完成的功能包括但不限于：
⏹数据汇聚：
在不超过单台采集机能力的情况下，能够实现对多条低俗链路进行汇聚采集
⏹分流：
对于高速链路，在超过单台采集机处理能力的情况下，能够实现流量的负荷分担，分流时不允许采用静态IP配置的方法进行分流（比如按照SGSNIP进行分流），而是能够根据数据流情况动态对流量进行分配，不需要现网相关的静态配置。
⏹数据采集：
从接入的端口上对数据包进行抓取、打时间戳等操作
●协议解码：
对采集下来的Gn数据进行全协议解码
●DPI/DFI：
对采集的数据流进行DPI/DFI分析，识别业务类型、提取需要的字段
●数据存储：
在特定场景下对数据进行存储
下面分章节对上述功能进行展开说明。
5.1Gn采集位置要求
对于Gn接口的采集有两个可选位置，如下图所示：
两个可选采集位置各有优缺点，见下表：
各省份和系统建设厂家可根据自身情况选择。
优点
缺点
适用场景
采集位置1
每条链路上的数据量小，采集设备可以直接采集
链路数量多，工程量大
机房分散，难于管理
局部、小规模采集
采集位置2
链路数少，施工方便
涉及施工的机房比较集中，便于实施
每条链路上的数据量大，需要分流处理后再进行采集分析
大规模采集
5.2数据旁路功能要求
5.2.1分光器功能要求
图5-1分光器部署图
分光器用于监测以光纤为载体的链路，包含ATMSTM-1和信道化STM-1。
分光器应对主信号端衰减的信号较少，不影响主链路。
5.2.2TAP功能要求
图5-2TAP部署图
TAP设备用于监测百兆电口或者千兆电口的链路，并支持百兆、千兆自适应，其功能是将电信号复制一份，TAP的网络口接被测链路的两端设备，TAP的监测口接数据采集系统。
TAP设备失电后被测链路主通道具备链路直通的功能。
5.3数据接入功能要求
采集设备能够支持现网常见链路类型，包括但不限于：
GE光口、GE电口、10GE光口。
单台设备支持多种不同链路的混合接入。
5.4协议解码功能要求
支持Gn接口协议栈：
图5-3Gn接口协议栈
支持但不限于以下标准协议：
●3GPPTS23.060:
"
GeneralPacketRadioService（GPRS）;
Servicedescription;
Stage2"
；
●3GPPTS29.060:
GPRSTunnellingProtocol（GTP）acrosstheGnandGpinterface。
5.5DPI功能要求
采集设备能够利用DPI和DFI技术，对数据包解析，识别用户面数据中包含的业务类型，并提取相关元数据字段，以下是中国移动要求支持的业务大类列表：
业务类型
业务说明
1
即时通信
互联网消息即时收发业务,如：
QQ、飞信等
2
阅读
向用户提供在线或离线阅读服务的业务，如：
移动手机阅读、熊猫阅读等
3
微博
微博业务，如：
移动微博、新浪微博等
4
导航
提供浏览、查询、导航等功能的电子地图类业务，如：
谷歌地图、高德导航等
5
视频
向用户提供音视频内容的直播、分享和下载服务的网站和应用（不包括传统意义上基于P2P技术的视频业务），如：
优酷、手机电视等
6
音乐
提供音乐在线欣赏和下载服务的网站和应用，如：
咪咕音乐、QQ音乐等
7
应用商店
提供应用程序、音乐、图书等内容浏览、下载及购买服务的业务，如：
MobileMarket、AppStore等
8
游戏
基于客户端或者网页的游戏业务：
QQ游戏、开心农场等
9
支付
电子商务类业务，如：
手机支付、支付宝、网银等
10
动漫
提供动漫在线欣赏和下载服务的网站和应用，如：
手机动漫、爱看动漫等
11
邮箱
电子邮箱业务，如：
139邮箱、QQ邮箱等
12
P2P业务
基于P2P技术的资源共享业务，包括下载和视频两部分，前者如：
迅雷、eMule等，后者如：
迅雷看看、PPLive等
13
VoIP业务
互联网语音通信业务，如：
Skype、Uucall等
14
彩信
彩信业务
15
浏览下载
基于HTTP、WAP、FTP等的普通浏览和下载业务
16
财经咨询
金融咨询、股票证券类业务，如：
手机商界、大智慧等
17
安全杀毒
提供网络安全服务的应用，如：
360安全卫士、麦咖啡等；
以及网络恶意流量，如：
病毒、攻击等
18
其他业务
更加详细的要求请参考《中国移动数据流量DPI识别能力规范》。
要求采集层设备能够采用定期或是不定期方式更新业务识别能力，持续跟踪各种应用的发展和演进。
可通过系统升级、导入新的应用特征等方式对已知应用变种和未知应用进行识别。
5.6数据存储功能要求
系统在两种情况下需要对数据进行存储：
⏹一般情况下采集层不对采集的数据进行存储，所有控制面信令和去掉payload的用户面信令实时传输给数据解码层，但当链路出现故障时采集层应具备把数据缓存到硬盘的功能，待链路恢复后可由数据解码层提取缓存的数据。
需要缓存的数据包括：
Gn的全量控制面信令；
Gn的用户面数据（只保留包头不包括最上层payload数据）。
⏹在开启原始数据抓取功能时，采集层把满足抓取条件的全量数据（包括控制面和用户面）按照pcap格式存储在本地磁盘供提取。
本地数据磁盘容量要求不低于1TB（1Gbps流量缓存1个小时）
5.7数据输出功能要求
●XDR输出：
采集层完成对控制面XDR和用户面业务XDR的合成和输出，需要输出的字段请参见《中国移动上网日志留存系统规范-Gn采集解析设备规范XDR结构》。
●原始数据输出：
采集层支持把全量控制面信令和去掉payload的用户面数据输出给数据解码层。
●全量原始数据抓取：
支持按照预设条件对全量数据（包括全量的控制面信令和全量用户面数据）进行抓取并存储在本地磁盘，支持的预设条件包括：
⏹SGSN、GGSN的IP（单个或多个IP地址）
⏹用户的IP地址，IMSI，手机号码
⏹支持根据业务报文，也就是TCP的关键字（如TCP包头的40个字节内容）进行原始数据的抓取；
（可选）
5.8用户上报实时监测模块功能要求
“日志上报网关”向网络日志服务器转发由各省指定系统下发的针对某用户的监测请求，随后，网络日志服务器向数据合成服务器转发该请求，数据合成服务器转发Gn采集解析设备,Gn采集解析设备接收到监测请求后，解析请求中的监测条件，并调用用户上报实时监测模块，实时监测用户的上线信息，一旦用户上线，则通过HTTP方式将监测结果信息上传到数据合成服务器，由数据合成服务器转发给网络日志服务器，由网络日志服务器转发给“日志上报网关”，再由日志上报网关转发给指定系统。
Gn采集解析设备的实时监测流程如下图所示：
图5-3实时监测流程图
5.8.1接收监测请求
Gn采集解析设备能够正确接收并解析针对某用户的实时监测请求，并返回实时监测请求响应。
Gn采集解析设备接收到的监测请求信息，应包含如下字段：
用户账号、账号类型、操作类型（产生监测或消除监测），如表5-13所示。
表5-13用户实时监测请求消息字段定义
字段名
类型
约束
说明
Account
String
必选
被监测用户的账号
accountType
Int
账号类型：
1:
固网帐号
2:
手机号码
monitorType
操作类型：
1：
产生监控
2：
取消监控
Gn采集解析设备返回的监测请求响应应包含如下字段：
成功标示、失败原因，如表5-14所示。
表5-14用户实时监测接收响应消息字段定义
id
int
和结果对应的task的id相等
resultCode
消息结果：
成功
失败
failReason
string
失败原因，当resultCode=1时为空
5.8.2上报用户上线行为
在接收到实时监测请求并响应该请求后，Gn采集解析设备开始实时监测用户的上线信息，一旦用户上线，就上报用户的上线信息。
（如果用户在下发实时监测请求前已经上线，则需要等到下线后再次上线才可以上报用户上线消息）
Gn采集解析设备上报的用户上线信息，应包含如下字段：
用户账号、账号类型、私网IP地址、公网IP地址、用户上线时间，如图5-15所示。
其中，对于用户上线信息中的IP地址说明如下：
●中国移动为GPRS用户分配私网IP，根据在GGSN防火墙或WAP网关防火墙处转换为公网IP，由于同一用户的不同访问Session，在防火墙转换的公网IP是不同的，且这一转换关系只有Session结束后防火墙才输出日志，无法实时提供用户使用的公网IP，故对GPRS用户只需要在PDP激活、更新时上报用户私网IP
表5-15用户上线信息消息字段定义
resultnum
十进制数字，表示log消息的个数，一个文件中可以有一个或多log消息
需保证在对应业务内的全局唯一性
account
被监测的用户账号
用户账号类型：
priIp
用户的私网IP地址，点分十进制表示
pubIp
用户的公网IP地址，点分十进制表示
onlineTime
用户上线时间，格式为：
YYYY-MM-DDHH24:
MI:
SS
当Gn采集解析设备将用户上线信息上报之后，会收到由合成服务器（由网络日志服务器先转发给合成服务器）转发的用户上线信息上报响应，用来通知Gn采集解析设备用户上线信息是否成功上报。
用户上线信息接收响应应包含如下字段，如表5-16所示。
表5-16用户上线信息接收响应消息字段定义
和结果对应的用户上线消息的id相等
错误原因，当resultCode=1时为空
5.9上报告警功能要求
采集解析设备具有上报自身告警信息的功能，该告警信息先上报到合成服务器，合成服务器再上报到网络日志服务器，网络日志服务器再上报到日志上报网关。
告警信息包括：
1）系统因故障需要重启；
2）CPU使用率过高告警，暂定阈值80%，即alarmType为1、alarmDesc为“CPU使用率85%超过阈值”（85%为具体值）；
3）内存剩余可用空间小于阈值告警，暂定阈值200MB，即alarmType为1、alarmDesc为“内存剩余可用空间为190MB低于阈值”（190MB为具体值）；
4）系统空闲率过低告警，暂定阈值15%，即alarmType为1、alarmDesc为“系统Idle值为12%低于阈值”（12%为具体值）；
5）磁盘分区使用率大于阈值告警，暂定阈值90%，即alarmType为1、alarmDesc为“磁盘分区：
具体名称使用率91%大于阈值”（91%为具体值）；
6.性能指标和可靠性要求
6.1性能要求
●单台或单套采集设备能够处理不低于800Mbps的数据流量。
（开启所有功能的情况下，同时开启的功能包括但不限于：
采集、解码、XDR合成、DPI、数据输出、原始数据捕获）。
●数据采集丢包率要求<
10-7。
●原始信令数据从进入采集层到转发给数据解码层，最大转发时延应小于60S
●采集系统能保证7×
24小时稳定运行，当部署的设备出现故障时不影响现有系统的正常运行。
●流量识别率大于95%。
●上网记录用户号码填充率大于95%。
6.2软件要求
操作系统要求:
●操作系统应采用开放的系统，同时具有较高的可靠性、容错能力，系统不易崩溃和破坏，具有良好的故障恢复能力。
●操作系统应具有较强的网络功能，应能支持通用的网络协议，应支持对不同机型互联。
●操作系统应能满足实时要求，具有同时进行联机事务处理的能力。
●操作系统应具备升级能力，并能做到向后兼容。
●操作系统应支持多个终端进行操作，支持多用户进程。
●操作系统应同时支持字符界面和图像界面。
应用软件要求
●在保证技术先进性的前提下，采用成熟技术进行开发，并尽可能与硬件同步。
●以数据采集分析处理软件技术为平台核心应用技术，实现完善的数据采集分析处理体系，实现海量数据的接收、处理、分发的平台软件功能。
●支持多个远端工作站。
●多层处理结构，分布式处理，模块化设计，高内聚，低耦合，故障隔离，无存储瓶颈和处理瓶颈，具有良好的可扩展性，可平滑扩容。
●系统具有良好的开放性，应能实现纵向联网和横向联网。
6.3硬件要求
采集设备要求可靠、稳定，平均故障时间间隔应>
5000h，故障平均修复时间<
1h。
硬件设备应有较高的可靠性和容错能力。
为了适应系统的容量增加，硬件设备应具有较强的扩展能力，并应具备升级和向后兼容的能力。
要求局域网和广域网混合相连。
系统的硬件性能优良、运行平稳可靠，并可以保证长时间的连续工作。
系统主要硬件的容量和性能指标（包括内存容量、处理器主频、硬盘容量、通信网带宽）应能适应整个系统处理能力、通信传输量、数据存储量和用户实际需求等各方面的要求。
系统应根据实际需要配备各类外设：
如磁带机或磁带库、光盘机、活动硬盘等设备。
6.4可扩展要求
采集设备应具备良好的可扩展性，能够适应系统容量的扩大和管理内容的增加，包括软硬件平台、系统结构、功能设计、管理对象。
随着纳入平台对象的扩展、管理功能的增加，要求系统具有灵活的扩展性。
6.5部署要求
系统的部署要充分考虑到各个逻辑单元的松耦合，各个单元模块可以独立部署在单独的物理实体上，对于采集规模较小或小型试验点也可以根据实际情况部署在同一物理实体上。
并且要保证各模块有较强的可扩展性，要充分考虑各模块中的功能点可以动态加载。
部署时要考虑性能冗余、系统的安全性、可靠性、网络传输速率等。
需要主机支持热备，系统支持集群，系统支持负载均衡，核心网络设备支持热备。
6.6可靠性
（1）系统应具备99.99%的高可用性。
（2）系统的平均稳定运行保障可用时间（MTBF）应大于1年，设计寿命应大于10年。
（3）故障平均修复时间小于1小时。
（4）系统的故障能隔离在模块内，不具备扩散性。
（5）系统要求支持在线升级且升级版本向下兼容，升级过程不影响网络性能，不影响现网业务，不丢失历史数据。
（6）系统可更换部件应具备冗余热备和热插拔功能。
（7）系统
升级会员 