DPI深度包检测技术.docx

1、DPI深度包检测技术DPI技术介绍1.1 DPI技术产生的背景近年来，网络新业务层出不穷，有对等网络（Peer-to-Peer，简称P2P）、VoIP、流媒体、Web TV、音视频聊天、互动在线游戏和虚拟现实等。这些新业务的普及为运营商吸纳了大量的客户资源，同时也对网络的底层流量模型和上层应用模式产生了很大的冲击，带来带宽管理、内容计费、信息安全、舆论管控等一系列新的问题。尤其是P2P、VoIP、流媒体等业务，当前P2P业务的流量已 图1 各种业务对带宽的抢占占互联网数据流量的50%-70%，如果再加上流媒体等业务，新业务的数据流量是相当巨大的，这打破了以往“高带宽、低负载”的IP网络QoS提

2、供模式，在很大程度上加重了网络拥塞，降低了网络性能，劣化了网络服务质量，妨碍了正常的网络业务的开展和关键应用的普及。同时，P2P的广泛使用也给网络的信息安全监测管理带来了极大的挑战。由于P2P流量的带宽吞噬特性，简单的网络升级扩容是无法满足运营商数据流量增长需要的，加上网络设备缺乏有效的技术监管手段，不能实现对P2P/WEB TV等新兴业务的感知和识别，导致网络运营商对网络的运行情况无法有效管理。传统的网络运维管理，往往通过设备网管实现对网元级的管理，后来发展至网络级管理，可以对上层的简单应用进行管控，而这些应用级管控技术大多采用简单网络管理协议SNMP或者基于端口的流量识别进行进行分析和管理

3、。因此，如何深度感知互联网/移动互联网业务，提供应用级管控手段，构建“可运营、可管理”的网络，成为运营商关注的焦点。DPI能够为运营商解决什么问题互联网及移动互联网面临大量“高消耗、低价值”的业务对带宽的吞噬压力，网络安全和服务质量问题亟待解决，主要面临如下问题： 网络出口带宽增加了一倍，可没几天还有大量用户投诉上网慢，收邮件慢，流媒体缓冲时间长，为什么？ 不断升级换代交换机、路由器等核心网设备，投资不少可网络设备的性能总是无法跟上带宽的增长速度。 核心网络的服务质量现状如何？互联互通出口链路带宽占用率情况？链路丢包率？链路延时？关键业务的平均带宽？最大带宽？最小带宽？WAP/WEB浏览的平均

4、延时？最大延时？最小延时？ 整个宽带业务网络中流量是如何构成的？哪些业务占据了主要的带宽？WAP浏览/彩信/139邮箱/WEB浏览/流媒体/P2P/VoIP/IM等热点业务各占据了多大带宽？ 核心网到各个其它运营商的流量流向如何？同各运营商的互联带宽多大？为此所缴纳的互联带宽费用是否与用户量的增长成比例？ 目前的出口带宽占用情况是否需要扩容？同各地市汇聚网的链路性能、带宽如何？业务性能如何？ 用户投诉上网慢，网管系统也无法找到故障源，性能故障到底在哪里？ 集团客户的上网或视频会议总是很慢，问题根源在哪里？ P2P/流媒体等高消耗、低价值业务占用带宽过大，怎么精细化控制其带宽？ 网络中产生异常流

5、量（包括端口扫描、DDOS攻击、广播风暴），如何定位发起攻击源？ 能否有种设备，能按时、按人、按集团客户、按业务来调整带宽分配，限制哪些无节制占用网络的次要业务，保障WAP/彩信/WEB/视频会议/VOIP/ERP等关键业务畅通无阻。 交换机、路由器、防火墙、IDS等等等等，装了一大堆设备和软件，还要不断升级病毒库，可病毒和攻击还是防不住。能否从网络上拦截这些异常流量，防止其对网络造成破坏性影响？DPI为运营商带来的好处 DPI技术的出现，为互联网和移动互联网运营商带来了曙光，通过部署DPI系统，运营商可以： 可视化全网。可以深入了解整个网络带宽由哪些应用占用（P2P/WEB TV/流媒体/I

6、M/Games等。），哪些用户（手机号码/上网账号）是大用户，哪些小区是带宽吞噬大户，哪些手机终端使用业务最多 流量精细化管理。通过灵活的带宽管理机制（带宽整形、QoS管理、限速、提速、封堵等。），来限制“高消耗、低价值”的业务和用户，从而有效的保障关键业务、关键用户，提升用户感知，提高带宽使用的性价比。 丰富的QoS提供能力。根据不同的QoS需求，可提供CBR、VBR、UBR业务，可以在IP网络中提供虚拟专线业务。 及时发现和抑制异常流量。可从网络通路上第一时间拦截异常流量，避免其对网络造成破坏性影响。 透视全网服务质量，保障关键业务质量。可透视全网各种业务的延时、抖动、带宽占用等QoS指标

7、，从而精确定位QoS劣化点。 智能业务性能分析，减少网络瘫痪和性能劣化的时间。 减少或延迟带宽投入，降低网络运营成本。通过产品解决方案所提供的长期统计报告，可以准确了解网络带宽过去、现在和将来的总体使用情况，识别出实际带宽需求小于实际分配（租用）带宽的链路。对于广域网（WAN）连接，可以减少或者推迟网络升级计划（例如升级为千兆网，购买新的路由器等）；从而节省了大笔费用。通过量化依据为带宽扩容提供科学的决策支持。 转变被动维护局面，先于用户发现故障。产品以其迅捷的故障响应机制和完善的主动监测流程为宽带网络的运营维护提供全面的保障机制，加快故障响应处理速度，缩短平均故障响应时间，大大提高了维护效率

8、。 提高市场竞争力，树立移动宽带精品网品牌。传统的业务识别方法普通的报文检测往往仅分析IP分组的四层以下内容，一般包括源地址、源端口、目的地址、目的端口以及协议类型，如图1.1所示。 图1.1 传统的IP头部报文分析 然而，仅通过分析IP地址和端口来识别业务存在很多的问题，包括：1端口可变的业务。比如BT/EDK等业务，可以由用户自行设定端口。2隐藏在合法端口之后的隧道业务。比如为躲避防火墙封锁而隐藏在80端口通过隧道传输VoIP语音或数据的应用。3IP地址可变业务。比如部分应用为了逃避封锁，不断变换IP地址。4交互式业务。比如FTP/流媒体/VoIP等，其媒体流的端口是通过交互协商出来的，非

9、固定端口。1.2 深度分组检测DPI DPI，Deep Packet Inspection，深度分组检测，通常简称为DPI。所谓深度分组检测是相对普通报文检测而言的一种新的检测技术，即对第七层，也即应用层的内容（净荷）进行深度分析，从而根据应用层的净荷特征识别其应用类型或内容。如图1.2所示。当IP数据包、TCP或者UDP数据流经过基于DPI技术的网络设备时，DPI引擎通过深入读取IP包载荷的内容来对OSI 7层协议中的应用层信息进行重组，从而识别出IP包的应用层协议。 图1.2 DPI技术对应用特征的分析1.3 传统业务识别与DPI的对比 传统的业务识别方法是通过分析5元组或7元组信息（增加

10、输入输出接口索引信息），无法细分不同的应用类型，尤其是应用类型不依赖于5元组或7元组信息的应用。 而DPI技术是通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，DPI技术可以细分不同的应用类型。DPI关键技术介绍 DPI技术主要应用于业务识别和带宽管理领域，下面就分别将这两项主要技术进行详细阐述。1.4 业务识别技术净荷特征匹配技术不同的应用通常会采用不同的协议，而各种协议都有其特殊的特征（除加密应用），这些特征可能是特定的端口、特定的字符串或者特定的Bit序列。基于净荷特征匹配技术，正是通过识别数据报文中的净荷特征来确定业务流所承载的应用。根据具体检测方式的不同

11、，基于净荷特征匹配技术又可细分为固定（或可变）位置特征匹配、多连接联合匹配和状态特征匹配四种分支技术。通过对特征信息的升级，基于净荷特征匹配技术可以很方便地扩展到对新协议的检测。固定位置匹配是最为简单的一种匹配方法。以Kazaa协议的识别为例，其握手消息中总包含字符串“User-Agent:Kazaa”。因此可以确定，“User-Agent:Kazaa”就是Kazaa协议的特征字。如图2.1所示。 图2.1 净荷特征匹配（固定位置匹配） 多连接联合匹配是一种需要结合该应用中的多个连接联合匹配特征的方法。如John Doe Protocol这种协议，其每个连接的相同位置具有相同的特征，如下图2.

12、2所示。 图2.2 多连接联合识别技术1.4.1 交互式业务识别技术目前VoIP/FTP/网络游戏等业务普遍采用控制流与业务流分离的方式，通过控制流完成握手，协商出业务流的端口信息然后进行信息流传输，其业务流没有任何特征。因此通过DPI技术首先识别出控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址等信息，然后对业务流进行解析，从而识别出相应的业务流。典型的业务如SIP、H323协议都属于这种类型的协议。SIP、H323通过信令交互过程，协商得到其数据通道，一般是RTP格式封装的语音流。也就是说，纯粹检测RTP流并不能确定这条RTP流是通过哪种协议建立起来的，只有通过检测SIP或H3

13、23的协议交互，才能得到其完整的分析。1.4.2 行为模式识别技术在实施行为模式识别技术之前，运营商必须首先对终端的各种行为进行研究，并在此基础上建立起行为识别模型。基于行为识别模型，行为模式识别技术即可根据用户已经实施的行为，判断用户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于那些无法由协议本身就能判定的业务。例如，从Email的内容看，SPAM（垃圾邮件）业务流与普通邮件业务流两者没有区别，只有进一步分析才能识别出SPAM邮件。具体可通过发送邮件的速率、目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等参数，建立起行为识别模型，并以此分拣出垃圾邮件。1.

14、4.3 深度流检测技术DFI 各种业务应用的数据包自身特性及传输特性都有所区别，因此，基于流的行为特征，通过与已建立的应用数据流的数据模型进行比对，也可以判别出该流的业务或应用类型。深度流检测法即是基于这种原理，根据各种应用的连接数、单IP地址的连接模式、上下行流量比例关系、数据包发送频率等数据流的行为特征指标的不同与DFI 检测模型进行匹配，进而从中区分出P2P 应用类型。DFI 检测存在如下优点：能够发现未知P2P 应用，具有对新P2P 应用的感知能力。加密协议对检测算法影响较小。避免查看应用层协议内容，检测效率较高。缺点在于检测准确度与DPI 相比稍低。有将非P2P 应用误判为P2P 应

15、用的情况。带宽管理技术串联流量控制串接流控通常以透明模式串接到网络设备中使用。通过对网络上的各种类型的应用流量进行分类，并根据控制策略，可将需要控制的P2P 流量数据包丢弃。P2P 数据传输的两端客户端由于再一定的时间内未收到数据包或确认信息，将启用TCP/IP 协议的拥塞控制机制或应用层协议进行降速传输，从而实现对P2P流量进行控制的目的。这种方式的优点在于采用丢弃数据包、队列调度等方式，控制方式比旁路方式直接，不占用额外的干扰接入端口。缺点在于所有的网络数据流都要经过设备处理在进行转发，容易带来附加延时，引起网络服务的质量问题。另外，由于检测设备必须部署到网络流量真实路径上，有可能形成处理

16、瓶颈和单点故障。直路串接方式对设备的处理和转发性能要求都很高。如图2.3。 图2.3 串联流控方式并联干扰控制旁路干扰控制主要采用数据包伪装技术将伪装的干扰数据包发到正在通信的TCP、UDP 连接中降低连接的数据传输速率或者切断连接以达到流量控制的目的。由于P2P 数据传输采用TCP 或UDP方式，因此旁路干扰控制的流量控制方法有如下几种： TCP 截断，通过伪造并发送TCP RST 报文来截断TCP 连接。 TCP 降速，通过伪造并发送特殊sequence 报文来减小TCP 的滑动窗口值。 UDP 截断，通过伪造并发送P2P 应用层特殊控制命令方式来截断UDP 连接。 UDP 降速，通过伪造

17、并发送P2P 应用层特殊控制命令方式来降低UDP连接的传送速率。这种方法优点在于避免采用串接模式部署P2P 监控设备，不会对原有网络性能造成任何影响。缺点在于需要引入分光设备或镜像设备，并且需要占用互联网现网设备的一个端口用于将干扰信息发送到互联网中。如图2.4。 图 2.4 并联流控方式DPI的核心应用特征库 DPI技术的核心点在于如何维护一个高准确性、高实时性的应用特征库，从而保障应用特征识别的准确性、实时性，进而保障运营商对应用的管控准确性和实时性。目前运营商已建设的DPI系统普遍遭遇到应用特征更新不及时、管控效果不佳等问题，均来源于特征库的准确性和实时性无法得到及时保障。DPI技术的难

18、点DPI技术发展至今，仍面临一些亟待解决的难点，包括： 业务识别准确性 误报、漏报率高 应用特征不够全面，特征仅能覆盖应用的部分流量； 不同的应用协议具有相同或者类似的特征； 特征库的更新。由于业务版本更新频繁，协议识别效率低下，造成特征库更新准确性和实时性无法得到保障，均会带来业务识别的种种问题。解决方案3.1 产品概述系统围绕运营商对网络的管理要求，即“可管、可控、可查”，针对运营商固定宽带和移动互联网的业务、信令、性能、质量和安全进行深入监测、分析、管理、优化和控制，为网络运营、维护和管理提供全面可视化的管控解决方案。并进一步深入挖掘用户的网络行为、偏好，为运营商提供经营分析、决策支持。

19、 系统能够支持GE/2.5G POS/10G POS/10G GE/40G POS等多种链路类型，支持基于小区、RNC、LAC、手机号码、运营商、IP地址、终端类型、APN、用户账号、认证类型（PPPoE/WLAN)、接入类型（2G/3G）等多角度分析和管控，提供包括时延、带宽、连接数、会话数、业务类型、连接成功率、失败原因等各种QoE指标分析以及灵活自定制策略的QoS管控。 系统同时也为运营商提供高效、快捷、准确的宽带及移动宽带的网络性能分析和信令监测的手段，有助于维护人员第一时间发现、定位和解决网络性能问题。 系统从功能层面主要分为数据分析系统和流量控制系统，其中数据分析系统主要是对运营商

20、固定宽带和移动互联网的业务、信令、性能、质量和安全进行深入分析，为网络运营、维护和管理提供全面可视化的解决方案，并进一步深入挖掘用户的网络行为、偏好，为运营商提供经营分析、决策支持，实现网络管理的“网络可视化、用户可区分、业务可识别”的目标。流量控制系统主要是对运营商固定宽带和移动互联网的流量和业务进行深入分析，为网络运营、维护和管理提供网络全面可视化和流量控制的解决方案，实现网络管理的“流量可控制”的目标。3.2 体系结构系统体系结构 围绕“可管、可控、可查”的六字方针，产品针对运营商的固定宽带和移动互联网业务进行识别分析、策略管控、信令监测和分析、业务质量分析以及增值服务，全方位、多角度的

21、从业务、质量、信令、安全诸多方面为运营商提供网络质量监测分析和策略管控的便捷手段，便于维护人员第一时间快速、准确、便捷的定位和分析出故障及性能劣化点，并通过灵活自定义策略对网络实时多角度管控（包括基于用户号码、小区、RNC、LAC、接入方式、终端类型、APN等多维度管控）。3.3产品功能系统主要围绕固定宽带网络和移动互联网络管理的“网络可视化、用户可区分、业务可识别、流量可管控”的目标以及网络管理对网络质量、网络性能和网络安全等方面的需求，其功能主要可分为流量分析、用户分析、业务分析、区域分析、流量管控、专项监控、网络管理与系统安全等几大部分，涵盖网络管理、网络优化等各方面的需要。3.3.1

22、流量分析流量分析是指对获取的固定宽带网络和移动互联网网络的网络流量进行分析，获取网络流量的各类统计信息并可视化，提供网络管理人员对网络运维现状的直观了解。流量分析主要包括基本分析、流向分析、历史统计分析、信令分析、网络流量分析、网络性能分析等。3.3.2 用户分析 用户分析是指根据用户的固定或者动态属性对用户进行区分，并可进一步分析用户的网络行为等潜在信息。用户分析主要包括用户区分、用户群定义、网络行为分析、终端分析、等功能。3.3.3 业务分析业务分析是指对用户访问的业务进行详细分析，了解用户的业务访问信息及业务质量信息等。业务分析主要包括网站分析、业务分类分析、域名和SP分析、排名分析、重

23、点业务分析等功能。3.3.4 区域分析区域分析是指按照网络流量中的区域属性对流量、业务、用户数等进行统计分析。区域分析包括如下几点：(1) 统计和分析各地市、SGSN、GGSN的出口流量，可根据带宽利用率区分轻载和非轻载的网元设备。(2) 统计和分析各地市、SGSN、GGSN的流量和业务组分。(3) 统计和分析各LAC区的流量、业务组分和并发用户数。(4) 统计和分析各CI小区的流量和并发用户数。(5) 针对指定的重点CI小区统计和分析其业务组分。(6) 按CI小区进行流量排名，发现热点小区。(7) 区分GRPS和TD小区进行流量统计和分析。(8) 对于TopN小区的流量，能够按大类业务进行组

24、分分析(9) 对于指定LAC和CI，能够按具体业务进行分析。实时分析每个基站的数据业务情况，配合GIS实时了解整个网络覆盖地区的业务使用情况，分城市、区、街道、重要场地、基站等。3.3.5 流量管控流量分析是指对网络流量进行包括字节数、报文数、流量速率、点击次数、上下行流量大小、报文内容、会话跟踪、业务访问等相关信息进行分析和提取，是整个系统的基础。3.3.6 信令监测 采集GTP协议交互过程中的全部信令报文并打上准确的时间标签，能够存储用于后续分析和送出到相关的应用系统。能够完整解析GTP信令报文，并提取各个关键字段，以及按照这些关键字段进行统计分析。能够监测和统计信令交互过程中的成功、失败

25、次数，交互时延。以及对于呼叫失败原因进行统计分析。能够产生准确完整的PDP呼叫话单。能够存储、进行各种统计分析以及送出到相关应用系统。能够按APN、MS、SGSN、GGSN等统计会话PDP上下文的建立、修改、删除统计。 统计PDP上下文的数量和历史变化规律，按小时、日、周、月等周期进行分析，包括最大值、最小值、平均值。统计当前PDP建立数量与历史基线之间的关系。基于不同种类漫游用户（本地用户、国内漫游用户、国际漫游用户）的PDP建立成功率统计说明。包括成功率、成功次数、尝试次数、失败次数、失败种类及次数。统计各类消息的总数、成功次数及比例、失败次数及比例。3.3.7 业务质量分析 上网业务质量

26、分析，包含WAP、Web和MMS业务，上网成功率分析和失败原因分析，彩信操作成功率分析和失败原因分析。 热点网站分析。热点网站操作的总次数、成功次数、失败次数、成功率、平均响应时延。释放原因分类报告： 针对APN的HTTP和WAP业务释放原因值分类报告，包括各个APN下的成功率、尝试次数、成功次数、失败次数等错误原因分类报告： 针对APN的HTTP业务释放原因错误，包括失败次数、超时次数、业务不可用次数、网关问题次数、内部主机错误次数、Proxy鉴权问题等各种信息。 基于小区级别的HTTP业务释放原因错误，包括失败次数、超时次数、业务不可用次数、网关问题次数、内部主机错误次数、Proxy鉴权问

27、题等各种信息。 基于小区级别的WAP业务释放原因错误，包括成功率、尝试次数、成功次数、失败次数、网络退出指令、网关超时、业务不可用、网关故障、内部主机问题、用户退出等各种信息。 终端操作成功率分析：支持按照终端品牌，型号来分析终端在各个业务过程中的成功率，例如，PDP建立成功率，PDP释放成功率等等。支持对各种业务过程进行分析，例如WAP，HTTP等过程分析等。 能够提供各类统计指标的最大、最小和平均值，根据典型值或历史经验数据判断现有指标的合理性，对于不合理的情况进行告警。能够区分无线部分、接入网、核心网还是SP网站的质量问题。针对特定的业务（WAP、彩信等）提供相应的质量分析指标，包括请求

28、和应答的成功率、时延、发送次数、接收次数、出错次数等。 上网记录查询，包含WAP、Web和MMS业务，根据时间段、MSISDN、IMSI、IMEI、IP地址等查询用户上网记录。查看信令流程和会话跟踪，针对不同协议的信令流程进行关联(关联Gn和Gi接口)。 会话实时跟踪，指定跟踪的开始时间、MSISDN、IMSI、IMEI、IP地址等分析当前活跃的会话。 用户数据镜像。能够根据用户输入的过滤条件MSISDN、IMSI、IP地址过滤出该用户的用户面数据，进行重现和实时分析。 xDR自定义功能。监测系统应该支持业务记录xDR自定义功能，可以支持Gn、Gi接口的业务记录，以及多接口关联的业务记录。任何

29、业务记录都支持客户自定义功能，支持客户根据需要定义协议中的任意字段，统计信息。3.3.7 网络管理与系统安全流量分析是指对网络流量进行包括字节数、报文数、流量速率、点击次数、上下行流量大小、报文内容、会话跟踪、业务访问等相关信息进行分析和提取，是整个系统的基础。3.4 典型部署341 移动互联网1.4.3.1 部署方式一：Gn口并联方式1适合如下应用场景： GSM核心网监测 UMTS核心网监测 核心网链路流量分析、业务识别分析； 核心网GPRS连接信令监测分析，网络故障定位分析； 用户上网行为的记录和分析。2系统应用意义： 系统可以通过在Gn口分光采集所有核心网链路数据，对数据进行业务、流量、

30、信令、质量、安全的全方位分析，便于维护人员进行GPRS网络故障诊断、性能劣化点定位、信令监测分析等。3系统部署介绍：系统中的各个实体包括如下： 探针设备。用户采集分光下来的IP分组数据，进行高速数据采集、GTP协议分析、应用协议识别、信令跟踪和会话合成。 控制中心。用于将探针传送过来的数据进行统计分析，角度包括业务、流量、质量、信令和安全等方面，同时生成QoS动态策略，便于向管控设备下发策略指令。 主备数据库服务器。用于存储统计数据。 用于信息发布。1.4.3.2 部署方式二：Gi口串联接入方式1适合如下应用场景： Gi链路的策略管控，包括带宽、延时和连接数的策略管控。2系统应用意义： 系统可

31、以灵活的根据用户需求自定义管控策略，从用户号码、小区、RNC、LAC、终端类型、接入方式、链路、APN等多角度进行策略管控。3系统部署介绍：系统中的各个实体包括如下： 管控设备。可根据策略对链路数据进行管控，管控最小粒度可达5kbps级别。 用户和策略管理。存储所有的用户信息，包括号码、终端类型、小区ID、LAC、RNC、APN等，可接受用户手动定义策略，也可灵活根据链路流量和QoS现状动态调整策略。 主备数据库服务器。用于存储统计数据。1.4.3.3 部署方式三：Gi/Gn口并串联合接入 这种联合部署方式是最为完备的方式，既可以实现对核心网的业务、流量、信令、质量的全方位分析，也可以根据策略对流量进行灵活管控，真正做到了“可管、可控、可查”。342 固定宽带互联网1适用场景 中国电信、联通和移动2.5G/10G/40G POS或GE链路； 广电Cable宽带城域网链路。系统通过分流设备，将10G POS接口数据通过协议转换成GE接口，并通过负载均衡策略分担至若干GE接口，TMA探针设备对GE接口数据进行分布式监测，并从业务、流量、质量、安全等维度对互联网业务进行分析，并可针对非法VoIP、P2P、一拖N等非法业务实时并联干扰管控。这种部署方式优点在于通过分流