网纵流控大师技术白皮书.docx

1、网纵流控大师技术白皮书网纵科技应用层流控系统 技术白皮书 目 录1、前言 32、产品背景 42.1 P2P应用概况 42.2 P2P对网络的影响 52.3 P2P应用技术发展 53、处理P2P策略 74、如何检测网络中的P2P流量 85、技术解决方案 96、系统架构 117、主要功能特色 137.1 强大的协议识别引擎 147.2灵活的带宽管理 247.3 内网IP统计功能 267.4简单易用的单IP限速 267.5丰富的报表统计 277.6系统高可用性 287.7全中文化安全的Web管理 287.8灵活方便的部署方案 28附录一 网纵流控部署方案 291.1透明网桥模式 291.2旁路监听模

2、式 29附录二 典型案例 311、前言当前的IP网络，基于应用的分类管理，应用可视性和网络可管理性的地位比以前更重要，需求也更加迫切。P2P应用的广泛流行，已是桌面应用和网络流量的主流。出于技术与市场的驱动，唯有专业的应用层流量管理产品，才能跟踪并分析网络/用户的流量模式，更加有效的管理网络带宽资源，并加强服务特色化，管控结合，提高网络运行效率，提升用户满意度和忠诚度，具有多方面的益处。P2P(Peer-to-Peer)应用是不需关照的下载方式，增加网络峰值带宽和峰值持续时间，使用随机端口 (port-hopping) ，流量普遍占到网络总流量的60% 80%，为了让用户更快的体验和畅通无阻，

3、则极力争抢带宽和逃避监管。由于使用随机端口，传统的基于端口来区分应用的方式就失去了作用。 网纵流控系统FC5200是在P2P流行时代，诞生的新一代应用层流量管理产品，支持对IP流量的应用分类，实时控制用户组、应用服务流量。网纵流控系统FC5200的解决方案是基于状态和特征的检测，精确识别12大类250余种常用协议，并创新地自主开发“协议特征描述语言”PSDL(Protocol Signature Description Language)，使得维护协议特征库更加方便快捷。应用分类中对P2P应用的分类是关键，主要是由于P2P的特性所决定，BT等P2P应用由于其独特的设计理念，在客户端软件中加入了

4、大量对抗网络封堵、限制的技术手段；识别P2P，既不能误判也不能漏判，否则就不能达到真正对应用流量的带宽限制或保证。很多非专业产品，通过限制TCP并发连接数的方法控制P2P并不不科学，容易影响其他正常流量的速度。网纵流控系统FC5200以应用特征识别与控制，是一款真正的应用层流量管理产品。处理应用分类控制，处理P2P识别和控制，不但要求识别准确性，而且要求实时性能，网纵流控系统FC5200一般是作为网关类设备部署在网络出口，对时间延迟提出了更高的要求。在识别技术方面，网纵流控系统FC5200在基于会话和特征识别的基础上，采用主动探测技术和智能技术，识别特征模糊和被加密的P2P协议，有效提高识别率

5、；在性能保证方面，利用节点技术和硬件处理特性，如定制硬件驱动，充分发挥硬件性能，从而达到整体的高性能。网纵流控系统FC5200从基础软件架构上，就充分考虑应用层处理的特性，专为处理应用层识别与控制设计了FC OS，网纵流控系统FC5200使用Intel x86硬件平台，相比起同等级用ASIC、NP硬件处理的产品，具有成本低、性能高、升级灵活等优势。网纵流控的特色是：专业的协议特征库，并有先进的更新维护机制，同级硬件的整体性能高，处于国内领先水平，Intel x86单核性能完全满足千兆线速。使用Intel架构硬件系统和FC OS软件引擎，满足单台处理4G流量的专业性能，得益于Intel CPU和

6、PCI Express总线技术发展，为发展高端产品带来了良好的硬件平台，硬件不再是瓶颈，关键是软件技术。网纵流控高端产品，通过使用多颗多核CPU实现，在成本、性能、产品更新周期方面，具有很强的竞争优势。2、产品背景2.1 P2P应用概况P2P技术，即端到端对等网络技术，是指网络主机在充当客户端获取资源的同时充当服务器向其它对客户端提供服务。随着计算机网络的广泛应用和多媒体资源的丰富，带宽消耗越来越大。在计算机网络发展史上，恐怕没有任何一种网络应用像P2P（Peer-to-Peer，端到端对等网络）技术这样深刻的影响了宽带网络服务的运营模式。P2P使文件下载共享变得简单，动辄GB级的电影下载，P

7、2P应用拉动的带宽消耗增长，据统计，P2P数据流量占因特网总流量达80%以上，并且在用户总数没有显著增长的情况下，P2P数据流量仍然在快速持续增长，使得宽带运营商的成本增加，收益降低，网络效率和服务质量下降，甚至冲击其他业务收入。短短几年，P2P技术迅猛发展，以P2P技术为核心的软件产品，雨后春笋般的进入了主流计算机应用，事实已经十分明显。如基于P2P协议的文件下载共享软件，典型的应用软件有BitTorrent、eDonkey、PP点点通、Gnutella、FastTrack、酷狗(Kugoo)、迅雷、DirectConnect、AppleJuice、百宝、XX下吧、百兆等。这是目前被广泛使用

8、，同时也是头号带宽杀手的应用协议。基于P2P的其他应用有：即时信息类，如腾迅QQ、微软MSN、YahooMessger等，网络电话类，如Skype等，网络电视类，如PPStream、PPLive、沸点、Recool、QQLive等。运营商网络中6080的带宽夜以继日地被这些应用占用。由于传统网络监控设备无法识别P2P应用，处理P2P，必须是针对P2P应用的流量管理系统，才能监测网络并找到正在运行的P2P应用以及谁正在使用这些应用，然后设定策略以保证所有用户的公平性，还可以追踪使用情况以便于记帐和微调网络，处理过多的流量并把昂贵的空闲带宽分配给那些能够创造利润的应用。2.2 P2P对网络的影响P

9、2P技术主要提供了分布式交换数据的能力，由于个人用户PC的处理能力和硬盘空间逐步增大，资源分布存储已经变为可能。P2P技术现阶段最大的用途就是提供了在个人用户之间交换数据文件，通过集中资源服务器已经不在是资源存放的唯一途径。P2P技术主要带来了如下一些变化：(1)Internet上流量模型的变化：现在Internet上60%80的流量都是P2P的流量，而传统的HTTP流量已经不是Internet上的主要流量。(2)个人用户的流量模型的变化：以前个人用户的下行流量（从Internet到个人用户）远远大于上行流量。而由于P2P技术在下载的同时，也需要上传。导致个人用户的下行流量和上行流量都很大。(

10、3)P2P应用获取带宽的方式可谓完美：使用“永远在线”的技术日以继夜地在进行贪婪的下载和上传服务，P2P流量造成网络的极度拥塞。2.3 P2P应用技术发展第1代集中式的P2P应用：Napster模式，在对等计算机上运行的这类应用通常使用一个固定的TCP端口，这种模式从管理员角度来看，第一代的P2P应用是比较容易处理的，管理员可以简单地使用可根据协议端口监测网络的防火墙或者路由器限制P2P应用的流量。免费(Free)文件共享理念被保留下来，分布式更易于通信，被用户接受和追捧，在这个模式的驱动下，产生了大量新的、难于控制的P2P应用。第2代分布式P2P应用：允许计算机能够在任何时间、任何地点连接到

11、其他计算机，而不需要中心服务器的干涉，所有的对等计算机直接对其他的对等体进修响应和文件共享。第二代P2P应用采用的方法中还包括一些用于规避网络安全设备的“技巧”：(1)端口跳跃：通过这种方法，P2P应用将不再使用一个固定的端口号，而是采用随机的或者是用户手工设定的协议端口号。(2)常用端口号：一些P2P应用使用80端口官方规定的HTTP协议端口，来避开防火墙的限制，获得对Internet的访问。这是一种很狡猾的做法，因为企业通常只开通特定的、常用的端口(如80端口)访问Internet；类似地，一些运营商还对80端口提供更优化的流量，因为这些流量被认为是来自HTTP访问Web的。(3)HTTP

12、隧道：在很多企业网络中，Internet的访问是通过HTTP带来完成，对于非HTTP应用或者未经过HTTP的应用将不能访问Internet。于是很多P2P应用将HTTP协议作为自己基本协议，这样就避开了这些限制，使得网管设备的限制实效。(4)HTTP代理隧道：P2P客户端将要发给Web边缘的对等计算机的流量使用隧道技术进行封装，通过代理（如Socks代理）和一些第三方的隧道应用（如Socks2HTTP），使P2P流量看起来像是标准的代理流量，而这些流量通常是不被限制，从而达到避开限制。对于这些应用的识别和控制是非常困难的，除非借助应用层可视性检测工具，检查传输协议(如TCP协议)的载荷（Pay

13、load）部分，对不同的应用进行更精确的识别。第3代P2P应用：第3代P2P应用是一种介于集中式和分布式结构之间的混合折中结构。这一类型的网络使用“超级对等体”（超级节点）来充当中心服务器的角色，一方面维护网络的分布式结构，一方面保证良好的搜索点击率、网络速度和可伸缩性。超级对等体是从众多对等体中随机选择，甚至被选择的对等体自身对此也不会有所察觉。超级对等计算机向为数不多的一组对等计算机提供索引服务，同时超级对等体之间也彼此进行通信，文件传输在对等计算机之间直接传输。通过限制处理搜索的对等计算机的数量，同时也消除了使用固定、专用服务器带来的延迟，该类型的网络在提供很高的搜索性能的同时，也继承了

14、分布式网络的特性。某些第三代P2P应用使用SSL协议(如HTTPS，是用于加密Web流量的协议)对流量进行加密保护。第4代P2P应用：P2P应用最新发展的一个趋势，典型代表有Skype、eMule 0.47c和BitComet 0.80。这一代的P2P应用从技术上看，主要有两个特点： (1) 通过增加无用随机数据和数据进行加密这两个手段使得协议流量特征模糊化 ，如最新版的eMule、BitComet等软件。(2) 多协议并用（如迅雷，HTTP、FTP、专用协议并存），逃避监管。日益复杂精巧的设计和开发，P2P新应用不断涌现，功能更强也更易使用，为了使P2P应用运行畅通，新一代P2P软件比上一代

15、越来越智能，其中主要是P2P应用由于其独特的设计理念，在客户端软件中加入了大量对抗网络封堵、限制的技术手段，使得P2P流量管理检测难度水涨船高，同时需要不断升级协议特征库。P2P应用使人们对使用Internet的方式发生着革命性的改变，P2P应用的潮流不可阻挡，只能顺应潮流，采用有效处理策略。3、处理P2P策略为了能够控制P2P应用，企业与网络运营商都各自尝试了不同的解决方案：扩充带宽：最简单显而易见的解决办法，就是扩带宽。优点：增加带宽可以在短时间内缓解网络的拥塞状况，当P2P应用觉察到网络中有更多的可用带宽，网络带宽将会再次被P2P应用占据。缺点：增加带宽和增加带宽的费用将是无底洞，这样做

16、只是给P2P应用提供了更多可攫取的带宽资源。禁止P2P：全面禁止P2P应用将会是拥塞的网络恢复正常状态。优点：企业可以禁止P2P的使用，提高员工的工作效率，而以往员工却花费时间和网络带宽进行娱乐性的网上冲浪。缺点：ISP将会失去用户，因为很多用户就是为了不受流量限制才租用了运营商的线路。限制，而不是禁止P2P：使用能够识别第7层应用的流量管理解决方案，企业和运营商能够准确判别P2P应用并进行限制。优点：可以通过多种控制策略进行，通过合理调配带宽资源，提高网络运行效率，如发生链路拥塞的情况下，减少分配给P2P应用的带宽或者降低P2P应用的优先级，保证同一服务级别的用户使用网络的公平性，将会大大改

17、善网络响应速度质量。当对P2P应用流量进行限速管理之后，网络中的其他应用将变得很顺畅。仅对上传进行约束：对于ISP来说，这种约束能力显得更为关键，因为对于那些非线路租户使用其他租户的线路上传(而并不承担相关费用)的情况尤为关注。运营商显然不会考虑这些非线路租户进行线路的升级，这也就是为什么选择限制上传流量的原因。优点：对上传流量进行限制并不会影响到下载流量。如某运营商对P2P应用的出向流量进行了限制，而这个方向的流量主要是由非线路租户产生，由于他们自己的线路租户的TCP确认信息并不会受到影响(尽管它们的方向也是向外发送)，就可以继续享受无限制的下载服务。通过这项控制，该运营商用户的流量消耗得到

18、了显著减少，成本大幅度下降，又保证了客户的满意度。由于流量管理产品具有足够的灵活性，可以在不影响下载的前提下限制上传流量，从而使所有人都能获益：线路租户可以根据自己需要随意下载，运营商也得益于需要支付给骨干网络运营商的成本的大幅度下降。缺点：无。4、如何检测网络中的P2P流量为了能从应用中把P2P应用识别出来，网络可视性（Network Visibility）是至关重要。这种检测能力将了解到在当前的网络中运行着哪些P2P应用、哪些P2P应用正在吞噬网络中的宝贵资源、哪些用户占据了过多的网络资源从而造成了网络的拥塞。当检测和分离这些流量之后，就可以对P2P应用进行限制或者阻止、或者为其他的应用或

19、用户分配和保证所需的带宽，或者把P2P应用的流量避开峰值时段，合理调配带宽使用，从而利用现有的带宽资源，最大限度地提高带宽的效率。深层数据包检测(DPI):识别P2P应用的唯一可靠办法：对P2P应用进行判定，需要借助复杂的第7层识别技术，使用各种方法来检测这些难以捉摸的应用。由于多数P2P应用软件都使用端口跳动技术或者盗用一些常用服务的协议端口进行通信传输，所以通过对端口对它们进行识别显然是远远不够，传统的流量限速设备无能为力。因此，所有的数据包都必须到应用层面（Application Layer）上进行检查，即对传输协议如TCP协议的载荷（Payload）部分进行检查，以判断它们是否符合代表

20、某种应用代码的样本特征，在很多情况下，对于某一种应用的识别需要检测它是否多个代码样本的特征。基于会话的应用分类：标准的协议头部(Header)字段如TCP/UDP的端口号字段在每一个数据包中都存在，而第7层的协议代码样本通常只能在一次协议会话的前几个数据包中存在，并进行会话标记的请求以标识本次会话中所有的数据包。当网络中产生了一个新的会话，如P2P应用会话，那么一个唯一的协议签名(Signature)就必须被找到并能够与已知的协议代码样本相匹配，如当使用第7层的分类方法对一个P2P应用进行了正确的识别，那么该会话中的后续数据包就能够被正确的判别为该P2P应用会话的数据流量。有些情况下，一个P2

21、P应用使用不止一个会话，这就需要流量管理系统能够从两个或多个会话中提取信息并进行关联以找到能够匹配的代码样本。并非基于端口的分类：P2P应用通常使用随机的端口号或者借助一些常用的端口号来进行传输，因此在进行P2P应用样本搜寻时，就不能做任何的假设，需要对网络中所有数据流进行第7层协议的探测，而不管它们是否使用了某个端口号。每秒连接数：不寻常的连接数量可能是在暗示着网络中P2P应用的使用，也可暗示着异常流量的存在，如病毒、蠕虫、有害程序等等。P2P是具有侵略性的应用，它可以在短时间内建立超负荷的连接，异常的连接数量在流量管理设备中可以设定告警机制，帮助网络管理员及时解决问题。5、技术解决方案针对

22、P2P应用的流量管理特点，检测、性能和系统稳定性这三个因素是至关重要。不能正确检测区别P2P流量，就不能进行管理控制。性能不能满足要求，没有足够的处理能力，造成网络延迟的增大，同样也是无效。下面简要介绍一下网纵流控检测与控制P2P系统所使用的独特的应用层识别技术，在此之前，我们先介绍一下目前在其它产品中常用的技术：(1)基于数据包的无状态识别技术。这种技术一般是采取模式匹配的方式，对每个数据包进行模式匹配，并且不考虑数据包之间的逻辑关系，采取这种方式的系统的好处是实现简单，但是它的缺点也是很明显的，就是性能低下，易成为网络的瓶颈。(2)基于连接的有状态识别技术。这种技术是一般的传统防火墙所采取

23、的技术。在防火墙现有的状态表的基础之上，将连接所产生的所有数据包看作一个整体，如果其中某个或某些数据包符合指定的特征，那么认为这条连接就是符合该特征的连接。所以，如果该特征是BT通信，那么这条连接就是两个BT客户端或一个BT客户端和一个BT服务端在通信。在运营商的网络环境里，由于节点一般都是网络交换节点，因此许许多多的P2P节点的通信都会通过运营商的交换网络，这些节点以十万，甚至百万计。如果采取基于连接的有状态识别技术，所能控制的P2P通信非常有限，这种技术只适合于小规模的网络，如中小企业网络。网纵流控采用“基于节点的有状态识别技术”可以避免上述问题。一个典型的P2P是由许多节点构成的，每个节

24、点都是一个服务器，这个节点可以同时为其它节点提供服务。基于节点的有状态识别技术的基本思想是从节点双方的通信过程中寻找特征数据，这些特征数据不限于某条特定的连接，如果特征匹配，那么系统将记录该节点，而不是某条连接。一旦该接点被识别出来，那么后续同该节点通信的数据无须重新验证，因此极大的提高了系统的性能。P2P应用中，客户端既是客户，又是服务器，在某端口上监听为其他客户提供服务，根据这一特性，将IP服务端口在内存中定义一个二元组，称之为节点。网纵流控在基于节点的有状态识别技术的基础上向智能方面进一步发展，该技术可以从多条连接中自动根据某种统计规律来识别某些特征不明显或者被加密了的通信协议（如Sky

25、Pe），在保证性能的同时，提高了系统识别的准确性。这种技术针对P2P应用尤其有效。此外，网纵流控针对第4代P2P应用软件的变化，采用独有主动探测和服务伪装技术保证对P2P识别的准确性。网纵流控采用独有的服务探测引擎可以识别第四代P2P应用，如emule 0.47c。服务伪装， 对于迅雷这样综合了P2P和HTTP,FTP等传输协议的应用，网纵流控开发了独有的服务伪装引擎。从技术角度看，P2P应用有如下几个特点：(1)一个P2P节点（客户端程序，比如BitComet）通常与成百上千个客户端连接，因此节点之间的连接数目巨大。假如一个节点有200条连接，那么10000个节点就有可能达到200万条连接，

26、保守估计也会有100万条连接，如此大的连接数将使设备不堪负担。(2)不像Web浏览这样的HTTP协议，HTTP连接一般持续的时间比较短，而P2P主要目的是用来共享大的文件，需要传送大量的数据，因此P2P客户端之间的连接一般持续的时间比较长，这就意味着系统的资源很长时间不能得到释放，因此大大增加系统被DOS(Deny Of Service，拒绝攻击)的机会。针对上述特点，飞网纵流控通过学习的方式，采用连接识别和节点识别相结合的方式，大大减少了连接数，这样可以用较少的资源监控更大的P2P应用网络，同时提高了系统的效率。6、系统架构网纵流控核心是FC OS(FC Operating System)，

27、网纵OS基于FreeBSD(目前最稳定的操作系统)，但是在原有FreeBSD基础上做了如下修改和增强：(1)对网络协议栈作了大量的修改和优化，使得数据平面(Data Plane，见下图)能够以最快速度执行。(2)去掉内核部分代码，使得核心更小。(3)针对特定的硬件进行优化，使得在特定的硬件上更快运行。(4)修改部分中断处理函数和网卡驱动，使得数据平面(Data Plane)以较高优先级运行。FC OS分为数据平面（Data Plane）和控制平面（Control Plane）两个部分：(1)数据平面(Data Plane)：负责数据包处理，同时提供同控制平面的接口。数据层面直接由硬件驱动，这样

28、避免了传统OS（包括FreeBSD）的网络协议栈带来的开销，使得FC OS能够充分利用硬件的性能而更快处理数据包。数据平面在FC OS内核内运行。(2)控制平面（Control Plane）：负责系统管理，包括数据平面的维护、Web管理和命令行管理接口。控制平面运行在网纵OS的应用层。数据平面的运行优先级高于控制层面，这样确保数据包即时处理。控制平面(ntrol Plane)其中：(1)MiniWeb：一个轻量级的Web服务器，并提供Web管理接口。(2)CLI：命令行接口进程。(3)DataStat：负责数据的收集和统计分析。数据平面(DP，Data Plane)其中：(1)PAE(Pack

29、et Analysis Engine)：数据包分析引擎，负责应用层识别。(2)ACE(Access Control Engine)：访问控制引擎，负责访问控制。(3)BME(Bandwidth Management Engine)：带宽管理引擎，负责带宽限制和分配。(4)DPI(Data Plane Interface)：数据平面接口为CP提供访问数据平面的数据和相关状态信息的接口。7、主要功能特色网纵流控主要功能模块有：(1) 强大的协议识别引擎(2) 灵活的带宽管理(3) 内网IP统计功能(4) 简单易用的单IP限速(5) 丰富的报表统计(6) 系统高可用性(7) 全中文化安全的Web管理

30、(8) 灵活方便的部署方案下面分别详细介绍上述模块：7.1 强大的协议识别引擎网纵流控强大的协议识别引擎不但可以识别各种明文的协议，如Bittorrent，eDonkey，而且其独有的“加密协议深度识别”技术可以识别经过加密的P2P协议，如Skype和eMule 0.47c。到目前为止，KFC已经支持如下协议： 1) HTTP协议：web视频(优酷，酷六，六间房，YouTube，土豆网，Hulu，Sohu视频，Sina视频，我乐网，腾讯宽频，i酷，其他Web视频)，HHTP下载(伪IE下载，HTTP分块传输，其他下载)，Flash、Web音乐，HTTP代理，WWW。2 ) 常用协议：电子邮件(

31、SMTP，POP3，IMAP)，Telnet，FTP，DNS，DHCP，TFTP，SNMP，NFS，NTP，CVS，NETBIOS，Microsoft-DS，Remote-Sync，远程桌面，Socks4/5，UPNP。3) P2P下载：BT系列协议(BitTorrent，BT扩展协议)，eDonkey，Poco，迅雷，Gnutella，Fasttrack，DirectConnect，AppleJuice，XX下吧，百宝，酷狗，Vagaa，Ares，Napster，Mute，iMesh，SoulSeek，WinMX，脱兔，PPGou，天网Maze，搜娱，PP点点通，酷我音乐盒，RaySourc

32、e，超级旋风，Flashget，汉魅，P8，Foxy。4) 网络电视：PPStream，PPLive，沸点，乐酷，QQ直播，CCIPTV，TVAnts，TVKoo，PPMate，MySee，悠视TV，极速酷6，QVod，PPFilm，迅雷看看，SopCast，VJBase，JeBoo，风行，青娱乐，飞速土豆，BOBO，Netitv，新浪电视直播，搜狐电视直播。5 ) 即时通信：腾讯QQ(QQ聊天，QQ文件传输，QQ视频聊天，TecentMessager)，MSN(MSN聊天，MSN视频)，雅虎通，GoogleTalk，新浪UC，新浪UT，AIM，IRC，网易泡泡，阿里旺旺，淘宝旺旺，Lava-Lava，飞信，XXhi。6) 股票交易：钱龙系，大智慧，同花顺，大福星。7) 流媒体：RTSP，MMS，QuickTime，BBSee，WMPlayer，