特殊网络流量识别综述.docx

特殊网络流量识别综述.docx

《特殊网络流量识别综述.docx》由会员分享，可在线阅读，更多相关《特殊网络流量识别综述.docx（12页珍藏版）》请在冰豆网上搜索。

特殊网络流量识别综述

特殊网络流量识别综述

　　摘要：

特殊网络是指与传统的客户端/服务端结构不同或者使用了特殊技术或工具形成的网络，前者以P2P网络为代表，后者以匿名网络、僵尸网络等为代表。

这类网络相较传统网络更加高效、隐蔽、目的性强，难以用传统方法进行监管，带来了一系列管理和安全问题。

传统流量识别技术不能有效应对特殊网络的流量识别，针对特殊网络的流量识别成为网络管理及网络安全领域新的热点。

本文首先简要介绍传统网络的流量识别技术；进而介绍三种常见的特殊网络以及对应的流量识别技术，其中重点介绍目前Internet中最成功的公共匿名通信网络，即Tor网络的流量识别进展及存在问题。

　　关键词：

特殊网络；流量识别；P2P网络；僵尸网络；匿名网络；Tor

　　中图分类号：

TP391文献标识码：

A文章编号：

1009-3044（2018）17-0022-05

　　Abstract：

Thespecialnetworkisdifferentfromthetraditionalclient/serverstructure，withwhichformedbyusingthespecialtechnologiesortools，theformerisrepresentedbytheP2Pnetwork，thelatterisrepresentedbyanonymousnetworkandbotnet.Comparedwithtraditionalnetwork，thespecialnetworkismoreefficient，covertandpurposeful，anditisdifficulttoanalysiswithtraditionalmethods，resultinginaseriesofmanagementandsecurityproblems.Thetraditionaltrafficidentificationtechnologycannoteffectivelydealwiththetrafficidentificationofspecialnetwork，andthetrafficidentificationofspecialnetworkbecomesanewhotspotinnetworkmanagementandnetworksecurityfields.Firstly，thispaperintroducedthetrafficidentificationtechnologyoftraditionalnetwork，thenthreecommonspecialnetwork，andthecorrespondingtrafficidentificationtechnologywereintroduced，whichfocusedonthemostsuccessfulpublicanonymouscommunicationnetworkofInternet，namelytheprogressandexistingproblemsofTornetworktrafficidentification.

　　Keywords：

thespecialnetwork；trafficidentification；P2Pnetwork；Botnet；anonymousnetwork；Tor

　　1引言

　　?

W络流量分析是有助于维护网络持续、高效和安全运行的一种手段，它广泛应用于网络管理中的安全监控和服务质量的改善[1]，常见的产品如入侵检测系统（IntrusionDetectionSystem：

IDS）、防火墙、流量控制设备、负载均衡设备等也都和流量分析技术直接相关。

对网络流量的分析可以很好地了解网络的运行规律，同时分析网络应用产生的流量以了解应用的运行情况。

其次，流量分析还是了解网络用户的网络行为的重要途径，每个网络用户的网络行为都是相互影响的，同时会对网络的运行产生影响，用户在网络中的每个网络行为都伴随着网络流量的产生，通过对用户的网络流量的分析能够直观地了解用户的网络行为。

在了解正常网络运行情况的基础上，可以进一步发现网络中存在的异常，异常的网络行为也都具有可统计的流量特征，如感染的蠕虫病毒、安装了木马程序等，都可以通过流量分析及时的发现网络用户的这些异常网络行为，从而有效的应对各种网络和应用问题。

　　近几年来，互联网应用由传统应用如HTTP、SMTP等占主导地位转变为各种新型网络应用。

随着对等网络（PeertoPeer：

P2P）各类应用的使用逐渐增多，以及在全球范围内加密流量的不断增加，用户的个人隐私保护和网络安全意识逐渐增加，安全套接层（SSL）、安全外壳协议（SSH）、虚拟专用网（VPN）等技术也大量应用于互联网。

加密协议的良好兼容性和可扩展性使得采用加密技术越来越简单。

但是，传统的信息加密技术能够实现对传输内容的保护，却不能很好的隐匿通信双方的身份信息、地理位置和通信模式等信息[2]，匿名通信技术[3]，[4]随之被提出，匿名网络逐渐被应用匿名网络提供的匿名性使得对该类网络服务的监管难度加大。

互联网技术发展为网络用户提供了便利性的同时，也打开了网络恶意活动的大门，僵尸网络就是其中一种。

由此，各类技术的发展使得特殊网络的存在也越来越广泛，通过网络流量分析来对网络行为进行监管就具有了重大意义。

　　2传统的流量识别方法

　　目前，主要的流量识别技术可以划分为以下几类，即基于端口号的流量识别方法、基于深层包检测（DeepPacketInspection：

DPI）的流量识别方法、基于行为特征的流量识别方法和基于流特征的流量识别方法。

下面分别介绍这四种流量识别方法。

　　2.1基于端口的流量识别方法

　　一些典型应用常用的传输层协议和端口号是固定的，根据这类信息来识别流量是最简单的一类流量识别方法。

此类方法依据互联网地址指派机构（IANA）指定的端口映射表[5]，IANA将端口分为三类：

（1）熟知端口（wellknownports）：

由IANA分配给TCP/IP最重要的应用程序，端口范围在0～1023。

（2）注册端口（registeredports）：

这类端口号是为没有熟知端口号的应用程序使用的。

使用这类端口号必须在IANA按照规定的手续登记，以防止重复，其端口号范围为1024～49151。

　　（3）短暂端口（ephemeralports）：

这类端口仅在客户进程运行时才动态选择，它是留给客户进程选择暂时使用，其端口号范围为49152～65535。

　　端口号映射的方法实现起来较简单，只需要分析到数据包的传输层，识别开销小、速度快，该方式在以往应用服务种类不多的情况下较为实用。

由于防火墙等访问控制技术的屏蔽了很多未授权的端口，很多协议都使用了常用端口以避开防火墙，同时，随着网络规模的快速增长，尤其是P2P网络的大量应用，使得用户数据的类型增多，众多进程启用了大量的随机端口，这些因素都对使用端口号来识别流量非常不利。

　　2.2基于DPI的流量识别方法

　　基于DPI的流量识别检测[6]又叫基于载荷特征的流量识别方法，是一种基于应用层的流量检测技术，它利用模式匹配算法[7]搜索流量的有效载荷中的特征值以识别各种不同的应用层协议，根据各协议特有的模式特征确定流量所属协议类型，分析出各应用层协议的特有特征是实施DPI方法的关键。

　　基于DPI的流量检测方法有效的弥补了基于端口号识别流量的不足，端口的变化不会影响检测率，也能够检测广泛使用的P2P应用[8]。

这种方法不仅能够识别出使用单一连接进行通信的协议，而且还能识别出SIP、流媒体协议等基于会话协商的应用协议，此类协议通常是由控制和数据会话两部分组成，通信双方的数据端口是在控制会话中动态协商产生的，控制和数据会话使用的传输层协议是可能不同的。

但DPI方法也有自身的缺陷，其一，该方法只能识别特征库中已有的协议，无法识别其他未知流量，对于新的协议需要分析其载荷特征将其加入特征库，才能对新的协议进行识别，这也就加大了实时载荷分析的难度；其二，对于加密的有效载荷识别率不高。

　　2.3基于行为特征的流量识别

　　网络中的应用都具有不同的行为特征，根据不同的行为特征可以将其作为流量识别的方法。

基于行为特征匹配的流量识别方法是通过观察网络应用的连接行为来匹配是何种应用，此方法不需要用到数据包的内容，所以即便数据包加密也不会受到影响。

这种识别方法需要维护和匹配大量的启发式规则、无须解读数据包的负载、处理性能要求不高、具有新的流量特征发现能力、准确度也较高，还能提醒用户检查那些疑似的病毒攻击流。

但是这种方法需要大量流量进行离线分析，不利于实时识别和实际应用，此外该方法是利用应用流量的行为属性，可能会随着网络应用自身的改进而逐步失效[9]。

　　2.4基于流特征的识别方法

　　基于流特征的识别方法不需要提取应用层协议的特征建立特征库，它不是对数据包的有效载荷进行分析，而是利用协议规范的不同造成的流测度的差异来区别各个协议，是针对数据流进行统计分析。

通过建立数据流的特征模型并分析数据流的统计特征，如数据流中数据包的平均大小、到达时间、时间间隔等，依据这些特征对不同协议进行区分。

　　该方法可以有效地独立于基于端口信息和载荷特征的识别方法，即便是端口号和载荷特征发生了变化，但数据流的一些统计特性依然可以保持不变。

目前，对数据流的统计、建模、分析可以采用机器学习的方法来对流量进行分类[10]，[11]。

机器学习算法分为三种，即有监督学习法、无监督学习法、半监督学习法。

有监督学习方法目前使用最多的是用贝叶斯分类法、神经网络和遗传算法。

无监督学习方法通常使用数据包长度、时间间隔、持续时间等作为分类特征，通过分类器进行学习，学习和分类的结果再作为下一次分类的评估标准，这种方法随着学习次数的增加有效的增加了分类的准确率。

而半监督的机器学习方法不同于前面来年各种方法的是它的训练集中采用的是少量已标记的数据流样本和大量为标记的数据流样本。

　　根据流特征识别网络流量的方法需要收集历史的流量数据作为训练数据以建立分类模型，且不能处理数据包的丢失和重组，但是，该方法在识别流量中性能高、可扩展性好，还能识别加密流量。

　　3特殊网络流量分析

　　3.1特殊网络概述

　　特殊网络是指与传统的客户端/服务端（C/S）结构不同的网络，如P2P网络，也指那些使用了特殊技术或工具形成的网络，如匿名网络、僵尸网络等。

下面将介绍提到的这三种特殊网络。

　　3.1.1P2P网络

　　P2P（peer-to-peer）又称对等网络，它是一种新型的网络架构，相比于传统C/S结构的一个本质区别是该网络不存在中心服务器，P2P技术依赖网络中所有参与者的处理能力和信息共享，每一个节点可以同时具有信息消费者、信息提供者和信息通讯等三方面的功能。

而在计算模式上，网络中的每个节点的地位都是对等的。

每个节点既充当服务器，为其他节点提供服务，同时也享用其他节点提供的服务。

P2P网络是对分布式概念的成功拓展[12]，它将传统方式下的服务器负担分配到网络中的每一节点上，每一节点都将承担有限的存储与计算任务，加入网络中的节点越多，节点贡献的资源也就越多，其服务质量也就高。

　　目前，P2P技术主要应用在文件资源共享和下载、分布式计算、即时通讯、网络电视和网络游戏。

　　3.1.2僵尸网络

　　僵尸网络（Botnet）[13]是网络安全面临的最严重威胁之一，也是当今计算机和网络安全领域最具挑战性的话题之一。

僵尸网络是指攻击者通过传播僵尸程序控制大量主机，通过命令与控制信道与僵尸主机通信并发布命令形成的一个网络。

攻击者利用Botnet可发起多种攻击，如分布式拒绝服务攻击（DDoS）、垃圾邮件、信息窃取等。

随着Botnet的兴起，DDoS攻击得到了迅速的壮大和普遍的应用，DDoS攻击是利用服务请求来耗尽被攻击网络的系统资源，从而使被攻击网络无法处理合法用户的请求，它可以消耗大量的带宽，却不消耗应用程序资源，Botnet为DDoS攻击提供了所需的带宽和计算机以及管理攻击所需的基础架构。

通过僵尸工具还可以在被感染的主机上发送垃圾邮件等，包括诈骗邮件，在一个Botnet和成千上万的僵尸工具的帮助下，攻击者可以发送大量的垃圾邮件。

同时僵尸工具也可用?

稻莅?

监听器来观察某一台已被攻陷主机上的明文数据[14]。

监听器大部分被用于提取敏感信息，例如用户名和密码。

如果一台主机不止一次被攻陷并属于多个僵尸网络，数据包监听还允许收集另一个僵尸网络的关键信息，因此偷窃另外一个僵尸网络得信息也是可能的。

　　3.2.2僵尸网络的流量识别

　　鉴于Botnet给网络安全带来的巨大威胁，需要有效的检测方法，能够提供高精度和高效性的检测，而目前对Botnet的检测方法主要采用网络流量分析的方法，通过分析流量检测被感染的主机，由于僵尸网络具有自动更新机制，因此对该网络的监视和检测方法也需要保持活跃和持续。

　　文献[27]中提出了一种基于MapReduce的僵尸网络在线检测算法[27]，该算法通过分析网络流量并提取其内在的关联关系检测僵尸网络，并在云计算平台上进行数据分析。

该方法可以根据控制与命令（C&C）流量检测，并且它不依赖与僵尸主机的恶意行为，在僵尸主机处于空闲状态或者攻击隐蔽的情况下都能检测出僵尸网络。

Stevanovic[28]利用有监督机器学习对恶意僵尸网络流量进行分析，探讨了如何准确及时地进行检测，并且还提出了一种新型的基于流的检测系统，该系统已经通过一系列的实验测试，分别是使用来自两个著名的P2P僵尸网络和各种非恶意应用程序的流量。

基于流的特征提取方法在最近的文献（[29]，[30]）中得到了很高的应用。

在这样的方法中，通信过程中的数据包被聚合到流中，然后再计算和统计这些流的特征。

Haddadi[31]在他的文章中提出了几种应用网络流量分析的自动僵尸网络检测方法，每一个系统都使用基于流（包头）的特定网络流量特性来分析流量，他利用了C4.5、SVM、朴素贝叶斯、贝叶斯网络、人工神经网络（ANNs）五种方法对Botnet中的数据进行分析。

早期的Botnet主要关注的是基于IRC协议的，而目前研究研究更加关注的是P2P网络中的僵尸网络例如文献（[32]，[33]）所作的研究。

　　3.2.3匿名网络的流量识别

　　匿名通信技术给网络监控带来了新的挑战，匿名网络提供的匿名性和隐私性是一把双刃剑，越来越多的攻击、威胁和滥用匿名服务触发了识别这种匿名网络的需要，此外，模糊?

理技术的实现也使得对匿名网络的识别更加困难，有效识别匿名流量，对防止此类技术滥用起着关键作用[34]，[35]。

　　匿名工具是互联网用户在某种程度上普遍采用的隐私保护方式，即隐藏源、目的地和通信，而不仅仅是对内容进行加密本身[36]。

此外，甚至还能够将用户的身份隐藏到最终目的地（即web服务器），这些服务为用户提供匿名性，通过将用户的流量转发到多个站点，直到用户的数据到达目的地。

在此过程中，数据多次加密，通过这样做，用户的数据保持匿名，因为在每个站点组成的路径中只知道部分信息。

在这些网络中追踪用户的数据是很困难的，从用户的角度来看，这些工具允许自由的浏览网页或运行应用程序，却不泄露他们的身份给窃听者或第三方嗅探[37]。

越来越多的互联网用户使用匿名系统，如I2P[38]、JonDonym或Tor网络作为隐藏他们在线活动的一种方式。

　　尽管匿名网络并没有隐藏用户与网络的连接，但它确实改变了一些活动的默认形式，比如使用匿名网络浏览的用户并不一定使用标准的HTTP端口（80端口）。

一些国家的审查制度屏蔽了匿名网络，这导致匿名网络演变出了更多的技术以隐藏连接并绕过封锁，例如混淆技术。

DPI，主动探测和流分析也被用来识别匿名网络[39]，但这些方法都有一些限制，使用DPI的缺点是加密使数据包不透明，所以用DPI将失效。

匿名网络路由器的IP地址也可以用来识别这些网络，但模糊技术或网桥将降低这种方法的有效性。

流分析在识别匿名网络的过程中取得了令人满意的结果，即使存在模糊技术也可以进行分析，然而，流分析的障碍在于其计算成本，数据流量的增加和功能越多，成本就越高。

在大型网络中，这需要较高的CPU资源和时间，因此，使用流分析来识别匿名网络（在仍处于活动状态时对流进行分类）是一个极大的挑战。

　　针对目前Internet中最为成功的公共匿名通信服务Tor的流量识别，Weinberg[40]等详细描述了Tor使用的混淆代理（obfsproxy），obfsproxy附加了流密码大Tor流量中，使得难以研究Tor流量的特殊文本模式（如TLS指纹），因而对Tor流量的识别难度加大，但是该技术并没有改变包的大小。

Weinberg还提出了一种改进Tor对自动协议分析的新系统，该系统在Tor客户端和第一个Tor中继之间进行通信，实现了自定义的加密协议，并提供了一套隐写模块，使Tor能够适应指纹攻击。

同样，Moghaddam[41]在Tor协议混淆的机制上，引入了一个系统可以将Tor通信封装到一个类似Skype视频通信的连接中，以实现流量的混淆。

虽然流量的混淆加大了识别Tor流量的难度，文献[42]中仍实现了采用SVM多分类算法分类从Tor入口节点到客户端的流量特征以识别网站的指纹。

Alsabah[43]等提出在匿名通信系统中使用网络流量分类来实现差异化的QoS，他们研究了两种类型的流量分类：

在线分类和离线分类，采用机器学习的算法（贝叶斯、决策树）进行分类，还引入了DiffTor来改进Tor网络的性能，DiffTor是一种基于对它们所服务的应用程序的加密Tor电路进行分类的框架。

同样，我国学者何高峰[44]在他的文章中提出基于TLS指纹和基于报文长度分布的Tor匿名通信流量识别方法，分别对两种识别方法的优缺点进行了详细分析和讨论，并通过CAIDA数据集和在线部署对识别方法进行了验证。

随着Tor的不断发展，各种技术更新迭代使得原先的方法已经无法识别出Tor流量，在最新的研究（文献[45]-[48]）中，Hodo[45]在其工作中采用ANNs和SVM方法分类集中了Tor通信和非Tor通信的流量，文献[46]和[47]中，提出了基于重力聚类算法（GCA）[46]，[47]来识别Tor匿名通信，与传统方法相比，该方法可以自动识别聚类数，聚类算法可以帮助我们发现匿名流量和各种未知流量类型。

文中还对目前最先进的聚类算法进行了实证比较，实验结果表明，在相同的实验条件下，与其他方法相比，GCA具有较好的性能，而K-means具有较高的识别率。

何永忠等[48]在基于云流量混淆的Tor匿名通信识别方法一文中，研究了基于Meek[49]，[50]流量混淆的Tor流量识别，采用SVM进行分类，能有效识别出Tor流量。

　　4展望

　　本文综述了三种特殊网络的流量识别方法，分别是近几年来国内外对P2P流量、僵尸网络流量和匿名网络流量的识别研究进展，其中，P2P流量和僵尸网络流量的研究较多且有比较稳定的流量识别技术可以对其进行流量分析，而匿名网络由于其复杂的匿名技术使得分析该网络流量难度相对较大。

匿名网络中应用较为广泛的是Tor，它是目前最为成功的公共匿名网络，因此重点关注Tor匿名网络。

为了进一步伪装和隐匿Tor的通信流量，它引入了多种集成了传输插件的网桥技术，如obfs4、Meek、Flashproxy、FTE以及scramblesuit等，通过这些技术可以对Tor进行流量混淆，以规避对Tor的流量审查和监管，因此要识别Tor的流量难度相对于以前也就加大了。

未来要识别Tor流量的一个方向就是在引入了传输插件的混淆流量基础上找到该种流量的特征，可以采用机器学习的算法来对流量进行分类，选用合适的算法提高识别Tor流量的精度和效率。

　　参考文献：

　　[1]ZhangJ，XiangY，WangY，etal.NetworkTrafficClassificationUsingCorrelationInformation[J].IEEETransactionsonParallel&DistributedSystems，2012，24

（1）：

104-117.

　　[2]吕博，廖勇，谢海永.Tor匿名网络攻击技术综述[J].中国电子科学研究院学报，2017，12

（1）：

14-19.

　　[3]王志远，童晓梅.匿名通信技术综述[J].数字传媒研究，2012

（1）：

23-25.

　　[4]EmuraK，KanaokaA，OhtaS，etal.Buildingsecureandanonymouscommunicationchannel：

formalmodelanditsprototypeimplementation[C]//ACMSymposiumonAppliedComputing.ACM，2014：

1641-1648.

　　[5]?

x希仁.计算机网络[M].电子工业出版社，2011.

　　[6]饶瑾.深度包检测（DPI）技术浅谈及应用[J].信息通信，2014（11）：

245-246.

　　[7]艾鑫，田志宏，张宏莉.深度包检测技术中多模式匹配算法研究[J].智能计算机与应用，2013，3（5）：

17-19.

　　[8]鲁刚，张宏莉，叶麟.P2P流量识别[J].软件学报，2011，22（6）：

1281-1298.

　　[9]赵国锋，吉朝明，徐川.Internet流量识别技术研究[J].小型微型计算机系统，2010，31（8）：

1514-1520.

　　[10]HeL，XuC，LuoY.vTC：

MachineLearningBasedTrafficClassificationasaVirtualNetworkFunction[C]//ACMInternationalWorkshoponSecurityinSoftwareDefinedNetworks&NetworkFunctionVirtualization.ACM，2016：

53-56.

　　[11]储慧琳，张兴明.一种组合式特征选择算法及其在网络流量识别中的应用[J].小型微型计算机系统，2012，33

（2）：

325-329.

　　[12]李致远，王汝传.一种基于机器学习的P2P网络流量识别方法[J].计算机研究与发展，2011，48（12）：

2253-2260.

　　[13]祝春美，张洋，管会生.僵尸网络研究[J].通信技术，2010，43

（2）：

10-12.

　　[14]VaniaJ，MeniyaA，JethvaHB.AReviewonBotnetandDetectionTechnique[J].InternationalJournalofComputerTrends&Technology，2013.

　　[15]刘朝斌，何杰，郭强.P2P僵尸网络研究[J].小型微型计算机系统，2012，33（10）：

2203-2207.

　　[16]YeW，ChoK.P2PandP2P