dpidfi文档格式.docx
《dpidfi文档格式.docx》由会员分享,可在线阅读,更多相关《dpidfi文档格式.docx(10页珍藏版)》请在冰豆网上搜索。
例如:
H323、SIP等协议,就属于此类,其通过信令交互过程,协商得到其数据通道,一般是RTP格式封装的语音流,纯粹检测RTP流并不能确定这条RTP流是通过那种协议建立起来的,即判断其是何种业务,只有通过检测SIP或H232的协议交互,才能得到其完整的分析。
第三类是行为模式识别技术:
在实施行为模式技术之前,运营商首先必须先对终端的各种行为进行研究,并在此基础上建立行为识别模型,基于行为识别模型,行为模式识别技术即根据客户已经实施的行为,判断客户正在进行的动作或者即将实施的动作。
行为模式识别技术通常用于那些无法由协议本身就能判别的业务,例如:
从电子邮件的内容看,垃圾邮件和普通邮件的业务流两者间根本没有区别,只有进一步分析,具体根据发送邮件的大小、频率,目的邮件和源邮件地址、变化的频率和被拒绝的频率等综合分析,建立综合识别模型,才能判断是否为垃圾邮件。
这三类识别技术分别适用于不同类型的协议,相互之间无法替代,只有综合的运用这三大技术,才能有效的灵活的识别网络上的各类应用,从而实现控制和计费。
DFI:
与DPI进行应用层的载荷匹配不同,DFI采用的是一种基于流量行为的应用识别技术,即不同的应用类型体现在会话连接或数据流上的状态各有不同。
例如,网上IP语音流量体现在流状态上的特征就非常明显:
RTP流的包长相对固定,一般在130~220byte,连接速率较低,为20~84kbit/s,同时会话持续时间也相对较长;
而基于P2P下载应用的流量模型的特点为平均包长都在450byte以上、下载时间长、连接速率高、首选传输层协议为TCP等。
DFI技术正是基于这一系列流量的行为特征,建立流量特征模型,通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比,从而实现鉴别应用类型。
训练参数:
连接速率、会话持续时间、平均包长、首选传输层协议、传输字节量、包与包之间的间隔、八元组(上/下行流量比,平均流速率,平均数据包长度,流持续时间,传输字节数,端口变化率,包大小变化率、TCP/UDP协议包比)
1、上/下行流量比:
定义为某个连接中流上行流量与下行流量的比值
P2P网络中一个重要的特性是每个节点既从其他节点下载的同时,也在提供上传。
当P2P应用于文件传输过程时,接收端在从源地址下载数据的同时也可能在向源地址上传数据,因而每个节点在单位时间内上行流量和下行流量的比值在一定区域内波动,具有对称性。
而对于其他的传统网络应用,如HTTP、WEB,一般都是向客户发送一个服务请求(几十到几百字节),然后服务器返回客户机所需要的数据(几十KB,几兆或更多),在这种网络结构中,上行流量和下行流量处于不对称。
下图显示的在实验中获取的不同网络应用在单位时间内上/下行流量情况。
Bitorrent运行时上/下行流量情况
XunLei运行时上/下行流量情况
EMULE运行时上/下行流量情况
FTP运行时上/下行流量情况
HTTP运行时上/下行流量情况
2、平均流速率:
定义为通过网络的流长度与流持续时间的比值
通过实验数据获取的HTTP流、FTP流、P2P流的流速率变化情况可以看出,HTTP流的平均流速率为5.6KB/S,最大值为68.9KB/S,从图3.11中可以看出,FTP流的平均流速率为64.3KB/S,最大流为175.7KB/S,PPlive流的平均流速率为190KB/S,最大值为336.6KB/S。
P2P应用的流传输速率远远高于常见的网络应用(HTTP、FTP),因此可以通过此特征有效检测识别。
HTTP网络流流速变化情况
FTP网络流流速变化情况
PPlive网络流流速变化情况
3、流持续时间:
定义为流结束时间与流开始时间之差
通过端口及IP地址等流量预处理方法,人工分离出FTP、HTTP、PPlive三种网络应用的流量,统计他们的流持续时间、最大流持续时间以及各时长占总数目的比例,下表显示的是三种网络应用的平均流持续时间、最大流持续时间和大于100s的流个数占总数目的比例。
网络应用
平均流持续时间/ms
最大流持续时间/s
大于100s的流%
PPlive
128165
4217.48
40.3
FTP
35241
1394.70
9.8
HTTP
2473
164.52
1.2
从表中可以发现PPlive流的平均流持续时间比FTP、HTTP应用要长。
而且PPlive流中持续时间大于100s的流占总数的比例也要比FTP、HTTP多很多,特别是持续时间长的流。
统计数据表明,常见的网络应用如(WWW、FTP)流一般是以持续时间短的流为主,而持续的时间长的流主要以P2P应用为主。
分析这种现象的原因:
P2P节点一旦连接上某个文件提供节点,那它们之间的连接就会一直保持直到一个或多个文件片段下载完,所以P2P流量一般都具有长时间固定连接的特点,本文根据实验结果把流持续时间大于12min的流都认定为P2P流,这个阀值(12min)可以根据具体的环境重新设置
4、流传输字节数:
定义为P2P应用在运行过程中各个包传输数据的总字节数
同样通过端口及IP地址等流量预处理方法,人工分离出FTP、HTTP、PPlive三种网络应用的流量,统计他们的平均流传输字节数和最大流传输字节数,表3.2显示的是三种网络应用的平均流传输字节数和最大流传输字节数。
平均流传输字节数/MB
最大流传输字节数/MB
9.72
14.3
2.14
5.62
0.47
1.16
从表中可以发现PPlive流的平均流的传输字节数要比HTTP、FTP应用大。
由于P2P应用一般传输的都是较大的文件,并且在下载时具有连接时间长的特性,因此每个P2P流传输的总字节数要比一般的网络应用业务流量大很多。
依据对P2P应用中平均流传输字节数变化的分析,本文根据实验结果设定流传输字节数阀值为3072KB,如果平均流传输字节数大于这个阀值,则认定该数据流为P2P流,这个阀值(3072KB)可以根据具体的环境重新设置。
5、平均数据包长度:
为数据流总长与总包数的比值
6、端口变化率:
定义为单位时间内某个连接端口变化的次数与单位时间的比值
在P2P应用兴起的早期,大多数P2P应用使用的都是固定端口,例如,BitTorrent使用6881-6889端口,PPLIVE使用8008端口等。
但是随着P2P技术的发展,很多新型的P2P应用为了逃避流量审计与网络过滤,往往采用了动态端口等技术
由于传统的网络应用通常采用固定端口,端口没有任何变化,例如:
FTP应用采用端口21,HTTP应用采用端口80,而新型P2P应用的端口会动态的变化,下表显示了在实验室环境中设置时间为1分钟的条件下,PPlive、HTTP、FTP三种网络应用端口变化率情况
平均端口变化率/min
最大端口变化率/min
3
6
0
从表中可以发现PPlive流的平均端口变化率要比HTTP、FTP应用大。
7、包大小变化率:
定义为当前包大小与之前包大小之差
在一个流的生存期内,P2P流数据包大小的变化幅度与一般正常网络业务流量有着明显的区别。
下图分别显示的分别是HTTP、FTP和Pplive运行中数据包大小变化情况,这些统计结果都是利用网络抓包工具sniffer在实验数据中分析得到的。
从图中可以知道,FTP、HTTP业务流的数据包大小在几十字节至几百字节之间变化,变化的幅度很小,数据包的大小趋于稳定。
而PPlive业务流的数据包大小在几个字节至几千字节之间大幅度变化。
FTP流数据包大小变化情况
HTTP流数据包大小变化情况
PPlive流数据包大小变化情况
相同实验环境下不同网络应用数据包大小变化情况
8、TCP/UDP协议包比:
定义为某个连接中TCP协议包与UDP协议包的比值。
P2P软件在使用的过程中一般采用UDP来发送控制信息,而采用TCP协议来传输数据。
下图显示的是在实验室环境中,通过软件在1分钟内捕获的三种不同的网络应用发送的TCP协议包、UDP协议包、ARP协议包以及其他协议包的分布情况。
从图中可以看出在常用的网络应用中HTTP主要传输的TCP协议包,P2P和FTP都主要传输的是UDP协议包,但是在相同网络环境下,单位时间内P2P传输的UDP协议包远远多于FTP,而FTP传输的TCP协议包却多于P2P.
三种不同网络应用的网络协议包分布情况
从图可以知道HTTP、FTP应用主要使用TCP协议包来传输数据,HTTP应用使用TCP协议包达到97%以上,UDP/TCP协议包比在[0.01-0.04]范围内,FTP应用使用TCP协议包达到100%,UDP/TCP协议包比为0。
而不同P2P应用软件其使用的协议包是不一样的,实验分析表明,skype和讯雷主要使用UDP协议传输数据,讯雷的UDP/TCP协议包比范围为[2-20],Skype的UDP/TCP协议包比范围为[3-100];
而Bitorrent、Emule主要使用TCP协议传输数据transmitdata,Bitorrent的UDP/TCP协议包比在[0.01-0.05]范围内,Emule的UDP/TCP协议包比在[0.01-0.03]范围内。
不同网络应用的UDP/TCP协议包比值与时间的关系
不同网络应用1分钟内TCP与UDP协议包数量
《模糊识别与智能计算》