Sniffer网络流量分析.docx
《Sniffer网络流量分析.docx》由会员分享，可在线阅读，更多相关《Sniffer网络流量分析.docx（53页珍藏版）》请在冰豆网上搜索。
Sniffer网络流量分析
Sniffer网络流量分析
（讨论稿）
NetworkGeneral
目录
第一章从利用率看网络1
1.网络利用率（Utilization）1
2.网络利用率和服务质量（QOS）1
3.网络利用率的异常和网络异常3
4.如何监控网络利用率5
5.案例分析8
5.1.网络利用率异常导致网络丢包8
第二章从包大小分布看网络11
1.包大小分布（PacketSizeDistribution）11
2.包大小分布和网络效率11
3.包大小分布的异常和网络异常12
4.如何监控网络中包大小分布14
5.案例分析16
5.1.网络包大小分布异常导致网络异常16
第三章从协议分布看网络20
1.协议分布（ProtocolDistribution）20
2.协议分布和网络应用20
3.协议分布异常和网络异常20
4.如何监控网络中协议分布22
第四章流量产生的分析24
1.流量的产生24
2.异常流量的产生24
3.异常流量的分析25
3.1.发现异常的网络流量25
3.2.对异常网络流量的分析29
4.案例30
4.1.某网络的HTTP协议异常网络流量30
4.2.某IDC的网络异常流量分析36
4.3.某网络利用率异常的流量分析39
第五章网络应用流量评估44
1.应用流量特点44
1.1.不同应用的流量特征44
1.2.不同种类应用对网络系统性能的需求45
1.3.网络应用对网络的影响45
2.网络应用流量评估的目的46
3.网络应用流量评估实用方法47
3.1.网络应用流量的评估步骤47
3.2.网络应用流量评估内容49
4.案例52
4.1.对某办公自动化应用的流量评估52
4.2.对视频会议应用的流量评估55
第一章从利用率看网络
1.网络利用率（Utilization）
网络利用率是网络中实际的网络流量同网络理论带宽的比率。
网络利用率表示着某一时刻网络中的实际流量，网络利用率是网络运行状况的重要参数。
2.网络利用率和服务质量（QOS）
在很多行业，利用率是越高越好的，如工厂里的生产机械最好24小时不停的运转，而许多专业服务的公司对员工作能力的利用希望能够达到80％以上的比率以便提高运转效率，从而降低成本，从这些方面考虑利用率是越高越好的。
与此相比，计算机数据网络的网络利用率是非常低的，很多企业内部局域网的主干网络利用率很低，低到不会超过5％，即使是IDC的出口网络（千兆带宽），网络利用率一般不会超过25％。
Internet的数据流量在过去的几年中几乎每年都会增加一倍，但同时网络的利用率却在不断的下降。
下面是一个Internet主干连接几年内的网络平均利用率统计。
month
Year
TrafficflowMb/s
LinkcapacityMb/s
averageutilization
May
1996
1.51
3
50.40%
Jul
1996
1.9
3
63.3
Sep
1996
1.99
3
66.3
Nov
1996
2.21
3
73.6
Jan
1997
2.37
3
67.6
Mar
1997
2.62
4
65.4
May
1997
2.86
4
71.4
Jul
1997
3.17
8
39.7
Sep
1997
2.87
8
35.9
Nov
1997
3.24
8
40.5
Jan
1998
3.88
8
48.5
Mar
1998
4.2
8
52.5
May
1998
5.05
8
63.1
Jul
1998
5.14
8
64.3
Sep
1998
5.66
8
70.7
Nov
1998
6.2
8
77.5
Jan
1999
8.78
24
36.6
Mar
1999
9.41
24
39.2
May
1999
10.63
32
33.2
Jul
1999
10.03
32
31.3
Sep
1999
11.62
32
36.3
Nov
1999
13.26
32
41.4
Jan
2000
15.52
56
27.7
Mar
2000
17.81
56
31.8
May
2000
15.92
64
24.9
Jul
2000
19.94
155
12.9
Sep
2000
24.86
155
16
Nov
2000
28.37
155
18.3
Jan
2001
28.75
310
9.3
Mar
2001
32
310
10.3
表1
从上面的表中我们可以看到，从1996年到2001年，该链路的网络流量从1.51Mb/s增加到了32Mb/s，流量增加了20多倍，但网络带宽也相应的从3Mb/s增加到了310Mb/s，增加了100倍，网络带宽的增加远远大于网络实际流量的增长，这就造成网络的利用率不是升高，而是在不断的下降。
大家花费大量的金钱进行网络的建设，近十年内，局域网的主干网络带宽从10M升级到100M，再升级到千兆，现在又要升级到万兆，而与此同时网络的利用率却不断的降低，这种情况下许多人会很困扰——我们大量的对网络建设的投资是不是浪费呢？
当然不是，我们不断升级网络带宽，降低网络的利用率，使网络的QoS大大的提高了，也就是我们得到了更好的网络服务。
这好比人们购买的小汽车的实际使用率可能不足5％，但越来越多的人愿意来花很多钱来买一样，是为了得到更好的服务质量，同样，没有一个驾驶员愿意看到公路上满负荷的车辆，这样的公路没人愿意走。
正是网络利用率的不断下降使人们享受到了越来越好的网络服务，有人统计过现在人们用ADSL或其他宽带技术上互联网下载的流量并没有比当年人们用电话拨号上网时的下载流量大多少，但人们却得到了更好的上网体验，得到了质量更好的服务。
正是因为人们需要计算机网络提供更好的QoS，实际经验告诉我们网络实际运转时的网络利用率最好不要超过20％－30％，而对一些实时性要求较高的应用，网络利用率最好不要超过10％－15％，否则网络流量造成的延迟（delay）、抖动（jitter）和丢包将大大影响应用的正常运行。
图1
从图1我们可以看出，在网络利用率在20％时，网络的丢包率在0.2％以下，随着网络利用率的增长，网络的丢包率也会相应的升高。
高质量的语音应用要求网络的丢包率在0.2％以下，高质量的图象传输要求网络的丢包率在0.1％以下，如果网络的利用率在30％以上，由此造成的网络丢包对此类应用来讲是难以接受的。
3.网络利用率的异常和网络异常
我们知道网络利用率的升高会造成网络的丢包，在网络利用率升高到一定程度时，网络丢包会达到一个无法容忍的地步，从而造成网络异常，这种网络异常的通常表现形式就是网络大量丢包从而导致很多应用无法正常运行。
在有些情况下，如感染病毒的计算机发出大量的网络流量、某些特别耗费网络带宽的应用等都能够造成网络利用率的异常升高，从而影响网络的正常运行。
因此及早的发现网络利用率的异常可以帮助网络管理员及早的发现网络异常。
想要发现网络利用率的异常，首先你要知道你的网络正常情况下的网络利用率的实际情况，想要得到网络中正常的网络利用率数据，必须对网络流量进行长时间的监控分析。
`Daily'Graph（5MinuteAverage）
Max In:
177.0Mb/s（14.2%）
Average In:
79.7Mb/s（6.4%）
Current In:
157.6Mb/s（12.7%）
Max Out:
97.7Mb/s（7.9%）
Average Out:
55.6Mb/s（4.5%）
Current Out:
69.4Mb/s（5.6%）
`Weekly'Graph（30MinuteAverage）
Max In:
184.6Mb/s（14.8%）
Average In:
76.0Mb/s（6.1%）
Current In:
136.9Mb/s（11.0%）
Max Out:
97.7Mb/s（7.9%）
Average Out:
52.3Mb/s（4.2%）
Current Out:
61.3Mb/s（4.9%）
`Monthly'Graph（2HourAverage）
Max In:
246.4Mb/s（19.8%）
Average In:
77.9Mb/s（6.3%）
Current In:
46.8Mb/s（3.8%）
Max Out:
128.5Mb/s（10.3%）
Average Out:
52.9Mb/s（4.3%）
Current Out:
38.3Mb/s（3.1%）
`Yearly'Graph（1DayAverage）
Max In:
156.6Mb/s（12.6%）
Average In:
87.2Mb/s（7.0%）
Current In:
85.8Mb/s（6.9%）
Max Out:
88.9Mb/s（7.1%）
Average Out:
45.9Mb/s（3.7%）
Current Out:
57.0Mb/s（4.6%）
GREEN###
IncomingTrafficinBitsperSecond
BLUE###
OutgoingTrafficinBitsperSecond
DARKGREEN###
Maximal5MinuteIncomingTraffic
MAGENTA###
Maximal5MinuteOutgoingTraffic
图2
上图是对一条网络主干链路的长时间流量的监控，我们可以看出，网络中每天的网络利用率以至每星期、每月、每年的网络利用率都是有规律的，网络越大，规律性越强。
如果网络利用率在某一天出现严重或长时间违背正常流量规律的现象，那么就叫做网络利用率异常，这个时候我们就需要对网络进行分析，来确定造成网络利用率异常的原因。
4.如何监控网络利用率
对网络利用率的监控是件非常容易的工作，大部分交换机、路由器都提供对网络实际流量参数的监控统计功能，你只需要通过RMON工具把数据从网络设备中读取出来即可，大部分网管系统和网管工具都具备这种功能。
我们同样可以采用一些专用的网络流量分析仪器来对网络流量进行分析，对网络利用率的监控是这些分析设备最基本最普通的功能。
下面是Sniffer对网络带宽利用率的实时监控界面。
图3
Sniffer对网络带宽利用率在短期内（不超过一天）的历史抽样监控界面。
另外，Sniffer还有相应的报告产品，能对网络利用率进行长期的统计分析。
5.案例分析
5.1.网络利用率异常导致网络丢包
这是一个实际发生的网络利用率异常导致网络大量丢包的案例，用户的网络丢包现象很严重，给用户造成了很大的困扰。
5.1.1.网络环境
用户的网络是一个省级网络环境，包括局域网和广域网，并同全国的广域网络相连。
网络拓扑如下：
图
5.1.2.网络异常现象
该网络丢包现象严重，如果通过省局域网向地市网络或全国网络发包，每发出10个PING包将只能收到7个REPLY包，这样，基于网络的应用受到很大的影响。
5.1.3.分析手段
为了查出网络异常的原因，我们首先对省厅局域网路由器到二级网路由器的网络流量进行了监控，其中二级网路由器的局域网络接口为10M，我们在局域网交换机上设置镜像口（SPANPORT），将该链路流量镜像到一个百兆网络接口上，并用Sniffer协议分析仪接入该镜像口，监控该链路的网络流量。
5.1.4.网络流量监控现象及分析
我们首先监控的就是该链路上的实际流量状况，利用Sniffer的历史抽样功能监控该链路上的网络利用率和实际网络流量状况，我们得到如下结果：
该链路的利用率情况
该链路的每秒钟实际传输字节数
从以上的监控结果中我们可以看到，在大约每40秒的周期内，该链路中的网络流量会出现15秒的峰值，而且非常规律，峰值流量大约为20Mb/s，考虑到路由器同交换机的接口为10Mb/s（全双工工作时为20Mb/s），则我们看到这时的网络利用率为100％！
正是这种流量的异常峰值导致了网络中大量的丢包，使网络运行在不稳定状态。
以后的章节中我们将继续来研究引起网络利用率异常的原因。
第二章从包大小分布看网络
1.包大小分布（PacketSizeDistribution）
包大小分布（PacketSizeDistribution）表示网络中传输的数据包的大小分布，是网络流量的一个重要特征。
2.包大小分布和网络效率
网络中传输的数据包的大小是不一样的，IP包最小为40字节，最大1500个字节，以太网的帧最小64字节，最大1518字节（包含4字节的CRC）。
每个网络中的数据包大小分布也是不同的，这取决于每个网络中的实际应用情况，一般的讲，网络中的最小的包和最大的包是最多的，这是由于目前网络中应用最多的协议TCP/IP的实际传输情况造成的（TCP的SYC、SYCACK、Acknowledgment、RST、FIN等包都是小包，而在数据传输时一般是大包），但不同的网络中包大小分布是不同的。
网络中包大小分布能够非常大的影响网络的性能，他能决定你的网络的工作效率，也就是你的网络带宽的实际工作效率。
下图是采用网络基准测试工具对100M以太网络进行的压力测试结果图，我们能清楚的看到网络中包大小分布对网络实际性能的影响。
从上图中我们可以清楚的看到网络中包分布对网络吞吐率的影响，当网络中的数据帧大小都在1518字节的时候，网络的效率是最高的，网络的实际吞吐能力可以达到接近100M的网络带宽，而当网络中传输的数据包不断变小时，网络的实际吞吐能力也在不断的下降，当数据包减小到64字节的时候，网络实际吞吐能力下降到了10M，只相当于网络理论带宽的十分之一。
在实际应用中，这种现象表现的更为明显，因为网络中小包本身承载的有效载荷就非常小，实际运行效率更低。
3.包大小分布的异常和网络异常
我们知道网络中小包占的比率很高会造成网络的性能的严重下降，从而造成网络异常，并导致网络应用无法正常运行。
因此，在你感觉到你的网络性能非常差的时候，做为网络管理人员，你应该考虑可能是由于网络中小包过多引起的。
事实上，感染病毒的计算机可能会发出大量的小包、某些网络攻击如SycFlood也会发出大量的小包，这些都会对网络造成极大的伤害，影响网络的正常运行。
因此及早的发现网络中包大小分布的异常可以帮助网络管理员及早的发现网络异常。
想要发现网络中包大小分布的异常，首先你要知道你的网络正常情况下的包大小分布的实际情况，想要得到网络中正常的包大小分布数据，必须对网络流量进行长时间的监控分析。
表1是对一条网络主干链路出现最多的包大小统计，我们可以看出，总体上来讲，小包出现的几率和大包出现的几率基本是相同的，而网络中出现几率最多的也是这些包。
从协议上讲TCP协议的大包和小包比例相对平均，而UDP协议显然小包所占比例大，效率很低。
MostCommonPacketSizes
All
TCP
UDP
Other
40
13.24
40
14.61
72
5.39
92
21.52
1500
11.30
1500
12.45
194
3.38
84
12.97
52
8.21
52
9.06
74
3.30
56
8.54
1420
6.64
1420
7.32
67
3.25
100
7.89
576
4.42
576
4.88
71
3.17
96
7.05
表1
图2PacketSizeDistribution（Allpackets）
上图是对一条网络主干链路的长时间流量的监控，我们可以看出，网络中包大小分布是有规律的，网络越大，规律性越强。
如果网络利用率在某一天出现严重或长时间违背正常流量规律的现象，那么就叫做网络利用率异常，这个时候我们就需要对网络进行分析，来确定造成异常的原因。
4.如何监控网络中包大小分布
对网络包大小分布的监控是件非常容易的工作，大部分交换机、路由器（具备RMON功能）都提供对网络实际流量参数的监控统计功能，你只需要通过RMON工具把数据从网络设备中读取出来即可，大部分网管系统和网管工具都具备这种功能。
我们同样可以采用一些专用的网络流量分析仪器来对网络流量进行分析，对网络利用率的监控是这些分析设备最基本最普通的功能。
下面是Sniffer对网络包大小分布情况的实时监控界面。
图3
Sniffer对网络包大小分布情况在短期内（不超过一天）的历史抽样监控界面。
另外，Sniffer还有相应的报告产品，能对网络利用率进行长期的统计分析。
5.案例分析
5.1.网络包大小分布异常导致网络异常
这是一个实际发生的网络包大小分布异常导致网络性能降低的案例。
5.1.1.网络环境
用户的网络是一个IDC网络环境，包括局域网和Internet接入，其中Internet接入为两条千兆以太网接入，内部局域网多是游戏网站寄放的游戏服务器主机。
网络拓扑如下：
图
5.1.2.网络异常现象
该网络出现网络性能突然下降，但没有发现网络设备出现异常。
5.1.3.分析手段
为了查出网络异常的原因，我们在IDC局域网的Internet接入线路上接入Sniffer千兆分析设备，监控该链路的网络流量。
5.1.4.网络流量监控现象及分析
我们首先监控的就是该链路上的实际流量状况，利用Sniffer的实时流量功能监控该链路上的网络利用率和实际网络流量状况，发现该链路的网络带宽利用率为24％，属于正常。
然后我们对其包大小分布情况进行了监控，监控结果如下图：
该链路的包大小分布情况
从以上的监控结果中我们可以看到，该链路中的小包占的比例非常高，其中65－127字节的小包占所有流量中的62.42%，128－255字节的小包占所有流量的21.34%，两者相加为84%，也就是说网络中84%的数据包为255字节以下的小包，而小包过多会使网络的效率大大的降低，该千兆链路的运行效率肯定是很低的。
在后面的章节中我们将继续来研究引起网络中包大小分布异常的实际原因。
第三章从协议分布看网络
1.协议分布（ProtocolDistribution）
协议分布（ProtocolDistribution）表示网络中各种应用产生网络流量的分布，是网络流量的一个重要特征。
2.协议分布和网络应用
网络中协议的分布是网络中应用流量分布的实际体现，取决于网络中运行的应用。
每个用户的实际应用情况不同，其网络中的协议分布也会相应不同。
随着目前网络中基于BS架构的应用不断增多和互联网的迅速发展，HTTP协议流量一般是网络中流量最大的，还有流媒体应用、FTP、MAIL等都会在网络中大量产生流量。
我们分析网络中的协议分布，主要是出于对网络应用流量状况的一种关注，了解那些应用产生何种规模的流量，并长期进行监控，对网络的规划，网络问题的及时发现都会有很大帮助。
3.协议分布异常和网络异常
协议分布异常指在某一段时间内网络中的协议分布同平时的协议分布有很大区别。
应该说协议分布情况和网络异常并没有必然的联系。
但当协议分布出现异常时，网络管理人员应该注意并进行必要的分析，比如说某个协议如HTTP协议的流量异常增大，我们就应该进行分析，是不是正常的HTTP应用的增多导致了其流量的增大还是非正常的HTTP应用产生的流量，这是非常必要的
长期监控网络中协议分布情况是非常有必要的，我们可以把协议分布同网络利用率以及包大小分布这些网络中最基本也是最重要的流量信息进行长期的监控，从而形成网络的基准，这对网络规划、应用规划、网络性能调整和网络异常及时发现都有重要的意义。
下面的监控是对一条Internet主干链路的协议分布情况监控。
应用协议分布
Category
Packets（%）
Bytes（%）
Flows（%）
Web
54.35
61.48
47.33
FileSharing
3.35
2.43
3.74
FTP
0.52
0.54
0.07
Email
4.67
4.06
3.24
Streaming
7.26
13.07
1.60
DNS
6.13
1.16
27.26
Games
0.06
0.01
0.03
OtherTCP
21.03
15.86
6.05
OtherUDP
0.78
0.48
0.84
NotTCP/UDP
1.86
0.90
9.84
表1
图1协议分布（包分布）
图2协议分布（字节分布）
4.如何监控网络中协议分布
具备RMON2功能的交换机或路由器提供对网络中协议分布的监控功能，但一般来讲，对网络中协议分布的更有效的监控需要采用专门的协议分析设备。
下面是Sniffer对网络协议分布情况的实时监控界面。
图3
图4
另外，Sniffer还有相应的报告产品，能对网络利用率进行长期的统计分析。
第四章流量产生的分析
1.流量的产生
网络中网络流量的产生归根于网络中的各种应用，网络中的各种应用产生各种不同的网络流量，而事实上网络也正是为了各种网络应用的正常运行而存在的。
每个用户网络中不同的网络应用使每个用户的网络流量特点各不相同，网络流量的分析也各不相同，要对用户网络流量进行分析，必须要同用户的实际网络应用结合起来，这样才能得到准确的结果。
2.异常流量的产生
网络中不是由于用户正常网络应用产生的网络流量我们称之为异常的网络流量。
异常的网络流量产生的原因很多，一般来讲目前用户网络中异常的网络流量产生的原因主要有：
1.病毒引起的异常网络流量；
目前网络中计算机病毒的传播主要是依靠网络系统，Internet的飞速发展同样给病毒的传播提供了非常好的传播途径，而病毒在传播过程中往往会产生大量的网络流量，严重时会大大影响网络的正常运行。
CodeRed、Nimda、冲击波等病毒造成网络的瘫痪就是由于这些病毒在传播时产生大量的网络流量而影响网络设备的正常运行造成的。
2.网络攻击引起的异常网络流量；
拒绝服务攻击（DOS）攻击会产生大量的异常网络流量，有时会造成网络系统瘫痪，目前网络中分布式DOS攻击也越来越多了，这给网络造成不小的影响。
目前随着用户计算机系
升级会员 