0019word版本hslogic基于概率统计分析的应用流特征分析.docx
《0019word版本hslogic基于概率统计分析的应用流特征分析.docx》由会员分享，可在线阅读，更多相关《0019word版本hslogic基于概率统计分析的应用流特征分析.docx（27页珍藏版）》请在冰豆网上搜索。
0019word版本hslogic基于概率统计分析的应用流特征分析
基于概率统计分析的应用流特征分析
第一章前言
1.1课题研究背景与研究意义
任何事物都有它不利的一面，网络也是如此，网络的障碍多种多样，这其中最难避免的莫过于网络的异常流量，它是针对某一特定端口发起犹如洪水般的非正常的流量，导致网络瘫痪，网络的瘫痪给我们带来的巨大损失是可以想象的，客户之间无法通信，商务无法进行，直接给我们带来巨大的经济损失。
这样的例子在世界各国都有发生，可见网络的稳定对我们来说是何等的重要。
因此，我们利用各种工具，各种安全策略来监控、维护我们的网络，使网络故障在第一时间被发现，及时地采取合理快速的方法定位故障并处理，使之给我们带来的经济损失最小。
网络数据的传输是高速的，通常人们考察网络性能总是以计算机数据包来作为衡量和测试的手段，因此，模型也在此基础上建立。
将计算机网络在物理上当作一维的管道，数据的传输都在一维的管道中进行。
可以将高速网络中一个一个包的传输想象为汽车在高速公路上运行，包具有速度，包和包之间由于到达时间和传输设备延迟的原因有一定时间上的距离，表现在管道中就是包之间的距离。
当负载达到一定程度时，笔者认为网络中的数据具有流体的特征，进而可以将这种高速的运动流想象为流体运动。
根据对网络流量行为特征的分析和对当前一些网络流量数据采样方法研究的分析，同时也为了解决当前许多基于泊松模型的采样算法在对网络流量信息进行采样时，不能很好地解决网络流量具有自相似性特征的突发现象等问题。
当前，网络流量采集技术已经相对成熟，通过各种流量采集技术已经可以获得不同的粒度和时间尺度上的流量数据，这为进行全面的网络流量分析提供了丰富的数据信息。
而针对采集到的大量流量数据，流量分析技术也已经得到极大发展。
通过对不同的粒度和时间尺度上的流量进行统计分析，已经寻找到了网络所表现出来的诸多不同的行为规律。
通过对网络流量进行数学建模研究，经归纳出其具有的某些数学特性；面向具体的应用，针对网络流量的某些特征，对流量进行预测或异常检测的研究也进行的如火如茶。
由以上内容可以看出，无论是性能管理、网络监测还是异常检测，都离不开网络流量特征分析技术的支持。
因此，如何利用各种分析手段对网络流量进行分析，使用户了解网络流量的变化情况，掌握网络状态己经成为当前网络管理领域研究的热点问题。
因此，采用网络流量采集软件进行流量采集，然后对网络流量行为特征进行分析对及时了解网络实时运行状态和了解网络行为特征十分重要。
同时，对重新设计高效的网络系统，重新进行网络性能设施的配置和为不同的网络客户提供优质服务起到了指导性作用。
1.2国内外研究现状
有关网络业务流量的研究主要涉及两个方面：
网络流量特性分析和网络流量建模预测。
目前，国内、外对业务流量特性分析的研究还在进行中，其中也取得了一些成果。
本课题也将从概率统计方面对网络流量的特性做研究和分析。
早期的网络应用对象主要为电话网，其流量特性遵循泊松分布；但是随着网络规模的增大，网络应用的多样化，网络特性也随之变得多样化、复杂化，研究人员在对网络流量不断研究中发现了其他的特性。
由于人们生活网络行为习惯，网络流量很自然地体现出周期性；1994年，Leland等人通过对LAN的流量分析及Klivansky等人对WAN流量分析发现流量的自相似性；基于自相似特征与混沌吸引子之间的紧密联系，近几年，研究人员又证明了网络流量存在混沌性。
此外大量的研究表明，网络流量最重要的特性仍旧是自相似性，甚至是最新发现的混沌性也是基于自相似性的，因此，自相似性仍是网络流量特性研究的重点。
1.2.1国外研究现状
国外最早的网络测量始于70年代初，逐渐成熟于80年代，90年代已渐成体系。
1995年美国科学基金会系统地进行了因特网通信量的较大规模测量。
1996年初，美国应用网络研究国家实验室在美国科学基金会支持下召开了有关因特网统计与分析的研讨ISMA。
此后，依托于美国加州大学圣地亚哥分校超级计算中心的因特网数据分析合作组织，对网络测量的相关理论和方法展开了系统性研究。
1997年，V.Paxson的博士学位论文“因特网的端到端动态性能的测量与分析”成为网络测量领域中的经典文献。
这些研究在网络测量的方法、工具以及网络基础设施框架和流量的测量模型等方面都做了探索和改进。
NIMI是美国在1992年开始Internet特征研究中比较著名的项目。
其主要目的是要测量全球的Internet，建立一个总体的可扩展的网络测量基础框架，而不是为特定的分析目的的特定测量。
因此它的设计原则是：
建立一定的测量基础架构，支持测量工具的发布和运行、测量数据的采集和分析和对自身的维护和控制，使测量工具在整个Internet范围内适用。
IETF网络协议性能指标工作组（IPPMWG）为互联网的测量做了很多工作，拥有众多的RFC（RequestforComments）和实验草案，制定了一些性能指标定义的标准，以应用于互联网数据传输服务的质量、性能和可靠性的测量。
这些指标向网络操作者、终端用户和独立的测试组提供无偏差的性能测量。
而且，IPPMWG推动有效指标测量工具和过程的共享，提供一个论坛，共享实施和应用这些指标的信息，但实际的实施和应用并不在工作组范围之内。
IPPMWG已经完成的工作包括近期制定的RFC和一些协议草案，其框架主要是关于信息分类。
除美国外，其他国家也开展了对Internet的大规模测量和研究，如加拿大的TRIUMF网络监视（主要目的是对国家Internet路径上的包丢失情况和路由特征进行测量）以及新西兰的WAND（WaikatoAppliedNetworkDynamics）中的被动测量子项目WITS（WaikatoInternetTrafficStorage）（主要目的是创建用于统计分析和创建模拟模型的Internet流量模型）等。
欧洲于1995年也开展了对Internet的测量，其中PPNCG（粒子物理网络协作组）是在这方面做得较为成功的一个组织。
由于Internet网络的异构性，纵观国外这些网络测量项目都存在着测量项目之间的数据不能共享，彼此软、硬件之间不能兼容等一系列问题。
解决的方法是尽量使设计的测量项目具有可扩展性、通用性、可靠性，而没有较强的针对性和局限性。
1.2.2国内研究现状
我国网络的发展起步较晚，90年代初才引入Internet，大规模的快速发展于90年代末，中国科学院计算技术研究所、东南大学、西安交通大学等单位相继开展了网络测量系统和方法的研究工作。
如可扩展的主动测量模型NEPM采用主动测量技术，通过在网络中配置少量主动测量器，就可测量许多条路径的端到端性能。
NEPM是一种层次结构的可扩展模型，它的定义为主动测量提供了一个体系结构上的框架。
由于以数据流动所处的阶段划分层次，这种层次结构有以下优点：
各层次功能和结构相互独立，每个层次可以选用最优的技术，层次间数据接口比较简单，各层易于实现和维护，具有良好的扩展性和开放性。
近来随着Internet网络的发展，我国已成为世界上Internet用户第二的国家。
网络流量的成倍增加同样需要解决流量的监测、预测和网络规划的问题。
我国的一些大的ISP和网络规划及运营者也在进行网络流量测量、网络行为、性能分析这方面的工作，正逐步缩小和国外的差距。
1.3本课题主要研究内容
本课题我们主要通过分析单个或组合TCP或UDP流的特征来分析应用流量特征。
因此，我们将从以下几个步骤进行研究：
通过C++编写相关的程序对流量数据进行概率统计分析的分析。
统计分析各种结果，如应用流平均分组大小，平均吞吐量，平均持续时间等测度实现概率分布和一些相关性的分析。
第二章网络流量与流量测量简介
2.1网络测量概述
人们对互联网的流量特征、性能特征、可靠性与安全性特征以及网络行为模型等缺乏理解和缺乏精确描述的问题已经严重影响到因特网的发展和对因特网更加有效的利用，因此，许多专家提出应当更加深入地认识现有因特网的一些内在机制。
而认识事物的第一步就是要测量它，并用数字表示出来，然后通过一些数学知识进行分析，提取其网络流量的数据特征。
对网络进行研究的最终目的是为了建立高效、稳定、安全、互操作性强、可预测以及可控制的网络，而网络特征测量是获得第一手网络行为指标和参数的最有效的手段。
在对网络进行测量和测试的基础上建立网络行为模型，并用模拟仿真方法搭建从理论到实践的桥梁，是理解网络行为的十分有效的途径。
网络特征测量是高性能协议设计、网络设备开发、网络规划与建设、网络管理与操作的基础，同时也是开发高效能网络应用的基础。
网络特征测量可以为互联网的科学管理和有效控制以及为互联网的发展与利用提供科学的依据。
网络流量特征是高性能通信协议与网络设备设计、网络性能分析、网络设计及其网络负载均衡等QoS保证和性能提升的基础，也是网络服务监控和异常、故障、安全攻击发现的重要手段。
可以帮助人们设计更好的网络协议、更合理的网络拓扑结构、更高效的QoS保证手段、更智能的网络监控系统，保证网络高效、稳定、高性能安全地运行。
2.2网络测量的作用
网络测量的具体用途可分为故障诊断、网络流量特征化、性能评价和其它用途几大类：
·故障诊断。
某些网络部件的故障会干扰整个网络的运行，例如，广播风暴、非法分组长度、地址错误、安全性攻击等，需要对这些故障进行诊断。
·网络流量特征化。
网络测量可使用统计技术来分析经验数据，从而提取出网络应用或网络协议的特征。
流量特征化使设计的网络协议和网络设备具有更好的特性。
·性能评价。
网络测量可用来考察某个协议或某个应用在因特网中的性能水平。
网络测量的详细分析能够帮助确定性能“瓶颈”。
一旦解决了被确定的性能问题，就能够研制性能更好的新协议。
2.3网络流量的特点
因特网的通信量连续地变化。
不仅是通信量本身，通信量的组成、协议、应用以及用户等也都在改变。
对现有网络收集的数据仅仅是在因特网演化过程中的一个“快照”。
不能把通信量的结构视为不变的。
由于因特网的异构特性，描述聚合的网络流量特点很困难。
在因特网中存在着大量不同类型的应用、多种协议、多种接入技术和多种接入速率，同时用户行为及因特网本身也是变化的。
网络流量具有“邻近相关性”效应。
表明因特网流量的模式非完全随机。
因特网流量的结构与用户在应用层发生的任务有关，因此网络中传送的各分组并非是独立的。
邻近相关性包括时间上的邻近相关性和空间上的邻近相关性。
在主机级、路由器级和应用级都有该效应。
分组长度分布呈双模态（双尖峰分布）。
许多短分组包括交互式的流量和确认；许多长分组是批量数据文件传输类型的应用，这些应用使用尽可能长的分组（基于最大传送单元），中等长度的分组很少。
分组到达不是泊松分布。
经典的排队论和网络设计是基于分组的到达过程是泊松分布（无记忆的指数分布）的假定。
然而大量的实验结果指出，分组是突发式到达的（分组有成群的特性），分组到达的前后有关联，分组的到达时间并非独立和服从指数分布的。
突发到达的特点是：
平均值可能很低，但峰值可能很高，这与使用的时间段有关。
流量可能是自相似的，在较长的时间范围内存在突发性（突发性难以精确定义）。
流量是双向的，通常是不对称的。
数据通常在两个方向流动，但两个方向的数据量往往相差很大（尤其是下载万维网的大文件）。
多数应用都使用TCP/IP流量。
在因特网的分组流量中，TCP的份额占绝大部分，至今为止TCP协议一直是最重要的协议。
即使目前IP电话和多播技术（这些应用是在UDP上运行）得到广泛应用，TCP仍处于主导地位。
在可预见的未来仍是如此。
正因为这样，许多研究仅关注TCP。
2.4网络流量测量方法与常用分析工具
网络流量测量主要分为性能监测与分析、网络拓扑探测、网络的流量分析等三个方面。
性能监测与分析，主要是通过监测网络的端到端的时延、抖动、丢包率等特性，了解网络的可达性、利用率以及网络负荷等。
网络拓扑探测，主要是通过主动发送TCP包或UDP包，对某一段网络进行探测，以得到这一网段的大致拓扑结构。
网络的流量分析，主要是对网络“流”的特性进行测量和分析，以掌握网络的流量特性，比如协议的使用情况,应用的使用情况，用户的行为特征等。
网络测量技术总体上可分为主动测量、被动测量和基于SNMP的网络测量三种。
由于方法实现方式的不同以及适用范围不同而各有利弊。
·主动测量
主动测量是为了监测两指定端点之间的性能而向网络中注入流量的方法，跟踪和可视化Internet拓扑结构是主动测量最主要的应用，同时主动测量可以探测网络的特定现象。
但是，主动测量给网络增加了潜在的荷载负担，特别是如果没有仔细设计使得该方法产生的流量数最小，那么附加的流量会扰乱网络，歪曲分析结果。
·被动测量
被动测量是直接利用网络中已有的流量，通常采用在网络硬件设备中嵌入智能代理来收集流量信息、监视网络链路的流量，收集到的数据可以用于进行各种流量分析。
被动测量可以完全取消附加流量和Heisenberg效应。
利用一定的软硬件，被动的监测记录网络上的“流”的情况。
优点是一般不会增加额外的网络流量，能够监测网络的流量情况；缺点是不够灵活，一般只能探测某一网段的情况。
网络的流量分析一般采用被动监测。
·基于SNMP的网络测量
基于SNMP的网络测量是通过读取相关网络设备的管理信息库（MIB），来得到反映网络状况的性能指标。
它无须主动发送探测包，但是读取MIB中的信息仍将占用网络的带宽，而且它需要相关网络设备的访问权限及SNMP协议的支持。
SNMP的简单并不在于它的规范和目标，其协议中集成的概念都具有既完美又普通的简单。
目前绝大多数网络设备都支持SNMP协议。
该方法存在以下优点：
（1）可以在任何时候，收集任何地点的网络的流量。
（2）能够收集到某个网络中大量设备的同步流量信息。
（3）能够获得流量间的相互关系。
（4）能够收集到网络设备自身的工作信息。
2.5常用分析工具
·Sniffer
美国网络联盟公司的著名网络管理解决方案Sniffer，目前已成为企业首选的网络故障和性能管理的解决方案，它能够自动地帮助网络管理人员维护网络、查找故障，有效简化了发现及解决网络问题的过程。
SnifferPortable（便携式Sniffer）通过提供可以快速识别并解决网络性能问题的便携式分析解决方案来帮助网络技术人员弥补他们欠缺的知识。
它能帮助我们解决所有LAN和WAN拓扑结构中最困难的问题。
SnifferDistributed（分布式Sniffer）为当今多拓扑、多协议分布式网络提供功能强大的网络查错和性能管理解决方案，能够对局域网（LAN）、广域网（WAN）、异步传输模式（ATM）以及千兆以太网等所有网络中的关键网段进行有效的监视、协议解码和分析，充分利用美国网络联盟网络管理专家丰富的知识和经验，在单一的管理控制平台上高效率管理整个企业网络，准确诊断故障，及时解决问题。
一旦发生安全问题，网络流量通常也会发生异常。
Sniffer通过对网络流量的分析，可以帮助用户及时找出引发异常流量的症结所在，以便确定安全隐患所在。
目前，Sniffer不仅能面向局域网和广域网，同时，还支持无线局域网和移动通信的网络监视和故障解决。
它具有便携式、分布式、光网络、无线网络等多种形式，采取软硬件相结合，以便于用户使用。
同时，美国网络联盟公司又和ISS达成一个全面合作协议，它将把ISS的Realsecure入侵检测技术和Sniffer先进的网络故障隔离和性能管理技术相结合，在网络管理系统中提供一流的网络入侵方案，确保企业的网络安全。
·MRTG
Mrtg是一个监控网络链路流量负载的工具软件，它通过snmp协议从设备得到设备的流量信息，并将流量负载以包含PNG格式的图形的HTML文档方式显示给用户，以非常直观的形式显示流量负载。
MRTG具有以下特色：
·可移植性。
目前可以运行在大多数Unix系统和WindowsNT之上。
·源码开放。
Mrtg是用perl编写的，源代码完全开放。
·高可移植性的SNM支持。
Mrtg采用了SimonLeinen编写的具有高可移植性的SNMP实现模块，从而不依赖于操作系统的SNMP模块支持。
·支持SNMPv2c。
MRTG可以读取SNMPv2c的64位的记数器，从而大大减少了记数器回转次数。
·可靠的接口标识。
被监控的设备的接口可以以IP地址、设备描述、SNMP对接口的编号及Mac地址来标识。
·常量大小的日志文件。
MRTG的日志不会变大，因为这里使用了独特的数据合并算法。
·自动配置功能。
MRTG自身有配置工具套件，使得配置过程非常简单。
·性能。
时间敏感的部分使用C代码编写，因此具有很好的性能。
·PNG格式图形。
图形采用GD库直接产生PNG格式。
·可定制性。
MRTG产生的web页面是完全可以定制的。
·winpcap
winpcap的主要功能在于独立于主机协议（如TCP-IP）而发送和接收原始数据包。
也就是说，winpcap不能阻塞，过滤或控制其他应用程序数据包的发收，它仅仅只是监听共享网络上传送的数据包。
因此，它不能用于QoS调度程序或个人防火墙。
目前，winpcap开发的主要对象是windowsNT/2000/XP，这主要是因为在使用winpcap的用户中只有一小部分是仅使用windows95/98/Me，并且M$也已经放弃了对win9x的开发。
因此本文相关的程序T-ARP也是面向NT/2000/XP用户的。
其实winpcap中的面向9x系统的概念和NT系统的非常相似，只是在某些实现上有点差异，比如说9x只支持ANSI编码，而NT系统则提倡使用Unicode编码。
有个软件叫snifferpro.可以作网管软件用，有很多功能，可监视网络运行情况，每台网内机器的数据流量,实时反映每台机器所访问IP以及它们之间的数据流通情况，可以抓包，可对过滤器进行设置,以便只抓取想要的包，比如POP3包,smtp包，ftp包等，并可从中找到邮箱用户名和密码,还有ftp用户名和密码。
它还可以在使用交换机的网络上监听，不过要在交换机上装它的一个软件。
还有一个简单的监听软件叫Passwordsniffer，可截获邮箱用户名和密码，还有ftp用户名和密码，它只能用在HUB网络上。
著名软件tcpdump及idssnort都是基于libpcap编写的，此外Nmap扫描器也是基于libpcap来捕获目标主机返回的数据包的。
2.6基于概率统计的网络流量特征分析技术介绍
本课题我们将采用一组名为“capture-H.exe”，“UDPdump.exe”的流量分析工具，完成对各种应用流平均分组大小，平均吞吐量，平均持续时间等测度的采集。
完成对采集的各种应用流平均分组大小，平均吞吐量，平均持续时间等测度实现概率分布和一些相关性的分析。
分组：
在数据网络中，是在网络中传输的二进制格式的一个个体。
为了提高通信性能和可靠性，每条发送在两个网络设备之间的信息通常被分为一些分组，通过基本的硬件和软件。
分组格式通常包括一个头部，身体包括信息数据（也叫做有效载荷），和有时候一个脚部（也叫做尾部）。
这个分组头部列出了分组的源地和目的地和通常指出信息数据的长度。
这个分组脚部包括表示分组末端的数据。
分组头部和脚部可能包括错误检测信息。
平均吞吐量：
网络中的数据是由一个个数据包组成，防火墙对每个数据包的处理要耗费资源。
吞吐量是指在没有帧丢失的情况下，设备能够接受的最大速率。
其测试方法是：
在测试中以一定速率发送一定数量的帧，并计算待测设备传输的帧，如果发送的帧与接收的帧数量相等，那么就将发送速率提高并重新测试；如果接收帧少于发送帧则降低发送速率重新测试，直至得出最终结果。
吞吐量测试结果以比特/秒或字节/秒表示。
在本课题，我们将使用这些概率统计方面的分析方法进行测试研究，得到网络应用流的一个基本特征分析结果。
2.7TCP/IP原理
TCP/IP是指一整套数据通信协议,其名字是由这些协议中的两个协议组成的,即传输控制协议（TransmissionControlProtocol——TCP）和网间协议（InternetProtocol——IP）。
虽然还有很多其他协议，但是TCP和IP显然是两个最重要的协议。
TCP/IP协议族分层结构主要包括应用层，传输层，网络层，链路层，在应用层主要包括FTP，WWW，DFS，SNMP，传输层主要为TCP，UDP，而网络层主要为ICMP，IP，IGMP，链路层为ARP，ETHERNET，RARP。
然后就是传输线路。
网际协议IP是TCP/IP的核心，也是网络层中最重要的协议。
网际协议IP是一种不可靠、无连接的协议。
它允许两个主机系统在没有任何预先调用设置的情况下交换信息。
因为IP是无连接的，所以数据报有可能在两个末端用户站点之间丢失。
国际协议IP对它的末端用户把其底层子网隐藏起来。
从这个角度来看，它给末端用户建立了一个虚拟网络，允许不同类型的网络和IP网关相连。
其结果使得IP的安装非常简单，并且由于IP的无连接设计，它的扩展性也非常好。
但是，因为IP是一个不可靠的数据类型协议，所以它没有可靠性机制。
它不给底层子网提供容错恢复功能，也没有流量控制。
用户数据可能会丢失，甚至不按顺序到达。
传输控制协议TCP是一种可靠的面向连接的传送服务。
它在传送数据时是分段进行的，逐级交换数据必须建立一个会话。
它用比特流通信，即数据被作为无结构的字节流。
通过每个TCP传输的字段指定顺序号，以获得可靠性。
如果一个分段被分解成几个小段，接收主机会知道是否所有小段都已收到。
通过发送应答，用以确认别的主机收到了数据。
用户数据报协议UDP提供了无连接的数据报服务。
它适用于无须应答并且通常一次只传送少量数据的应用软件。
TCP/IP的协议分析过程的基本流程如图2.1所示。
图2-1TCP/IP协议解析过程图
在描述TCP/IP时，一般只定义如图所示的4层模型：
应用层、主机对主机传输层、网络层和网络访问层。
图2-2TCP/IP协议结构中的各层
在TCP的应用层中，将数据称为“数据流（stream）“；而在用户数据报协议（UDP）的应用层中，则将数据称为“报文（message）”。
TCP将它的数据结构称作“段（segment）“，而UDP将它的数据结构称作“分组（packet）”；网间层则将所有数据看作是一个块，称为“数据报（datagram）“。
TCP/IP使用很多种不同类型的底层网络，每一种都用不同的术语定义它传输的数据，大多数网络将传输的数据称为“分组”或“帧（frame）”。
TCP提供的可靠性是利用一种称为“重传肯定确认（PositiveAcknowledgmentWithRetranmission——PAR）”机制来实现的。
换句话说，除非一个利用PAR的系统接收到从远端系统发来的肯定确认，否则就重发原数据。
每一段包含一个校验值，接收方用它来验证数据是否遭到破坏。
如果接受到的数据段没有遭到破坏，接收者就发送一个肯定确认应答给发送者；如果遭到破坏，接收者就废弃该段。
过了一段时间后，发送端TCP就重新发送没有受到肯定确认的任何段。
TCP是面向连接的，它在两个通信主机之间建立一个逻辑的端对端连接。
在传输数据之前，建立对话的两个端点之间交换称为握手的控制信息。
TCP通过在段头第4个字的标志字段中设置相应的位来表示一个段的控制功能。
TCP有三个段要交换，故称为“三段试握手”。
如图：
图2-3三段试握手
主机A通过将一个具有“同步序列号（SYN）”的段发送给主机B而开始连接，该段告诉主机B：
主机A希望建立连接并且使用哪个序列号作为主机A的段的起始号（序列号可用来保持数据的正确顺序）；主机B用一个带有“确认应答（ACK）”和“同步序列号（SYN）”位的段响应主机A，以确认收到了A的段，并通知A它将从哪个序列号开始；最后，A发送一个段，确认收到了B的段，并开始传送第
升级会员 