兰交大硕士论文Word格式.docx
《兰交大硕士论文Word格式.docx》由会员分享，可在线阅读，更多相关《兰交大硕士论文Word格式.docx（55页珍藏版）》请在冰豆网上搜索。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。
学位论文作者签名：
签字日期：
年月日
学位论文版权使用授权书
本学位论文作者完全了解兰州交通大学有关保留、使用学位论文的规定。
特授权兰州交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。
同意学校向国家有关部门或机构送交论文的复印件和磁盘。
（保密的学位论文在解密后适用本授权说明）
导师签名：
签字日期：
年月日签字日期：
年月日
基于NT技术的拓扑推测研究
StudyonTopologyInferenceBasedon
NTTechnology
作者姓名：
刘双艳
学科、专业：
计算机应用技术
学号：
0209830
指导教师：
吴辰文
完成日期：
2012.04
兰州交通大学
LanzhouJiaotongUniversity
摘要
如何管理和维护庞大的网络体系，使之有效稳健地发展是现在网络管理面临的挑战。
我们需要掌握网络各部分的性能状况和整个拓扑结构才能有效地管理、维护和改进整个网络系统。
网络断层扫描技术作为一种新兴的网络性能测量技术，它克服了传统测量的诸多缺陷，可以更好地测量网络性能。
本论文首先介绍了网络性能测量和网络断层扫描方面的技术知识，重点阐述了网络断层扫描技术中的拓扑性能推测，并对相关的节点相似度模型和推测算法进行了分析和研究。
基于深度优先序列的节点划分方法存在一个缺陷，即无法保证节点相似度值相似的节点对的正确划分。
针对这个问题，本论文采用了分层聚类的方法，根据拓扑树的层次对终端节点进行划分，同时引入了最小相似度聚类的概念，有效地减少了相似度值误差导致的聚类错误。
出于网络安全方面的考虑，很多中间路由器协作度下降，导致已有的拓扑识别方法出现了弊端。
网络断层扫描技术虽然不需要内部节点的协作，但是它的研究仍处于起步阶段，有些方面不够完善，因此本文采用了一种折中的方法进行拓扑推断，就是将基于Traceroute的传统拓扑识别方法与本文的基于分层聚类的拓扑推测方法结合。
这样既可以汲取它们的优点又能回避各自的不足，在加快了拓扑识别速度的同时提高了拓扑推测的精确度。
最后借助NS2仿真软件，对本文的基于分层聚类的节点划分算法和新旧拓扑推测相结合的方法进行仿真实验，经过对仿真结果的对比分析，验证了其可行性和合理性。
关键词：
网络断层扫描；
分层聚类；
拓扑推断；
网络仿真
论文类型：
应用研究
Abstract
Howtomanageandmaintainanenormousnetworksothatitcaneffectivelyandsteadilydevelopisachallengethatnetworkmanagementfacedwith.Weneedtomasterthesituationofeveryfunctionofthenetworkandthewholetopologyinordertoeffectivelymanage,maintainandimprovethewholenetworksystem.Networktomography,asanewnetworkperformancemeasurementtechnology,hasovercomemanydefectsintraditionalmeasure,whichcanbettermeasuretheperformanceofthenetwork.
Technicalknowledgeaboutnetworkperformancemeasurementandnetworktomographyarefirstlyintroducedinthispaper,itfocusesonthespeculationofthetopologicalperformanceonnetworktomographyandcarriesoutrelatedanalysisandresearchonnodesimilaritymodelandinferencealgorithm.ThenodepartitioningmethodwhichisbasedonDFShasadefectthatitfailstoensurethatthepairsofnodeswithsimilarnodesimilarityvaluecorrespondwithcorrectdivision.Accordingtothisissue,hierarchicalclusteringmethodisadoptedinthispapertodivideterminalnodesaccordingtolevelsoftopologytreeandmeanwhiletheconceptofTheMinimumSimilarityClusteringisalsointroduced,whichhaseffectivelyreducedclusteringmistakescausedbyerrorsinsimilarityvalues.
Duetotheconcernonnetworksecurity,thecooperationbetweenmanymedialroutershasdecreased,causingdrawbacksincurrenttopologyidentificationmethods.Networktomographydoesnotrequirethecooperationoftheinternalnodes,yetresearchonthissubjectisstillatanearlystage,someaspectsofwhicharestillnotperfect,thereforethispaperadoptsacompromisemethodtocarryouttopologyinference,whichcombinestraditionaltopologyidentificationmethodbasedonTracerouteandtopologyinferencemethodbasedonhierarchicalclustering.Soitnotonlygetstheadvantagesofthetwomethodsbutalsoavoidstheirweaknesses,whichfastensthespeedoftopologyidentificationandimprovetheaccuracyoftopologyinference.
FinallywiththehelpofNS2simulationsoftware,andmakessimulationtestonnodepartitioningalgorithmbasedonhierarchicalclusteringandthemethodthatcombinesthenewandoldtopologyinference,throughtheanalysisandcomparisonofthesimulationresults,thefeasibilityandrationalityareverified.
Keywords:
Networktomography;
Hierarchicalclustering;
Topologyinference;
Networksimulation
目录
摘要I
AbstractII
1绪论1
1.1课题研究背景1
1.1.1网络测量的性能指标1
1.1.2网络测量的分类方法3
1.2课题研究现状4
1.3论文研究内容4
1.4论文结构安排5
2网络断层扫描技术6
2.1网络断层扫描技术概述6
2.1.1网络断层扫描技术基本介绍6
2.1.2基于NT的端到端测量体系7
2.1.3基于NT的端到端测量方法7
2.2基于NT技术的应用9
2.3基于NT技术的拓扑推测11
2.3.1拓扑推测概述11
2.3.2节点相似度计算模型11
2.3.3拓扑推测算法14
2.4本章小结16
3基于分层聚类的NT拓扑推测17
3.1聚类概述17
3.1.1样本的度量方法17
3.1.2类间的度量方法19
3.1.3聚类分析方法概述19
3.2分层聚类与NT结合推测拓扑22
3.2.1数据采集方法概述22
3.2.2分层思想概述23
3.2.3分层聚类算法26
3.3本章小结28
4传统方法与NT技术结合的拓扑推测方法29
4.1基于协议的传统拓扑发现方法29
4.1.1基于SNMP协议的拓扑发现29
4.1.2基于路由协议的拓扑发现29
4.1.3基于ICMP协议的拓扑发现30
4.2Traceroute与NT结合的拓扑推测方法31
4.2.1设计思路概述31
4.2.2基于Traceroute的拓扑构造算法32
4.2.3未知节点处理算法32
4.3本章小结35
5网络拓扑推断算法性能仿真与分析36
5.1NS2结果分析工具36
5.2网络仿真结果与分析37
5.2.1网络仿真场景的搭建37
5.2.2分层聚类算法的仿真与实验38
5.2.3新旧结合拓扑推测仿真与实验43
5.3本章小结47
结论48
致谢49
参考文献50
附录A流程图52
攻读学位期间的研究成果54
1绪论
1.1课题研究背景
随着网络信息化建设的发展，网络规模也随之不断的扩大，各种新型业务不断涌现，使网络的异构性和复杂性表现得日趋明显。
由于包含语音、数据、图像和视频等多媒体综合业务的Internet能够为用户提供各种优良的服务，使得Internet和人们的生活联系越来越紧密，它已经成为人们生活中不可缺少的一部分。
当前如何管理网络业务流、保障网络安全和提供优良的服务是每个运营商迫切需要解决的问题。
因此，网络拓扑结构发现、网络性能测量、发现网络瓶颈、优化网络配置和提高网络性能已经成为网络通信方面一个重要的研究内容。
通过网络性能的测量，对整个网络拓扑结构和网络行为进行深入的分析和研究以发现网络中存在的各种问题，进而优化网络配置，改善网络性能。
传统的网络测量（NetworkMeasurement，NM）需要网络内部单元之间的协作来获取各种网络性能参数[1,2]，但是随着网络中不安全因素逐渐增多，逐渐影响传统测量方法的扩展应用。
例如ICMP协议本是用于IP主机、路由器之间传递控制消息以报告网络状态的协议，但当它被恶意利用时会造成网络资源的巨大浪费以及威胁网络环境的安全，所以很多路由器被设定为拒绝对ICMP协议进行响应。
因此在传统的网络测量技术的基础上寻找新的测量方式对网络管理具有重要的现实意义。
网络断层扫描技术又称为NT（NetworkTomography）[3]技术的出现就是为了弥补传统方法的不足，国内外很多机构都在致力于这方面的研究。
NT是基于端到端的测量技术，它通过测量网络边界的信息来统计分析网络内部性能，且不需要网络内部节点的协作。
1.1.1网络测量的性能指标
网络测量是指利用开发的软件和设计的硬件工具按照一定模型和技术手段对网络性能参数评测的一系列操作的总和。
最终目的就是把与网络相关的性能参数映射成一种基于模型并随时间和空间变化的函数。
通过建立网络测量模型，可以对网络行为定性化和定量化，从而实现对网络性能与网络拓扑结构的监控和优化。
随着Internet的不断变化和发展，网络性能参数主要分为以下几种：
（1）丢包率
丢包率是指在网络测量的过程中丢包数与发送的总包数的比值。
造成丢包现象的主要原因有节点或链路发生了拥塞现象、节点的缓冲区溢出或数据传输时延超过了数据包的生存周期（TTL）。
因此节点的缓冲区大小和数据包的长度直接关系到丢包性能。
（2）时延
时延是指数据（一个报文或分组）从网络的发送端到目的端的传输时间。
一般包括数据的发送时延、链路传播时延、路由的处理时延和排队时延等。
时延又分为单向时延和双向时延，在实际网络中，链路和网络内部节点转发数据的不对称性会造成两个方向上时延的不同。
（3）吞吐量
吞吐量是指在单位时间内通过网络信道或设备接口的数据量。
吞吐量是用来衡量在数据包没有丢失的情况下，网络设备能转发的最大速率。
其测试方法是：
在测试中以恒定的速率v发送n个数据包，并计算待测设备所传输的数据包的个数。
如果发送的数据包与接收的数据包数量相等，就提高发送速率v并重新测试；
如果接收的数据包数量少于发送的数据包数量，就降低发送速率v并重新测试，直到得出最终结果。
（4）扩展性与升级性
在设计和规划网络时，项目成员应该考虑到网络的可扩展性与可升级性以便将来满足更多的应用需求。
当然网络性能越高，其扩展性和升级性就越好，投入的费用也就越高。
网络性能测量就是对网络内部节点和链路的性能进行量化和分析，为网络管理人员或研究人员获取网络性能参数提供了可信的依据，同时也反映了用户可获得的服务质量。
各种网络性能之间也存在着联系，这些联系对于分析网络性能具有重要的指导意义。
目前，进行网络测量的基础设施主要有：
（1）端到端性能监控项目
此项目的主要目的是利用ping命令来测量网络的性能（可用性、链路丢包率、网络传输时延和网络拓扑结构）。
因ping命令的主要功能是通过发送数据包并接收应答包来检测两个节点间的连通性，所以当网络出现故障时，可以用ping命令进行检查并确定故障范围，还能推测网络的性能参数。
（2）Internet测量基础框架NIMI项目
此项目是由美国科学基金NSF和DARPA资助，它的目的是建立一种大规模的Internet测量体系，并要求此体系具有分布性、可靠性以及可扩展性，同时还能够适应各种不同的网络环境。
（3）美国加州大学圣地亚哥分校于1997年成立了互联网数据分析合作组织。
此项目的主要任务是测量链路上的数据流，运用统计学方法分析其特征，通过主动发送探测数据包来获得网络的性能参数和拓扑结构。
1.1.2网络测量的分类方法
网络测量[4]可以从测量方式、协议和节点三个方面进行分类。
（1）主动测量和被动测量
根据在测量过程中是否向被测网络中发送主动探测数据包（ActiveProbe），可以将测量方法分为主动测量和被动测量两种。
主动测量是将探测数据包发送到待测网络中，在发送端发送一段时间的数据包以后，从待测网络边缘节点中提取所发送的数据包，以获得这些数据包的行为和到达接收节点的时间，从而估计端到端的时延、丢包率等网络性能参数。
被动测量是在待测网络内部或其他位置布置数据接收节点，收集流过这些节点的网络业务流，进而分析业务特征，获得网络性能参数。
主动测量的优点是我们可以根据不同的待测系统调整探测数据包的发送模式，如流量特征、采样频率、包的大小和类型等。
同时网络管理者可以灵活地选择网络中某个节点或某一段链路进行测量，这样更容易进行场景的模拟。
然而被动测量需要接收网络上所有的数据包，但基于保密性原则，有些数据无法获得，从而影响网络性能推测的准确性，因此目前主动测量技术被广泛地采用和研究。
（2）多点测量和单点测量
多点测量是指在被测网络中布置多个节点来探测网络性能，通过这些节点间的合作来获得大规模网络的链路信息，然而此方法的缺点是多个节点之间关系复杂，较难管理和控制。
单点测量是在被测网络中布置单个节点来探测网络性能，由于工作量少且简单，故此测量方法得到了广泛应用。
但是用这种方法进行测量时只能覆盖部分链路信息，不能全面而有效地分析网络性能。
（3）基于协议的测量
基于协议支持的测量主要集中于SNMP、ICMP和TCP/IP协议。
基于SNMP协议的测量主要是根据MIB库获得网络拓扑结构。
缺点是由于权限所在，仅适合于所管辖范围的测量，较难普及。
基于ICMP协议的测量采用Tracert等工具实现，可用于大规模的网络测量，但其无法透过防火墙软件获得数据。
基于TCP/IP协议的测量需要关注流量、丢包率、平均跳数和RTT等因素。
（4）基于路由器的测量
基于路由器[5]的测量方法主要是通过路由器中的管理软件[6]直接获取统计数据，具有较高的测量精度。
网络服务提供商通常采用这种方法来监测其内部网络性能，包括丢包率、流量、时延和拓扑等。
这种方法有两个缺点：
由于各提供商之间不协作导致这些数据都对外保密。
传送大量的性能数据给网管系统，需要消耗大量带宽导致网络负载增加。
1.2课题研究现状
由于Internet是一个庞大而复杂的体系，从90年代开始已经有研究机构从事网络性能测量方面的研究，国内外的很多机构都在致力于新的测量方法的研究。
目前NT的研究现状主要有以下方面：
（1）多播网络断层项目MINC
MINC[7]是由美国国防部高级研究计划局发起的基于多播技术的测量项目。
MINC不仅提出了关于多播断层扫描技术方法的数学模型，而且还论证了其算法的正确性和收敛性，对于多播网络断层扫描技术而言这具有深远的意义。
此项目的研究内容是：
基于已知拓扑结构的网络内部性能的分布推理。
基于未知拓扑结构的网络特征（如丢包率和时延）统计推理方法。
基于多播的网络特征推理工具。
（2）Rice大学的单播网络断层扫描项目
Rice大学的MarkCoates和RobertNowak教授提出了单播背靠背探测技术来测量路径上的丢包率。
这个方法的提出，在目前大多数网络不支持多播路由的探测情况下具有很大意义[8]。
Robet等人的研究内容有以下两点：
使用单播测量网络内部性能。
单播测量算法研究。
国内在网络性能测量方面也有较深入的研究，国防科技大学和电子科技大学等高校对基于ICMP协议的IP拓扑测量方面的研究比较成熟。
西北工业大学和电子科技大学等学校也在对NT的相关技术进行深入的研究。
1.3论文研究内容
首先，本论文对网络性能测量和NT技术进行了介绍，总结分析了现有的测量方法、节点的相似度计算方法和主流的拓扑推测算法，并对基于NT技术的拓扑推测进行了详细研究。
其次，在对现有的拓扑推断算法进行分析之后，本文从如何减少网络利用代价、减小算法的复杂度和提高算法的精确度入手，采用了一种分层聚类的算法进行拓扑推测研究。
其中分层思想和最小相似度聚类的引入可以减少在对叶子节点进行聚类时的误差，所谓聚类就是在最大程度上将具有共享路径的节点划分到一起。
然后，依据传统和基于NT技术的测量方法各自的优点，本文采用了一种新旧结合的拓扑测量方法，即先用传统的探测工具Traceroute进行初步的拓扑推测，然后针对整个拓扑的不完整部分，采用新型的NT方法进行完善。
本文采用的是三包组测量法和基于分层聚类的算法来推测网络的拓扑结构。
最后，本文通过NS2仿真实验验证了上述方法的可行性和有效性。
1.4论文结构安排
本文共分为五章，其结构安排如下：
第一章：
对本课题的选题背景进行了阐述，系统介绍了网络测量的相关知识以及本课题的研究现状，最后概括了本论文的主要研究内容。
第二章：
首先介绍了网络断层扫描技术的相关知识，包括端到端的测量方法和基于NT的应用，然后着重研究了基于NT的拓扑方面的应用，对节点的相似度计算模型和拓扑推测算法进行了仔细分析。
第三章：
首先介绍了聚类技术，对其概念、度量方法和聚类分析方法进行了详细阐述。
然后针对现有的基于DFS的终端节点划分算法方面的不足，采用了一种分层聚类的算法，并结合三包组测量法作为一种拓扑推测方法进行拓扑推断。
第四章：
对现有的传统网络拓扑识别方法进行了详细介绍，并分析了各自的优缺点。
由于基于ICMP协议的Traceroute方法有其固有的优势，同时基于NT技术的拓扑方面的研究尚不成熟，所以本文将两种方法结合起来推断拓扑结构，这样既保留了传统方法的优点又汲取了新方法的好处。
第五章：
搭建基于NS2的网络仿真平台，设置链路参数并对探测数据包进行设计，然后对本文的基于分层聚类的节点划分算法和新旧拓扑推测相结合的方法进行仿真实验，通过对仿真结果的对比分析，验证了其可行性和有效性。
2网络断层扫描技术
2.1网络断层扫描技术概述
网络断层扫描技术不依赖于网络内部节点的协作，因它采用端到端的测量方法并将测量问题转化为反问题求解，所以只需将测得的数据代入相应的数学模型[9]进行求解，就可得到网络内部的各种性能参数。
因网络断层扫描技术是一种反问题求解的应用，所以网络断层扫描技术还可以包含网络流量强度测量—OD测量，它是从各链路级的测量数据推断出路径级参数，是链路级参数推理的反过程。
2.1.1网络断层扫描技术基本介绍
网络断层扫描只需要边缘节点的参与。
边缘节点是指安置在网络边缘与网络相连的计算机或其他设备，其中包括发送节点与接收节点。
发送节点的主要作用是发送探测数据包并且能够接收接收节点的反馈信息。
一般情况下，源发送节点都是拓扑中的根节点，接收节点则是拓扑中的各个叶子节点。
网络断层扫描技术的基本思想就是从源节点发送多播探测数据包或能模拟多播的单播探测数据包，然后在终端节点观测数据的接收情况，最后根据收到的数据信息推导网络内部性能参数。
如下图2.1所示，要测量得到网络内部的性能参数，只需边缘节点A、B、C、D、E、F的配合就能实现，而不再需要内部节点的配合。
NT技术的这个独特优势弥补了传统测量方法的不足，同时也使得它成为这方面研究的热点。
图2.1网络断层扫描过程示意图
2.1.2基于NT的端到端测量体系
基于NT技术的网络性能测量也可称为端到端的测量技术[10]。
端到端测量技术的研究理念最初是由MINC项目中的组播树丢包研究提出来的，
升级会员 