高性能数据包捕获系统的研究与实现.pdf

高性能数据包捕获系统的研究与实现.pdf

《高性能数据包捕获系统的研究与实现.pdf》由会员分享，可在线阅读，更多相关《高性能数据包捕获系统的研究与实现.pdf（80页珍藏版）》请在冰豆网上搜索。

申请上海交通大学工程硕士学位论文高性能数据包捕获系统高性能数据包捕获系统的研究与实现的研究与实现院院系系：

计算机科学与工程系工程领域工程领域：

计算机技术交大导师交大导师：

朱燕民副教授企业导师企业导师：

苏航博士工程硕士工程硕士：

刘宝辰学学号号：

1100332086上上海交通大学电子信息与电气海交通大学电子信息与电气工程学院工程学院2013年年05月月万方数据ThesisSubmittedtoShanghaiJiaoTongUniversityfortheDegreeofEngineeringMasterRESEARCHANDIMPLEMENTATIONOFAHIGH-PERFORMANCEPACKETCAPTURESYSTEMM.D.Candidate:

LiuBaochenSupervisor（I）:

ZhuYanminSupervisor（II）:

SuHangSpeciality:

ComputerTechonlogySchoolofElectronics,InformationandElectricEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinaMay10,2013万方数据万方数据万方数据上海交通大学上海交通大学学位论文原创性声明学位论文原创性声明本人郑重声明：

所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。

除文中已经注明引用的内容外，本论文不包含任何其它个人或集体已经发表或撰写过的作品成果。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律结果由本人承担。

学位论文作者签名：

日期：

年月日万方数据上海交通大学上海交通大学学位论文版权使用授权书学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

保密保密在在年解密后适用本授权书。

本学位论文属于不保密不保密。

（请在以上方框内打“”）学位论文作者签名：

指导教师签名：

日期：

年月日日期：

年月日万方数据上海交通大学工程硕士学位论文摘要I高性能数据包捕获系统高性能数据包捕获系统的的研究研究与与实现实现摘摘要要随着网络带宽的快速提升，网络领域面临严峻的数据监测任务。

其中被动数据包捕获技术，在网络安全和管理方面是所有监测任务的基础。

但是目前流行的操作系统（如Linux等），并没有为这种特殊应用做优化，当网络负载增大时，数据包捕获的性能急剧下降。

如何实现千兆网络环境下的实时数据流量监测，提高数据包捕获性能是个热点问题，如何在有限的时间和CPU资源下，尽量多的处理数据是实现捕获系统的难点。

本文主要研究了以Linux系统为基础，在配置多核处理器和Intel82576网卡的硬件平台上，实现以千兆速率双端口输入的数据包捕获系统。

论文的主要工作包括：

1）研究分析了数据包通过Linux内核网络协议栈到达用户空间的流程。

总结出通用操作系统在数据处理时，由于数据被多次拷贝、频繁的系统调用导致上下文切换、中断活锁等问题，致使通用操作系统不适合做数据监控平台。

2）分析研究目前在Linux上做高性能流量监测的方案，如零拷贝、NAPI、PF_RING、netmap等。

并对当前硬件的新特性做了说明如IOAT。

3）在研究结果的基础上，采用RSS网卡和开源的零拷贝方案netmap，实现本文的数据捕获系统。

针对本系统的应用，为使同一数据流的两个方向的数据分配到同一条队列，对RSS网卡的哈希Key做了改进，另外为了减少资源竞争，对netmap的数据结构也做了优化。

4）测试数据捕获系统，结果证实系统满足双端口同时输入处理2gbs的能力。

相对于昂贵的硬件包捕获平台，研究这种低成本的软件实现，显得极具意义。

本文实现的系统已经运用于公司内部，并取得良好的效果。

关键字数据包捕获，千兆网络接口卡，零拷贝，多线程万方数据上海交通大学工程硕士学位论文ABSTRACTIIRESEARCHANDIMPLEMENTATIONOFAHIGH-PERFORMANCEPACKETCAPTURESYSTEMABSTRACTWiththerapiddevelopmentofnetworkbandwidth,networkfieldfacesseriousdatamonitoringtask.Thetechnologyofpassivepacketcaptureisthefoundationofallmonitoringtaskintheaspectofnetworksecurityandnetworkmanagement.Ithasextremelyrichapplications,suchasnetworkmonitoringsystems,intrusiondetectionsystems,networkfirewall,networkfaultdiagnosis,networkoperationguidancemanagementanddesign,etc.However,currentlypopularoperatingsystems（suchasLinux）dontoptimizeperformanceforthiskindofparticularapplication.Whennetworkloadincreases,theperformanceofpacketcapturesharplydeclinesandtherateofthepacketlossisveryhigh.Howtorealizethereal-timedataflowmonitoringinordertoimprovetheperformanceofpacketcaptureisahotissue.Thispapermainlystudiesrealizationofdatapacketcapturesystemwith1Gbshighspeedmultipleportsinput.ItisbasedonLinuxoperatingsystemandonthesystemwhichhasmulti-coreprocessorswith82576networkcards.Themaintopicsofthispaperareasfollowing:

1）ResearchandanalysistheprocessofpacketreachtouserspacebytheLinuxkernelnetworkprotocol.Summedupgeneraloperatingsystemisnotsuitablefordatamonitoringplatformduringdataprocessingbecausecopyingdatamanytimesandfrequentsystemcallcausesacontextswitchandinterruptlivelockproblems.2）AnalysisandresearchthecurrentsolutionsofhighperformancedataflowmonitoringonLinux,suchaszerocopy,NAPI,PF_RING,netmap,etc.ExplainthenewcharacteristicsofthecurrenthardwaresuchasIOAT.3）Basedontheresultsoftheresearch,thedatacapturesystemisimplementedbyusingtheRSSCARDSandnetmap（opensourcezero-copysolution）inthispaper.Accordingtoapplicationsofthissystem,hashkeyofRSSnetworkcardisimprovedandinordertoreduceresourcecontentionthedatastructureofnetmaphasbeenoptimized.万方数据上海交通大学工程硕士学位论文ABSTRACTIII4）Testthedatacapturesystemandverifythatthesystemhastheabilityofdualportwhichcanbeinput2gbsatthesametime.Keywords:

highspeednetworkinterfacecard,packetcapture,Zero-Copy,multithreading万方数据上海交通大学工程硕士学位论文目录IV目目录录第一章绪论.11.1研究背景.11.2国内外研究现状.11.3主要研究内容.41.4本文的组织结构及章节编排.4第二章Linux网络处理架构分析.52.1Linux网络处理架构.52.1.1系统组件.52.1.2数据包接收操作.62.1.3系统网络模块结构.72.2接收性能的限制和因素.72.2.1影响响应时间的因素.82.2.2降低网络性能的因素.112.3可能的解决方案及问题.152.3.1均衡任务负载.152.3.2增加缓存大小.162.4小结.16第三章现有软硬件解决方案及分析.183.1操作系统改进.183.1.1避免数据拷贝操作.183.1.2减小调度延迟.193.1.3减小系统调用的代价.203.2中断响应及实时化.213.2.1中断延迟和ISR响应的抖动.213.2.2实时化Linux.223.3其他方案.243.3.1NAPI技术和减少中断服务开销.24万方数据上海交通大学工程硕士学位论文目录V3.3.2PFRING实现原理.293.3.3DPDK技术原理.323.4硬件特性的原理及应用.333.4.1多核处理器.333.4.2PCI/PCIe总线和MSI/MSI-X中断机制.343.4.3I/O加速（IOAT）.353.5小结.37第四章系统设计与实现.384.1设计的基本原则.384.2硬件和操作系统选择.394.3系统设计.394.3.1硬件结构.394.3.2软件结构.404.4实现细节.414.4.1RSS原理及哈希改进.414.4.2Netmap原理及数据结构改进.444.4.3网卡驱动分析及修改.474.5数据包捕获程序设计.484.5.1程序逻辑流程图.484.5.2程序详细设计.504.6本章小结.54第五章系统测试与分析.565.1测试环境配置.56