基于网络数据包的HTTP网页信息还原存储系统的实现.docx
《基于网络数据包的HTTP网页信息还原存储系统的实现.docx》由会员分享，可在线阅读，更多相关《基于网络数据包的HTTP网页信息还原存储系统的实现.docx（73页珍藏版）》请在冰豆网上搜索。
基于网络数据包的HTTP网页信息还原存储系统的实现
学校代码：
10491研究生学号：
120080939
中国地质大学
硕士学位论文
基于网络数据包的HTTP网页信息还原存储系统的实现
硕士生：
何伟
学科专业：
计算机软件与理论
指导教师：
孙斌
二○一一年六月
ADissertationSubmittedtoChinaUniversity
OfGeosciencesfortheMasterDegreeofEngineering
Theimplementationofhttpwebpageinforestoringsystemwhichbasedonthenetworkdatapacket
MasterCandidate：
hewei
Major：
ComputerSoftwareandTheorySupervisor：
Profsunbin
ChinaUniversityofGeosciences
Wuhan430074P.R.China
中国地质大学（武汉）研究生学位论文原创性声明
本人郑重声明：
本人所呈交的硕士学位论文《XXXXX》，是本人在导师的指导下，在中国地质大学（武汉）攻读硕士学位期间独立进行研究工作所取得的成果。
论文中除已注明部分外不包含他人已发表或撰写过的研究成果，对论文的完成提供过帮助的有关人员已在文中说明并致以谢意。
本人所呈交的硕士学位论文没有违反学术道德和学术规范，没有侵权行为，并愿意承担由此而产生的法律责任和法律后果。
学位论文作者（签字）：
日期：
年 月 日
作者简介
何伟，男，2007年12月毕业于合肥工业大学，本科专业是计算机科学与技术。
2008年9月考取中国地质大学（武汉）信息工程学院计算机软件与理论系的硕士研究生。
在攻读硕士期间，完成了专业规定的硕士英语（口语、阅读、听力、写作）、自然辩证法、高级操作系统，算法设计与分析、计算几何及现代图形学等共计12门学位课程，同时学习了青年心理学、科学方法论、空间数据库、管理经济学等共计5门选修课程，修满30.5个学分，成绩优秀，学位课平均分81.9，选修课平均分83.2。
本人于2009年12月进入上海白虹软件公司实习。
参加了上海公安局基于基于网络数据包的HTTP网页信息还原存储系统的实现的研发工作。
基于网络数据包的HTTP网页信息还原存储系统的实现
硕士生：
何伟导师：
孙斌
摘要
随着通讯技术和计算机网络的发展，网络已日益成为人们生活中不可或缺的工具，在给用户带来方便的同时，也使得网络安全变得越来越困难。
为了网络安全各种技术被提出。
网络监听成为安全领域的重要技术之一。
首先，在网络监控中，网络数据包的捕获成了最重要的一部分，但由于CPU的性能、不同操作系统的处理机制不同等原因，传统的数据包抓捕方式己经不能再适用于千兆网络，尤其是在网络流量超大时，系统将会出现大量的丢包现象，形成了系统级的瓶颈。
NAPI，devieepolling，零拷贝等技术被提出来用来解决这个问题，零拷贝技术己经被成熟的应用于路由器、防火墙等硬件的设计中，它可以通过修改网卡驱动程序使应用程序直接访问网卡在内核中的内存，但是其移植性和通用性都比较不方便。
所以LucaDeri在零拷贝的基础上提出了一种新的解决方案:
PFRNG机制。
PF_RING机制则不必修改网卡驱动。
在内核中，它以一种带缓存的协议簇PF_RING为依托，结合NAPI技术，改善网卡中断响应频率:
在用户空间，应用程序可以通过mmap手段，将网络数据包直接传送给应用层的用户程序。
PF_RING是一种面向普通PC普通网卡的、接口丰富的、性能表现优异的软件解决方案。
其次，本文在分析TCP/IP报文结构的基础上介绍了协议分析技术。
协议分析是网络监听程序的重要功能之一，通过对网络数据流的实时或事后的解码分析，可以了解到网络上运行的协议和服务、数据帧的源地址和目的地址、数据帧的格式等。
成功的解决了POST请求消息体的提取和解码问题，并且成功的实现了HTML网页还原。
。
最后对本文作内容作了总结，并对下一步工作提出了展望。
关键词：
数据包捕获数据包过滤数据包重组HTTP数据还原PF_ring套接字
Theimplementationofhttpwebpageinforestoringsystemwhichbasedonthenetworkdatapacket
MasterCandidate：
heweiSupervisor：
sunbin
Withthedevelopmentofcommunicationtechnologyandcomputernetwork,thenetwork
hasalreadybecomeatoolwhichindispensableinthedaylifeofpeople.Itmakestheguaranteeofthenetworksecuritybecomemoredifficultthanbefore.Tomaintainthenetworksecurity,variouskindsoftechnologyareproposed.Networknetworkmonitortool.Networksniffingislikeonedouble-edgedsword.Itmakesthenetworkadministratorconvenience,butitalsooffersthehacker
atooltostealnetworkinformation.Innetworkmonitoring,networkpacketcaputrehasbecomethemostimportantpart.Nowadays,manyapplicationlayerservices,whickoverloadtheinternet.TraditionalpacketcapturearchitectureisnolongerefficientinGigabitNetwork,itlostmostofthepacketswhenfloodedbyhighspeeddatatransfer.Therearevariousreasonsforthis,CPUfrequencyandthepackethandlingmechanisminOperatingSystemarethoughttobethemostimportantproblem.
Basedonzero-copy,LucaDeribroughoutanewarchitecturenamed“PF_RING”.Inthisnewarchitecture,NICdrivermodifyingisnolongerneeded.Inkernelspace,allywithNAPI,anewlydesignedpacketbufferisdeployed,andtheNICinterruptresponseisimprovedtoo.Whileinuserspace,packetsreceivedfromtheNICaredirectlytransferredtoo.Whileinuserspace,packetsreceivedfromtheNICaredirectlytransferredtoapplicationprocessesbymemoryre-mapping（“mmap”）.”PF_RING”isdesignedforPC,itisahighperformancesolutionforhighspeedpacketcapture.Ithasvariousinterfaces,anditcanbesuedinvarioussystemswithoutmuchrework..
secondly,thispaperhasstudytheprotocolanalysisbasedonTCP/IPprotocol.Protocolanalysisisoneoftheimportantfunctionsofnetworksniffing.Bythereal-timedecodingoranalysisdatafile,sniffercangetthesourceanddestinationaddress,theformatofdataframeandsoonSuccessfullysolvedthePOSTrequestmessagebodyoftheextractionanddecodingissues,andthesuccessfulrealizationoftheHTMLpagerestore..Atlast，thisPaperdrawsaconclusionandmakeaviewoftheprospect.
Keywords:
datapacketcapturepacketfilteringofdatapacketsre-socketHTTPdatareassemblingPF_RING
目录
第一章绪论1
§1.1．选题的来源、目的和意义1
1.1.1课题来源：
1
1.1.2目的和意义：
1
§1.2课题研究的任务和目标2
§1.3论文结构4
第二章TCP/IP协议及其重组5
§2.1TCP/IP协议5
2.1.1TCP/IP协议原理5
2.1.2IP协议6
2.1.3TCP/IP整体构架概述7
§2.2传输层的协议9
2.2.1TCP协议9
2.2.2UDP协议9
§2.3协议中相关数据结构10
2.3.1Ethemet帧格式及结构11
2.3.2IP首部11
2.3.3TCP首部11
2.3.3UDP首部12
§2.4数据包重组技术13
§2.5本章小结13
第三章网络数据包监听的相关理论基础14
§3.1数据包捕获机制14
§3.2数据包捕捉技术的理论基础15
§3.3Libpacap函数库16
3.3.1Libpcap概述16
3.3.2存在的问题18
§3.4PF_RING套接字19
3.4.1零拷贝技术19
3.4.2PF_RING套接字20
§3.5模块的加载与卸载23
§3.6PF_RING的过滤器25
§3.7本章小结26
第四章基于HTTP协议的网页数据还原技术27
§4.1HTTP协议结构28
4.1.1请求报头28
4.1.2响应格式30
4.1.3服务器返回状态码30
4.1.4请求报头和响应报头示例31
§4.2主体程序设计32
§4.3POST数据包的还原和重要数据的提取33
4.3.1POST数据包的重组33
4.3.2POST数据包中请求消息体的中文信息37
4.3.3POST数据包中请求消息体的中文解码40
4.3.4POST数据包中请求消息体的文件传送41
§4.4基于HTTP协议的HTML网页44
4.4.1HTML简介44
4.4.2MIME格式49
4.4.3重组HTML网页50
§4.5本章小结56
第五章结束语57
5.1论文工作总结57
5.2问题与展望57
致谢59
参考文献60
第一章绪论
§1.1．选题的来源、目的和意义
1.1.1课题来源
因特网在给用户带来便捷的同时，也带来了众多网络安全的问题，尤其是随着全球信息化在人类经济建设中起着越来越大的作用，计算机网络技术的应用也越来越广泛，现阶段，我国网络的安全存大着很多的问题，因此，对于分析、诊断、监控网络的需要求工具不断增加，这些工具需要获得网络传输的数据并在网络工作时捕获它，实现对网络数据的实时监控，而在网络数据报传输中，其中HTTP流量：
据国外媒体报道，最近发布的一个研究报告指出，随着YouTube等视频共享网站的拉动，传统的HTTP协议的网络流量在过去四年里首次超过了P2P应用的流量。
HTTP是互联网TCP/IP协议族中的一种应用层协议，被广泛适用于网页流量、网络下载等。
HTTP协议正在取代传统文件下载的主要应用层协议FTP，此外基于HTTP的网页版邮箱也有取代传统的POP3协议的趋势。
而基于HTTP协议的网页浏览和信息发布（BBS，论坛）更是关系到了国家的安全和稳定，所以对于HTTP协议的监控更显为重要。
1.1.2目的和意义
信息安全保障能力是２１世纪综合国务、经济竞争实力和生存能力的重要组成部分，是世纪之交世界各国在奋力攀登的制高点。
网络安全管理与监控是对一个国家的蘩荣和稳定起着至关重要的作用。
以我国为例，在国内，邪都分子，刑事犯罪分子，民族分裂分子以及其它反动势力利用互联网传播危害国家安全和社会稳定的有害信息，组织策划破坏社会稳定，扰乱社会管理拆秩序。
而其中的基于HTTP协议的网页流量占整个网络流量的60%以上，网页信息还原的技术研究己成为当务之急。
选题的国内外研究现状、发展趋势及存在问题
网络的实时监控、检测和信息还原目前为世界各国普遍重视。
以美国为首的信息发达国家，为了在信息化浪潮中占据先机，打击网络犯罪和网络恐怖活动，窃取他国秘密和信息，搞信息霸权等，已经建立和完善其信息监控法律法规制度，并颁布了相应的法律和总统令，开始实施相关网络监控项目，对关键性的信息活动进行全球性的监视。
美国政府于2001年10月通过了限制个人权利的爱国法。
2003年3月，布什总统又授权政府可以将因特网作为一项重要的“设施”来秘密处置有关信息。
在欧洲，德国政府出台了《多媒体法》，法国对于本国一部有关通讯自由的法案提出修正案，英国颁布了《三R安全规则》，俄罗斯颁布了《联邦信息、信息化和信息保护法》。
在亚洲，日本也已经编制出一套准则，防止越权访问计算机网络。
在颁布相关法律的同时，各国也都开始实施相关网络监控项目，监视全球关键性的信息活动。
美国联邦调查局开发了名为“肉食者“的电子窃听系统，用于监视可疑的电子邮件（包括邮件头或全部的内容）、列出服务器怀疑的访问（例如FTP、HTTP等）、全面的”嗅探“可疑的IP地址、通过RADIUS登陆发现网络上正在发生的可疑活动等。
”9.11“后，”肉食者“系统己在各大ISP大量安装。
美国中央情报局也极其重视利用IT技术来加强对个人信息的收集。
此外，美国国家安全局与英国、加拿大、澳大利亚和新西兰四国安全机构联手研制了名为”Echelon“的计划，该计划构建了一套严密的全球信息间谍网，用于对全球电子邮件、传真和电话等信息流的全面监控。
俄罗斯、日本、英国、印度和台湾等国家和地区也有类似计划正在实施当中。
综上所述，网络信息还原的重要性和紧迫性已经刻不容缓。
为了维护我国的信息安全，遏制不良信息的传播，必须加大对网络信息进行监控与管理的力度，迅速发展网络信息还原技术，保障我国在世界信息化浪潮下占有一席之地。
§1.2课题研究的任务和目标
本论文所要做的系统是Web服务器接受用户设置的数据过滤条件，为每台业务重组设备生成相应的配置文件，并更新到业务重组设备上。
业务重组设备接收来自光网卡的网络数据，根据配置文件的要求进行过滤，对数据进行分析还原，将满足条件的数据按照协议分类保存到本地硬盘。
业务重组设备把保存的结果共享给文件服务器，文件服务器将保存的结果入库搬移。
数据库服务器接受文件服务器和web服务器的连接请求，实现数据入库和查询。
文件服务器将搬移后的文件共享给web服务器，用户通过web页面查看保存在数据库和文件服务器上的信息。
其中所有网络监听是D在外部网络上加一个镜像分流的设备，把所有的HTTP协议包放在一个服务器上，然后进入解析。
本系统所用监控设备如下图所示：
图1-1网络监控设备
本文围绕网络安全监控与审计系统的设计与实现，研究了数据包的采集与重组技术及Linux下伯克利包过滤（BPF）机制，分析了监听方式与网关方式下两种数据采集方案的特点与重组原理。
把网络监控系统的设计分解为与协议无关的网络探测器及与协议相关的HTTP数据还原模块两部分，并把网络探测器的设计分为与数据中心的通信模块，解析配置文件，记录探测器日志，采集网络数据包，缓冲采集到的数据包，重组TCP会话这几个模块。
研究了HTTP数据还原技术，包括对HTTP内容的解压缩及传输编码的块解码。
在还原HTTP数据后对设置的关键字进行过滤并把中标的数据传回数据中心进行保存以便日后取证。
网络抓包是PF_RING，详细的论述了网络监听系统的主要方面，如数据包捕获过滤驱动程序，过滤出专门需要的HTTP协议的IP数据包，然后组成HTTP协议包进行组装，合成一个完整的数据的HTTP包。
找出其中要关注的，如POST的用户名，密码，还有一些论坛发布的信息。
其中还涉及到了一些信息的解码工作。
§1.3论文结构
第一章，结论，介绍了本文的一些背景和相关意义以及论文主要研究的工作和总体结构。
第二章，介绍了TCP/IP协议以及以太网安全方面的相关内容。
第三章比较几种常用的数据采集方式，重点介绍PF_RING/零拷贝的研究背景、实验环境及研究内容以及PF_RING所需要的Linux内核相关机制。
第四章重点阐述了HTTP网络协议数据包的重组编程实现过程及性能测试
第五章结束语，对本文中系统做一个总结，对其中的不足和未来提出一些设想。
第二章TCP/IP协议及其重组
§2.1TCP/IP协议
2.1.1TCP/IP协议原理
网络监听程序的第一步是对相关的协议进行分析，通过对网络数据包的采集然后根据相关协议进行组包和解码分析，可以了解到应用层数据的的协议和服务、数据帧的源地址和目的地址、数据帧的格式等。
协议分析的原理就是根据现有的协议模式，按照固定的语法格式相关字段的取值，然后根据取得的值来判断其协议以及实施下一步分析动作。
。
网络的核心是网络协议，所有的应用层数据按照网络协议进行封装，到达与之联网的用户应用层。
网络上的协议是多种多样的，所以相应的数据包就是不相同的。
现在INTERNET网上流行的协议是TCP/IP协议栈，其中最核心的协议有以太网协议，ARP/RARP协议，IP协议，传输控制协议（TCP）、用户数据报协议（UDP），ICMP协议等。
应用层协议的协议有如文件传输协议（FTP）、简单电子邮件传输（SMTP）、网络远程访问协议（TELNET）、DNS协议，邮局协议（POP3）协议等。
协议是网络通信的基础，按照固定格式来的，能让通信的设备有着共同的语法，语义，让他们进按照这些法则进行有效的传递信息，所以对协议的分析是可行的。
采集到特定的数据包后，就可以进行协议分析了。
根据TCP/IP协议层次的概念，对网络数据包的协议分析是从链路层开始的。
首先分析数据包的链路层协议，如以太网协议等；然后根据链路层数据帧中的类型字段确认网络层协议，如IP协议或ARP协议等；然后根据网络层数据包的字段分析传输层协议，如TCP和UDP协议等；最后根据传输层协议分析应用层协议，如HTTP协议和FTP协议等。
这样一层一层的分析，就可以把整个数据包的协议都分析出来，而且可以截取数据包中一些用明文传送的敏感信息，如用户名和密码等。
由于数据包采集的程序工作在网络底层，我们的应用系统会直接去处理这些数据包，而不再像普通的数据包那样经过操作系统的层层过滤。
这样一来，应用程序接收到的数据包是最原始的数据包，也就是说监听主机接收到的数据包中，除了数据包本身的内容之外，还带有从对方主机中的传输层、网络层以及数据链路层一层层打上的数据包头信息，所以要想获得数据包里的应用数据，是需要我们自己来按照每一层的协议剥离数据包头中的每一层首部内容的，这就是协议分析需要完成的工作。
由于本系统是对INTERNET网络中的协议数据包进行解析，而INTERNET网络上数据包大多是基于TCP/IP协议进行封闭的，所以只有彻底的了解了TCP/IP协议的工作原理，才能对网络数据包进行正确的解析。
TCP/IP协议分层的结构如下图所示：
图2-1TCP/IP协议分层结构
2.1.2IP协议
Internet上使用的一个关键的低层协议是网际协议，通常称IP协议。
我们利用一个共同遵守的通信协议，从而使Internet成为一个允许连接不同类型的计算机和不同操作系统的网络。
要使两台计算机彼此之间进行通信，必须使两台计算机使用同一种语言。
通信协议正像两台计算机交换信息所使用的共同语言，它规定了通信双方在通信中所应共同遵守的约定。
计算机的通信协议精确地定义了计算机在彼此通信过程的所有细节。
例如，每台计算机发送的信息格式和含义，在什么情况下应发送规定的特殊信息，以及接收方的计算机应做出哪些应答等等。
网际协议IP协议提供了能适应各种各样网络硬件的灵活性，对底层网络硬件几乎没有任何要求，任何一个网络只要可以从一个地点向另一个地点传送二进制数据，就可以使用IP协议加入Internet了。
如果希望能在Internet上进行交流和通信，则每台连上Internet的计算机都必须遵守IP协议。
为此使用Internet的每台计算机都必须运行IP软件，以便时刻准备发送或接收信息。
IP协议对于网络通信有着重要的意义：
网络中的计算机通过安装IP软件，使许许多多的局域网络构成了一个庞大而又严密的通信系统。
从而使Internet看起来好像是真实存在的，但实际上它是一种并不存在的虚拟网络，只不过是利用IP协议把全世界上所有愿意接入Internet的计算机局域网络连接起来，使得它们彼此之间都能够通信。
2.1.3TCP/IP整体构架概述
如上图所示，TCP/IP协议分为四层：
应用层、传输层、互联层和网络接口层。
1、网络接层：
模型的基层是网络接口层。
负责数据帧在网络上的发送和接收，帧是独立的数据信息的传输单元。
网络接口层是将帧放在网上，或者从网上把帧取下来。
2、互联层：
互联协议将数据包封装成internet数据报，运行必要的路由算法找到传送的路径，能发送到目的的主机。
这里有四个互联协议：
网际协议ip：
负责在主机和网络之间的寻址和路由数据包。
地址解析协议arp：
获得同一物理网络中的网卡的物理地址。
网际控制消息协议icmp：
用来控制数据报的发送情况，发送消息，并报告有关数据包的传送错误。
互联组管理协议igmp：
被ip主机拿来向本地多路广播路由器报告主机组成员。
3、传输层：
传输协议提供了计算机之间提供通信会话。
传输协议的选择根据数据传输方式而定。
两个传输协议：
传输控制协议tcp：
面向连接的服务，为应用程序提供可靠的通信连接。
适合传输大批数据信息的情况。
并适用于要求得到响应的应用程序。
用户数据报协议udp：
提供了无连接通信，且不对传送包进行可靠的保证。
适合于一次传输小量
升级会员 