INIDS分布式网络入侵检测系统.docx

1、INIDS分布式网络入侵检测系统分类号 TP309 密级 公开 UDC 编号 硕士研究生学位论文题 目 INIDS分布式网络入侵检测系统 的设计与实现 学院（所、中心）软 件 学 院专业名称软 件 工 程研究生姓名郭 昆学号7200203088导师姓名李 彤职称教 授二OO四 年 四 月摘 要传统的网络安全技术种类繁多，然而却已无法满足网络安全的新需求。网络入侵检测技术应运而生，它已逐渐成为网络安全研究最活跃的领域，这预示着网络安全技术正在朝着智能化的方向发展。网络入侵检测是继“防火墙”、“数据加密”等传统安全保护技术后新一代的网络安全技术。网络入侵检测通过对计算机和网络资源上的恶意使用行为进

2、行识别和响应，不仅检测来自外部的黑客入侵，同时也监督内部用户的未授权活动。本文简要分析了入侵检测系统的技术与发展方向。提出了一种基于企业内部网络的分布式入侵检测系统（INIDS），给出了系统总体结构、主要模块的设计与实现方法和关键数据结构。该INIDS系统能以友好的图形化方式显示入侵事件,并且能实现分布式的检测与控制。关键词 入侵检测，分布式，数据包，规则，模式匹配，远程控制AbstractAlthough there are a lot of traditional network security technologies, new security demands can not be

3、satisfied. The network-based intrusion detection technology has become one of the most active issues in network security friendly, indicate a generate tendency of network security technology is the evolution of intelligence. The intrusion detection is a new network security technology, follow tradit

4、ion security protect technology, such as firewall and data encrypt. Intrusion Detection System watch the computer and network traffic to find intrusive and suspicious activities. It not only detect the intrusion from the external hacker, but also monitor the unauthorized action of the intranet users

5、.In this paper,it analyze the technology and development of intrusion detection system simply.It raise a Intranet-based Network Distributed Intrusion Detection System(INIDS),present the structure of the system, the design and implement of the key modules and the key data structures.The INIDS can dis

6、play all the information of network intrusion in a friendly chart mode，and can implement distributed detection and control.Keyword Intrusion Detection, Distributed, Data Package, Rule, Pattern matching，Long-range control目 录第一章 引言 11.1 研究背景 11.2 选题依据及应用价值 11.2.1 选题依据 11.2.2 INDIS分布式网络入侵检测系统的应用价值 21.3

7、 研究的主要内容 31.4 相关技术领域国内外发展现状和趋势 31.5 特色与技术创新点 51.6 论文的组织 5第二章 入侵检测系统原理和技术 62.1入侵检测系统概述 62.2 入侵检测系统的分类 82.2.1基于主机的入侵检测系统 82.2.2基于网络的入侵检测系统 92.3 入侵检测系统原理概要 102.3.1异常入侵检测原理 102.3.2 误用入侵检测原理 112.4 入侵检测技术概要 122.4.1异常入侵检测技术 122.4.2 误用入侵检测技术 132.4.3其他检测技术 142.5 INIDS分布式网络入侵检测系统检测原理与技术 142.5.1分布式入侵检测框架模型 142

8、.5.2 INIDS 中的入侵检测技术 15第三章 INDIS 系统体系结构 183.1 需求分析 183.1.1 检测需求 183.1.2 操作需求 193.1.3平台范围需求 193.1.4 性能需求 193.1.5 系统功能需求 203.2 系统体系结构 203.2.1系统组成 213.2.2总体结构 213.2.3入侵检测流程 223.2.4系统逻辑层次 233.2.5中央控制台体系结构 233.2.6检测系统结构 243.2.7数据存储系统结构 243.3 系统部署方案 24第四章 检测器的设计与实现 264.1 网络数据包捕获模块设计 274.1.1 WinPcap系统无关捕获函数

9、库体系统结构 27 4.1.2 常用数据类型 284.1.3常用函数 304.2协议分析模块设计 324.2.1协议分析流程: 324.2.2 主要数据结构 324.2.3主要函数 344.3规则解析模块 364.3.1 规则解析方式 364.3.2 主要数据结构 364.3.3 主要处理函数 384.4检测引擎模块 404.4.1 检测处理流程 404.4.2 主要数据结构 404.4.3 主要处理函数 414.5输出组件模块 424.5.1 主要数据结构 424.5.2主要函数 43第五章 数据库设计 435.1数据表设计 435.2数据表关系设计 475.3实现要点 48第六章 通信控制

10、代理设计 496.1 通信控制代理逻辑结构 496.2受控端设计 496.2.1 名字空间导入 496.2.2 类设计 506.3 控制端设计 566.3.1名字空间导入 566.3.2类设计 56第七章 中央控制台设计 597.1组成及功能 597.1.1 报警事件管理 607.1.2报告生成 607.1.3安全管理 607.1.4规则维护与更新 607.1.5数据库维护 607.1.6检测器管理 617.1.7查询与统计 617.2主要模块设计 627.2.1查询模块 627.2.2统计模块 647.2.3接口函数 657.3 界面设计 667.3.1 实时检测显示界面 667.3.2 专

11、家建议显示界面 667.3.3 事件查询界面 687.3.4 统计界面 68第八章 结束语 69参 考 文 献 70致 谢 72第一章 引言1.1 研究背景随着网络的飞速发展，信息安全问题也日渐突出和复杂，新的威胁和脆弱点不断出现，对网络安全技术提出了更高的要求，从而网络信息的安全防护技术逐渐成为一个新兴的重要技术领域，在传统的加密和防火墙技术已不能完全满足安全需求的同时，入侵检测技术作为一种新的安全手段，正受到越来越大的重视，已经成为当前网络安全技术领域内的一个研究热点，它的快速发展和极具潜力的应用前景需要有更多的研究和工程技术人员投身其中。随着上网的关键部门、关键业务越来越多，迫切需要具有

12、自主版权的入侵检测产品，可见，对入侵检测技术应该进行进一步的研究和应用实现。1.2 选题依据及应用价值1.2.1 选题依据网络安全的主要威胁表现在受到网络入侵，网络入侵是指试图破坏信息系统的完整性、机密性和可信性的任何网络活动的集合。其中，机密性要求只有授权才能访问信息；完整性要求信息保持不被意外或者恶意地改变；可用性指的是网络系统在不降低使用的情况下仍能根据授权用户的需要提供资源服务。传统网络安全技术主要有：加密机制、数据签名机制、访问控制机制、数据完整性机制、系统脆弱性检测、构筑防火墙系统、系统审计技术等，其中，加密机制和构筑防火墙系统是目前解决网络安全问题的主要方法。随着网络技术的发展，

13、新的网络攻击方式不断涌现，相对于传统的对信息系统的破坏手段，网络入侵具有以下特点：入侵手段更加隐蔽和复杂，入侵结果破坏性更强。传统网络安全技术采用的是静态安全模型，这个静态安全模型和标准无法完全反应分布式、动态变化、发展迅速的Internet问题，已经不能完全适应当前的技术需要，主要表现在： 加密技术是静态的，弱加密相当脆弱且易于被攻破，强加密会导致网络的延迟。1 防火墙是由计算机硬件和软件来实现的，尽管设计人员对防火墙自身的安全性能下过很大功夫，安全弱点和薄弱环节仍旧可能出现，这些缺陷会被人发现而加以利用。另外，防火墙主要是有效地阻止外部网络的非法进入，而对内部网络的攻击行为无法监测和控制，

14、即无法分析每个数据包的内容2。有资料表明，网络上的安全攻击事件有70%以上来自内部；另一方面，防火墙的安全控制主要是基于IP地址的，很难和用户身份控制策略紧密结合起来。 设计安全措施来防范XX访问系统的资源和数据，这是当前网络安全领域一个十分重要而迫切的问题。就目前来说，要想完全避免安全事件的发生并不太现实。网络安全工作还必须尽力发现和察觉入侵及入侵企图，以便采取有效的措施来堵塞漏洞和修复系统。 现行系统安全策略的最重要的手段是“访问控制”。但是，无论在理论上还是在实践中，试图保证任何一个系统中不存在安全漏洞是不可能的，填补所有安全漏洞是不可行的，也还没有一种切实可行的办法解决合法用户在通过“

15、身份认证”后滥用特权的问题。因此，从传统网络安全技术存在着不足，迫使我们研究新的网络安全技术，主要包括PKI技术和入侵检测技术等，以弥补传统技术的不足。入侵检测是动态的跟踪和检测方法，与静态加密技术相比，它具有更强的自主性3，作为一种积极主动的安全防护技术，入侵检测提供了对内部攻击、外部攻击和误操作的实时检测，进而在网络系统受到危害之前进行拦截入侵或最大程度减小入侵危害。从网络安全立体纵深、多层次防御的角度出发，入侵检测已逐渐成为网络安全领域最活跃的研究课题之一。这从国外入侵检测产品市场的蓬勃发展就可以看出。在国内，随着上网的关键部门、关键业务越来越多，迫切需要具有自主版权的入侵检测产品。可见

16、，入侵检测技术应该进行进一步的研究。1.2.2 INDIS分布式网络入侵检测系统的应用价值本文提出的INDIS(Intranet-based Network Distributed Intrusion Detection System)分布式网络入侵检测系统，是将网络数据包捕获技术、模式匹配、数据库技术、分布式控制技术及统计技术等有机地融合在一起，通过分析直接从网络捕获的数据包，发现违背安全策略或危及系统安全的行为和活动，它能够检测到超过授权的非法访问，并进行实时显示和数据库存储，通过即时感知网络中的入侵攻击行为，为有效阻止入侵提供决策依据，有效地弥补了传统网络安全技术的不足。INDIS系统采

17、用分布检测，集中监控管理的架构，提高了检测效率，克服了检测器单点失效问题，方便了使用和管理，通过修改安全策略来感知新的攻击，这使安全风险得到有效的控制和减轻，本系统具有一定的实用价值。在经济领域中它可以及时发现、阻拦入侵行为,保护企业来自不满员工、黑客和竞争对手威胁，保证企业信息平台的正常运转；在军事领域，可用于网络战的防御系统；在司法领域可用于计算机犯罪的取证等。1.3 研究的主要内容 基于网络的入侵检测原理与技术 分布式网络入侵检测系统的架构 分布式网络入侵检测系统各组成部分的设计与实现1.4 相关技术领域国内外发展现状和趋势 相关技术领域内外发展现状网络入侵检测技术在国外研究和开发进行得

18、较早及深入。1980年4月，詹姆斯安德森（James PAnderson）为美国空军做的题为Computer SecurityThreatMonitoring and Surveillance（计算机安全威胁监控与监视）的技术报告中，第一次详细阐述了入侵检测的概念，并首先为入侵和入侵检测提出了一个统一的架构，这是该领域的开山之作。1987年，D.Denning提出了第一个入侵检测模型：入侵检测系统专家框架（IDES）,该模型可以检测出黑客入侵、越权操作以及其他种类的非正常使用计算机系统的行为。1990年，加州大学戴维期分校开发出了NSM（Network Security Monitor），第一

19、次直接将网络流作为入侵征兆信息源，至此，形成了基于主机的入侵检测系统HIDS（Host-based Intrusion Detection System）和基于网络的入侵检测系统NIDS（Network-based Intrusion Detection System）两大阵营，随后，此加利福尼亚州立大学提高SNMP-IDSM模型，该模型主要是针对近年来日渐猖獗的网络协同攻击而提出的。它主要通过IDS系统之间的协同工作来实现分布式的协同检测4。目前国外入侵检测技术与产品已经比较成熟，代表性的产品主要有如Axent公司的NetProwler、ISS公司的Realsecure和Cisco公司的Ne

20、tRanger等，其中ISS公司的RealSecure的智能攻击识别技术是当前IDS系统中最为先进的。在国内，入侵检测系统的研究还刚刚起步，不够成熟，目前只有少数几家公司如金诺网安、瑞星等对对入侵检测等高级网络安全技术开始关注，近年来国内对网络入侵检测系统的认识度在逐渐提高，大多数IDS产品都是近几年才研发成功，绝大多数厂家沿用的是Snort(2000年开发代码免费的核心)。国内有代表性的产品主要有：北京启明星辰信息技术有限公司的天阗千兆入侵检测与预警系统V5.5、成都三零盛安信息系统有限公司的鹰眼千兆网络入侵检测系统 NIDS-1000和金诺网安公司的KIDS入侵检测系统。 相关技术领域发展

21、趋势1、软件产品硬件化随着用户对IDS认识的加深，用户对IDS的自身安全性以及检测效率的要求越来越高，对嵌入式IDS系统的需求会逐渐增加，实现IDS软件产品硬件化是必然发展趋势。2、宽带IDS技术网络应用范围的扩大和数据流量的增加，特别是包括语音、图像和视频等占用大量带宽的多媒体信息在网上的实时传输，使100M快速以太网技术和千兆以太网技术得到迅速普及，用户对千兆IDS的需求迅速上升。3、分布式IDS技术它不但可以解决高速网络，如千兆、万兆骨干网络的入侵监测，而且便于安全管理员的统一管理和分析，分布式监测技术一直是IDS的重要发展方向，受到重视。例如普渡大学开发的AAFID系统，该系统是Pur

22、due大学设计的一种采用树形分层构造的代理群体，最根部的是监视器代理，提供全局的控制、管理以及分析由上一层节点提供的信息，在树叶部分的代理专门用来收集信息。处在中间层的代理被称为收发器，这些收发器一方面实现对底层代理的控制，一方面可以起到信息的预处理过程，把精练的信息反馈给上层的监视器。这种结构采用了本地代理处理本地事件，中央代理负责整体分析的模式。与集中式不同，它强调通过全体智能代理的协同工作来分析入侵策略。但同时带来一些新的问题，如代理间的协作、代理间的通信等。这些问题仍在进一步研究之中。4、网络入侵防御技术纵深部署、立体防御、实时响应是信息安全整体解决方案所遵循的原则。信息安全应构成闭环

23、系统，即构成监测攻击、分析攻击、设备互动、阻断攻击的闭环系统。随着技术的发展，在入侵检测技术的基础上国际上又在进行网络入侵防御系统（NIPS）的研究和开发，IP的检测功能类似于IDS，但IPS检测到攻击后会采取行动与其它安全设备以工具实现互动以有效地阻止攻击。最早实现互动的设备是IDS与防火墙，之后，扩展到防病毒工具、VPN网关、路由器和交换机等，NIPS的出现有一个前提，就是入侵检测产品的误报率必须控制在可以接受的范围内。55、增加内容恢复功能，使IDS产品具有更强的实用性。 2002年IDS产品出现了内容恢复功能，它能基于www、ftp、telnet以及收发邮件等进行内容恢复和回放，虽然对

24、IDS产品的性能有一定的影响，但使IDS产品具有了更强的实用性。 6、负载均衡和协议分析技术 IDS如同路由器、防火墙和应用服务器一样，为了适应高速网络的信息处理要求，往往采用多个设备并联工作模式。为了使信息流均匀分配到设备中，出现了“负载均衡”。负载均衡虽然一定程度上解决了高速网络环境的检测问题，但是，负载均衡器是按照某种规则（如协议或者IP地址）来分流数据，那么当来自于一个IP地址的数据或某种应用服务流量突然增加的时候，负载均衡器如果不能够智能地进行分流，则对口负责的 IDS则不堪重负；如果负载均衡器又做了流量均衡，混在其中攻击信息也有可能被分流，而对应的IDS又可能没有配置相应的攻击检测

25、策略而漏过检测。这是负载均衡带来的新问题，必须加以解决。 “协议分析”是目前绝大多数IDS所宣称采用的技术。协议分析的原理就是根据现有的协议模式，到固定的位置取值而不是一个个的去比较，然后根据取得的值来判断其协议以及实施下一步分析动作。采用“协议分析”提高了分析效率，同时还可以避免单纯模式匹配带来的误报。6其它的先进入侵监测技术，如计算机免疫技术、神经网络技术、遗传算法技术、数据挖掘技术等都处于探索中，还不到产品应用阶段，但这些技术必将会推动入侵检测技术发展。1.5 特色与技术创新点1、本项目所进行的研究与开发集中于实现一套较为完整的面向企业的分布式网络入侵检测系统INIDS，设计并实现了分布

26、式检测、集中管理控制的架构，使系统具有一定的扩展性和适应性。2、采用了基于核心层的网络数据包捕获技术，快速模式匹配算法，提高了系统的检测效率。3、本系统采用Windows2000操作系统平台，MS SQL Server数据库服务器，采用拷贝即可运行的方式，使得安装部署系统方便快捷。使用图形化界面，实现报警信息的实时显示、查询与统计及远程控制，便于安全管理员的统一管理和分析，促进了系统的应用和实效。1.6 论文的组织本文从讨论计算机安全模型入手，简单阐述了入侵检测系统概况，说明了入侵检测原理和相应检测技术，在此基础上，提出了分布式网络入侵检测系统INIDS（Intranet-based Netw

27、ork Distributed Intrusion Detection System）的总体设计方案，根据其组成部分分别讨论了检测分析系统、数据存储系统、通信控制代理、中央控制台各个组成部分的功能、设计思想及实现方法。第一章为引言，阐述了本项目的研究背景、选题依据、应用价值、相关技术领域国内外发展现状和趋势等。第二章在网络安全和动态安全模型的基础上，引入入侵检测系统的概念；介绍了入侵检测系统的CIDF模型，简单阐述了入侵检测系统原理和技术分析，并着重介绍了基于网络的入检测原理和相应入侵检测技术。第三章为INIDS分布式入侵检测系统的需求分析，提出了分布式入侵检测系统INIDS的体系结构，并介绍

28、了其部署方案。第四章介绍了检测器的设计与实现，重点介绍了数据包捕获模块、协议分析模块、规则解析模块、检测引擎模块及输出模块的算法设计与实现。第五章为数据库设计。第六章介绍了通信控制代理的设计与实现，着重介绍了通信控制代理的逻辑结构以及控制端、受控端的设计与实现。第七章介绍了中央控制台设计与实现，着重介绍了组成及功能、各模块设计与实现、界面设计等。第八章对本文的工作进行总结，提出了将来的工作展望。最后，列出本论文撰写过程中所参阅的参考文献。第二章 入侵检测系统原理和技术2.1入侵检测系统概述入侵检测是检测和响应计算机误用的一门技术，用来识别针对计算机网络系统的非法攻击，包括检测外界非法入侵者的恶

29、意攻击或试探，以及内部合法用户的超越权限的非法行动。具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和系统相关的补丁、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统。入侵检测技术是P2DR安全模型的一个重要组成部分，是动态安全技术中的核心术之一。71、 动态安全模型P2DR在计算机安全的发展中，系统安全模型在逐步的实践中发生变化。由一开始的静态的系统安全模型逐渐过渡到动态的安全模型，如PDR2模型。PDR2表示Protection、Detectio

30、n、Recovery和Response，即保护、检测、恢复和响应。检测已经是系统安全模型中非常重要的一部分。如图2-1所示。在此动态安全模型中，在整体的安全策略（Policy）的控制和指导下，将防护（Protection）、检测（Detection）和响应（Response）结合起来，在综合运用防护工具的同时，利用检测工具了解和评估系统的安全状态，通过适当的响应工具将系统调整到“最安全”状态，实现了动态的安全循环。2、CIDF模型为了让入侵检测系统和它的构件之间共享各种类型的攻击信息，相互协作，形成一个整体有效的安全保障系统，S.Staniford-Chen等人提出了通用的入侵检测框架（CID

31、F）。通用入侵探测框架（CIDF）定义了一个入侵检测系统的标准模型，包含检测体系结构、入侵描述语言规范和应用程序接口规范。在CIDF中，入侵检测系统由事件产生器（数据采集部分）、事件分析器（分析部分）、响应单元（响应部分）和事件库（日志等）构成，通过分析、互补、互纠、核实、调整和响应六种方式协同工作。如图2-2所示。事件发生器将有关事件的信息提供给该系统的其他部分，是入侵检测系统的感觉部件。此处“事件”可以是复杂的事件，也可是低层网络协议事件。并不一定是入侵本身。事件分析器对来自事件发生器的输入进行分析，抽取相关信息，判断入侵行为是否发生。事件数据库用来存储事件信息、分析信息及加工后可用的方法等。响应单元是对分析结果做出反应的功能单元，既可以简单提交报告，也可进行被动防范和主动对抗。将来的入侵检测系统将尽可能以CIDF为标准进行设计，以便按标准化进行信息交换，形成统一的入侵检测系统体系。2.2 入侵检测系统的分类通常按获得原始数据的方法可以将入侵检测系统分为基于网络的入侵检测和基于主机的入侵检测系统。2.2.1基于主机的入侵检测系统基于主机的入侵检测出现在80年代初期，那时网络还没有今天这样普遍、复杂，且网络之间也没有完全连通。在这一较为简单的环境里，检