聚类算法在网络入侵检测技术中的应用.docx

1、聚类算法在网络入侵检测技术中的应用目录第1章 引言 11.1 入侵检测技术的提出 11.2入侵检测技术技术研究史 31.2.1 以Denning模型为代表的IDS早期技术 31.2.2 中期：统计学理论和专家系统相结合 51.2.3 基于网络的NIDS是目前的主流技术 51.3 本课题研究的途径与意义 6第2章 入侵检测技术原理与功能 82.1 入侵检测技术第一步信息收集 92.1.1 网络入侵检测技术模块方式 92.1.2 主机入侵检测技术模块方式 92.1.3 信息来源的四个方面 102.2 入侵检测技术的第二步信号分析 112.2.1 模式匹配 122.2.2 统计分析 122.2.3

2、完整性分析 132.3 入侵检测技术的功能概要 13第3 章入侵检测技术技术分析与数据分析模型 153.1 入侵分析按其检测技术规则分类 163.1.1 基于特征的检测技术规则 163.1.2 基于统计的检测技术规则 163.2 一些新的分析技术 163.2.1 统计学方法 163.2.2 入侵检测技术的软计算方法 173.2.3 基于专家系统的入侵检测技术方法 173.3 建立数据分析模型 183.3.1 测试数据的结构 18第4章 聚类算法在网络入侵检测技术中的作用 214.1 聚类算法简介 214.1.1 K-means算法 224.1.2 迭代最优化算法 23总结与展望 24致谢 26

3、参考文献 27第1章 引言1.1 入侵检测技术的提出随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接

4、的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻：具Warroon Research的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(A)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫

5、了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和B、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思：1993年底，中科院高能所就发现有黑客侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。1996年，高能所再次遭到黑客入侵，私自在高能所

6、主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现黑客侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。每年全球因计算机网络的

7、安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。 看到这些令人震惊的事件，不禁让人们发出疑问：“网络还安全吗？”试图破坏信息系统的完整性、机密性、可信性的任何网络活动都为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在修改有网络应用系统的情况下达到一定的安全要求。但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防

8、火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且

9、有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。1.2入侵检测技术技术研究史最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。审计是安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一

10、项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（Stanford Research Institute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。1.2.1 以Denning模型为代表的IDS早期技术19841985年，Sytex为SPAWAR（美国海军）开展了

11、一个审计分析项目。他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。特里萨兰特（Teresa Lunt）在Sytex为这个项目工作，后来又去了SRI，在那里她参与并领导了IDES（入侵检测技术专家系统）项目。IDES项目是1984年由乔治敦大学的桃乐茜顿宁（Dorothy Denning）和彼得诺埃曼（PeterNeumann）开始的，是IDS早期研究中最重要的成就之一。IDES模型基于这样的假设：有可能建立一个框架来描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。这个框架由一个使用规则库（规则库描述了已知的违例行为

12、）的专家系统支持。这能防止使用者逐渐训练（误导）系统把非法的行为当成正常的来接受，也就是说让系统“见怪不怪”。1988年，特里萨兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个IDES。该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型的建立和基于规则的特征分析检测技术。系统的框架如图2所示。 图2 IDES结构框架顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。论文中的一些提法看起来很吸引人，但却并没有多少有力的证据，有些想当然。顿宁

13、的模型中有6个主要构件：主体、对象、审计数据、轮廓特征（或可称为“范型”profiles）、异常记录和行为规则。范型（profiles）表示主体的行为特色，也是模型检测技术方面的关键。行为规则描述系统验证一定条件后抽取的行为，他们能“更新范型，检测技术异常行为，能把异常和可能的入侵关联起来并提出报告”。审计纪录由一个行为触发，而且记录主体尝试的行为、行为本身、行动对准的目标、任何可能导致例外的情况以及行为消耗的资源和独特的时间戳标记。审计记录会和范型进行比较（使用适当的规则），那些符合异常条件的事件将被识别出来。这个模型独立于特定的系统平台、应用环境、系统弱点以及入侵的类型，也不需要额外的关于

14、安全机制、系统脆弱性或漏洞攻击方面的知识，他为构建入侵监测系统提供了一个通用的框架。1.2.2 中期：统计学理论和专家系统相结合80年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学理论和专家系统结合在一起的路子。有几个系统，特别是在Haystack和NADIR中，分析引擎把几个商业数据库管理系统（比如Oracle，Sybase）聚合在一起，发挥他们各自的优势。MIDAS由美国国家安全局下属的计算机安全中心开发，用来监控他的Multics系统Dock master。他使用混合的专家系统和统计学分析方法，以及来自Multics应答系统（Answering System）的已检查的审计日

15、志信息，应答系统控制用户的注册（注册信息由其他数据源扩充）。MIDAS是最早基于连接互联网的系统开发的产品之一。Wisdom和Sense，分别由Los Alamos和OakRidge开发，是另一个专家系统和统计学分析方法的混合。他使用非参量的统计技术从历史审计数据中产生规则。就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训练数据的困难、高的误报率和规则库对存储能力的过高需求。直到那时，IDS系统仍旧依靠受保护主机收集的审计数据，但加州大学戴维斯分校开发的网络系统监控器NSM（The Network System Monitor）改变了这个状况。NSM在入侵检测技术技术发展史上是继I

16、DES之后的又一个里程碑，他监控以太网段上的网络流量，并把他作为分析的主要数据源。从当时的检测技术报告上可以看到，NSM检测技术了超过100 000的网络连接，并从中识别出超过300个入侵。今天，大部分商业IDS系统直接使用从网络探测的数据作为他们主要，甚至是惟一的数据源。1.2.3 基于网络的NIDS是目前的主流技术1994年，Mark Crosbie和Gene Spafford建议使用自治代理（Autonomous Agents）以便提高IDS的可伸缩性、可维护性、效率和容错性，这个思想跟上了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多数入侵检测技术系统伸缩性不足的研

17、究成果是1996年提出的GRIDS(Graph-based Intrusion Detection System）系统，该系统对大规模自动或协同攻击的检测技术很有效，这种跨越多个管理区域的自动协同攻击显然是入侵行为发展的方向。1997年，CISCO要求WheelGroup公司将入侵检测技术与他的路由器结合。同年，ISS成功开发了RealSecure，他是在Windows NT下运行的分布式网络入侵检测技术系统，被人们广泛使用。1996年的第一次开发是传统的基于探测器的NIDS（网络入侵检测技术系统，监视整个网络段），在Windows和Solaris 26上运行。1998年后期，RealSecu

18、re发展成为一个混合式的入侵检测技术系统。他对入侵行为具有广泛的反应能力包括断开连接、发送SNMP信息、Email提醒、运行客户程序记录会话内容等，并能根据检测技术自动产生审计策略。NIDS系统由安全控制中心和多个探测器组成。安全控制中心完成整个分布式安全监测预警系统的管理与配置。探测器负责监测其所在网段上的数据流，进行实时自动攻击识别和响应。近年来的技术创新还有：Forrest将免疫原理运用到分布式入侵检测技术中；1998年Ross Anderson和AbidaKhattk将信息检索技术引入这个领域。1.3 本课题研究的途径与意义聚类是模式识别研究中非常有用的一类技术。用聚类算法的异常检测技

19、术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类中，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常还是异常，然后将网络数据划分到各个聚类中，根据聚类的标记来判断网络数据是否异常。本课题是网络入侵检测技术的研究，主要介绍模式识别技术中两种聚类算法，K-means算法和迭代最优化算法，并阐述此算法在入侵检测技术技术中的应用原理，接着分析这两种算法具体应用时带来的利弊，最后针对算法的优缺点提出自己改进的算法，并对此算法进行分析，可以说这种算法是有监督和无监督方法的结合，是K-means算法和迭代最优化算法的折中，是一种较理想的

20、算法。通过研究本课题，可以了解入侵检测技术技术的发展历程，及国内外研究水平的差距，熟悉各种入侵检测技术原理方法的异同，以便今后对某种检测技术方法作进一步的改进时能够迅速切入要点；在对入侵检测技术技术研究的同时，认真学习了模式识别这门课程，这是一门交叉学科，模式识别已经在卫星航空图片解释、工业产品检测技术、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用，但所有这些应用都是和问题的性质密不可分的，学习过程中接触了许多新理论和新方法，其中包括数据挖掘，统计学理论和支持向量机等，极大的拓展了自己的知识面，这所带来的收获已经不仅仅停留在对入侵检测技术技术研究这个层面上。第2章 入侵

21、检测技术原理与功能入侵检测技术（Intrusion Detection）的定义为：识别针对计算机或网络资源的恶意企图和行为，并对此做出反应的过程。IDS则是完成如上功能的独立系统。IDS能够检测技术未授权对象（人或程序）针对系统的入侵企图或行为(Intrusion)，同时监控授权对象对系统资源的非法操作(Misuse)。入侵检测技术作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测技术系统能很好的弥补防火墙的不足，从某种意义上说是防火墙的补充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力（包括安全审计、监视、进攻

22、识别和响应），提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的迹象。入侵检测技术被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。这些都通过它执行以下任务来实现：监视、分析用户及系统活动；系统构造和弱点的审计；识别反映已知进攻的活动模式并向相关人士报警；异常行为模式的统计分析；评估重要系统和数据文件的完整性；操作系统的审计跟踪管理，并识别用户违反安全策略的行为。对一个成功的入侵检测技术系统来讲，它不但可使系统管理员时刻了解网络系统（

23、包括程序、文件和硬件设备等）的任何变更，还能给网络安全策略的制订提供指南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得网络安全。而且，入侵检测技术的规模还应根据网络威胁、系统构造和安全需求的改变而改变。入侵检测技术系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。2.1 入侵检测技术第一步信息收集在现实生活中，警察要证明罪犯有罪，必须先收集证据。只有掌握了充足的证据，才能顺利破案。IDS也是一样。一般来说，IDS通过2种方式获得信息：2.1.1 网络入侵检测技术模块方式当一篇文章从网络的一端传向另一端时，是被封装成一个个小包(叫做报文)来传送的。每

24、个包包括了文章中的一段文字，在到达另一端之后，这些包再被组装起来。因此，我们可以通过检测技术网络中的报文来达到获得信息的目的。一般来说，检测技术方式只能够检测技术到本机的报文，为了监视其他机器的报文，需要把网卡设置为混杂模式。通过在网络中放置一块入侵检测技术模块，我们可以监视受保护机器的数据报文。在受保护的机器将要受到攻击之前，入侵检测技术模块可最先发现它。 实际应用中网络结构千差万别，用户只有根据具体情况分别设计实施方案，才能让网络入侵检测技术模块检测技术到需要保护机器的状况。同时，网络入侵检测技术模块得到的只是网络报文，获得的信息没有主机入侵检测技术模块全面，所检测技术的结果也没有主机入侵

25、检测技术模块准确。网络入侵检测技术模块方式的优点是方便，不增加受保护机器的负担。在网段中只要安装一台网络入侵检测技术模块即可。2.1.2 主机入侵检测技术模块方式另外一种获取信息的方式是主机入侵检测技术模块方式。它是在受保护的机器上安装了主机入侵检测技术模块，专门收集受保护机器上的信息。其信息来源可以是系统日志和特定应用程序日志，也可以是捕获特定的进程和系统调用等等。 采用主机入侵检测技术模块方式的缺点是依赖特定的系统平台。用户必须针对不同的操作系统开发相应的模块。由于一个网络中有多种不同的操作系统，很难保证每个操作系统都有对应的主机入侵检测技术模块，而一个主机入侵检测技术模块只能保护本机，所

26、以在使用上有很大的局限性。此外，它要求在每个机器上安装，如果装机数量大时，对用户来说，是一笔很大的投入。不过，这种模式不受网络结构的限制，在使用中还能够利用操作系统的资源，以更精确地判断出入侵行为。 在具体应用中，以上2种获得信息的方式是互为补充的。 2.1.3 信息来源的四个方面就信息收集来说，内容包括系统、网络、数据及用户活动的状态和行为。而且，需要在计算机网络系统中的若干不同关键点（不同网段和不同主机）收集信息，这除了尽可能扩大检测技术范围的因素外，还有一个重要的因素就是从一个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性却是可疑行为或入侵的最好标识。当然，入侵检测技术很大程度

27、上依赖于收集信息的可靠性和正确性，因此，很有必要只利用当前的优秀软件来报告这些信息。因为黑客经常替换软件以搞混和移走这些信息，例如替换被程序调用的子程序、库和其它工具。黑客对系统的修改可能使系统功能失常并看起来跟正常的一样，而实际上不是。例如，unix系统的PS指令可以被替换为一个不显示侵入过程的指令，或者是编辑器被替换成一个读取不同于指定文件的文件（黑客隐藏了初试文件并用另一版本代替）。这需要保证用来检测技术网络系统的软件的完整性，特别是入侵检测技术系统软件本身应具有相当强的坚固性，防止被篡改而收集到错误的信息。入侵检测技术利用的信息一般来自以下四个方面：1） 系统和网络日志文件黑客经常在系

28、统日志文件中留下他们的踪迹，因此，充分利用系统和网络日志文件信息是检测技术入侵的必要条件。日志中包含发生在系统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人正在入侵或已成功入侵了系统。通过查看日志文件，能够发现成功的入侵或入侵企图，并很快地启动相应的应急响应程序。日志文件中记录了各种行为类型，每种类型又包含不同的信息，例如记录“用户活动”类型的日志，就包含登录、用户ID改变、用户对文件的访问、授权和认证信息等内容。很显然地，对用户活动来讲，不正常的或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权的企图访问重要文件等等。 2）目录和文件中的不期望的改变网络环境中的文件系统包

29、含很多软件和数据文件，包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。目录和文件中的不期望的改变（包括修改、创建和删除），特别是那些正常情况下限制访问的，很可能就是一种入侵产生的指示和信号。黑客经常替换、修改和破坏他们获得访问权的系统上的文件，同时为了隐藏系统中他们的表现及活动痕迹，都会尽力去替换系统程序或修改系统日志文件。3）程序执行中的不期望行为网络系统上的程序执行一般包括操作系统、网络服务、用户起动的程序和特定目的的应用，例如数据库服务器。每个在系统上执行的程序由一到多个进程来实现。每个进程执行在具有不同权限的环境中，这种环境控制着进程可访问的系统资源、程序和数据文件等。一个

30、进程的执行行为由它运行时执行的操作来表现，操作执行的方式不同，它利用的系统资源也就不同。操作包括计算、文件传输、设备和其它进程，以及与网络间其它进程的通讯。 一个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客可能会将程序或服务的运行分解，从而导致它失败，或者是以非用户或管理员意图的方式操作。4）物理形式的入侵信息这包括两个方面的内容，一是未授权的对网络硬件连接；二是对物理资源的未授权访问。黑客会想方设法去突破网络的周边防卫，如果他们能够在物理上访问内部网，就能安装他们自己的设备和软件。依此，黑客就可以知道网上的由用户加上去的不安全（未授权）设备，然后利用这些设备访问网络。例如，用户在

31、家里可能安装Modem以访问远程办公室，与此同时黑客正在利用自动工具来识别在公共电话线上的Modem，如果一拨号访问流量经过了这些自动工具，那么这一拨号访问就成为了威胁网络安全的后门。黑客就会利用这个后门来访问内部网，从而越过了内部网络原有的防护措施，然后捕获网络流量，进而攻击其它系统，并偷取敏感的私有信息等等。2.2 入侵检测技术的第二步信号分析当收集到证据后，用户如何判断它是否就是入侵呢？一般来说，IDS有一个知识库，知识库记录了特定的安全策略。IDS获得信息后，与知识库中的安全策略进行比较，进而发现违反规定的安全策略的行为。定义知识库有很多种方式，最普遍的做法是检测技术报文中是否含有攻击

32、特征。知识库给出何种报文是攻击的定义。这种方式的实现由简单到复杂分了几个层次，主要差别在于检测技术的准确性和效率上。简单的实现方法是把攻击特征和报文的数据进行了字符串比较，发现匹配即报警。这种做法使准确性和工作效率大为降低。为此，开发人员还有很多工作要做，如进行校验和检查，进行IP碎片重组或TCP重组，实现协议解码等等。 构建知识库的多种方法只是手段，目的是准确定义入侵行为，这是IDS的核心，也是IDS和普通的网上行为管理软件的差别所在。虽然它们都能监视网络行为，但是IDS增加了记录攻击特征的知识库，所以比网上行为管理软件提高了一个层次。而定义攻击特征是一项专业性很强的工作，需要具有丰富安全背景的专家从众多的攻击行为中提炼出通用的攻击特征，攻击特征的准确性直接决定了IDS检测技术的准确性。 对上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析