聚类算法在网络入侵检测技术中的应用.doc
《聚类算法在网络入侵检测技术中的应用.doc》由会员分享，可在线阅读，更多相关《聚类算法在网络入侵检测技术中的应用.doc（25页珍藏版）》请在冰豆网上搜索。
目录
第1章引言 1
1.1入侵检测技术的提出 1
1.2入侵检测技术技术研究史 3
1.2.1以Denning模型为代表的IDS早期技术 3
1.2.2中期：
统计学理论和专家系统相结合 5
1.2.3基于网络的NIDS是目前的主流技术 5
1.3本课题研究的途径与意义 6
第2章入侵检测技术原理与功能 8
2.1入侵检测技术第一步——信息收集 9
2.1.1网络入侵检测技术模块方式 9
2.1.2主机入侵检测技术模块方式 9
2.1.3信息来源的四个方面 10
2.2入侵检测技术的第二步——信号分析 11
2.2.1模式匹配 12
2.2.2统计分析 12
2.2.3完整性分析 13
2.3入侵检测技术的功能概要 13
第3章入侵检测技术技术分析与数据分析模型 15
3.1入侵分析按其检测技术规则分类 16
3.1.1基于特征的检测技术规则 16
3.1.2基于统计的检测技术规则 16
3.2一些新的分析技术 16
3.2.1统计学方法 16
3.2.2入侵检测技术的软计算方法 17
3.2.3基于专家系统的入侵检测技术方法 17
3.3建立数据分析模型 18
3.3.1测试数据的结构 18
第4章聚类算法在网络入侵检测技术中的作用 21
4.1聚类算法简介 21
4.1.1K-means算法 22
4.1.2迭代最优化算法 23
总结与展望 24
致谢 26
参考文献 27
24
第1章引言
1.1入侵检测技术的提出
随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息,然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。
网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。
在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。
在信息处理能力提高的同时，系统的连结能力也在不断的提高。
但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻：
具WarroonResearch的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。
据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。
Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。
而据统计在这整个行动中美国经济共损失了十多亿美金。
由于业界人心惶惶，亚马逊（A）、AOL、雅虎（Yahoo!
）、eBay的股价均告下挫，以科技股为主的纳斯达克指数（Nasdaq）打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。
遇袭的网站包括雅虎、亚马逊和B、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。
目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思：
1993年底，中科院高能所就发现有"黑客"侵入现象，某用户的权限被升级为超级权限。
当系统管理员跟踪时，被其报复。
1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。
1996年，高能所再次遭到"黑客"入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。
同期，国内某ISP发现"黑客"侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。
进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：
7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；
8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；
9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。
每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。
进入新世纪之后，上述损失将达2000亿美元以上。
看到这些令人震惊的事件，不禁让人们发出疑问：
“网络还安全吗？
”
试图破坏信息系统的完整性、机密性、可信性的任何网络活动都为网络入侵。
防范网络入侵最常用的方法就是防火墙。
防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。
它具有简单实用的特点，并且透明度高，可以在修改有网络应用系统的情况下达到一定的安全要求。
但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。
首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。
其次，防火墙对来自内部的攻击无能为力。
它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。
对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。
在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。
而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。
1.2入侵检测技术技术研究史
最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。
审计是安德森提出要建立一个安全监督系统，保护那些系统敏感信息。
他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。
70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。
1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。
报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察——也就是统计行为，以发现反常的行为。
当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。
安全官员还能利用详细的观测资料做后续的评估。
安德森的报告为SRI（StanfordResearchInstitute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。
在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。
1.2.1以Denning模型为代表的IDS早期技术
1984～1985年，Sytex为SPAWAR（美国海军）开展了一个审计分析项目。
他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。
特里萨·兰特（TeresaLunt）在Sytex为这个项目工作，后来又去了SRI，在那里她参与并领导了IDES（入侵检测技术专家系统）项目。
IDES项目是1984年由乔治敦大学的桃乐茜·顿宁（DorothyDenning）和彼得·诺埃曼（PeterNeumann）开始的，是IDS早期研究中最重要的成就之一。
IDES模型基于这样的假设：
有可能建立一个框架来描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。
这个框架由一个使用规则库（规则库描述了已知的违例行为）的专家系统支持。
这能防止使用者逐渐训练（误导）系统把非法的行为当成正常的来接受，也就是说让系统“见怪不怪”。
1988年，特里萨·兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个IDES。
该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型的建立和基于规则的特征分析检测技术。
系统的框架如图2所示。
审计数据源
模式匹配器
轮廓特征引擎
异常检测器
警告/报告
产生器
策略规则
图2IDES结构框架
顿宁的模型假设：
入侵行为明显的区别于正常的活动，入侵者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。
论文中的一些提法看起来很吸引人，但却并没有多少有力的证据，有些想当然。
顿宁的模型中有6个主要构件：
主体、对象、审计数据、轮廓特征（或可称为“范型”profiles）、异常记录和行为规则。
范型（profiles）表示主体的行为特色，也是模型检测技术方面的关键。
行为规则描述系统验证一定条件后抽取的行为，他们能“……更新范型，检测技术异常行为，能把异常和可能的入侵关联起来并提出报告”。
审计纪录由一个行为触发，而且记录主体尝试的行为、行为本身、行动对准的目标、任何可能导致例外的情况以及行为消耗的资源和独特的时间戳标记。
审计记录会和范型进行比较（使用适当的规则），那些符合异常条件的事件将被识别出来。
这个模型独立于特定的系统平台、应用环境、系统弱点以及入侵的类型，也不需要额外的关于安全机制、系统脆弱性或漏洞攻击方面的知识，他为构建入侵监测系统提供了一个通用的框架。
1.2.2中期：
统计学理论和专家系统相结合
80年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学理论和专家系统结合在一起的路子。
有几个系统，特别是在Haystack和NADIR中，分析引擎把几个商业数据库管理系统（比如Oracle，Sybase）聚合在一起，发挥他们各自的优势。
MIDAS由美国国家安全局下属的计算机安全中心开发，用来监控他的Multics系统——Dockmaster。
他使用混合的专家系统和统计学分析方法，以及来自Multics应答系统（AnsweringSystem）的已检查的审计日志信息，应答系统控制用户的注册（注册信息由其他数据源扩充）。
MIDAS是最早基于连接互联网的系统开发的产品之一。
Wisdom和Sense，分别由LosAlamos和OakRidge开发，是另一个专家系统和统计学分析方法的混合。
他使用非参量的统计技术从历史审计数据中产生规则。
就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训练数据的困难、高的误报率和规则库对存储能力的过高需求。
直到那时，IDS系统仍旧依靠受保护主机收集的审计数据，但加州大学戴维斯分校开发的网络系统监控器——NSM（TheNetworkSystemMonitor）改变了这个状况。
NSM在入侵检测技术技术发展史上是继IDES之后的又一个里程碑，他监控以太网段上的网络流量，并把他作为分析的主要数据源。
从当时的检测技术报告上可以看到，NSM检测技术了超过100000的网络连接，并从中识别出超过300个入侵。
今天，大部分商业IDS系统直接使用从网络探测的数据作为他们主要，甚至是惟一的数据源。
1.2.3基于网络的NIDS是目前的主流技术
1994年，MarkCrosbie和GeneSpafford建议使用自治代理（AutonomousAgents）以便提高IDS的可伸缩性、可维护性、效率和容错性，这个思想跟上了计算机科学中其他领域的研究的潮流，比如说软件代理。
另
升级会员 