网络入侵检测技术.docx
《网络入侵检测技术.docx》由会员分享，可在线阅读，更多相关《网络入侵检测技术.docx（15页珍藏版）》请在冰豆网上搜索。
网络入侵检测技术
网络入侵检测技术
一、入侵检测发展史
1980年，在JamesP.Anderson的文章“ComputerSecurityThreatMonitoringandSurveillance”中[1]，“入侵检测”的概念首次被提出。
为开发基于主机的IDS提供了最初的理论基础。
1985年，美国国防部计算机安全中心（NCSC）正式颁布了《可信任的计算机系统评估标准》（TrustedComputerSystemEvalutionCriteria,TCSEC）。
TCSEC为预防非法入侵定义了四类七个安全级别。
由低到高分别是D、C1、C2、B1、B2、B3、A1，规定C2以上级别的操作系统必须具备审计功能，并记录日志。
TCSEC标准的发布对操作系统、数据库等方面的安全发展起到了很大的推动作用，是信息安全发展史上的一个里程碑。
1988年，莫里斯（Morris）蠕虫感染了Internet上近万台计算机，造成Internet持续两天停机。
美国空军、国家安全局、加州大学戴维斯分校等开展对分布式入侵检测系统（DIDS）的研究，将基于主机和基于网络的检测方法集成到一起1990年，加州大学戴维斯分校的L.T.Heberlein等人提出了基于网络的入侵检测概念，即将网络数据流作为审计数据来追踪可疑的行为。
1992年，加州大学的Koralllgun开发出实时入侵检测系统USTAT（aStateTransitionAnalysisToolforUNIX）。
他们提出的状态转换分析法，使用系统状态与状态转换的表达式描述和检测已知的入侵手段，使用反映系统状态转换的图表直观地记载渗透细节。
1994年，普渡大学计算机系COAST实验室的MarkCrosbie和GeneSpafford研究了遗传算法在入侵检测中的应用。
使用遗传算法构建的智能代理（AutonomousAgents）程序能够识别入侵行为，而且这些agents具有“学习”用户操作习惯的初步智能。
1996年，加州大学戴维斯分校的Staniford等研究人员提出了基于图表的入侵检测系统（Graph-basedIntrusionDetectionSystem，GrIDS）原理，并完成了原型的设计和实现。
1996年，Forrest将免疫原理运用到分布式入侵检测领域。
此后，在IDS中还出现了遗传算法、遗传编程的运用。
1997年3月，美国国防部高级研究计划局（DARPA）开始着手通用入侵检测框架CIDF（CommonIntrusionDetectionFramework）标准的制定，加州大学戴维斯分校的安全实验室完成了CIDF标准。
1997年9月，I公司推出基于主机的IDS（KSM，KaneSecurityMonitor），agents技术第一次出现在IDS的市场产品中。
1998年1月，哥伦比亚大学的WenkeLee和SalvatoreJ.Stolfo提出和实现了在CIDF上实现多级IDS，并将数据挖掘技术应用到入侵检测中，利用数据挖掘中的关联规则等算法提取程序和用户的行为特征，并根据这些特征生成安全事件的分类模型。
1998年2月，Cisco通过收购WheelGroup公司成功挺进入侵检测市场。
NetRanger的入侵检测技术被集成到Cisco的系列路由器中，NetRanger（后被更名为SecureIDS）成为Cisco公司的招牌产品。
1998年12月，MartyRoesch推出了Snort第一版，基于网络的IDS，采用误用检测技术。
目前已成为应用最广泛的IDS之一。
2000年2月，CA（ComputerAssociatesInternational）公司发布了抵御黑客攻击的新工具SessionWall-3（后更名为eTrustIntrusionDetection）。
eTrust可以自动识别网络使用模式和网络使用具体细节，做到全面地监控网络数据，可以对Web和公司内部网络访问策略实施监视和强制实施。
eTrust是新一代网络保护产品的代表。
2000年7月，Cisco公司和ClickNet（ClickNetSecurityTechnologies）公司宣布联合开发用于电子商务的入侵检测系统。
ClickNet公司的基于主机的入侵检测产品Entercept技术先进，同Cisco公司的安全入侵检测系统（SecureIDS）软件结合以后成为一套全方位的安全系列产品。
2001年1月，ClickNet公司改名为EnterceptSecurityTechnology公司。
该公司的IDS产品Entercept的新版本检测水平进一步提高，并首先提出入侵防御（IP，IntrusionPrevention）概念。
由于已有的入侵检测系统是被动的进行系统安全防护，当发现攻击而不能及时做出防护反应时，攻击的成功率会随着时间的增加而提高。
入侵防御系统IPS（IntrusionPreventionSystem）在系统请求被执行之前，即在网络系统受到攻击之前，将请求与防御数据库中的预定义内容进行比较，然后根据相应的安全级别采取不同的行动，如执行请求、忽略请求、终止请求或记入日志等。
2001年5月，DipankarDasgupta和FabioGonzalez研究了入侵检测的智能决策支撑系统。
2002年3月，ISS公司发布集成了NetworkICE公司BlackICE技术的网络安全产品：
RealSecureNetworkSensor7.0，具备更详细的协议分析功能和更出色的碎片重组能力。
如果配合ISS公司同时发布的RealSecureGuard来实现与防火墙的联动，则可以利用协议分析技术来实时分析是否存在对网络的非法入侵。
当检测到非法入侵时做到彻底切断这种网络攻击。
2002年6月，Entercept公司开始提供更先进的入侵防御软件，能够在黑客的攻击造成伤害之前采取行动来阻止其发生，增加了名为VaultMode的先进封锁功能，能够锁住重要的操作系统文件和设置，防止主机被攻击。
2003年以来，全球众多安全研究机构都在开展入侵检测的研究，许多新的入侵检测技术被应用到IDS产品中。
如对入侵防御系统IPS的讨论[2-5]；对于入侵检测中的误报问题，Cheung、Steven等人提出入侵容忍（Intrusiontolerance）的概念，在IDS中引入了容错技术；
2006年，MortonSwimmer针对现代数据网络的分布式防御提出一个危险模型的免疫系统等[6]。
入侵检测技术的发展阶段
第一阶段（20世纪80年代）：
主要是主机日志分析和模式匹配技术研究，推出的IDES（IntrusionDetectionExpertSystem，入侵检测专家系统）、DIDS（DistributedIntrusionDetectionSystem，分布式入侵检测系统）、NSM（NetworkSecurityMonitor，网络安全监控系统）等基本上都是实验室系统[7][8]。
第二阶段（20世纪90年代）：
主要研究网络数据包截获、主机系统的审计数据分析，以及基于网络的IDS（NIDS）和基于主机的IDS（HIDS）的明确分工和合作技术。
代表性产品有早期的ISSRealSecure（v6.0之前）、Cisco（1998年收购WheelGroup获得）、Snort（2000年开发代码并免费）等。
目前国内绝大多数厂家沿用的是Snort核心。
第三阶段（20世纪90年代后期）：
主要涉及协议分析、行为异常分析技术。
协议分析技术的误报率是传统模式匹配的1/4左右。
行为异常分析技术的出现则赋予了第三代IDS系统识别未知攻击的能力。
代表性产品有NetworkICE（2001年并入ISS）、安氏LinkTrustNetworkDefender（v6.6）、NFR（第二版）等。
入侵检测技术从出现到现在已有20多年，IDS系统已从有线IDS发展到无线IDS，并出现了IPS（IntrusionPreventionSystem，入侵防御系统）。
二、入侵检测系统定义与功能
入侵检测：
对入侵行为的发觉，它通过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。
入侵检测系统：
进行入侵检测的软件与硬件的组合。
入侵检测系统功能：
（1）监控并分析系统及用户活动；
（2）检查系统配置和漏洞；
（3）评估系统关键资源和数据文件的完整性；
（4）识别已知的攻击行为以及统计分析异常行为；
（5）对操作系统进行日志管理，并识别违反安全策略的用户活动；
（6）针对已发现的攻击行为做出适当的反应，如警告、终止进程等。
三、入侵检测系统分类
A、根据信息源分类
1、基于网络的入侵检测系统（NIDS，NetworkIntrusionDetectionSystem）
NIDS能够截获网络中的数据包，提取其特征并与知识库中已知的攻击签名相比较，从而达到检测的目的。
优点：
（1）监测速度快。
基于网络的监测器通常能在微秒或秒级发现问题。
而大多数基于主机的产品则要依靠对最近几分钟内审计记录的分析。
（2）隐蔽性好。
一个网络上的监测器不像一个主机那样显眼和易被存取，因而也不那么容易遭受攻击。
此外监视器不运行其他的应用程序，不提供网络服务，可以不响应其他计算机，因此可以做得比较安全。
（3）视野更宽。
可以检测一些主机检测不到的攻击，如泪滴（teardrop）攻击，基于网络的SYN洪水等。
还可以检测不成功的攻击和恶意企图。
（4）较少的监测器。
使用一个监测器就可以保护一个共享的网段。
（5）攻击者不易转移证据。
基于网络的IDS使用正在发生的网络通信进行实时攻击的检测。
所以攻击者无法转移证据。
（6）操作系统无关性。
基于网络的IDS作为安全监测资源，与主机的操作系统无关。
（7）不占用被保护的设备上的任何资源。
可以配置在专门的机器上。
主要缺点：
（1）只能监视本网段的活动，精确度不高。
（2）在交换环境下难以配置。
（3）防入侵欺骗的能力较差。
（4）难以定位入侵者。
2、基于主机的入侵检测系统（HIDS，HostIntrusionDetectionSystem）
数据来源于主机系统，通常是系统日志和审计记录。
优点：
（1）能确定攻击是否成功。
主机是攻击的目的所在，所以基于主机的IDS使用含有已发生的事件信息，可以比基于网络的IDS更加准确地判断攻击是否成功。
（2）监控粒度更细。
基于主机的IDS，监控的目标明确，视野集中，它可以检测一些基于网络的IDS不能检测的攻击。
它可以很容易地监控系统的一些活动，如对敏感文件、目录程序或端口的存取。
（3）配置灵活。
每一个主机有其自己的基于主机的IDS，用户可根据自己的实际情况对其进行配置。
（4）可用于加密的以及交换的环境。
加密和交换设备加大了基于网络IDS收集信息的难度，但由于基于主机的IDS安装在要监控的主机上，根本不会受这些因素的影响。
（5）对网络流量不敏感。
基于主机的IDS一般不会因为网络流量的增加而丢掉对网络行为的监视。
（6）不需要额外的硬件。
主要缺点：
（1）占用主机的资源，在服务器上产生额外的负载；
（2）缺乏平台支持，可移植性差，因而应用范围受到严重限制；
（3）实时性差，依赖于主机及其审计子系统。
B根据数据分析方法分类
1、异常入侵检测系统
含义：
根据异常行为和使用计算机资源的情况检测出来的入侵。
即检测与正常行为相违背的行为
优点：
（1）它能够发现任何企图发掘、试探系统最新和未知的行为。
（2）在某种程度上，它较少的依赖于特定的操作系统。
（3）对于合法用户超越其权限的违法行为的检测能力大大增强。
缺点：
（1）较高的虚警概率，因为信息系统所有的正常活动不一定在学习建模阶段就全部了解；
（2）建立用户正常行为轮廓的时间周期较长，系统的诡计难于计算和更新，而且并非所有的入侵都表现为异常；在学习阶段，信息系统正遭受着非法的入侵攻击，入侵检测系统的学习结果中包含了相关入侵行为的信息，这样，系统将无法检测到该种入侵行为。
（3）需要不断地在线学习，系统的活动行为是不断变化的。
2、误用入侵检测系统
含义：
利用已知系统和应用软件的弱点攻击模式来检测入侵。
即直接检测不利的或不可接受的行为。
误用检测基于已知的系统缺陷和入侵模式，故又称特征检测。
它能够准确地检测到某些特征的攻击，但却过度依赖事先定义好的安全策略，所以无法检测系统未知的攻击行为，从而产生漏警。
优点：
具有非常低的虚警率
因为误用入侵检测系统从入侵行为中提取入侵特征来创建规则库，例如PingofDeath攻击采用了分片技术传送长度超过65535（IP协议中规定最大的IP包长为65535个字节）Ping包来瘫痪目标主机的攻击手段，因此可根据该特点，配置误用入侵检测的相应规则，这样当受到这样的数据包时，则产生报警。
故而，建立在此技术基础上的入侵检测系统能够检测已经发现的攻击行为，具有非常低的虚警率，
缺点：
规则库需要不断更新
误用入侵检测系统只能检测分析已知的攻击模式，当出现针对新漏洞的攻击手段或针对旧漏洞的新攻击方式时，需要由人工或者其它机器学习系统得出新攻击的模式，添加到误用规则库中，才能使系统具备检测新的攻击手段的能力，这一点如同杀毒软件一样，需要及时不断地升级，才能保证系统检测能力的完备性。
对入侵特征的精确描述也不是一件易事。
误用入侵检测技术检测内部用户的滥用权限的活动将变的相当困难，因为通常该种行为并未利用任何系统缺陷。
C、根据体系结构分类
1、集中式入侵检测系统
所有数据的采集和分析活动均是由一台主机来独立地完成的。
适用于网络环境比较简单的情况。
缺点：
数据截获处理能力、全局性攻击抵御能力和系统的自身抗攻击能力都比较弱。
2、分布式入侵检测系统
由分布在一个大型网络中的多个入侵检测系统（IDS）所构成的有机系统。
该系统中的IDS通过彼此间的通信和协调来协同展开各种数据采集，分析和事件检测活动，共同实现对整个网络全面而有效的监控。
D、根据响应方式分类
1、被动响应系统
被动响应系统只会发出警告通知，将发生的不正常情况报告给系统管理员，本身并不试图降低所造成的破坏，更不会主动对攻击者采取反击行为。
2、主动响应系统
通过调整被攻击系统的状态，阻止或者减轻攻击影响，如：
断开网络连接、增加安全日志、杀死可疑进程等。
四、入侵检测主体技术
A异常检测技术
1、含义：
根据使用者的行为或资源使用情况来判断是否入侵，所以也被称为基于行为的检测（Behaviour-basedDetection）。
2、特点：
与系统相对无关，通用性较强。
它甚至有可能检测出以前未出现过的检测方法，不像基于知识的检测（误用检测）那样受已知脆弱性的限制。
3、缺点：
（1）因为不可能对整个系统内的所有用户行为进行全面的描述，况且每个用户的行为是经常改变的，所以它的主要缺陷在于误检率太高，尤其在用户数目众多，或工作目的经常改变的环境中。
（2）其次由于统计简表要不断更新，入侵者如果知道某系统在检测器的监视之下，他们能慢慢地训练检测系统，以至于最初认为是异常的行为，经一段时间训练后也认为是正常的了。
4、异常检测步骤（anomalydetectionapproach）：
⑴训练阶段，总结正常操作或通讯应该具有的特征，例如特定用户的操作习惯与某些操作的频率等。
⑵测试阶段，在得出正常操作的模型后，对后续的操作或通讯进行监视，一旦发现偏离正常统计学意义上的操作模式，即进行报警。
5、进行异常检测的重要前提：
入侵活动（intrusiveactivity）是异常活动（anomalousactivity）的一个子集。
如果一个入侵者入侵一个主机系统时，并不知道合法用户的活动模式，则入侵者的活动被检测为异常的可能性很大。
6、注意：
然而入侵活动并不总是与异常活动一致。
对此有四种可能的活动情况：
⑴入侵但非异常：
根据已知的异常无法检测出这类入侵，入侵检测系统因此出现漏报入侵的情况。
⑵非入侵但异常：
这类活动并非入侵，但属于异常活动，因此入侵检测系统出现误报入侵的情况。
⑶非入侵且非异常：
这类活动不属于入侵因此不被报告为入侵活动。
⑷入侵且异常：
这类活动是入侵且属于异常。
为了降低漏报率，可将判断异常的门限值降低，但这会增加误报率和减弱入侵检测的自动化机制功效，并给安全管理员带来额外的负担，安全管理员必须调查每一个报告事件，从而抛弃误报事件。
7、异常检测主体技术
基于统计学的异常检测技术；
基于机器学习的异常检测技术；
基于模式预测的异常检测技术；
基于遗传算法的异常检测技术；
基于免疫系统的异常检测技术；
基于文件完整性检查的异常检测技术；
基于规范的异常检测技术；
基于数据挖掘的异常检测技术。
（1）基于统计学的异常检测技术
基于统计学的异常检测（StatisticalAnomalyDetection）利用统计分析技术建立系统或网络的正常活动模型，将系统或网络的活动与正常活动模型比较来检测渗透和攻击。
优点：
如果训练数据被正确选择，这些特征则被认为是稳定的。
这种稳定性使得维护一个入侵检测系统变得相对容易，这也意味着不需要频繁地进行模式的更新。
缺点：
①假定建立模型使用的数据是纯净的，然而实际情况并非如此。
②传统的统计量度往往不能反映事件间的顺序，而这在入侵检测中恰恰是值得关注和考虑的。
③对于设计者来说，为统计量度选择合适的阈值是很困难的。
④系统的正常活动行为可能与异常行为存在交迭。
当一个攻击落在正常行为的范围中时，这种攻击将不被发现从而出现漏报现象；同时合法用户的行为也可能偏离正常轨迹（例如用户晚上加班工作，或忘记密码口令，或开始一个新的应用等），从而引起检测系统的误报。
（2）基于机器学习的异常检测技术
含义：
机器学习是人工智能和统计学的结合物，使用程序或系统来模拟或学习人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身在完成某个任务或一组任务的性能。
方法：
①基于系统调用序列分析（systemcallbasedsequenceanalysis）
通过学习系统行为来识别偏离正常状况的重要行为。
▲将人类免疫系统（humanimmunesystem）原理类推至入侵检测中[11]，通过分析在固定长度的系统调用序列中的相关性，产生一个正常轮廓模型。
当某调用序列偏离正常轮廓模型时，即认为受到攻击。
▲滑动窗口技术（slidingwindowmethod）。
以某滑动窗口扫描正常的系统调用序列数据，产生正常数据的短序列集合；然后以同样的方法扫描入侵数据，产生一组短序列，在正常集合中查找产生的每个序列，如果有则认为属于正常，否则判为异常。
基于系统调用序列分析技术的缺点：
▲对于每个系统调用都要进行计算，降低了检测系统的功效。
▲由于系统调用本身没有规律性，很难区分正常系统调用和异常系统调用，从而导致较高的误报率。
②贝叶斯网络（Bayesiannetworks）
贝叶斯网络：
一种基于概率的不确定性推理网络，是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。
贝叶斯网络方法的精确性依赖于目标系统的行为模型，模型不准确则检测也将不准确，然而对于系统或网络选择一个准确的行为模型是非常困难的。
③主成分分析（PCA，Principalcomponentsanalysis）
含义：
在低维子空间表示高维数据，使得在误差平方和的意义下低维表示能够最好的描述原始数据。
主成分分析是构造原随机变量的一系列线性组合，使各线性组合彼此不相关，且尽可能的反映原变量的信息，即方差最大。
将
个有相互关系的随意变量，转换为
个无关联的变量，这些无关联的变量是原始变量的线性组合，并以一个简化的数据形式表示[15，16]。
。
④马尔可夫模型（Markovmodels）
含义：
马尔可夫链模型可以用来表示系统的正常模式，通过对系统实际观察到的行为的分析，推导出正常模式的马尔可夫链模型对实际行为的支持程度，从而判断异常。
具体研究成果：
Ye等人提出了一个基于马尔可夫链的异常检测技术[23]。
Yeung等人提出了一个应用隐马尔可夫模型（hiddenMarkovmodel，HMM）的基于profiling系统调用序列和shell命令序列的异常检测。
徐明等人在现有的单层马尔可夫链异常入侵检测模型上，提出一个两层马尔可夫链异常入侵检测模型，将性质上有较大差异的两个过程，不同的请求和同一请求内的系统调用序列分为两层，分别用不同的马尔可夫链进行处理[24]。
（3）基于模式预测的异常检测技术
Teng和Chen[25]提出一种基于时间推理的方法，利用时间规则描述用户的正常行为模式，利用已发生事件对未来事件进行预言。
规则通过归纳学习产生，包括已经发生的事件（左侧）和随后发生的事件及其可能性（右侧）两部分。
如果发生的事件与某个规则左侧相匹配，但随后的行为不符合（有较大的统计偏离）规则右侧的预言，则将该事件看作是入侵行为。
该方法对用户行为的变化具有较好的适应性；能够检测到在IDS预测规则学习时期试图训练系统的入侵者，具有较好的自身防御能力，检测速度快。
（4）基于遗传算法的异常检测技术
Crosbie和Spa-fford[26]提出利用遗传编程的学习能力构建基于自治代理的IDS，并给出了如何使用自动定义功能（automaticallydefinedfunc-tions）改进遗传编程对单一类型函数的依赖性，使其能在确保类型安全的同时处理多种数据类型。
他们的实验表明，遗传编程可以作为一个训练自治代理来检测入侵行为的学习范例。
遗传算法比传统搜索方法尽管具有更强的鲁棒性，可以提高IDS的检测效率，减少错误率以及剔除无用的分析项，使IDS的运行时间得到优化。
（5）基于免疫系统的异常检测技术
通过区分自我和非自我识别异常模式。
首先，定义系统的正常模式库（self模式库），而后随机产生的许多模式同每一个已定义的Self模式进行比较，若它匹配了任何一个Self模式，则该随机模式被丢弃。
否则，将其作为一个成熟识别器用于匹配系统中将出现的异常模式。
（6）基于文件完整性检查的异常检测技术
通过对敏感文件和目录进行加密核查来发现其中的异常变化，如：
未授权的软件安装、入侵后留下的后门和系统文件破坏等。
Tripwire首先扫描整个系统，并基于文件系统状态和配置文件的完整性核查结果建立一个基准数据库。
此后，Tripwire定期对当前系统进性文件完整性检查，并将结果与基准数据库的记录进行比较，若不符合则认为出现完整性异常。
该方法采用Hash函数和信息诊断算法进行加密核查，可对入侵过程中造成的文件破坏或改动做出有效的检测。
但是，它要求首次核查的系统必须是干净的。
另外，系统正常的更新操作可能带来大量的文件更新，导致基准数据库的重建。
（7）基于规范的异常检测技术
建立特权程序安全预期行为的规范，并将实际审计跟踪记录与之比较，判断是否异常。
Ko等还给出一种规范语言PE-grammars来描述特权程序中有关安全的正常操作序列，即踪迹（trace）。
将每个特权程序的实际操作序列与其预定义的踪迹进行比较，如不相符则认为是入侵行为，这被称为踪迹策略（tracepolicy）。
（8）基于数据挖掘的异常检测技术
采用各种特定的算法（如分类算法，关联分析算，序列分析算法）在海量数据中发现有用的可理解的数据模式，从中发现入侵检测行为[42]。
B误用检测技
升级会员 