网络信息安全基于SVM的IDS关键技术.docx
《网络信息安全基于SVM的IDS关键技术.docx》由会员分享,可在线阅读,更多相关《网络信息安全基于SVM的IDS关键技术.docx(11页珍藏版)》请在冰豆网上搜索。
网络信息安全基于SVM的IDS关键技术
网
络
信
息
安
全
论
文
基于SVM的IDS关键技术2
1、SVM和IDS介绍2
1.1SVM(supportvectormachine支持向量机)2
1.2SVM的主要思想可以概括为两点:
2
1.3SVM的一般特征3
1.4SVM原理简介3
2、IDS入侵检测3
2.1什么是入侵检测系统4
2.2入侵检测的任务4
2.3入侵检测的分类5
2.4入侵检测系统的结构6
2.4主要入侵检测技术7
2.5当前入侵检测技术的不足8
2.6入侵检测技术发展方向8
2.7入侵检测算法8
3结论11
基于SVM的IDS关键技术
1、SVM和IDS介绍
1.1SVM(supportvectormachine支持向量机)
支持向量机SVM(SupportVectorMachine)作为一种可训练的机器学习方法,依靠小样本学习后的模型参数进行导航星提取,可以得到分布均匀且恒星数量大为减少的导航星表
基本情况 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。
其原理也从线svm产品性可分说起,然后扩展到线性不可分的情况。
甚至扩展到使用非线性函数中去,这种分类器被称为支持向量机(SupportVectorMachine,简称SVM)。
支持向量机的提出有很深的理论背景。
支持向量机方法是在近年来提出的一种新方法。
1.2SVM的主要思想可以概括为两点:
(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;
(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。
在学习这种方法时,首先要弄清楚这种方法考虑问题的特点,这就要从线性可分的最简单情况讨论起,在没有弄懂其原理之前,不要急于学习线性不可分等较复杂的情况,支持向量机在设计时,需要用到条件极值问题的求解,因此需用拉格朗日乘子理论,但对多数人来说,以前学到的或常用的是约束条件为等式表示的方式,但在此要用到以不等式作为必须满足的条件,此时只要了解拉格朗日理论的有关结论就行。
1.3SVM的一般特征
(1)SVM学习问题可以表示为凸优化问题,因此可以利用已知的有效算法发现目标函数的全局最小值。
而其他分类方法(如基于规则的分类器和人工神经网络)都采用一种基于贪心学习的策略来搜索假设空间,这种方法一般只能获得局部最优解。
(2)SVM通过最大化决策边界的边缘来控制模型的能力。
尽管如此,用户必须提供其他参数,如使用核函数类型和引入松弛变量等。
(3)通过对数据中每个分类属性引入一个哑变量,SVM可以应用与分类数据。
(4)SVM不仅可以用在二类问题,还可以很好的处理多类问题。
1.4SVM原理简介
SVM方法是通过一个非线性映射p,把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间),使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题.简单地说,就是升维和线性化.升维,就是把样本向高维空间做映射,一般情况下这会增加计算的复杂性,甚至会引起“维数灾难”,因而人们很少问津.但是作为分类、回归等问题来说,很可能在低维样本空间无法线性处理的样本集,在高维特征空间中却可以通过一个线性超平面实现线性划分(或回归).一般的升维都会带来计算的复杂化,SVM方法巧妙地解决了这个难题:
应用核函数的展开定理,就不需要知道非线性映射的显式表达式;由于是在高维特征空间中建立线性学习机,所以与线性模型相比,不但几乎不增加计算的复杂性,而且在某种程度上避免了“维数灾难”.这一切要归功于核函数的展开和计算理论. 选择不同的核函数,可以生成不同的SVM,常用的核函数有以下4种:
(1)线性核函数K(x,y)=x·y;
(2)多项式核函数K(x,y)=[(x·y)+1]d; (3)径向基函数K(x,y)=exp(-|x-y|^2/d^2) (4)二层神经网络核函数K(x,y)=tanh(a(x·y)+b).
2、IDS入侵检测
IDS是英文“IntrusionDetectionSystems”的缩写,中文意思是“入侵检测系统”。
专业上讲就是依照一定的安全策略,通过软、硬件,对网络、系统的运行状况进行监视,尽可能发现各种攻击企图、攻击行为或者攻击结果,以保证网络系统资源的机密性、完整性和可用性。
做一个形象的比喻:
假如防火墙是一幢大楼的门锁,那么IDS就是这幢大楼里的监视系统。
一旦小偷爬窗进入大楼,或内部人员有越界行为,只有实时监视系统才能发现情况并发出警告。
2.1什么是入侵检测系统
入侵检测系统是一套监控计算机系统或网络系统中发生的事件,根据规则进行安全审计的软件或硬件系统。
生的事件,根据规则进行安全审计的软件或硬件系统。
入侵检测系统的工作原理
1)信息收集信息收集
(1)系统和网络日志文件
(2)目录和文件中的不期望的改变(3)程序执行中的不期望行为(4)物理形式的入侵信息
2)信号分析信号分析
(1)模式匹配:
模式匹配:
模式匹配
(2)统计分析统计分析(3)完整性分析完整性分析
2.2入侵检测的任务
检测来自内部的攻击事件和越权访问
–85%以上的攻击事件来自于内部的攻击%–防火墙只能防外,难于防内防火墙只能防外,
入侵检测系统作为防火墙系统的一个有效的补充
–入侵检测系统可以有效的防范防火墙开放的服务入侵–通过事先发现风险来阻止入侵事件的发生,提前发现试图攻击或滥用网络通过事先发现风险来阻止入侵事件的发生,
系统的人员。
系统的人员。
–检测其它安全工具没有发现的网络工具事件。
检测其它安全工具没有发现的网络工具事件。
–提供有效的审计信息,详细记录黑客的入侵过程,从而帮助管理员发现网提供有效的审计信息,详细记录黑客的入侵过程,络的脆弱性。
络的脆弱性。
–网络中可被入侵者利用的资源–在一些大型的网络中,管理员没有时间跟踪系统漏洞并且安装相应的系统在一些大型的网络中,补丁程序。
补丁程序。
–用户和管理员在配置和使用系统中的失误。
用户和管理员在配置和使用系统中的失误。
3–对于一些存在安全漏洞的服务、协议和软件,用户有时候不得不使用。
对于一些存在安全漏洞的服务、协议和软件,用户有时候不得不使用。
2.3入侵检测的分类
根据其采用的技术可以分为异常检测和特征检测。
(1)异常检测:
异常检测的假设是入侵者活动异常于正常主体的活动,建立正常活动的“活动简档”,当前主体的活动违反其统计规律时,认为可能是“入侵”行为。
通过检测系统的行为或使用情况的变化来完成
(2)特征检测:
特征检测假设入侵者活动可以用一种模式来表示,然后将观察对象与之进行比较,判别是否符合这些模式。
(3)协议分析:
利用网络协议的高度规则性快速探测攻击的存在。
根据其监测的对象是主机还是网络分为基于主机的入侵检测系统和基于网络的入侵检测系统。
(1)基于主机的入侵检测系统:
通过监视与分析主机的审计记录检测入侵。
能否及时采集到审计是这些系统的弱点之一,入侵者会将主机审计子系统作为攻击目标以避开入侵检测系统。
(2)基于网络的入侵检测系统:
基于网络的入侵检测系统通过在共享网段上对通信数据的侦听采集数据,分析可疑现象。
这类系统不需要主机提供严格的审计,对主机资源消耗少,并可以提供对网络通用的保护而无需顾及异构主机的不同架构。
(3)分布式入侵检测系统:
目前这种技术在ISS的RealSecure等产品中已经有了应用。
它检测的数据也是来源于网络中的数据包,不同的是,它采用分布式检测、集中管理的方法。
即在每个网段安装一个黑匣子,该黑匣子相当于基于网络的入侵检测系统,只是没有用户操作界面。
黑匣子用来监测其所在网段上的数据流,它根据集中安全管理中心制定的安全策略、响应规则等来分析检测网络数据,同时向集中安全管理中心发回安全事件信息。
集中安全管理中心是整个分布式入侵检测系统面向用户的界面。
它的特点是对数据保护的范围比较大,但对网络流量有一定的影响。
根据工作方式分为离线检测系统与在线检测系统。
(1)离线检测系统:
离线检测系统是非实时工作的系统,它在事后分析审计事件,从中检查入侵活动。
事后入侵检测由网络管理人员进行,他们具有网络安全的专业知识,根据计算机系统对用户操作所做的历史审计记录判断是否存在入侵行为,如果有就断开连接,并记录入侵证据和进行数据恢复。
事后入侵检测是管理员定期或不定期进行的,不具有实时性。
(2)在线检测系统:
在线检测系统是实时联机的检测系统,它包含对实时网络数据包分析,实时主机审计分析。
其工作过程是实时入侵检测在网络连接过程中进行,系统根据用户的历史行为模型、存储在计算机中的专家知识以及神经网络模型对用户当前的操作进行判断,一旦发现入侵迹象立即断开入侵者与主机的连接,并收集证据和实施数据恢复。
这个检测过程是不断循环进行的。
2.4入侵检测系统的结构
入侵检测系统的结构大体上可分为三种模式
基于主机系统的结构HIDSHIDS优点HostHost-BasedIDS(HIDS)性能价格比高基于主机的入侵检测系统细腻性,细腻性,审计内容全面系统安装在主机上面,系统安装在主机上面,对本主视野集中机进行安全检测适用于加密及交换环境基于网络系统的结构NIDS优点NIDS优点NetworkNetwork-BasedIDS(NIDS)检测范围广无需改变主机配置和性能基于网络的入侵检测系统系统安装在比较重要的网段内独立性和操作系统无关性安装方便基于分布式系统的结构
基于主机的入侵检测系统
这种类型的系统依赖于审计数据或系统日志的准确性、这种类型的系统依赖于审计数据或系统日志的准确性、完整性以及安全事件的定义。
完整性以及安全事件的定义。
若入侵者设法逃避审计或进行合作入侵,则基于主机的检测系统的弱点就暴露出来了。
作入侵,则基于主机的检测系统的弱点就暴露出来了。
特别是在现代的网络环境下,在现代的网络环境下,单独地依靠主机审计信息进行入侵检测难以适应网络安全的需求。
难以适应网络安全的需求。
这主要表现在以下四个方面:
这主要表现在以下四个方面:
1)是主机的审计信息弱点,如易受攻击,入侵者可通过使用某是主机的审计信息弱点,是主机的审计信息弱点如易受攻击,些系统特权或调用比审计本身更低级的操作来逃避审计。
些系统特权或调用比审计本身更低级的操作来逃避审计。
2)是不能通过分析主机审计记录来检测网络攻击。
是不能通过分析主机审计记录来检测网络攻击。
是不能通过分析主机审计记录来检测网络攻击3)是IDS的运行或多或少影响服务器性能。
的运行或多或少影响服务器性能。
是的运行或多或少影响服务器性能4)是基于主机的是基于主机的IDS只能对服务器的特定用户、应用程序执行只能对服务器的特定用户、是基于主机的只能对服务器的特定用户动作、日志进行检测,所能检测到的攻击类型受到限制。
动作、日志进行检测,所能检测到的攻击类型受到限制。
基于网络的IDS的优点是的优点是基于网络的
(1)服务器平台独立:
基于网络的)服务器平台独立:
基于网络的IDS监视通信监视通信流量而不影响服务器平台的变化和更新。
流量而不影响服务器平台的变化和更新。
(2)配置简单:
基于网络的)配置简单:
基于网络的IDS环境只需要一个环境只需要一个普通的网络访问接口。
普通的网络访问接口。
(3)检测多种攻击:
基于网络的)检测多种攻击:
基于网络的IDS探测器可以探测器可以监视多种多样的攻击包括协议攻击和特定环境的攻长于识别与网络低层操作有关的攻击。
击,长于识别与网络低层操作有关的攻击。
2.4主要入侵检测技术
入侵检测系统中最核心的问题是数据分析技术,包括对原始数据的同步、整理、组织、分类以及各种类型的细致分析,提取其中所包含的系统活动特征或模式,用于对正常和异常行为的判断。
采用哪种数据分析技术,将直接决定系统的检测能力和效果。
数据分析技术主要分为两类:
误用检测(MisuseDetection)和异常检测(AnomalyDetection)。
误用检测搜索审计事件数据,查看是否存在预先定义的误用模式,其典型代表是特征模式匹配技术、协议分析技术和状态协议分析技术等;异常检测提取正常模式审计数据的数学特征,检查事件数据是否存在与之相违背的异常模式,其典型代表有统计分析技术、数据重组技术、行为分析技术。
除了以上两类主要数据分析技术外,研究人员还提出了一些新的分析技术,如免疫系统、基因算法、数据挖掘、基于代理的检测等。
2.5当前入侵检测技术的不足
目前的IDS还存在很多问题,主要表现在如下:
误报率高:
主要表现为把良性流量误认为恶性流量进行误报。
还有些IDS产品会对用户不关心事件的进行误报。
产品适应能力差:
传统的IDS产品在开发时没有考虑特定网络环境下的需求,适应能力差。
入侵检测产品要能适应当前网络技术和设备的发展进行动态调整,以适应不同环境的需求。
大型网络管理能力差:
首先,要确保新的产品体系结构能够支持数以百计的IDS传感器;其次,要能够处理传感器产生的告警事件;最后还要解决攻击特征库的建立,配置以及更新问题。
缺少防御功能:
大多数IDS产品缺乏主动防御功能。
处理性能差:
目前的百兆、千兆IDS产品性能指标与实际要求还存在很大的差距。
18
2.6入侵检测技术发展方向
针对上节提及的入侵检测系统不足,业内相关人士同样拿出了以下一些主要的应对方法:
改进分析技术内容恢复和网络审计功能的引入集成网络分析和管理功能检测技术的分布化转移检测的对象智能化入侵检测安全性和易用性的提高改进对大数据量网络的处理方法全面的安全防御方案。
2.7入侵检测算法
1入侵检测系统
入侵检测系统是从计算机网络或计算机系统中的若干关键点搜集信息并对其进行分析,从中发现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象的一种机制。
入侵检测系统使用入侵检测技术对网络及其上的信息系统进行监视,并根据监视结果进行不同的安全动作,最大限度地降低可能的入侵危害。
入侵检测系统可以部署在DMZ区,外网入口,内网主干和关键子网区域。
要根据目标网络的具体情况以及用户的安全需求对入侵检测系统进行适当的配置,保证入侵检测系统正常有效地运行。
根据入侵检测系统的检测对象,入侵检测系统主要分成两大类:
基于主机的入侵检测系统和基于网络的入侵检测系统。
基于主机的入侵检测系统用于保护单台主机不受网络攻击行为的侵害,需要安装在被保护的主机上。
基于网络的入侵检测系统通常是作为一个独立的个体放置于被保护的网络上,它使用原始的网络分组数据报作为进行攻击分析的数据源,一般利用一个网络适配器来实时监视和分析所有通过网络进行传输的通信。
入侵检测系统的检测分析技术主要分为两大类:
异常检测和误用检测。
异常检测技术也称为基于行为的检测技术,是指根据用户的行为和系统资源的使用状况判断是否存在网络入侵。
异常检测技术先定义一组系统正常活动的阀值,如CPU利用率、内存利用率、文件校验和等,这类数据可以人为定义,也可以通过观察系统,用统计的方法得出,然后将系统运行时的数值与所定义的“正常”情况比较,得出是否有被攻击的迹象。
误用检测技术也称为基于知识的检测技术或者模式匹配检测技术,它通过对实际行为和数据的特征匹配判断是否存在已知的网络入侵行为。
它的前提是假设所有的网络攻击行为和方法都有一定的模式和特征,如果把以往发现的所有的网络攻击的特征总结出来并建立一个入侵信息库,那么入侵检测系统可以将当前捕获到的网络行为特征与入侵信息库中的特征信息进行比较,如果匹配,则当前行为就被认定为入侵行为。
2入侵检测中的SVM方法
Vapnik等人在多年研究统计学习理论的基础上对线性分类器提出了另一种设计最佳准则,称为支持向量机(SupportVectorMachine,简称SVM)。
SVM的原理从线性可分开始,然后扩展到线性不可分的情况,甚至扩展到使用非线性函数中去。
SVM的主要思想可以概括为两点:
①SVM是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。
②它基于结构风险最小化理论之上,在特征空间中建构最优分割超平面,使结果得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。
SVM的关键在于核函数。
核函数可以巧妙地解决将低维空间向量映射到高维空间之后所带来的计算复杂度增加的问题。
这就是说,只要选用适当的核函数,我们就可以得到高维空间的分类函数。
在SVM理论中,采用不同的核函数将导致不同的SVM算法。
SVM因其具有较好的二类分类能力,已广泛地应用于人脸识别、非线性均和邮件分类等很多领域。
网络入侵异常检测实际是二类分类问题,本文提出了基于SVM的网络入侵异常检测模型,用SVM算法进行入侵异常检测,利用网络历史数据训练支持向量机,并对实时网络数据进行异常分类分析,从而可较好地判断信息属于异常或正常,可提高网络数据的检测正确率,同时提高入侵异常检测的速度。
在网络入侵检测中,对异常的检测在SVM中就转换为其孤立点的检测,即我们用SVM对网络通信中包含大量正常数据的数据集进行训练,求得一个区域,区域内的点称为正常点,区域外的点一般称为孤立点,那么孤立点就对应着网络通信中的入侵行为。
构造SVM,使用训练样本训练SVM分类器,即可构造入侵检测系统。
首先是获得用户的行为特征模式,输入到训练好的SVM分类器,判断是正常模式还是异常模式。
采用不同的核函数,可以得到不同的检测效果。
本文中通过分析历史网络数据等,对提取出的用户的行为特征进行处理,分析入侵行为的规律,应用SVM的二类分类算法来进行入侵检测。
入侵异常检测的过程主要包括数据收集、数据预处理、数据样本训练和入侵异常检测4个阶段。
首先,对收集的已知网络信息数据进行预处理,再用SVM算法进行样本训练,得到异常检测样本数据的支持向量,从而可以根据SVM理论建立本文中的支持向量机,再对新的网络数据进行入侵异常检测,从而得出结果为入侵行为或者正常行为。
基于SVM的入侵异常检测模型的主要过程如下:
①网络数据,主要进行网络原始数据包的搜集。
②数据预处理,主要是通过对原始网络数据的特征属性进行相关处理,达到应用入侵检测模式的要求。
③样本训练,主要是对网络数据进行样本训练,得到相关的支持向量用于建立异常检测的最优支持向量机。
④异常检测,根据预处理的网络数据向量的输入式,得出检测结果为-1或者1,从而判断是异常入侵还是正常行为。
3结论
入侵检测系统作为一个迅速崛起并受到广泛承认的安全组件,有着很多方面的安全优势。
在确保安全性能的同时,与时间赛跑是入侵检测系统的生命,而基于特征的入侵检测系统面临着高速网络信息爆炸和系统自身规则数量日益增加的挑战。
基于SVM的网络入侵异常检测模型,用SVM算法准确的二类分类能力进行入侵异常检测,从而可较好地判断是否存在入侵行为。
随着互联网的不断发展和网络安全威胁的日益加重,入侵检测系统将发挥越来越重要的作用,如何更好地利用SVM算法及其他相关技术对入侵检测系统进行提高和完善是一个十分重大和富有意义的课题