基于神经网络的云计算入侵检测系统研究.docx
《基于神经网络的云计算入侵检测系统研究.docx》由会员分享，可在线阅读，更多相关《基于神经网络的云计算入侵检测系统研究.docx（57页珍藏版）》请在冰豆网上搜索。
基于神经网络的云计算入侵检测系统研究
摘要
基于神经网络的云计算入侵检测系统是云计算的一个重要研究领域。
本论文针对云计算环境中的入侵检测问题，在总结传统入侵检测技术的基础上，对云计算环境中的入侵检测系统进行了比较全面的研究，为云计算环境中的入侵检测提供了新颖的解决方案。
具体而言，本论文的主要研究工作如下：
首先，综述了有关云计算和入侵检测系统的基本理论，包括云计算的概念涵义、关键特征、服务模型、部署模型与入侵检测系统的定义、原理、分类、流程等，为后续基于神经网络的云计算入侵检测系统研究奠定基础；
其次，研究了云计算入侵检测过程中的关键技术，包括云计算环境中的网络数据捕获技术、网络数据分析技术和入侵行为检测技术。
其中，深入探讨了云计算环境中不同层次（包括接入控制、网络、系统等）上的多种数据捕获技术与不同平台（包括Windows、Linux和Unix等）下的网络数据捕获技术，以及云计算环境下的两种入侵行为检测（包括特征检测和异常检测）技术；
最后，开发了一个基于神经网络的云计算入侵检测原型系统（CloudIDS），并介绍了CloudIDS的总体架构、工作原理和功能模块；在此基础上，详细阐述了CloudIDS的三个核心模块（网络数据捕获、行为规则匹配和神经网络判别）的具体实现，最后通过实验验证了CloudIDS的入侵检测效果。
关键词：
云计算；入侵检测；神经网络；数据挖掘。
Abstract
Neuralnetwork-basedintrusiondetectionsystemincloudenvironmentisanimportantresearchfieldforcloudcomputing.Regardingtheintrusiondetectionproblemincloudenvironment,thisthesisconductsacomprehensivestudyontheintrusiondetectionsystemofcloudcomputingbasedonthesurveyoftraditionalintrusiondetectiontechnologies,andprovidesanovelresolutionfortheintrusiondetectionofcloudcomputing.Specially,themainworksofthisthesisareasfollows:
First,thefundamentalknowledgeofcloudcomputingandintrusiondetectionsystemarereviewed,includingtheconcept,keyfeatures,servicemodels,deploymentmodelsofcloudcomputingandthedefinition,principle,classification,processofintrusiondetection,whichprovidesafoundationforthefollowingstudyofneuralnetwork-basedcloudcomputingintrusiondetectionsystem.
Second,thekeytechnologiessuchasnetworkpackagecollection,networkdataanalysisandintrusionbehaviordetectionareexplored.Herein,thisthesisstudiesindetailthedatacollectiontechnologiesindifferentlevelofcloudcomputingarchitecture（e.g.,network,host,andapplication）andnetworkpackagesnatchingtechnologiesindifferentplatform（e.g.,Windows,LinuxandUNIX）,andtwokindsofintrusiondetectiontechnologies（e.g.,misusedetectionandanomalydetection）incloudenvironment.
Finally,aneuralnetwork-basedintrusiondetectionprototypesystemforcloudcomputing（i.e.CloudIDS）isdeveloped,anditsoverallarchitecture,workprincipleandfunctionmodulesareintroduced.Furthermore,thespecificimplementofthreecoremodules（e.g.,networkdatacollection,behaviorrulematchingandneuralnetworkidentification）aredescribedindetails,andtheeffectivenessofCloudIDSisvalidatedwithseveralexperiments.
Keywords:
Cloudcomputing;Intrusiondetection;neuralnetwork;datamining.
目录
摘要I
AbstractII
第一章绪论1
§1.1研究背景1
§1.1.1云计算环境面临的安全风险1
§1.1.2云计算入侵检测的研究意义4
§1.2国内外研究现状及发展趋势5
§1.2.1云计算的研究现状及发展趋势5
§1.2.2入侵检测研究现状及发展趋势6
§1.3论文的研究内容与组织结构7
§1.4本章小结8
第二章云计算与入侵检测概述9
§2.1云计算概述9
§2.1.1云计算的概念介绍9
§2.1.2云计算的关键特征10
§2.1.3云计算的服务模型10
§2.1.4云计算的部署模型11
§2.2入侵检测概述12
§2.2.1入侵检测系统的定义12
§2.2.2入侵检测系统的分类14
§2.2.3入侵攻击的主要形式16
§2.2.4入侵检测的工作流程20
§2.3云计算的入侵检测21
§2.3.1云服务模型和入侵检测21
§2.3.2云计算的入侵检测实施22
§2.4本章小结23
第三章云计算入侵检测关键技术24
§3.1云计算数据捕获技术24
§3.1.1云计算数据捕获的主要类型24
§3.1.2不同层次上的行为数据捕获25
§3.2云计算数据分析技术28
§3.2.1数据分析的数学方法28
§3.2.2数据分析的智能方法29
§3.3云计算入侵检测技术31
§3.3.1基于知识的检测技术31
§3.3.2基于行为的检测技术32
§3.4本章小结33
第四章云计算入侵检测原型系统34
§4.1CloudIDS系统概述34
§4.2网络数据捕获模块35
§4.2.1数据捕获模块接口35
§4.2.2数据捕获模块实现38
§4.3行为规则匹配模块43
§4.3.1行为规则的描述44
§4.3.2行为规则的匹配44
§4.4神经网络判别模块48
§4.5实验分析50
§4.6本章小结52
第五章结论与展望53
§5.1论文主要工作53
§5.2后期工作展望53
致谢54
参考文献55
作者在攻读硕士期间主要研究成果57
第一章绪论
§1.1研究背景
云计算（cloudcomputing）一词最早诞生于2006年，是并行计算（parallelcomputing）、分布式计算（distributedcomputing）、网格计算（gridcomputing）、效用计算（utilitycomputing）等计算模式与网络存储（networkstorage）、虚拟化（virtualization）、负载均衡（loadbalance）等信息技术综合发展的结果[1]。
云计算的核心思想，是将大量网络连接的计算资源统一管理和调度，构成一个虚拟计算资源池向用户按需提供基础设施、平台和软件等服务。
这个提供资源的网络称为“云”。
作为一种基于互联网的超级计算模式，云计算允许用户动态共享大规模的软硬件资源及信息，并按实际使用收取费用[2]。
云计算以互联网作为通信支撑平台，而互联网是一个开放性、异构性极大的公共网络，使得运行于互联网上的云计算服务面临着各种各样的安全威胁，例如数据信息被截取\篡改\删除、合法用户或服务被冒用等[41]。
特别是云计算服务供应商，在为云计算用户提供计算、存储和各种应用软件等服务的过程中，经常会遭受各种安全威胁攻击的考验[34]。
因此，需要研究有效的安全防护措施，以确保云计算环境的稳定运行。
§1.1.1云计算环境面临的安全风险
2010年3月，云安全联盟（CloudSecurityAliance，简记为CSA）在总结云计算存在的安全问题基础上，发布了《TopThreatstoCloudComputing》技术白皮书[37]。
CSA在这份白皮书中，给出了云计算存在的七大安全风险：
1.云的不良使用；2.不安全的API；3.恶意内部人员；4.共享技术问题；5.数据丢失或泄漏；6.帐号及服务劫持；7.未知安全风险。
1．云的不良使用
云计算服务供应商对用户访问登记程序管理不严，任何持有有效信用卡的人都可注册并使用云计算服务。
由于注册云计算服务时，不进行身份认证，因此网络入侵者可以轻而易举地利用云计算服务进行网络攻击或发送恶意软件，从而造成云计算能力的滥用，带来巨大的安全威胁。
2．不安全的API
云计算服务的开发离不开API接口的使用，同时用户也主要通过API接口交互和管理所需的云计算服务。
因此，云计算服务的安全性在很大程度上决定于API接口的安全性。
如果这些API接口实现地不够规范和安全，将会为相应的云计算环境带来严重的安全隐患。
3．恶意的内部人员
云计算环境的内部工作人员是云计算服务和数据的最接近者。
如果云计算服务供应商对自己的内部工作人员缺少严格的管控程序和制度，内部工作人员的安全风险就会加剧，就会对存储于云计算服务供应商处的用户重要数据和业务应用增加人员方面的安全风险。
4．共享技术的问题
传统计算基础设施中的技术和产品难以在多用户架构中提供强有力的隔离保障。
通常，云计算服务供应商使用虚拟化技术来解决云计算基础设施环境的多租户需求问题。
但是，包括虚拟化在内的众多基础设施构建技术均存在物理共享和安全漏洞的风险，对云计算基础设施的安全性带来挑战。
5．数据丢失或泄漏
数据中心是提供云计算服务的一个重要而基础的组成部分。
用户的各种数据（包括许多重要敏感数据）通过网络在云计算环境中进行传输和处理，并最后存放于云计算的数据中心。
如果包括数据中心在内的整个云计算环境没有有效的数据安全存储和访问控制等措施，就很容易造成用户数据的丢失或泄漏。
6．帐户或服务劫持
云计算环境中存在大量的合法用户身份信息。
如果网络入侵者通过非法手段获得了合法用户的证书帐号，那么网络入侵者就可以窃取或伪造合法用户数据信息，假冒合法用户进行非法交易甚至网络犯罪活动。
这不仅会给合法用户带来巨大的云计算服务费用，甚至会给合法用户的人身信誉及自由带来困扰。
7．未知的安全风险
除上述主要安全风险外，云计算还存在其它的未知安全风险，例如传统的物理、网络、主机、数据和应用安全风险，潜在的安全漏洞风险，不科学的安全规划设计、不完善的安全审计机制等等，都会对云计算环境的安全稳定带来安全威胁。
不规范的云计算环境构建和部署，都可能会导致日后未知的安全风险。
另外，针对云计算存在的安全问题，全球最具权威的IT研究与顾问咨询公司Gartner进行了广泛调研。
以下是Gartner经过分析后，总结出来的七种云计算安全风险及相关建议[39]。
1．特权访问风险
一般而言，多数用户数据都具有机密性。
当用户将自己的数据交给云计算服务供应商后，云计算服务供应商就拥有了比用户更优先的数据访问权。
此时，用户数据就面临着云计算服务供应商无意或有意的泄漏风险。
Gartner为此向用户建议，在选择使用云计算服务之前，应要求云计算服务供应商提供其业务数据管理人员的相关信息，以把数据泄露风险降至最低。
2．法规遵从风险
即使将自己的数据托管给云计算服务供应商，用户仍然是自己数据完整性和安全性的最终责任人。
传统的服务供应商需要通过第三方审计和安全认证的审查，用户才可放心地将自己的数据交给云计算服务供应商。
Gartner为此向用户建议，如果云计算服务供应商拒绝接受第三方审计和安全认证，则用户不能过多采用这些云计算服务供应商的服务。
3．数据场所风险
在用户选择云计算服务后，将无法控制自己数据的具体存放位置。
用户数据将跑出自己的安全边界之外，甚至可能会被存放于国外服务器上。
为保证自己的数据安全，用户需要确保云计算服务供应商是否遵循数据所在地的数据隐私保护要求。
Gartner为此向用户建议，用户需要了解云计算服务供应商存储数据的场所，并能否提供保护用户数据隐私和安全的相关协议。
4．数据隔离风险
使用云计算服务的众多用户数据通常集中存放于数据中心，这就带来了用户数据被越界访问的威胁。
尽管加密是一种有效的数据保护技术，但是并不能百分百地保证数据的安全，同时还会影响数据的可用性和使用效率，因为加密数据一旦发生意外，将有可能彻底不能使用。
Gartner为此向用户建议，对于处于共享环境的众多用户数据，需要更加有效的加密服务和隔离机制。
5．时限恢复风险
与传统计算环境一样，云计算环境中的数据同样面临着火灾、洪水、地震和人为等各种形式的灾难问题。
如果云计算环境不具备有效的数据备份和灾难恢复机制，则当出现重大事故时，用户数据有可能无法得到恢复。
Gartner为此向用户建议，用户不但需要了解云计算服务供应商是否具有完备的数据备份和灾难恢复方案，还应明确云计算服务供应商的数据恢复时长。
6．调查支持风险
对于用户而言，无论是进行合法还是违法的调查活动，云计算服务供应商通常都不会提供相应配合，因为云计算数据中心存放有众多用户的数据，对云计算数据中心的查询可能会造成其他用户数据的泄漏。
因此，一旦用户需要调查自己的数据或业务时，则该用户的需求可能无法得到满足。
Gartner为此向用户建议，在采用云计算服务时应当考虑到这一点。
7．长期发展风险
任何服务供应商都不能保证其云计算平台能够永远安全稳定地提供服务。
因此，用户一旦选择了某家云计算服务供应商，就会面临着该服务供应商出现破产或被其它大型公司收购的可能性。
此时，用户的现有服务就有可能会被中断或受到严重影响。
Gartner为此向用户建议，在选择云计算服务供应商之前，用户应把长期发展风险因素考虑在内。
根据CSA联盟和Gartner公司两个权威组织的调研报告可以看到，云计算并非生来就完美无缺的，其应用是存在缺陷和安全风险的，因此必须正视云计算应用所带来的安全风险。
下面从用户、服务供应商和政府三者的角度分析云计算环境下各自需要面对的安全风险。
1．用户所要面对的安全风险
云计算用户所要面对的安全风险包括：
宕机对用户的信任打击难以承受，但是云计算无法保证不会宕机；商业机密泄漏是所有用户（包括企业和个人）的噩梦，但是云计算无法保证不会泄密；选择一家云计算服务供应商后，如何面对云计算服务供应商的强势地位，包括故障排除、损失赔偿、业务迁移等问题。
2．服务提供商面对的安全风险
云计算服务供应商面对的安全风险包括：
对自身而言，大规模数据中心是一个复杂系统，如何保证云计算数据中心长时间安全运行、隔离故障并将影响降到最低程度都是必须面对的安全问题；对外部入侵而言，如何应对数量众多且野心勃勃的网络黑客是一个非常头疼的问题；对众口难调的用户而言，如何对他们进行有效的安全管理、以及如何鉴别和屏蔽恶意用户也是一项必须做好的工作。
3．政府所要面对的云计算安全风险
政府所要面对的云计算安全风险包括：
数据是商业基础，如何加强大规模数据中心安全防护应该是政府所需考虑的安保问题；防止政府机密泄漏是政府云的建设重点；如何加强对数量众多、规模不一的云服务供应商进行安全管理是一个重要问题；如何对云服务供应商的安全资质、用户的安全信誉进行评级，并发布恶意程序预警，都是政府需要着手去做的事情。
§1.1.2云计算入侵检测的研究意义
随着云计算成为全球新兴产业的重要代表，网络入侵者都将目光投到了云计算这一未来充满巨大市场空间的领域。
由于云计算环境拥有强大的计算能力、海量的存储空间和丰富的用户信息，对网络入侵者具有很大的诱惑力，云计算环境目前已经成为网络入侵者的攻击目标。
特别是作为云计算服务供应商，在为云计算用户提供计算、存储和各种软件式服务的过程中，很容易遭受各种安全威胁与攻击的考验。
同时，云计算环境下的网络攻击发动更加快速、攻击能力更加强大、攻击后果更加严重，使得云计算环境的入侵检测变得更加重要。
云计算的本质是利用虚拟化技术实现各种资源（无论计算资源还是存储资源）的统计复用，提供开放的应用接口以供用户按需使用众多资源。
随着云计算的技术架构和服务模式变得日益丰富，网络入侵者攻击手段的隐蔽性和破坏性也开始变得越来越强。
与传统计算环境相比，云计算环境具有虚拟化、分布式和超大规模等特点，为云计算环境下的入侵检测提出了更高的要求和挑战。
传统的入侵检测系统不再适应云计算环境的虚拟化、分布式和超大规模等特点，已经不能胜任云计算环境下日趋强大和更加隐蔽的网络入侵检测。
研究适应于虚拟化、分布式和超大规模网络环境的新型入侵检测系统，实现云计算环境的有效安全防护成为云计算安全领域研究者亟需解决的一个问题。
目前，围绕云计算入侵检测的研究工作还不是很多，还没有非常有效的云计算入侵检测系统产品出现，迫切需要开展云计算入侵检测系统方面的研究，以实现安全可信的云计算环境，为云计算产业的健康发展和普及应用提供技术支撑。
本论文将针对云计算环境下的入侵检测系统进行全面深入的研究，具有较强的学术和实践价值。
§1.2国内外研究现状及发展趋势
作为一个新兴的研究领域，云计算安全尤其是云计算入侵检测问题一直都是阻碍云计算健康快速发展的障碍之一。
目前，这方面的研究工作还不是很多，还需要从基础理论和工程技术两个层面进行深入的研究。
§1.2.1云计算的研究现状及发展趋势
业界认为，云计算是继个人计算机、互联网之后信息产业的第三次变革，将对社会信息化发展产生深远影响。
云计算的兴起，一方面是高速互联网连接和虚拟化等技术发展的结果，另一方面也是互联网发展需要不断丰富其应用趋势的体现。
目前，国内外学术界和产业界都围绕云计算展开了广泛的研究。
例如，美国许多高校都成立了专门的云计算及其安全研究小组，包括著名的加州大学Berkeley和LosAngeles分校、MIT、Cornell大学等都在从事云计算方面的研究工作[33,36]；IBM于2007年8月高调推出“蓝云（BlueCloud）”计划，并宣称云计算将是IBM接下来的一个重点业务[43]；Google于2007年10月在全球宣布云计划，与IBM展开合作要把全球多所大学纳入“云计算”中；Amazon于2007年向开发者开放了名为“弹性计算云（ElasticComputeCloud，简记为EC2）”的服务[30]，允许中小企业可以按需购买Amazon数据中心的处理能力；Yahoo也于同年11月提供了一个小规模的服务器云，面向CMU的研究人员；同时，HP、Intel和Yahoo三家公司联合建立了一系列数据中心以推广云计算服务。
到目前为止，VMware已经推出了云操作系统vSphere、云服务目录构件vCloudDirector、云资源审批管理模块vCloudRequestManager和云服务计费vCenterChargeback[31]。
2009年，云计算成为业界内谈论改变市场低迷状况最有效的经济模式之一。
其认知度从2008年的一成，飙升至2009年的五成；凭借众多的优势，几乎无人质疑云计算的发展前景。
与此同时，2009年的云计算虽然在应用上未能得到有效提升，但是已经开始纳入众多企业决策者的规划之中。
据调查，五成以上的企业表示，在未来1～3年会有实施计划。
在国内，Google全球于2008年3月17日宣布在中国大陆推出“云计算”计划，并与清华大学合作开设“大规模数据处理”课程[3,6]。
IBM于2008年初与无锡市政府合作建立了无锡软件园云计算中心，开始了云计算在中国的商业应用[5]。
2008年7月份瑞星推出了“云安全”计划[4]。
如果说2009年之前我国云计算基本上还处于概念引入阶段，那么2009年之后我国云计算开始进入实质发展阶段。
2009年，VMware在中国召开的vForum用户大会，第一次将开放云计算的概念带入中国。
阿里巴巴集团旗下子公司阿里软件与江苏省南京市政府签订2009年战略合作框架协议，于2009年初在南京建立国内首个“电子商务云计算中心”，首期投资额高达上亿元人民币[4]。
中国电子学会云计算专委会于2009、2010和2011年连续举办了三届云计算大会。
2010年10月18日发布《国务院关于加快培育和发展战略性新兴产业的决定》中，将云计算定位于“十二五”战略性新兴产业之一。
§1.2.2入侵检测研究现状及发展趋势
针对入侵检测系统，国内外学术界和产业界展开了广泛而深入的研究，最早始于上个世纪80年代。
在学术领域，1980年4月，JamesP.Anderson为美国空军做了一份题为“计算机安全威胁监控与监视（ComputerSecurityThreatMonitoringandSurveillance）”的技术报告，这份报告被公认为入侵检测的开山之作[9]。
1986年，W.T.Tener在IBM主机上用COBOL开发了Discovery系统，成为基于主机的入侵检测系统最早雏形之一。
1987年，乔治敦大学的DorothyE.Denning提出了入侵检测系统的一个实时抽象模型-入侵检测专家系统（IntrusionDetectionExpertSystem，简记为IDES），首次将入侵检测用于解决计算机系统安全防护[8]。
为了提高众多系统的互操作性和重用性，DARPA提出了通用入侵检测框架（TheCommonIntrusionDetectionFramework，简记为CIDF），该框架已成为通用标准[12]；Rajasegarar等提出一种基于传感器的分布式入侵检测方案，其中叶子结点用于采集数据，基站结点用于异常检测[11]；Siaterlis等使用D-S证据理论进行传感器数据的信息融合来实现分布式环境下的入侵检测[14]；Servin等提出一种分布式增强学习算法来进行分层传感器代理网络中的入侵检测[15]；Zanero通过网络协议和数据分析，利用自组织特征映射网络建立正常行为模型实现网络环境的入侵检测[2
升级会员 