网络监测与监控.docx

1、网络监测与监控网络监测与监控 前言网络发展到今天，已经彻底改变了人类生活、工作的方式。信息化革命对人类生产、生活的影响远远大过前几次的传统的工业革命。现在，人们发现，没有了电脑，生活就像瘫痪；没有了网络，就像生活在古代社会，完全落后于现代文明。网络以其迅猛的发展，迅速占据了人们生活的方方面面，人们已经对网络产生了依赖，截止到2012年7月底，我国的网民数量已经超过了5.38亿。但是随着网络的普及以及网络技术的迅猛发展，技术漏洞的无可避免，广大网络黑客们出于各种目的，利用遍布世界各地的网络迅速传播病毒并发起攻击，对现有的网络信息安全构成了巨大的威胁。病毒、木马、蠕虫等等泛滥成灾。网络入侵攻击事件

2、与日俱增，无论网络信息系统有多么安全坚固不易被入侵，最后都被成功入侵了，可见网络安全现实的严峻性。网络入侵，它所带来的威胁和影响已经远远超出了预期，它的威胁直指经济安全和国家安全。第一章第二章.计算机网络安全及其现状1. 网络安全及其现状1.1.1计算机网络安全计算机安全特性可以归纳描述为：完整性，保密性，可用性，可控性，不可否认性等。安全问题主要包括：计算机数据破坏，非授权擅自使用计算机系统，滥用计算机系统。计算机网络安全可以分为网络安全、计算机系统安全和数据库系统安全。（1）网络安全问题主要表现为：网络协议的安全机制存在先天性缺陷，在设计之初，无法完全考虑到实际应用时的安全性问题。 （2）

3、计算机系统安全问题是指：由于在设计计算机操作系统之时，系统本身存在的诸多漏洞，入侵者可以利用漏洞进入系统，取得系统控制权限，肆意对系统内的数据进行修改、伪造、拷贝、删除、损毁，并留下后门。这就为入侵攻击者提供了另外一个突破口。（3）数据库安全问题是建立在操作系统基础上的，操作系统被攻破之后，操作系统上的数据库就得赤裸裸的直面入侵者。数据库，作为所有组织单位信息化的核心，它是大多数关键数据记录的载体，一旦被人攻击将会造成的后果是不可估计的。1.1.2计算机网络安全现状自从世界上第一个在电脑上大面积流行病毒C-Brain诞生以来，安全技术就在制造病毒、防御病毒，制造攻击、防御攻击的博弈中不断发展，

4、网络安全已经成为了一个永恒的话题。2011年1月，中国互联网络信息中心（CNNIC）在京发布了第27次中国互联网络发展状况统计报告，对整个中国的互联网络发展和现状做了总结归纳。据该报告调查，2010年度，有过病毒或木马攻击经历的网民比例为45.8%，同比下降了10.8个百分点，总人数约为2.09亿人。许多网民都遇到过攻击，只是，许多攻击入侵是非常隐秘的，主要是一些修改用户浏览器首页、广告点击器等低影响性攻击，往往只在后台运行，恶意引导诱骗广大网民浏览该网站，用户可能毫无察觉。因此，网络安全的现状呈现出表面攻击下降，实际攻击行为更加隐秘的状况。网络安全问题正呈现此消彼长，花样繁多，新问题不断涌现

5、的态势。1.2入侵检测现状入侵一般可以分为三个阶段：预攻击阶段，攻击阶段，后攻击阶段23。现在流行入侵检测的检查方法主要有：特征检测，完整性检验，异常检测。特征检测主要是建立各类攻击的特征库，用该特征来准确地描述某一特殊攻击的特点，为了避免引起其他误报，该特征的描述最好是唯一的。它主要是对那些试图越权操控系统的安全事件进行监控完整性检验为系统的每个文件生成一个校验和，然后定期地将该校验和与源文件比较，这样就可以检查出文件是否被修改过，这类似于视频监控中的图像变化产生的报警。完整性检验适用于检测篡改网页等的活动，当出现篡改时，通过计算校验和来发现异常。异常检测主要是通过制定一个正常行为模式来衡量

6、网络行为的合法性。实际流量中的模式如果在正常行为模式库中找不到匹配的原型，就会被判断为异常行为而触发报警。 分析讨论。各种方法都不是十全十美的，因此，光用一种方法来进行入侵检测是不明智的。多种方法综合使用，才能减少误报和漏报率。现今各大厂商主要倾向于采用特征检验，因为该方法逻辑思路清晰，实现方法简单，而且规则添加也十分方便，易于维护和增改。特征检验确实是一种高效的检测方法。第二章 入侵检测系统综合研究入侵检测系统（Intrusion Detection System，IDS）的作用是监控网络和计算机系统是否被入侵或滥用。通常入侵检测系统都有三个功能：数据采集功能，数据分析功能和响应功能。IDS

7、系统已经成为安防体系的重要组成部分。IDS收集源自计算机操作系统和计算机网络中的各种数据流，经过系统内部一系列的规则分析匹配，从而判断出是否已经有入侵行为发生。入侵检测系统可以同时检测来自内部用户未授权的非法活动和外部的攻击行为。对内部攻击的检测主要是基于主机的，主要检测内部用户的越权行为；对外部的入侵检测主要是基于网络的，主要检测网络上的攻击行为。这两步都是网络安防的重点。2.1 入侵检测系统概述现在市场上的IDS产品种类繁多，无论是在数据的采集，系统的布局，信息的分析方法，响应的模式上都有很大的差异。通常，入侵检测分为异常检测和误用检测两大类。异常检测是试图建立一个正常的运行模式和规则，对

8、在网络中捕获的数据信息进行分析，如果符合正常规则模式则系统默认其为一个合法的操作，反之，如果捕获的数据信息不在正常规则模式库之列，则触发异常报警。两种方法各有短长，只有综合使用以上两种方法的入侵检测系统，才能真正适应现在和未来网络安防。文献还提出了一种基于扩张矩阵和GA的入侵检测方法。入侵检测系统的检测性能评价，是评定一个IDS系统优劣的首要参数。这也就意味着，一个IDS系统的规则库越多越完善，则这个IDS系统能检测出更多的入侵攻击行为，即拥有更高的正确报警率，反之则漏报率更高。另外一个参数就是灵敏度，这是对入侵检测系统报警分类的结果，入侵检测系统按照优先级别不同分为不同的报警种类，各类报警都

9、有自己的优先级，灵敏度越高的入侵检测系统拥有更精细的报警类别和更丰富的报警优先级。2.2 基于主机的入侵检测系统基于主机的入侵检测系统HIDS，主要是检查系统日志以获取被入侵的信息。它主要是监控操作系统、内核、应用程序上的威胁。它有权检测被监控主机的系统的日志、服务、错误消息、权限等等所有有用的可用的资源。HIDS分析的基础主要是系统日志，通过对日志的综合分析，HIDS能够清楚地区分正常的或异常的应用程序数据信息。HIDS能够访问并检查系统中的特殊组件，HIDS需要具备一些仅能为其所知的关于主机和其正常行为的特殊知识，才能保证HIDS与它所驻留的系统协调一致。当然，HIDS也存在一些大的缺陷。

10、首先，攻击者可以入侵并控制一台未安装HIDS的主机来访问受保护的主机，这样的情况HIDS是无能为力的。这也就是说，要想保护区域内的所有主机，就必须为每一台主机安装HIDS，并且，根据操作系统版本不同，所安装的HIDS版本也会不同。2.3 基于网络的入侵检测系统基于网络的入侵检测系统NIDS，其主要功能是实时分析网络数据包，并对其中的攻击数据进行监测识别。与基于主机的入侵检测系统HIDS相比，NIDS的好处就是成本更低，由于它被部署在某一个网络的关键区域，并且只需部署在一台主机上，就可以监控该网络中所有主机的流量、数据包信息。NIDS的缺点也是明显的，网络流量的日益增加，NIDS要想实时地准确地

11、处理这些数据包而不发生丢包，只有部署多个NIDS协同工作才能应付。接着，面对分段攻击，由于包过长，包就会被分割成几个，数据同样被分割成几份，NIDS主机接收到这些分段数据之后还要进行顺序重装。最后，面对日渐成熟的通信加密、隧道技术，NIDS要想捕获并分析包内信息实际上变得非常困难，即使解密出来的明文能被NIDS读取，但是，这一中间步骤产生的时延有时是无法接受的。2.3.1 基于网络的入侵检测系统原理网络入侵检测系统的核心检测模块主要是对网络包的包头及其负载内容进行检测。其对每一个包的处理流程大致如下：首先通过包分类，先检测数据包的包头，判断是否与规则库中的某个规则所对应的头部相符，如果不相符，

12、则丢弃该包，系统不做任何报警动作；如果匹配成功，则进入下一步，调用模式匹配算法，检测网络包的负载。当然，为了提高报警效率，大部分的包检测只需针对包头进行检查即可。对负载的检查可以使检测更加精确，误报率较低。检测规则是NIDS检测的主要依据，为了实现攻击包的有效检测，NIDS系统都会构造复杂的规则解析图来完成对网络包包头和负载内容的检测。一条检测规则包括规则头和规则选项两部分，规则头分为五个常用字段：协议类型，源IP地址，源端口地址，目的IP地址，目的端口地址。而规则选项则指出攻击的特征字段以及响应字段和方法。常见的基于网络的入侵检测系统有Snort，BASE等。2.3.2 Snort网络入侵检

13、测系统Snort作为一个开源的轻量级的网络入侵检测产品，由于其开源的性质，对Snort应用系统及其组件的不断完善和开发，已经使Snort在全球范围内得到了广泛的应用，并且拥有snort社区的强大技术支持和广大的使用群体。保守估计，世界范围内部署的Snort传感器已超过了20万。(1)Snort网络入侵检测系统的结构框架Snort在整体部署时的通用层次结构可分为传感器层，Snort服务器层，分析控制台三层，各层数据流程如图2.1。图2.1 snort结构体系传感器层主要负责原始网络数据包的捕获，搜集，预处理等功能，对捕获的数据包进行解释。服务器层主要是搜集从传感器上传过来的报警数据，然后将其转化

14、为系统或用户可读的格式；分析控制台层主要是一台支持SSL的浏览器，它的作用是对服务器搜集的报警进行集中显示，与分析管理员进行沟通。从Snort入侵检测系统分析网络流量并形成报警的流程来看，不同的组件承担着不同的功能，snort包含的主要组件有包捕获程序Libpcap，包解码器，预处理程序，检测引擎和输出插件。各组件模块数据流程如图2.2所示。首先是应用程序Libpcap包捕获器，由于单独的Snort应用程序并不包含包捕获器，因此需要引入一种合适的包捕获工具。Libpcap可以运行在几乎所有现行的操作系统之上，正是因为Libpcap的这种通用性和可移植性，使得Libpcap本身具有很大的优势，这

15、为在不同操作系统上实现的Snort入侵检测系统提供了一个统一的底层接口程序。图2.2 Snort内部组件工作流程图原始数据包被捕获后，就送入Libpcap的包解码器，它的作用和工作流程与操作系统的包解码过程如出一辙，即都是对具体协议单元进行解码，分析其有效荷载的一个处理过程。从较低层的协议开始，逐渐向上剖析各层协议单位。解码后的数据将送往内存中暂存下来，等待预处理程序和检测引擎的调用。预处理程序和检测引擎可以对Libpcap捕获并解码的数据进行检测匹配。其解码流程如图2.3所示。预处理程序对于snort检测体系来说非常重要，它的主要功能是进行数据规约和数据清洗。预处理匹配一般分为两类。一类是检

16、查和修改可疑行为的数据包。一类是负责对流量标准化以便检测引擎能准确匹配特征。前者可以发现非基于特征的攻击，后者可以处理流量的模式，从而使一些运用了躲避技术的攻击无法逃过Snort检测引擎的检查。图2.3 包解码流程统计包异常检测引擎SPADE（Statistical Packet Anomaly Detection Engine）是一种特殊的预处理程序。它所用到的方法是前面提到的异常检测，即首先建立一个描述正常流量的表，表中的数据记录是用如源或目的IP地址，端口地址，通信协议等特性唯一确定的一类数据包，然后将实际流量与该表中的正常描述匹配。它为将要处理的每个数据包配置一个异常值，该异常值与该类

17、数据包出现的频率相关，出现频率越低，则所分配的异常值较高，如果该异常值超出了报警的极限值，则引起该类异常对应的报警。检测引擎是Snort入侵检测系统中最重要的，它的主要职责是对从Libpcap解码出来的数据和经过预处理模块处理过的数据进行规则分析和特征匹配检测。最后，Snort体系结构中重要的一个组件是输出插件。它是原始数据包经过处理后呈献给用户分析的平台。输出插件可以将检测引擎和预处理程序分析后的报警数据转存到不同的文件或存储系统中。（2）Snort规则Snort之所以能像现在这样流行，除了有大量专业人员对程序代码的不断补充完善和论坛的交流和技术共享之外，另一个让广大用户非常欢迎的就是它支持

18、用户自定义规则，甚至包括可以修改原有规则库来定制一套适合于自身网络环境的入侵检测规则。现在许多的非开源代码入侵检测系统厂商为了能兼容snort的规则集，都在其自身开发的IDS系统上实现了Trons功能特性，Trons能够接受官方发布的规则集合和用户自定义的规则集，该功能模块能将snort规则集转换为对应厂商支持的规则集。规则集存储着入侵攻击数据的特征描述，因此，规则集的编写与装载也就成为了配置系统之前的关键步骤。规则头的规则类型关键字选项有三种：Alert，Pass，Log。其中Alert是最常用的，它用于产生一个报警，接下来就记录下该报警所对应的数据包。被设置成Alert规则类型的规则是系统

19、管理员认为最重要的规则，与该规则相匹配的数据包将被发送到报警输出模块。Pass关键字被用来建立忽略规则集，即与该规则集相匹配的数据包将不会被入侵检测系统处理。Log类型的规则的重要程度没有Alert规则高，与Log规则匹配的数据包不会被报警输出，它只是被系统简单的记录下来而已。其中，数据包流向的可选方向关键字支持两种类型：-是单向的流量描述，要想描述双向流量，则要使用双向操作符。源地址、目的地址，源端口，目的端口都可以用any来表示任意，如果要特别指定，可以单独列出来。规则头中的协议字段关键字支持三个常用的协议：TCP，UDP，ICMP。如果说规则头代表的是事件发生在宏观方向上的描述的话，规则

20、选项则是对事件发生在微观范围内的细化。规则选项的关键字按其功能和作用对象不同，常见的可分为以下几类：关于snort的响应选项关键字。最常见的就是报警关键字Msg，它被用于生成一个简单的报警，同时触发该报警的数据包也同时被记录下来。而关键字Logto不只是产生报警，而且还将与规则匹配的数据包记录到日志文件中。（3）Snort报警Snor报警作为一个人机交互的环节，是非常重要的。Snort产生报警的方式可以有很多种，并且报警平台也很多，最常用的是在ACID即入侵分析控制台输出报警，它是基于Web和PHP的。ACID提供了丰富的查询功能。它可以按照逻辑功能对报警分组并且可以分别关联到internet

21、上的CVE标准漏洞库对应的记录上，同时ACID还可以处理来自其他安全装置的数据，这样，就可以利用ACID来做关联分析10。用的最多的snort报警是fast格式，图2.4中就是两条完整的fast格式的输出报警，其格式如下:时间戳 * 事件产生器/预处理器/分析器编号：规则号：版本号 打印信息 * 类别信息 报警等级 协议 源IP：源端口 - 目的IP：目的端口。在图2.4所显示的第一条报警记录中， 03/26-00:03:12.411064表示报警产生的时间；*是元素分隔符；规则信息1:483:5显示,使用的预处理器或分析器的编号为1，规则的签名编号sid为483,字段值rev=5表示此规则时

22、该类规则修改的第五个版本；该条报警显示信息为ICMP Ping CyberKit 2.2 Windows；报警所属类别为Misc activity；优先级priority为3，优先级比较低；该条报警的攻击源地址为24.91.123.110，目的地址是202.203.208.104。图2.4 Snort的Fast报警格式第三章 告警融合关键技术研究3.1 入侵检测信息规范化现在市场上的入侵检测系统种类繁多，厂家标准也各有不同，同时，针对主机和针对网络的入侵检测系统由于针对的对象不同，在结构上也大相径庭，对于研究者和用户来说，不同种类不同要想综合利用这些结构的入侵检测系统所提供的报警信息，这就牵涉

23、到报警格式以及报警信息存储的问题。要想解决这一问题并非易事。3.1.1 CIDF模型美国国防部高级研究计划署（DARPA）的CIDF工作组针对上述问题提出了（Common Intrusion Detection Framework， CIDF）通用入侵检测框架，该框架针对的对象是事件Event，在该框架下定义了Event Generators事件产生器,Event Analyzers事件分析器，EventDatabases事件数据库和Response Unit响应单元四个组件32。通用入侵检测对象是组件之间数据信息交换的统一格式。该框架下的四个组件工作流图如图3.1。图3.1 CIDF模型流图

24、3.1.2 IDMEF模型 IDMEF数据模型能够很好的描述各种类型的报警特征，有效的实现报警分析器与控制台、系统管理程序之间的数据交流，其告警采用二进制的方式实现，而且，由于该模型采用的是一种描述语言的元语言XML，因此，各系统的报警都可以用这一模型进行描述。它能为不同系统产生的报警构建一个统一的描述标准，这样使得各个异构入侵检测系统分析引擎所产生的报警信息都能够作为分析员进行关联分析的原始数据。设计IDMEF数据模型的目标是为警报提供确定的标准表达方式，并描述简单警报和复杂警报之间的关系36。IDMEF采用了面向对象的描述方法定义了入侵报警模型的各个元素、实体、属性等的数据结构模型32，其

25、的主要类定义如图3.2所示。图3.2 IDMEF模型类库其中IDMEF-Message类，它是该模型中最顶层的类。在IDMEF模型的数据类型定义中，它包含了两个大类，即Alert（报警）类和HeartBeat（心跳）类。在XML格式的文档中，Alert用来描述报警的元素，主要是描述该报警的特征，它的属性值ident，作为报警产生先后的标识号；impact属性记录的是攻击成功与否；Alert元素包含了九类元素，其中Source和Target分别记录该攻击告警的源头与目的地的特征；Analyzer用于标识分析引擎；AnalyzeTime描述报警分析的时间；Classification包含的是报警的

26、类型信息，包括类型名和报警名；Assessment类是分析引擎对此次攻击报警事件的评估，包括它的影响、响应动作以及它的可信度；DetectTime描述入侵报警被检测到的时间；CreatTime描述报警产生的时间。在IDMEF的RFC文档中32，Alert类被细分为ToolAlert，CorrelationAlert，OverflowAlert三类。其中OverflowAlert用来记录缓冲区溢出攻击引擎的报警； CorrelationAlert含有一些报警的额外关联信息，它被用来标识多个攻击报警之间的关联性。与Alert类并列的一大类是心跳消息（HeartBeat Message）类，心跳消息

27、用于记录入侵分析引擎和报警管理系统之间实时通信的状态。心跳消息被周期性地发出，它被报警管理系统发出用来检测与入侵分析引擎的通信是否正常，缺少了连续的心跳信息的状态表明二者之间通信异常32。有了IDMEF所定义的标准数据类型，各个系统产生的报警信息可以统一存储到一个关系数据库，或者XML文档，或者文本文件，亦或者是一个XML栈。在此基础上，入侵报警分析员就可以利用这些数据进行关联分析和聚类合并。3.2 聚类算法研究 现在入侵检测方面聚类算法的种类繁多，侧重点不同，性能也有差异。归纳起来可以分为以下几个大类。第一是基于报警事件属性相似度的聚类算法，这类算法基于这样一个理论思想，将两事件的属性簇如I

28、P，端口，协议等的相似度分别进行量化，由此得出一个宽泛的事件间的相似度值，这个值超过预定义的门限即认为两事件极为相似，可判断为同一报警，这种方法的优点是原理和实现都很简单，缺点是只能从属性单方面考虑报警的特征；第二类方法是基于因果关系的，由于这类事件具有因果关系，他们的报警类别往往相同，因此可以整合为同一类型的报警，这种方法的逻辑性较强，对目标事件的聚类决策正确率很高，缺点是需要先验知识，如果不知道两个事件之间的因果关系，则有可能影响到决策的判定；第三类方法是基于模式匹配的思想，即定义一系列的特征（如时间、协议）标准模型，然后用实际的事件或报警去匹配这些模型来决定事件或报警的类别，不同的报警在特征模式匹配后被归入不同的报警类别，从而实现聚类。这实际上是一种特征模式匹配的方法，有点类似于入侵检测中的异常模式检测。