基于大数据的网络安全信息可视化系统概述.docx

资源描述

基于大数据的网络安全信息可视化系统概述.docx

《基于大数据的网络安全信息可视化系统概述.docx》由会员分享，可在线阅读，更多相关《基于大数据的网络安全信息可视化系统概述.docx（19页珍藏版）》请在冰豆网上搜索。

基于大数据的网络安全信息可视化系统概述.docx

基于大数据的网络安全信息可视化系统概述

基于大数据的网络安全信息可视化系统

V1.0

技术研究报告

北京邮电大学

第一章基于大数据的网络安全信息可视化系统研究背景.........................................................1

1.1 基于大数据的网络安全信息可视化系统研究背景及意义...........................................1

1.2 基于大数据的网络安全信息可视化技术现状...............................................................3

1.2.1 基于网络数据流量的网络安全可视化................................................................3

1.2.2 基于端口信息的网络安全可视化........................................................................3

1.2.3 基于入侵检测技术的网络安全可视化................................................................4

1.2.4 基于防火墙事件的网络安全可视化....................................................................4

1.2.5 其它........................................................................................................................5

1.3 本章小结...........................................................................................................................5

第二章基于大数据的网络安全信息可视化系统概述.................................................................6

2.1 基于大数据的网络安全信息可视化的基本形式...........................................................6

2.2 常用的八种数据可视化方法...........................................................................................7

2.3 本章小结.........................................................................................................................12

第三章基于大数据的网络安全信息可视化系统关键技术.......................................................13

3.1 用户接口与体验..............................................................................................................13

3.2 图像闭塞性的降低..........................................................................................................14

3.3 端口映射算法.................................................................................................................18

3.4 网络安全态势的评估与入侵分析..................................................................................19

3.5 本章小结.........................................................................................................................21

基于大数据的网络安全信息可视化系统 V1.0

第一章基于大数据的网络安全信息可视化系统研究背景

1.1 基于大数据的网络安全信息可视化系统研究背景及意义

随着网络的普及，互联网上的各种应用得到了飞速发展，而诸多应用对网

络安全提出了更高的要求，网络入侵给全球经济造成的损失也在逐年增长。

然

而目前网络安全分析人员只能依靠一些网络安全产品来分析大量的日志数据，

从而分析和处理异常。

但随着网络数据量的急剧增大，攻击类型和复杂度的提

升，这种传统的分析方式已经不再有效。

如何帮助网络安全分析人员通过繁杂

高维数据信息快速分析网络状况已经成为网络安全领域一个十分重要且迫切的

问题。

网络安全可视化技术就是在这种情况下产生的。

它将海量高维数据以图

形图像的方式表现出来，通过在人与数据之间实现图像通信，使人们能观察到

网络安全数据中隐含的模式，能快速发现规律并发现潜在的安全威胁。

网络安全可视化的必要性

一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。

但

是随着网络连接的迅速扩展，越来越多的系统遭受到入侵攻击的威胁。

而网络

安全产品是人们目前主要依赖的防入侵工具。

网络分析人员在使用网络安全产

品时，通常通过监视和分析相应的网络日志信息，找出可疑的事件做进一步诊

断，最后对确定的异常和攻击做出回应。

但是网络分析人员分析如下问题时，

通常会遇到如下困难：

1）认知负担过重。

以入侵检测系统为例，部署与乔治亚

州技术学院的IDS传感器平均每天要产生50000个报警，通过传统分析日志信息

的方式分析人员在一天有限的时间内很难对这些报警逐一做出详尽的分析和判

断。

2）交互性不够。

当发现可疑事件时，现有的分析方式不能够提供相关数据

过滤、事件细节显示等功能以帮助分析人员做出进一步有效的判断。

3）缺乏对

网络全局信息的认识。

分析人员看到的往往都是单一的数据记录，缺乏对网络

整体信息的了解，这使得他们很难识别出一些复杂的、协作式的和周期漫长的

网络异常事件。

4）不能提前防御、预测攻击。

通过日志分析的方式很难发现一

些新的攻击模式，也很难对攻击的趋势做出预测或者提前进行防范。

因此，面对网络安全所面临的种种问题，必须寻求新的方法帮助安全分析

人员更快速有效地识别网络中的攻击和异常事件。

一个实用的方法是，将网络

数据以图形图像的方式表现出来，利用人们的视觉功能处理这些大量的数据信

息，即将可视化技术引入到网络安全领域。

可视化（也称数据可视化）是一种

计算和处理的方法，他将抽象的符号表示成具体的几何关系，使研究者能亲眼

看见他们所模拟和计算的结果，使用户以图形图像的方式重新分析数据。

将可

基于大数据的网络安全信息可视化系统 V1.0

视化技术引入到网络安全领域是对现有网络安全研究分析方法的重大变革：

1）

可视化技术能使人们更容易感知网络数据信息，且每次感知更多信息；2）可以

快速识别数据模式和数据差异、发现数据的异常值或错误；3）识别聚类，便于

对网络入侵事件进行分类；4）能从中发现新的攻击模式，做到提前防御，对攻

击趋势做出预测，等。

网络安全可视化的概念及研究步骤

数据可视化（Data Visualization）包括科学计算可视化（Scientific

Visualization）和信息可视化（Information Visualization）。

其中科学计

算可视化是指运用计算机图形学和图像处理技术，将科学计算、工程计算及测

量工程产生的数据转化为图形或图像，在屏幕上显示出来并进行交互处理的理

论、方法和技术。

而信息可视化是用可交互的视觉表达方式来表现抽象的、非

物理的数据来增强对数据本质的认识。

信息可视化涉及到人类认知学、人机交

互、计算机图形学、图像技术、数据挖掘、模式识别等多学科的理论和方法，

是一个新兴的研究领域。

信息可视化不仅用图像来显示多维的非空间数据，使

用户加深对数据含义的理解。

而且用形象直观的图像来指引检索过程,加快检索

速度。

信息可视化目标是帮助人们增强认知能力，显示的对象主要是多维的标

量数据，重点在于设计和选择什么样的显示方式，才能便于用户了解庞大的多

维数据和他们相互之间的关系。

网络安全可视化（Network Security Visualization）是信息可视化中的

一个新兴研究领域，它利用人类视觉对模型和结构的获取能力，将抽象的网络

和系统数据以图形图像的方式展现出来,帮助分析人员分析网络状况,识别网络

异常、入侵,预测网络安全事件发展趋势旧。

它不仅能有效解决传统分析方法在

处理海量信息时面临的认知负担过重、缺乏对网络安全全局的认识、交互性不

强、不能对网络安全事件提前预测和防御等一系列问题,而且通过在人与数据之

间实现图像通信,使人们能观察到网络安全数据中隐含的模式,为揭示规律和发

现潜在的安全威胁提供有力的支持。

网络安全可视化要处理的往往是高维、无

结构化的多变量数据,同时这些数据具有规模大、非数值型等特点;在数据的关

联关系上面临着关系隐式化、时间依赖性强、类型多等困难;在绘制方面也没有

统一的显示模型。

早在1995年mchar A.Becker就提出对网络数据（网络流量状况）而

非其拓扑结构进行信息可视化的概念。

之后L.Gimrdin和R.F.Erbacher又分别研

究了防火墙日志、IDs报警信息的可视化。

随着网络安全技术尤其是网络监控、

杀毒软件、防火墙和入侵检测系统的不断发展,对网络安全可视化的需求也越来

越迫切,从2004年开始, 学术界和工业界每年召开一次网络安全可视化国际会议

（Visualization for Computer Security，VizSEC），这标志着网络安全信息

可视化真正得到大家重视。

网络安全可视化的研究,首先是数据源的选取。

网络安全可视化技术无论从

基于大数据的网络安全信息可视化系统 V1.0

早期针对网络数据、入侵检测系统、主机日志的可视化,还是到现在针对网络攻

击工具、DNs攻击、无线网络安全事件的可视化,解决不同的问题,均需要选择不

同的数据源。

其次,可视化结构的选取。

网络安全可视化技术的一个关键技术是

发现新颖的可视化结构来表示数据信息, 建立数据到可视化结构的映射。

第三,

网络安全信息可视化的实时性、全局和局部信息（Context+Focus）并发显示的设

计。

目前诸多网络安全产品已有一定的实时功能,但通常只能提供给人们普通的

日志信息,网络安全可视化通过对全局和局部信息的并发显示提供给人们更感兴

趣的信息。

第四, 网络安全可视化的人机交互设计阶段。

网络安全可视化技术

的视图放缩、聚焦、关联数据显示、数据选择和回放、历史数据比较、与防火

墙进行联动响应等人机交互功能将使得网络安全产品更加易定制、易操作。

1.2 基于大数据的网络安全信息可视化技术现状

1.2.1 基于网络数据流量的网络安全可视化

由于端口扫描、蠕虫扩散以及拒绝服务攻击等安全事件在流量方面具有明

显的一对一、一对多或多对一的特征,因此此类攻击事件往往在流量方面出现明

显的异常,显示网络流量可以帮助网路安全分析人员快速发现网络攻击,更好地

防范和抵御网络入侵事件。

通常,基于网络数据流量的网络安全可视化技术所使

用的网络数据包属性主要有源IP、目的lP、源端口、目的端口、协议和时间等。

如NVision将网络数据通过分层方式予以显示,可以检测出一个B级网络内所有主

机的流量信息。

VisFlowConnection采用平行轴坐标技术表现连接信息,可以详

细显示某一个域内所有机器的详细流量,也可以显示内部之间流量,这对检测来

自内部的攻击是非常有用的。

单纯分析大量网络日志信息,虽然能分析出针对某

台主机的扫描事件,但不能同时发现某一网段的扫描事件。

PGVis3D技术综合利

用了IP Matrix的2D和3D技术来表现网络内部和外部、内部和内部之间的流量状

况。

可以同时显示出针对某台主机和某一网段的扫描事件。

基于网络数据流量

的网络安全可视化技术在显示与流量相关的安全事件方面有较强优势,但是显示

数据信息较多时,线条易交叉重叠,这增加了分析人员的认知负担,使得一些模式

的发现变得困难。

所以在使用该技术显示大规模数据时还应辅助其他方法,如采

用颜色映射表示不同类型攻击事件等。

1.2.2 基于端口信息的网络安全可视化

在黑客实施网络攻击或者入侵之前通常先要进行信息收集,通过对目标主机

或者网络进行扫描确定目标主机系统是否在活动,确定哪些服务在运行,检测目标

操作系统类型,试图发现目标系统的漏洞。

因此针对端口的扫描是众多攻击中最

基于大数据的网络安全信息可视化系统 V1.0

普遍的一种。

用基于网络数据流量的网络安全可视化方法可检测出某些特定类

型的端口扫描,但对于强动态性、强随机性和强隐蔽性的与端口有关的安全事件

如 DDos、蠕虫病毒、木马等用此方法效果并不好,并且从大量模糊信息中发现

令人感兴趣的网络安全信息本身也是比较困难的。

因此,必须寻求新的方法能从

模糊信息中揭示核心的、隐蔽性强的、令人感兴趣的安全事件。

通常,这类问题

的数据源只含有端口、时间等少量信息,要想高度概括这类信息所隐含的模式,必

须在显示数据信息本身的同时,辅助一些其他手段,如用多层次界面设计.全局和

局部信息的交互显示,颜色映射等。

如 Portvis 就是采取多视图、利用全局和局部

信息交互方式供分析人员监测和识别网络中潜在的安全事件的一种网络安全可

视化技术。

Portvis 可以帮助分析人员识别出跟端口信息紧密相关的网络安全事

件,如端口扫描、特洛伊木马等。

上节所提及的 NVisionIP 也是此方法的典型用

例。

但是,基于端口信息的网络安全可视化技术由于受所使用数据源的限制,往往

提供给分析人员的重要信息有限,在发现感兴趣模式后仍无法获知如 IP 地址、

TCP 标志位等重要细节信息。

如何通过有限的粗糙网络数据获取尽可能多的关

键信息仍是网络安全可视化领域待攻克的一个难点。

1.2.3 基于入侵检测技术的网络安全可视化

目前网络分析人员通常使用基于网络的入侵检测系统识别和抵御 DDos 攻击、

网络蠕虫及木马等网络攻击。

它实时地将当前网络数据包与已存储的已有的攻

击类型签名数据库信息对比,通过匹配与否决定是否产生报警。

虽然入侵检测系

统存储了大量攻击类型的签名信息,但若匹配规则选取不当很容易使得入侵检测

系统产生误报和漏报,并且,基于网络的入侵检测系统往往需要安全分析人员具有

高深的分析日志信息的能力和技巧。

因此,为降低网络分析人员的认知负担,降

低入侵检测系统的误报和漏报率,将可视化技术应用于入侵检测系统。

基于入侵

检测技术的网络安全可视化技术不仅能从单个日志信息中挖掘数据模式,并能从

多个不同的日志信息对比中发现一些隐藏的数据模式,这利于及时发现新型网络

攻击并提前做出防范。

如 SnortView 运用图元方法实时地对 snort 报警信息进行

分等级显示,降低入侵检测系统的误报率。

通过显示不同的日志信息表征整个局

域网内网络状况,帮助人们提前分析复杂的可疑网络安全事件。

虽然基于入侵检

测技术的网络安全可视化技术集合了散点图和颜色映射的优点,可以表现多维网

络数据信息,但在将多个属性变量映射成可视图元时缺乏规范和标准,这容易导

致绘制结果差异较大,对分析攻击模式造成困难。

1.2.4 基于防火墙事件的网络安全可视化

在网络安全分析人员使用防火墙分析网络安全事件时, 通常需逐行分析复杂

基于大数据的网络安全信息可视化系统 V1.0

众多的日志信息,如防火墙记录的内外通信发生的时间和进行的操作等。

但由于

网络安全分析人员对每个日志信息的细节过于考虑而往往忽略整体所隐含的模

式,并且当发现并采取措施抵御这些攻击时,网络入侵可能已经停止。

因此应设计

一种实时处理和评定全局网络信息的基于防火墙事件的新网络安全研究方法。

基于防火墙的网络安全可视化技术就是在此需要下产生的。

它通过运用多重视

图实时显示网络通信的特殊细节信息,通过聚类显示各细节间的相似与异同之处,

而这些视图信息又能一致地反映目前整个网络的运行状态。

如 XX 采用散列图

来显示防火墙事件,用小方块表示主机,方块的颜色表示不同的协议类型。

通过此

方法用户可观测出哪些进程刚被启动、哪些请求是可疑事件。

文献[27]能很好

地监控防火墙的运作,无论对有经验的网络分析人员还是初学者均易上手操作。

通常基于防火墙事件的网络安全可视化技术适用于大规模网络异构数据的显示,

但由于点、线重叠,使得关键信息易丢失、重要信息被隐藏、不易于理解。

1.2.5 其它

随着网络安全事件类型的增多,不同的网络安全可视化技术也随之涌现出来。

如 InSeon Yoo 提出的自组织映射（Self-Organizing Maps 技术），它利用计算机

病毒独特的特征信息帮助用户发现及抵御嵌入在可执行文件中的病毒信息;SIFT

研究小组运用 Nessus 的扫描结果作为数据源,设计出针对 Nessus 扫描器的可视

化分析工具 Nvision—Nessus；通过显示 DNs 相关查询信息,帮助分析潜在的

DNS 攻击事件的 FlyingTerm 技术等。

目前国外已设计出了一些软件原型系统

如

NIVA、Snortsnarg、PortVis、SnortView、NVisionIP、VisFlowConnection、IDG

raph、VisualFirewall 等。

国内虽然在网络安全的理论和工程实践方面都取得了

很大进展,但在网络安全可视化关键技术研究方面依然是空白。

1.3 本章小结

网络安全可视化的研究工作尚处于初级阶段,一些方法与理论正在形成之中,

构建完整实用的网络安全可视化系统还存在许多困难。

面临的挑战主要是:

1、如何有效地实时显示处理大规模网络数据。

网络中庞大的数据流量、数

据的实时预处理分析以及系统对交互设计的快速响应等都对如何实时显示和处

理大规模网络数据提出了高要求。

2、如何集成自动报警和防御功能。

从降低网络分析人员的认知负担考虑,

安全可视化工具应该具备自动识别网络异常并报警、当确认异常事件后能对其

进行防范抵御的能力。

现有技术方法均不具备该功能。

3、如何用一整套理论指导网络安全可视化研究。

由于网络安全信息可视化

基于大数据的网络安全信息可视化系统 V1.0

缺少数学模型、可视化方法研究主观性强、难于进行有效验证和评估等,网络安

全信息可视化相关基础理论研究迫在眉睫。

可视化技术已经给很多学科的研究带来深远影响,随着上述理论和关键技术

问题的解决,网络安全可视化技术应用前景广阔。

第二章基于大数据的网络安全信息可视化系统概述

2.1 基于大数据的网络安全信息可视化的基本形式

网络拓扑图可视化是信息可视化研究的一个方面，由点-线图来表达和分析

网络的。

而在网管系统中可视化的网络拓扑更是必不可少的，因为点-线图展现

了网络拓扑结构的直观形态，为路由分析、网络监控等方面提供了可视化展现

方法。

大规模拓扑网络可视化是信息可视化在网络拓扑数据集上的具体应用，

凡是信息可视化中的方法都可以应用到拓扑的绘制当中。

通用类型的拓扑可视化工具一般能提供开放的数据接口，比如

SNMP、NwtFlow 或者 MRTG 等。

这类拓扑显示工具可复用性较高，接口比较

独立。

网络测量领域的著名研究组织 CAIDA，the Cooperative Association for

Internet Data Analysis（因特网数据分析协会）也已经开发出了一系列的相关拓

扑显示工具，比如 Otter 是 CAIDA 组织开发的一种通用拓扑绘图软件，他具有

丰富的图形交互功能，允许调节节点位置、图形的缩放、根据图形属性进行染

色等。

同时，CAIDA 组织针对不同层次的网络拓扑还开发了相关拓扑显示工具，

比如说 Jaspvi 主要关注于 AS 级拓扑。

除了 CAIDA，美国的 NLANR 和希腊的

GRNET 等相关实验室也从自身所管理的网络出发，对网络的可视化工作进行了