社会态势感知调研报告.docx

1、社会态势感知调研报告关于社会态势感知的调研报告一、态势感知：在大规模系统环境中，对能够引起系统态势发生变化的安全要素进行获取，理解，显示以及预测未来的发展趋势。目前广泛应用于军事、电力、交通、通信网络等领域“态势感知”（SA，Situation Awareness）概念起源于20 世纪80 年代的美国空军：分析空战环境信息，快速判断当前及未来形势并做出正确反应。无疑这对取得胜利具有决定性的作用，而信息到态势的转换并非易事，这正是SA 产生的背景。20 世纪90 年代，SA 进入“人为因素”（Human Factors）研究领域，成为研究热点。目前SA 已广泛应用于军事、航空、工业生产、安全防控

2、等领域，对辅助决策起到重要作用。公认的SA 概念是：在特定时空下，对动态环境中各元素或对象的觉察、理解以及对未来状态的预测。或者，SA 是经过某种信息的处理过程达到的知识状态，这种处理过程称为“态势评估”（Situation Assessment）。态势感知中的“觉察”又称为一级SA，本质上是“数据收集”；“理解”称为二级SA，本质上是掌握数据中的知识（数据中的对象及其行为和对象间的相互关系）；“预测”称为三级SA，本质上是知识的应用。近年来，SA 研究面临环境的全局性、复杂性、动态性、高负荷性，催生新的功能需求或研究：具有多源数据融合与可视化、异质性、自动化、实时处理特点的风险评估、决策、预

3、测系统，其中具有代表性的研究热点是数据融合与可视化，数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。社会感知计算是指通过人类生活空间日益部署的大规模、多种类传感设备，实时感知、识别社会个体的行为，分析挖掘群体社会交互特征和规律，辅助个体社会行为，支持社群的互动、沟通和协作。二、态势感知技术分类一些研究者出于解决行业领域内具体问题这一目的，从信息收集、感知方法及过程等角度研究态势感知。如讨论军事与国土安全决策支持及知识管理，从信息获取、存储、解释等角度分析态势感知技术。又如讨论网络安全态势感知，将态势预测方法分

4、为基于事件、环境两类。而专门讨论可视化技术，从可视化的需求、目的、内容等角度进行分类。本文不局限于某一具体的应用领域或角度，而从更高层面进行分类，以期更全面地探究态势感知技术，分类概貌如图1 所示。1. 环境类型环境类型分为封闭式环境和开放式环境，封闭环境或闭合系统，指不与外界有任何物质交换，不受任何外力控制或影响的系统。如一个核电厂的整个运行监控系统，其特点是：观察对象固定，对象的特征与对象间关系稳定且可枚举，此类环境的态势感知相对容易。开放式环境如战场、互联网等，其特点是：环境中的对象类型、特征均可能发生变化，环境无边界或者边界模糊。为了简化，这类环境的感知模型会将对象进行粗略的分类，从而

5、使对象类型固定。信息时代，这类环境更为常见，由于环境复杂度高，对态势感知技术的需求也更为迫切。2. 应用类型应用类型主要有3 个：环境管理、安全监测与工业控制，不同类型间的区别在于感知的目的不同，而这主要体现在感知过程的不同。环境管理，如观察某一区域的车辆通行情况，观察记录某地气象走势等。通过记录、统计、分析，为将来的设计提供决策等。安全监测，这包括对环境中异常的检测，攻击的识别，威胁的评估，主要目的是宏观的安全管理。工业控制包括对工业生产环境的过程控制，主要目的是确保工业生产活动的安全、质量、效率等。以上应用类型的不同主要体现在态势感知过程的不同上，总结如表2 所示。3. 方法类型方法类型主

6、要有：因果关联分析、事件统计及本体模型3 类。因果关联分析是通过分析环境中发生事件的因果关系，来理解、确定或预测环境的状态。具体来说，环境信息通过基于因果关系的感知模型，映射为环境的状态，这类方法适用于环境中的对象及其行为之间存在因果关系的场合。事件统计是指按照事件发生的统计结果来评估环境状态，这类技术通常需要使用基于训练数据的机器学习方法，学习的目标是建立特定事件模式与环境知识状态之间的映射关系，新的事件通过这种映射关系的映射形成对环境态势的感知，这类方法适用于具备质量较高的环境事件统计数据的场合。本体模型是通过对环境本身时空特性的分析，归纳并推断当前及未来的态势。例如，通过分析一个网络中服

7、务的漏洞情况来判断未来网络的安全态势，通过分析一个区域的安保设施维护情况来推断这个区域的安全风险等。各种态势感知技术的特点总结如表3 所示。4. 模型分类可以根据有无反馈，有无决策目标，有无人为因素来划分。需要注意，有时这些因素之间是相关的，如有决策目标的模型，为了提高模型的准确度，往往需要通过评估决策的效果并通过反馈修正模型；而具有多元决策目标的评估模型，由于决策过程的复杂性，往往需要加入人为干涉来调整感知模型。除此以外，模型分类还可以基于以下特征：数据源（单一、多源、多源异构）、模型特点（基础模型、融合模型、领域模型）、所用方法（概率统计、关联分析）等。综上所述，总结有代表性的模型如表4

8、所示。三、网络安全态势感知从被保护和保护两个角度来说，网络安全问题的解决最终朝向两个方向：1. 对特定对象的保护，防火墙、IDS、IPS 等技术均以此为目标；2. 安全监测及威胁应对。如果将威胁定义为攻击者基于同一目的的一系列安全事件的集合，则网络安全监测主要包含威胁检测及威胁评估两方面内容，前者本质上是攻击者检测；而后者本质上是攻击者意图的估计。实现安全监测不但需要觉察环境下各元素和对象，而且需要理解其中的语义和相互关系，从而最终实现攻击者及其威胁的推断、评估，这一过程与态势感知本质上是一致的，即网络安全态势感知模型或内容如图2 所示。图2 网络安全态势感知内容示意图在三级网络安全态势感知中

9、，一、二级感知，即攻击事件的产生、误报消除、关联以及攻击者的检测已经有大量的研究成果，限于篇幅，这里仅介绍攻击者意图感知部分。“攻击者意图识别”的目标是找出攻击者单一攻击事件背后的逻辑关系，获得更多的攻击语义，合理推断攻击者的下一步行为，从而评估攻击者的威胁，传统的意图识别方法包括基于文法分析的意图识别，基于攻击图的警报关联方法，基于因果关联的警报关联方法以及贝叶斯、隐马尔科夫模型等，这些方法各有优缺点，最终可以形成攻击场景或者“超警报”。但针对僵尸网络或高级持续攻击等复杂攻击类型，仍须进一步提高感知级别，具有代表性的研究有结合提出的基于态势感知方法的威胁检测与评估方法，基本思想是IDS 检测

10、结果进入相互独立的攻击识别系统和环境系统，攻击识别系统负责识别各类型攻击，环境系统负责分析被保护网络暴露给攻击者的弱点，两系统分析结果融合后合理估计攻击者意图，并计算威胁值。1、网络安全态势感知的应用作为CERNET“十一五”211 工程建设项目CERNET 主干网运行保障系统的一部分：CHAIRS（Cooperative Hybrid Aided Incidence Response System）大型分布式应急响应系统，其设计目标是为各节点的CERT 提供应急响应服务管理功能，提高CERNET 内安全事件响应的效率。同时由于各节点各自拥有不同的检测能力，CHAIRS 系统开放警报接口，支持

11、不同安全检测系统的扩展，形成对CERNET 主干网的安全态势监控能力。CHAIRS 系统通过分析收集到的各类安全检测系统的警报（如表5 所示），检测出僵尸网络、恶意网站等各类攻击者及其攻击活动，在此基础上通过推测攻击者类型、数量、位置、意图等测度来评估攻击者的威胁程度，从而最终实现态势感知。例如, 通过关联DNS、Monster、HoneyPot、NBOS 四类警报，检测僵尸网络以及评估其威胁程度这一过程。关联分析各种入侵警报，本质上是明确攻击者行为证据链，确定攻击者并评估其威胁。态势感知技术的目的是帮助决策，所以传统的态势感知技术详细讨论系统、任务（决策目标）、人为因素三者对态势感知所造成的

12、影响以及应对方法。而信息时代下，信息源大大丰富，同时，态势感知也变得更为复杂：1. 信息系统往往是无边界的，对象的诸多特征不可预知，对象之间的作用与影响也难以预测；2. 决策目标更加多元、精细，对态势感知亦提出了更高的要求；3. 由于所处环境的复杂多变，人的判断、决策亦随之变化。以上因素导致传统态势感知技术面临新的挑战。因果关联分析、事件统计、本体模型等技术方法依然是有效的感知技术，然而由于系统的日益复杂，传统的感知技术适用的感知级别具有降低的趋势，传统环境中，可以进行三级感知的技术现在可能仅适用于二级感知，而对未来的预测需要更为深入与广泛的关联平台与技术。近来，云计算、大数据处理等技术带来了

13、新的机遇，同时也带来了新的挑战：1. 资源位置不确定；2. 用户量大且多样；3. 日志审计隐私性更强；4. 互操作接口一致性等。Internet 作为复杂巨系统,组网方式多样,传感器网络、AD Hoc、天基网等新型网络的加入,使得拓扑结构复杂化,难以准确获得;网络设备异构、数量巨大、移动性强;信息交互频繁,网络流量激增,网络负载增大;新应用不断涌现,VoIP,P2P,Grid 等应用的出现,构成了凌驾于传输网络之上的覆盖网络;网络时刻受到故障、攻击、灾难、突发事件的威胁,可用性、安全性和生存性面临严峻挑战;网络运行状况息万变.随着 Internet 规模的迅速扩大,复杂性和不确定性也随之增加,

14、对其特征做出有意义描述的能力相应降低.传统的网络管理各功能单元处于独立的工作状态,缺少有效的信息提取和信息融合机制,无法建立网络资源之间的联系,全局信息表现能力差.海量的网管信息非但不能加强管理,反而增加了网络管理员的负担.现代网络管理必须能够在急剧动态变化的复杂环境中,高效组织不确定的网管信息并进行分析评估,提供被管对象的详细信息,提高网络管理员对整个网络运行状况的认知和理解,提供多样化、个性化的管理服务,辅助指挥人员迅速、准确地做出决策,弥补当前网络管理的不足.Bass 于 1999 年首次提出网络态势感知(cyberspace situational awareness,简称 CSA)的

15、概念,并且指出,“基于融合的网络态势感知”必将成为网络管理的发展方向1,2.所谓网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络的当前状态和变化趋势.值得注意的是,态势强调环境、动态性以及实体间的关系,是一种状态,一种趋势,一个整体和宏观的概念,任何单一的情况或状态都不能称其为态势.CSA是指在大规模网络环境中,对能够引起网络态势发生变化的要素进行获取、理解、评估、显示以及对未来发展趋势的预测.态势感知的概念源于军事需求,作为数据融合的一个组成部分level 2 融合,是决策制定过程的重要环节.CSA 的目标是将态势感知的成熟理论和技术应用于网络管理,在急剧动态变

16、化的复杂环境中,高效组织各种信息,将已有的表示网络局部特征的指标综合化,使其能够表示网络的宏观、整体状态,从而加强管理员对网络的理解能力,为高层指挥人员提供决策支持.与传统的网络管理系统相比,CSA 具有以下特点:(1) 运用数据融合技术,综合考虑影响网络态势的多种因素,提供全面而宏观的网络状态视图,加强对网络的理解与控制,以减轻网络管理员的负担;(2) 成为集成单元网管的平台,改变当前各单元网管独立工作的局面,实现信息共享,海量多样的信息带来丰富而准确的分析结果;(3) 为风险评估、决策制定提供支持.一旦完成态势感知,决策几乎可以根据态势自动生成.本文系统而全面地介绍了网络态势感知的研究进展

17、,主要贡献如下:(1) 提出 CSA研究框架,概括了 CSA的研究内容,总结了现有研究的特点和存在的问题;(2) 提出态势评估的分类方法,明确指出缺少统一规范的评价标准是目前评估方法复杂多样、各自为政的根源;(3) 系统讨论了 CSA 模型、知识表示、评估方法这 3 方面的研究重点以及应用的研究现状,指出了共性问题和现有研究的不足;(4) 对多种评估方法进行深入的分析和比较;(5) 指明未来研究趋势,从技术、功能和系统 3 个层面论述了“综合”是 CSA 的本质.本文第 1 节提出一个 CSA 研究框架,指出 CSA 研究内容、现有研究的特点以及存在的问题,并且对各种评估方法加以分类.第 2

18、节介绍多种 CSA 模型以及模型的发展与演化.第 3 节讨论网络态势知识表示的两个问题:不确定信息表示和复杂系统表示.第 4 节在分类的基础上,详细介绍几种新颖的态势评估方法,并对各种典型的评估方法进行对比分析.第 5 节介绍 CSA 应用研究.第 6 节展望未来的研究趋势.最后从问题体系、技术体系和应用体系 3 方面对全文做出总结.（1） 网络态势感知研究概述本节在提出一个网络态势感知研究框架的基础上明确了 CSA 研究内容,并且提出了对现有评估方法进行分类的方法;然后概括了技术发展的历史进程;最后分析了现有研究的特点,并指出存在的问题.其中,使用最多的当数 Zadeh 教授提出的模糊集,是

19、处理人类认知不确定性和不精确性问题的数学方法,可以对不确定的语义信息进行处理,是描述人脑思维处理模糊信息的有力工具;不仅可以独立使用构建表示和推理系统,还可以和其他技术相结合作为通用的信息表示技术.模糊集在态势感知领域得到认可并广泛使用.此外,灰色理论是一种利用灰色信息的理论方法,采用白化函数对各种灰色信息进行白化,从而得到灰色信息的量化估计.另一个问题是对复杂系统的表示,这也是CSA的挑战之一.为了改变当前各单元网管独立工作的状况,建立真正意义上的 CSA,在很大程度上依赖统一的系统表示方法.能够对网络做出准确、全面、详尽的描述,是进行态势感知的前提.另一方面,网络作为复杂巨系统,面对纷繁丰

20、富的内容和错综复杂的关系,对其进行描述的能力很弱,而相关的研究又很少.本体论是其中的重要方法.本体源于哲学概念,被引入计算机科学领域后,特指对共享概念模型所作的明确而规范的形式化说明.Husserl 于 1985 年提出了形式化本体论(formal ontology).本体强调领域中的本质概念,同时也强调这些本质概念之间的关联,能够将该领域中的各种概念及概念之间的关系显式化、形式化地表达出来,从而表达出概念中包含的语义,增强对复杂系统的表示能力.在形式化本体论的基础上,Grenon将空间相关内容 SNAP(spatial items of interest)和时间相关内容 SPAN(tempo

21、ral items of interest)作为既有区别又有内在联系的两个组成部分分别考虑.Eric使用本体论建立态势视图,从时空两方面分析给出形式化结构,但是过于具体,只起到层次化结构的作用.事实上,在 CSA 中广泛使用且能够和评估方法相结合、真正起到系统描述作用的系统表示方法还要数传统的树状层次结构,如 Bass1借用 SNMP MIB 树状结构模型表示安全威胁分类,建立TCP/IP 威胁分类框架;陈秀真构造层次化网络系统安全威胁态势,从上到下分为网络系统、主机、服务和攻击/漏洞 4 个层次.另外,我国学者蔡文提出的可拓学(extension sets),以系统中相互矛盾的事件为研究中心

22、寻求事物的内在机制,通过建立物元模型,把不相容的问题转化为相容问题来求解.从以上分析可以看出,目前有关网络态势知识表示的研究还存在很多不足:(1) 研究缺少延续性,只是单纯地关注系统表示,而没有应用到后继的评估之中.以本体论为基础的系统表示方法,或者停留在理论层面上,提出通用的方法,过于抽象,无法和评估工作相衔接;或者过于具体,最终陷于层次化结构,无法表现复杂的关系,失去使用本体论的意义.这是因为本体论和可拓学都是系统的理论方法,放之四海而皆准,但其理论体系庞大,使用复杂;由于不是针对态势感知问题提出来的,涉及的表示元素不能充分体现网络态势的特点;(2) 树状层次结构尽管简单明了,体现了复杂巨

23、系统固有的层次性,能够简化分析,但却无法表现复杂的关系和内容,不能满足龚正虎 等:网络态势感知研究 1609其一,现有研究过分关注安全态势,未能集成现有的各单元网络管理技术,无法实现对全局态势的综合评估与展现.由于缺乏对整个 CSA 系统做出全面而系统的研究,使得“态势”的概念太过狭隘,没有体现态势的整体性和宏观性的特点;其二,知识表示不够健全.使用层次结构表示网络系统尽管简单直观、易于分析,但是无法展现网络元素之间错综复杂的关系,不利于挖掘多源多属性数据内部潜在的态势信息.此外,在信息表示方面,如何选择并且扩展用于态势评估的特征测度、建立合理完善的指标体系,有待研究;其三,态势评估缺少统一的

24、标准.这部分是因为态势的概念比较抽象,至于什么样的态势为好,好到什么程度,往往只是一种感觉,无论打分还是分级都缺少科学依据,说服力不强;然而究其更深层次的原因,既没有明确、形式化的态势定义,又缺少度量评估结果优劣的指标和方法,无法形成对态势以及态势评估的共识.没有标准必然造成评估方法多种多样、千差万别,数据融合领域几乎所有的理论方法都被应用到态势评估阶段,而且不断有新方法被引入.这其中包括大量重复研究,甚至为了增加理论深度而使用某种数学方法.只有统一了评价标准,评估方法的研究才有了明确的目标和方向;其四,现有研究只关注态势本身,相对独立.无论纵向(level 1/3)还是横向(level 4/

25、5/6)都缺少与其他融合层次的联系,没有融入数据融合体系之中.从图 1 研究框架可以清楚地看出,目前重点研究的 3 个方面都是 level 2 融合的关键技术,而没有涉及通信、交互以及系统管理等内容,使得各层研究相互脱离,向下很难直接利用 level 1融合的结果作为态势感知特征测度的原始数据,向上也没有迎合 level 3 融合的需求,为威胁分析、决策制定提供支持也无从谈起.综上所述,目前网络态势感知尚处于研究的初级阶段,虽然受到学术界的普遍关注,成为数据融合领域的热点,但是大多数研究只涉及CSA的某个方面,而且还停留在理论探索阶段.全面而深入的理论研究和应用的实际部署是当前和未来研究工作的

26、重点,而其中最亟需的就是建立统一的评价体系.只有明确了 CSA 的研究目标,其他研究才能以此为基础展开有意义的工作.（2） CSA 模型本节介绍了几种最具影响力的CSA模型,展示了模型的发展和演化过程,最后总结了模型研究的共性问题.态势感知以数据融合为中心,其模型的建立也以数据融合模型为基础.目前已经提出了几十种数据融合模型5:智能循环、JDL 模型、Boyd 控制循环、Endsley 模型、瀑布模型、Dasarathy 模型、Omnibus 模型、扩展OODA(Observe,Orient,Decide and Act)模型,此外还有知觉推理模型6,依赖联想存储和关联数据库,模仿人类思维方式

27、.其中最具影响力的当属 JDL 数据融合模型.JDL 模型将融合分为 4 个层次:目标细化、态势细化、风险细化、过程细化,其中:态势感知作为较高层次的 level 2 融合,向下从 level 1 融合接收网络元素的监测数据,作为态势感知的信息来源;向上为 level 3 融合提供态势信息,用于威胁分析和决策支持.Blasch对 JDL 模型加以发展,在 4 层融合的基础上提出了第 5 层用户细化,level 5 融合强调用户的作用,需要用户的知识和推理.同时,为低层提供反馈,优化融合过程.前,JDL 模型进一步发展为 DFIG(data fusion information group)模型

28、.DFIG提出了第 6 层任务管理,区分信息融合和管理功能.Boyd 控制循环模型(OODA),描述了目的与活动的感知过程,并将感知循环过程分为观察、判断、决策、行动这 4 个阶段.其中:观察从物理域跨越到信息域,判断和决策属于认知域;而行动从信息域回到物理域,完成循环.前 3 个阶段类似于 JDL 模型,行动阶段通过考虑决策在真实世界中的影响来闭合循环.扩展 OODA 模型提供了处理多并发、潜在交互数据融合的机制.Endsley 模型对态势感知阶段作了进一步细化,分为态势觉察、态势理解、态势预测 3 个层次.目前,Endsley 模型日渐受到关注,Salerno 在其基础上提出了通用的态势感

29、知框架11,并结合网络环境的实际特点,分析了 CSA 的实现.Tadda 等人在通用态势感知参考模型的基础上,结合网络应用具体问题提出了 Cyber SA 模型12.Cyber SA龚正虎 等:网络态势感知研究 1611态势感知的需要;(3) 作为态势感知的关键问题,信息表示研究不足,尽管对不确定性信息的表示已经隐含在评估方法之中.（3） 网络态势评估方法网络态势评估是指在大规模网络环境中,在 level 1 融合获取各类网络监测数据并进行简单处理的基础上,根据领域知识和历史数据,借助某种数学工具或者数学模型,经过分析推理,对由各种网络资源、网络运行以及用户行为等诸多因素构成的整个网络的当前状

30、态做出合理的解释.态势评估强调实体之间的关系信息,决定了态势因子的汇聚方式,给出一种有利或不利的判断性结果,简言之,就是从态势因子集合到态势空间的映射.所谓态势因子集合,是指能够引起网络态势发生变化的因素的集合,它是监测指标集合的子集.评估方法是态势感知乃至数据融合领域的重点,因此备受关注,理论研究相对成熟.有些研究将理论创新引入态势评估领域,有些则对传统方法进行拓展,还有的将多种理论综合运用,目的就是对不确定性信息进行分析,提高态势评估的准确性,同时还要在时间开销、评估代价等因素之间进行折衷.在众多评估方法中,传统方法包括贝叶斯技术、基于知识的方法、人工神经网络、模糊逻辑技术,引入的新理论有

31、集对分析、D-S 证据理论、粗集理论、灰关联分析、聚类分析等.这些方法大致可以分为 3 类:基于数学模型的方法、基于知识推理的方法和基于模式识别的方法.Bass 有关 CSA 的研究重点在于安全态势.在模型方面,借鉴 ATC(air traffic control)态势感知的成熟理论和技术,提出了基于多传感器数据融合入侵检测系统(IDS)的层次结构,分别给出了 IDS 数据融合模型和 IDS 数据挖掘模型,并且指出 IDS 必须采用 out-of-band 模式.在知识表示方面,Bass 区分了陈述式的知识和过程式的知识,前者是被动的知识或关系知识,如文件;后者是陈述式知识的一种特例,以模式、

32、算法和数学变换来表示;一般陈述式知识基的容量远大于过程式的知识基.Bass还借用SNMP MIB模型表示安全威胁分类,建立TCP/IP威胁分类框架.在评估方面,Bass 提出预防、检测、矫正的信息保障(information assurance,简称 IA)机制,建立基于重要性、脆弱性和威胁 3 大风险要素的风险识别模型.通过重要性和脆弱性矩阵对网络风险量化分析,推理识别攻击者身份、攻击速度、威胁性和攻击目标,进而评估网络的安全状态,并最终给出 9 步骤的统一风险管理过程,但没有实现具体原型系统。（4） 安全态势感知自 Bass 提出 CSA 概念之后,相关研究逐步展开,目前大多集中于网络安全态势感知.实现入侵行为检测、入侵率计算、入侵者身份和入侵者行为识别、态势评估以及威胁评估等功能,已经成为信息安全领域的一个新方向.安全态势关注网络的机密性、可用性、完整性,应用数据融合技术处理包括防火墙日志、入侵检测日志、病毒日志、网络扫描、非法外联、设备状态、实时报警在内的异类、多源数据.网络安全态势感知分为静态评估以及