数据融合.docx

数据融合.docx

《数据融合.docx》由会员分享，可在线阅读，更多相关《数据融合.docx（12页珍藏版）》请在冰豆网上搜索。

数据融合

1数据融合定义

1.1数据融合的定义

数据融合是面对不同级别，不同层次的对数据的处理流程，它的功能主要表现在将来自相异数据源的信息自动地做预处理，关联，预测更新和整合等相关处理。

为了正规化管理数据融合中的专属词汇，美国国家安全部专门成立了一个特别的行动组织团体进行这项工作，从而实现了对数据融合的研究目的，定义和它的相关功能的预研究目的。

随后数据融合的相关定义又被华尔兹和利纳斯进行了改进和补充。

简而言之，人类本身就好比是一个天然的数据融合系统，我们的鼻子，嘴巴，耳朵，四肢以及眼睛就好比是一个个传感器，它们将各自获取的“数据”先进行“预处理”，也就是靠各自单一的感官去感觉，最后反馈给大脑这个中央处理器，大脑再对这些多源的“数据”进行处理，滤波和估计。

数据融合的定义基本上体现了数据融合的三个关键功能:

（1）由于每个层级表示信息处理的不同级别，因此数据融合是在若干个层级上对空间分布的信息源进行操作的;

（2）数据融合的本质其实就是对锁定的目标进行观测，追踪，状态预测和整合;（3）在数据融合操作完毕后会得到的高关联正确率的状态估计以及实时的威胁判断，这些处理结果将成为用户有价值的先验知识，从而使决策者做出正确的操作。

由数据融合的定义也可以看出，数据融合的过程是依托不同的层次来逐步完成的，一般主要由四层来共同完成。

第一层主要是把各个传感器上获取的观测数据进行预处理，包括时间空间校对，坐标系变换等等;第二层主要是评估低层上得到的数据信息的态势，包括对现阶段态势的判断和未来时间的态势预测;第三层是面向整体态势的一种评估，其中有对总体态势的把握以及威胁级别的估计等等一系列。

第四层主要是制定相关的补充计划。

1.2数据融合模型

在不同的应用范围，数据融合有不同的理论模型。

在我们这个特定的数据融

合系统中，通过用户在态势模拟服务器端自定义的起始点属性，传感器参数，配

««预ft理

就进-M进关联

点蓋-*»关联

共亭

*

置信息来仿真传感器获取的局部航迹数据，并且保存在后台的理论航迹数据库中，然后分别传送到相应的终端节点，进行局部航迹的时间校对，空间校对等数据预处理过程，然后生成局部的态势信息。

接着通过与其它终端节点间的相互通信，来共享彼此的局部态势信息，最后综合处理得到全局的态势信息和威胁评估，存入航迹数据库。

具体模型如图2一1所示：

2数据融合的分类

根据不同的具体情况，数据融合也有不同的分类方法。

按照信息范围的差异来划分，可按时间域，空间域和频率域等一系列来划分；按照融合手段的差异进行划分，可按基于统计学，基于概率论等一系列来划分；面向数据融合中不同的级别和次序来划分，可按高级，中级以及低级来划分。

目前应用较为广泛的是将数据融合分为像素级融合，特征级融合和决策级融合。

2.1像素级融合

像素级融合是指不对传感器接收到的信息进行处理，但在融合过程中要求达

到一个像素的精准度。

它的主要优缺点如下表：

表M像素级融合优缺点表

优融1

缺点

能提供其它融合层次不能提供的细做信息0・

处理的数据量大.实时性差

倍心的稳定性差

要求同质传感器

数据通倍量大.抗干扰能力较差

2.2特征级融合

特征级融合主要是指从不同传感器中提取局部的有代表性的数据，然后根据

这些局部数据组合得到具有显著特征的矢量。

这种层次的融合在多层人工神经网络中有很好的应用，从毫米波雷达和激光雷达数据中获取需要的代表性数据，输

入到神经网络中的数据就是由这些获取的代表性数据融合得到。

为了在大量干扰

目标中识别出我们所关注的特定目标，这些特征矢量需要由神经网络进行离线训练。

这样的操作流程就可以实现以较高的精准度和概率分辨出该代表性矢量的类别。

但是需要注意的是该训练结果由所有的传感器参与融合而得到的，因此一旦

其中的某个传感器被替代成其他种类，那么需要重复收集数据和离线训练的操作。

2.3决策级融合

决策级融合主要是指先单独处理来自于各个传感器的目标信息，接着再对各个传感器的局部结果进行处理，从而得出整个系统的综合结果。

决策融合，决策及其可信度融合和概率融合是决策级融合的三种主要的种类。

其主要优缺点如下表：

表2-2决策级融合优缺点表

优点

就点

容错性强

倩息损失达,性能相对较差.

通信量小，抗干扰能力强

运算量小，实时性55

三个融合层次优缺点的比较如下:

表2-3三种融合优缺点比较表

像素级融合

特征级Si合

决策级昭

处理信息量

中绦

最小

信息量损失

最小

中等

最大

抗干扰性鶴

中零

*好

容错性^

最差

中竽

最好

算祛难度

中缚

最易

融合前处理

量小

中等

最大

融合性能

最好

中等

最差

对传感器的依;tt

中導

最小

3数据融合技术

3.1数据融合中的状态估计和跟踪算法

传统的状态预测和跟踪算法主要包含：

数据信息校对；将目标和数据信息联

系起来；估计跟踪范围；数据之间的关联度量；将数据进行关联；找出航迹间的联

系；实现目标定位，属性以及性能的预测；定义航迹的初始状态。

在本数据融合系

点筮型田

1

.:

;

枕宓费?

=5点财時襄

TZ

"…'…'■■■

iinmt

1

图2-2数据处理流程图

统中，跟踪算法主要是针对局部航迹信息处理的，它的基本流程是根据获取的本地观测数据得到航迹的初始状态，经过关联处理把得到的局部航迹数据传递给融合模块进行融合处理。

数据预处理模块，航迹起始模块，点迹航迹关联模块和航迹管理模块是组成跟踪算法的四个基本元素，其处理流程如图2一2。

跟踪算法把从传感器经由专用通信信道传输而得到的观测数据交给点迹预处理模块进行数据类型转换等一系列预处理操作。

数据流经过处理以后将会在航迹起始模块和点迹航迹关联模块中进行运算，航迹管理模块对航迹信息更新的依据就是这里得到的运算结果，然后航迹管理模块中的航迹信息会被传送给融合算法进行融合处理。

图2一3详细地描述了航迹起始模块从点迹预处理模块和点迹航迹关联模块获取数据后进行航迹起始运算的流程。

传递给点迹航迹关联模块的新航迹是为未来的点迹航迹关联做好预备工作。

点迹航迹关联模块不仅从航迹起始模块获取新的航迹，同时对现有航迹和获取的航迹数据进行关联运算，最后搜索出关联流程

中从未曾被航迹关联到的点迹再次交给航迹起始模块进行处理。

磁财关联

>

T■——：

”-

!

更新磁犒息

图2-3航迹更新流程

航迹管理模块一并把由点迹航迹关联模块与航迹起始模块获取的数据加上更新的航迹组成一个整体，把这个整体传递给融合模块处理。

3.2数据融合中的融合算法

时间空间校对、航迹与航迹之间的关联、对航迹态势进行融合以及整体航迹态势的管理是融合算法的四大功能。

对于相异的数据融合系统，都有各自相异的最好的融合方法。

在分布式数据融合系统中运用航迹间融合的方法比较适合，因

为航迹间融合的运算量比较小并且传送速度快。

对于集中式数据融合系统，最好的融合方法是点迹融合，点迹融合的规则是把所有传感器的观察数据交给融合中心进行点迹与航迹融合，但是这种方法的明显劣势是传感器观察的数据量比较大，在强干扰波区会生成许多由干扰波造成的点迹，使得融合鲁棒性不足。

因此航迹处理问题是不同数据融合系统中均存在的问题，无论是分布式数据融合系统还是集中式数据融合系统，唯一的区别是完成处理工作是在相异的节点上。

因此生成

航迹，存储航迹以及删除航迹的规范是航迹处理过程中的一个异常关键的问题，同时也是对目标进行不间断跟踪的核心技术。

数据预处理和数据关联是数据融合之前必要的准备工作。

数据预处理主要包括点迹过滤和坐标转换两个方面。

在多传感器体系中，有用的目标回波生成的同时往往伴随着很多低速目标回波和非动态目标回波，但是就是这些无效的干扰波造成了运算繁琐从而加重了系统负担。

因此系统必须找到一类有效的点迹过滤方法来减少许多由干扰波造成的独立点迹和虚点迹，有效的过滤方法不仅能减少无用波引发的干扰因素，同时也能提升系统的状态预测准度，改善系统性能。

点迹滤波主要是根据非动态目标和动态目标在跨周期特性上的差异然后运用一定的判断策略来判断数据的跨周期性，以此来区分非动态目标和动态目标。

点迹过滤主要是针对点迹过滤，点迹组合和去野值这三个方面来进行操作。

点迹过滤的主要功能是划分传感器观察数据的种类，点迹组合是将对相同观察目标的几个观察数据组合成为一个整体数据，去野值就是摒弃些严重不合理或者发生明显错误的数据对象。

另外一方面的坐标转换就是把由传感器传送过来的数据进行坐标转换，从而成为数据融合系统中所需要的笛卡尔坐标系。

对数据对象进行数据关联的时候，面对不同的系统需求，会运用不同类型的数据关联算法，然而数据关联算法有很多种，这里只列出比较常用的四类。

这四类常用的数据关联算法的主要优缺点如表2一4所示。

表2-4关联算法忧缺点比较表

鼻法名称

优点

交互多模型法

有很好的跟踪性能并且庫低了计算竟杂性

最邻近数据关嚴法

运算量小，罰于实现

在目标密度大吋’跟踪性

联合概率数据关联袪

适合在密集杂械环境中进行目标跟踪

计算量太太耗实时性

槪率数据关联袪

岛于实现对多目标的跟

只适合于目标稀疏的坏圾容齣发生误跟踪

本系统采用快速最邻近联合数据关联算法，从传感器端获取了观察数据以后，需要检查航迹队列，判断是否需要将当前航迹加入航迹起始队列，常见的航迹起始方法有批量处理和按次序处理两大类，然后设置航迹的关联限定，判断点迹是否落在关联范围内，接着计算航迹和观察值的关联概率并选取关联概率最大的点迹作为航迹下一个时刻的状态，最后滤波并且将更新的航迹数据进行发送。

在多传感器融合系统中，局部航迹和全局航迹是两个非常关键的组成因素，局部航迹又叫传感器航迹是由不同传感器的跟踪模块所生成，全局航迹又叫系统航迹是由一切局部航迹经过航迹融合以后生成的航迹，它本质上即是传感器的状态估计融合，主要由局部传感器分别和局部传感器状态估计的融合，全局传感器状态估计的融合两个方面组成。

伪测量融合法，信息矩阵融合法以及基于模糊理论集的模糊航迹融合法是当前在不同融合体系中应用比较广泛的几种融合方法，前三种方法是基于统计学理论的，后一种方法是基于模糊关联理论的。

在目标密度很大或者运动随机性较强的背景下，这三种基于统计学理论的融合方法通常准确率较低，是因为受到传感器差异，目标机动性强弱以及数据处理机制的差异等条件的制约，基于统计学的方法对于分辨两个局部的航迹是否对应相同目标是相当有难度的。

由于在航迹关联判断中航迹有着相当大的不确定性，因此运用模糊关联方法是一种比较可行的选择。

本系统提出了基于假定航迹关联的传递性（如

果X和Y关联，Y和Z关联，可得X,Z一定关联）四元数模糊关联方法，这种方法仅仅关注航迹之间的模糊因素，摒弃了传统的模糊方法中为计算两个航迹的关联性需要考虑与其它所有航迹的模糊因素，这种方法用一个四元数结构来表示任意两个航迹模糊因素的运算隶属度，大大降低了航迹间关联性的运算量，使得航迹关联的实时性得到了提升。

航迹融合的两个阶段

航迹相关性:

航迹相关性的定义在航迹融合中包含两个方面，一个方面是按照相同的批次对所有传感器传来的目标属性依据特定的规律进行合并，然后归一为一个航迹，这称为全局航迹亦是系统航迹。

另外一个方面是根据已有的航迹状态，在所有传感器传来的局部航迹中搜索与之匹配的对象，这样的操作确保了匹配后的目标状态和全局航迹中的状态均来自相同批次的目标。

航迹融合:

匹配成功的局部航迹状态在经过相关性联系之后被分发给相应的全局航迹，生成更新的全局航迹，融合模块用这样的操作来达到对全局航迹的更新的目的。

融合算法的步骤和流程图2一5如下:

阶段l:

关联矩阵，隶属度矩阵以及全局航迹管理矩阵被输入，对该时间点的一切点迹的长度进行定义，设置计数器。

阶段2:

鉴定点迹i是不是进行了分类，如果是跳到阶段3，不是就跳到阶段7.

阶段3:

计数器进行自增

阶段4:

鉴定计数器是不是小于上限，如果是跳到阶段2，不是就跳到阶段5.

阶段5:

全局航迹管理矩阵被输出

阶段6:

结束.

阶段7:

搜索与点迹i有互联关系的一切点迹，将它们进行分类

阶段8:

把分类后的一切点迹融合成整体点迹。

阶段9:

鉴定全局航迹管理矩阵中是不是有与整体点迹有互联关系的旧航迹，如果是跳到阶段11，不是就跳到阶段10。

阶段10:

新建一条航迹加入全局航迹管理矩阵，跳到阶段12.

阶段11:

全局航迹管理矩阵中的相关旧航迹被进行更新.

阶段12:

鉴定全局航迹管理矩阵中是不是每条航迹都被更新，如果航边，‘无折，就把其未更新次数设为0,不是的话未更新次数加1

阶段13:

鉴定全局航迹管理矩阵中每条航迹的未更新次数是不是大于6，如果是

就判定该航迹撤销，并将该航迹发回服务端。

跳到阶段3.

3.实时数据处理技术

3.1实时数据的定义

实时数据即是一种带有时态性的数据，它与普通的静态数据最大的区别在于实时数据带有严格的时间限制，一旦处于有效时间之外，数据会变得无效。

在现实生活中，实时数据与传统的静态数据同样不可缺少，比如证券交易所实时更新的数据，中央气象台的实时天气数据，交通管理部门对各个街道车流量的实时统计数据等等。

随着时间的推移，这些实时的数据会变成历史数据被存储在特定的环境下，以备以后查询统计的需求。

具体到每个特定的数据对象，它的实时性表现在当场输入/输出数据的更新周期，对于每个数据对象均有三个分量（X,Y,Z），它们分别代表当前的数据对象值，数据对象的更新时间间隔和数据对象所对应的上层实体对象状态变化的时间间隔。

此外实时的数据对象还需要从三个不同的层级来满足数据的一致性。

本

文根据数据融合系统对数据的实时性的需求，将数据对象的三个分量做如下定义：

X――当前的数据对象值。

例如系统中后台数据库中的方位角，仰角，扫描频率以及径向距离等等。

丫一一数据对象的更新时间间隔。

这里将系统中的服务器端和终端节点一次成功的数据通信的时间设定为数据对象的采样周期。

Z――上层实体对象状态变化的时间间隔，这里设定为进入下一次采样的截止时间

要从三个不同的层级来验证系统中的数据对象是不是均满足数据的一致性。

在系统内部数据对象跟静态数据在关系数据库中的存储模式类似，很明显是满足

数据正确性的，因此数据在内部层级上是满足一致性的。

在系统外部，数据对象对应的上层实体状态变化的时间间隔是由系统的当前时间和数据对象的更新时间间隔共同决定的，所以按照这种设计思路内部的数据对象和对应的外部实体对象的状态是一致的，如此数据在外部层级上亦满足一致性。

在系统相互关系这个层级上，由于内部数据对象更新的时间间隔与外部实体对象是相同的，而且数据

对象被导出的周期也是等同的，内部数据对象和外部数据对象之间严格满足了一一映射的机制，因此在相互关系这个层级上，数据也满足了相关的一致性。

3.2实时事务的分类与并发控制

实时事务是指有一定时间限制的系统事务。

这类事务不但要求事务满足业务上的逻辑正确，同时也要满足系统的时间限制。

然而对于实时事务类型的划分亦是多样的，依据各异的划分标准，会有不同的分类结果。

根据对数据对象的操作方法的差异进行划分，我们可以把实时事务分为：

（1）只写事务，这类事务只负责写入数据到特定的存储区间；

（2）只读事务，这类事务只允许读取特定存储区间中的数据对象;（3）修改事务，这类事务较之前两种复杂,它不但可以读取数据对象，还可以对这些数据对象进行推导，并且把推导出来的数据结论写入特定的存储区间。

根据错过截止时间而造成的后果划分，我们可以把实时事务分为:

（1）硬实时性事务，这类事务如果错过其截止时间，会带来相当严重的后果，甚至是毁灭性的后果（如图3一1），比如火灾和地震报警系统，重症病人监控系统等等一系列;

（2）软实时性事务，这类事务如果错过其截止时间，后果没有硬实时性事务那么严重，但是事务的有效性也会逐步降低直至完全为零（如图3一2）;（3）固实时性事务，这类事务如果错过其截止时间，事务的有效性会马上变成零（如图3一

3），比如股票证券交易系统。

图3-1硬实时性事务

图3-2软实时性事务

根据事务的完成时间来分类，我们可以把实时事务分为：

（1）周期性事务，这类事务一般都是频繁地周期性地发生，在相同的周期内会被反复地执行。

比如交通监控系统在交通高峰时间对路况数据的收集，工业制造在产品的同一制造阶段对产品数据的读取等等；

（2）非周期性事务，这类事务相比周期性事务不具有可循的规律性，一般都是为了适应特定的系统需求；（3）零星事务，这类事务一般较少发生。

然而在不同的应用范畴或者领域中，面对同一数据对象，不同的事务可能会同时需要对数据进行操作，如果没有合理的控制策略，这时就会发生冲突，将会引起系统功能无法实现甚至系统瘫痪。

因此需要引入实时并发控制协议来解决这个矛盾点，并发控制协议主要是通过协调各个事务之间的关系，合理的分配等待

和执行的时间次序，从而确保所有事务对数据对象的操作均是有序的，并且共享

数据也是满足一致性的。

常见的实时并发控制协议主要有:

（1）优先级继承，这种并发控制协议的核心思路是为了让较低优先级的事务尽快执行完毕或者夭折，让

它升级为同时申请锁的高优先级事务的级别。

这种并发控制协议是存在一定的缺陷的，因为它实际上是延迟了高优先级事务，从而形成了优先级倒置的问题。

不但如此，低优先级事务还可能被其它更低优先级的事务所延迟，从而造成高优先

级的事务迟迟得不到执行，这样的控制机制对系统的性能会产生严重的影响。

（2）高优先级两段锁，这种并发控制协议与优先级继承最大的区别在于它不会让高优先级事务等待，而是让较低优先级事务延迟，保证高优先级事务得到执行。

这种并发控制协议也是存在一定的不足的，尤其对于那些即将完成的低优先级事务，在马上就要结束的时候被延迟了，这对系统的资源实际上是一种浪费，会导致整个系统的效率降低。

（3）分布式高优先级两段锁，这种协议将前面两种并发控制协议进行了整合，它的主要思想是如果申请锁的事务是低优先级事务，那么低优

先级事务等待直到高优先级事务执行完毕，低优先级事务才能得到高优先级事务释放的锁。

如果申请锁的事务是高优先级事务，则需要判断拥有锁的事务有没有提交，提交了也只能等待拥有锁的事务执行完毕，并且赋予它和高优先级事务一样的级别，没有提交还需要判断拥有锁的事务是不是本地事务，是本地事务就在本地重启事务，不是本地事务就全局重启事务。

这是一种比较复杂的并发控制协议，因此它具有一定的优势，不但具备优先级继承的优点同时还尽可能保证了高优先级事务得到执行，这样最大化地避免了冲突，使得系统的整体性能得到极大地优化。

（4）优先级顶，这种并发控制协议的基本思路是一个事务要申请锁并且得到数据操作权限的话，必须要高于所有其他事务中的优先级，否则它就被延迟。

3.3实时数据处理技术在数据融合系统中的优势实时数据与传统的静态数据主要的区别在于实时数据具有明显的时效性，是在一定的周期时间内不断更新的，因此实时数据也可以理解为是一种周期性更新的数据流。

然而数据融合系统的核心部分就是数据融合算法，这里的数据融合算法的主要步骤是时间空间校对，航迹之间的互联，对航迹状态的预测，航迹融合以及全局航迹管理。

其中关键的步骤是把更新后的航迹信息，通过粒子滤波算法得到待分发的航迹信息。

传统的粒子滤波算法是由歌邓在一九九三年提出的，它是以孟特咖络为理论基础的最优回归贝耶丝算法。

这种算法的主要步骤是将一组带有权值的状态矢量作为研究对象亦可称样本，然后对这些带权值的状态矢量进行状态预测，只要当样本容量很大的时候，这些状态矢量的估计结果就跟后验概率密度相同。

但是这种粒子滤波算法也存在着明显的不足，就是经过若干次的运算后，权值的多样化特征会慢慢消失，这样会带来样本退化的问题。

虽然重采样算法会在一定程度上缓解了样本退化，但是同时也引发了样本枯竭的新瓶颈。

本数据融合系统中采用的是自适应的咔尔漫粒子滤波算法，但同样也存在着以上问题。

因此如何保持样本的不断更新，如何保持权值的多样化不会慢慢减退成了关键问题。

不断更新的数据流不但一直为样本注入新鲜血液，同时由于数据流的随机性，也保持了样本的权值的多样化，这些都成为了粒子滤波算法效果良好的保证，也是为进一步的属性融合打下了极好的基础。

这里的粒子滤波算法的主要流程如下首先要估测V+l时刻的目标状态x（v+1/v），然后运算估侧协方差矩阵M（v+1/v），接着运算观察的估测数值z（v+1/v），再运算经过更新的协方差矩阵s（v+l），运算增益值k（v+l），紧接着运算未来时间的滤波估计值x（v+l/v+1），最后计算误差协方差矩阵M（v+l/v+l），如此循环。

现在为了验证实时更新的数据流对数据融合算法良好的支持性，我们将这种

周期性更新的数据流与静态的数据流做一个性能比较。

设定静态粒子的初始状态X等于0.1，动态更新的粒子初始值也等于0.1，采样周期等于0.1秒，粒子数等于100作为实验室的初始条件。

结果如图3一4:

图3-4性能对比图

通过仿真结果表明不断更新的数据流样本分布均匀，状态估计较为准确，所以在本数据融合系统中采用实时数据处理技术实现了对数据融合算法的良好支持，提升了系统的整体性能。