基于多分辨率分析的多传感器图像融合算法研究.docx

基于多分辨率分析的多传感器图像融合算法研究.docx

《基于多分辨率分析的多传感器图像融合算法研究.docx》由会员分享，可在线阅读，更多相关《基于多分辨率分析的多传感器图像融合算法研究.docx（12页珍藏版）》请在冰豆网上搜索。

基于多分辨率分析的多传感器图像融合算法研究

基于多分辨率分析的多传感器图像融合算法研究

***

（浙江工业大学理学院，浙江杭州310023）

摘要：

本论文主要研究了基于多分辨率分析的多传感器图像融合算法。

主要围绕对偶树复小波变换、二代Curvelet变换等多分辨率分析工具，对多传感器图像融合算法进行深入、系统的研究，结合大量仿真实验，提出了多种图像融合算法。

关键词：

图像融合；多分辨率分析；对偶数小波变换；二代Curvelet变换

Researchofmulti-sensorimagefusionalgorithmsbasedonmulti-resolutionanalysis

ZhihuanQian

（Schoolofscience,Zhejianguniversityoftechnology,Hangzhou310023,china）

Abstract:

Thispapermainlyresearchesmulti-sensorimagefusiontechniquesbasedonmulti-resolutionanalysis.Weutilizemulti-resolutionanalysistoolssuchasDual-TreeComplexWaveletTransform,thesecondgenerationCurveletTransformandNon-subsampledContourletTransformtoresearchmulti-sensorimagefusiontechniquesdeeply.Alotofnewalgorithmshavebeenproposedcombinewithanamountofsimulationexperiments.

Keywords:

ImageFusion;Multi-resolutionAnalysis;DualTreeComplexWaveletTransform;

theSecondGenerationCurveletTransform

1引言

伴随传感器技术的飞速发展，系统获得目标对象的图像信息量也急剧增加。

由于图像传感器不同的成像原理、工作波长范围、工作环境与技术要求限制，传统的单一传感器模式已不能全面描述图像中目标对象的特征信息，已逐渐由多传感器模式替代。

随着图像传感器数量的不断增加、系统信息量的不断加大和图像获取及处理新问题的不断深化，必须研究和发展新的方法和新的技术处理和解决多传感器图像以获取更多有用信息。

多传感器信息融合（Multi-sensorInformationFusion）就是为解决这一问题而逐渐发展的一种新方法，并成为近年来一个非常活跃的研究方向，其中的一个重要研究分支可视信息融合即为图像融合，并随着多传感器信息融合的飞速发展，在全世界范围内引起了广泛的关注。

多传感器图像融合（Multi-sensorImageFusion）是将两个以上具有互补和冗余特性的成像传感器或对单一成像传感器处于不同工作模式下获取关于相同场景图像信息进行多方向与多层次综合处理（融合策略），最终得到具有更精确与更可靠的新图像，使融合后的图像减少冗余性、模糊性的同时，具有更佳的互补性、可理解性，更易于人类视觉辨识或计算机图像处理，如图像检测、图像识别、图像分类与理解等。

图像融合是一个融合多学科技术的新型领域，它综合了传感器成像技术、图像处理、信号处理、计算机视觉和人工智能等。

虽然现在已研制出了如前视红外、激光成像雷达、合成孔径雷达等能获取高质量图像的各种新型传感器，然而各种传感器的性能较依赖于使用环境，且同类传感器具有同样的物理意义，所获取的图像也具有相同的性质，而使用不同类型的传感器获取图像信息可解决单一使用独立图像传感器造成其功能上的局限性。

因此，多传感器图像融合能够结合传感器各自几何特征、光谱信息和空间分辨率等成像特性，融合获得对该场景更丰富、更准确、更可靠的图像描述。

2基于对偶树复小波变换的多聚焦图像融合

目前基于金字塔变换的图像融合算法和基于小波变换的融合方法是多聚焦图像融合的主要方法，由于金字塔变换中相邻分解层间的数据是冗余的，并且无方向性，而小波变换却具有良好的时-频局部特性、非冗余性和方向性，因此作为信号与图像处理MRA工具，离散小波变换（DWT）的应用日益广泛。

然而传统的DWT存在平移不变性和方向选择性上的严重缺陷导致小波系数在能量分布上变化较大，同时输出图像信息含有较大的冗余，致使计算量增加。

复小波变换（CWT）的出现虽然可以克服上述问题，但是由于CWT输入形式是复数，构造复小波树完整的重构滤波器是非常困难的。

N.G.Kingsbury提出了对偶树复小波变换（DT-CWT），它是一种能够完全重构的CWT方法，在DT-CWT过程中，源图像信号产生少量的偏移时，各分解尺度系数变化不大，同时DT-CWT具有良好的方向选择性，可进行6个不同方向的系数分离，可以分解出源图像更多的细节信息，更清晰的刻画图像的边缘细节特征。

基于DT-CWT的多聚焦图像融合框架如图2.1所示，首先对源图像进行DT-CWT的J层分解，得到6J+1个子带图像。

其中，低频分量表示的是源图像的轮廓信息，高频分量表示的是源图像的细节信息。

选取适当的融合规则对低频分量和高频分量分别进行融合，对其进行对偶树复小波逆变换，即可获得融合后的图像。

下面以两幅图像为例，具体步骤如下：

图2.1多聚焦图像融合框架

多分辨率分析图像融合中的关键步骤是融合规则的选择，以期在合并不同子带的系数之后能够获得质量最佳的融合图像，图2.1中虚线部分为接下来研究的重点。

人们已经研究较多的三种融合规则包括：

最大值选择法（MS），通过选取出各子带中最大的系数进行判定规则；由Burt和Kolczynaki提出的加权平均法（WA）；在区域窗口上讨论两个子带之间归一化相关性的方法。

上述融合规则忽略了一些有用信息且对噪声敏感，方法一中粗尺度分解后，图像变得较为平滑，使得无法准确区分究竟应该选择哪一幅图像的系数作为聚焦系数；在方法二中，权值通过线性函数进行计算，无法描述出每幅源图像贡献度的不确定性；方法三中，选择运算使融合系数完全依赖于区域能量较大的系数而忽略了其他相关系数。

本文提出了一种基于Fisher判别和模糊理论判别相结合的新的融合规则。

六个维度的特征向量可以经由DT-CWT来获得，子带可以作为训练判别器。

用判别器输出作为决策图选择在不同维度、不同分解层中两幅图像的子带系数。

在两幅图像的平滑区域选择子带系数时存在一定的不确定性，这种情况导致了不可判别区域的存在。

为了解决这种不确定性，引入模糊理论，将每幅图像中的有用信息尽可能多的融入结果图像中，为此，提出了一种基于模糊理论判别的算法，综合考虑三种融合规则的输出。

图2.1虚线部分的融合规则如图2.2所示，图2.2以高频分量为例。

图2.2高频系数融合规则

仿真实验采用两幅大小均为256×256的多聚焦“clock”图像。

两幅图像在进行融合实验之前已经过配准。

如图2.3所示，“clock”图像A聚焦点在左侧，因此左侧区域较清晰，“clock”图像B聚焦点在右侧，因此右侧区域较清晰。

图2.3待融合图像

为了对比验证本章提出的融合算法的有效性和正确性，实验采用同一场景的灰度多聚焦图像进行融合仿真，并与3种较为典型的融合算法进行比较，第一种是基于Laplacian金字塔变换（LaplacianPyramidTransform,LPT）图像融合算法，分解层数为4层，且LPT顶层子带系数采用加权平均法进行融合；第二种是基于离散小波变换（DiscreteWaveletTransform,DWT）的图像融合算法，使用“db4”小波滤波器。

第三种是基于DT-CWT的图像融合算法（DT-CWT_Simple）。

这两种基于MRA分解的图像融合算法中图像分解级数均为4级。

为使各种融合算法之间具有可比性，在进行融合处理时，上面两种融合算法均采用低频系数部分取加权平均，高频系数区域能量取大的融合规则。

图2.4（a）,（b）给出了待融合的灰度多聚焦源图像,（c）～（f）是各种算法的融合结果。

图2.4灰度多聚焦图像融合实验

从实验融合效果可以得出主观评价：

本章提出的融合算法在有效消除源图像的聚焦差异的基础上，提高了图像的清晰度，在四种融合算法中获得了最好的融合效果。

为了定量评价不同融合算法在多聚焦图像融合中的性能，本文采用熵（H）、均方根误差（RMSE）、平均梯度（G）、空间频率（SF）作为客观评价标准，融合效果评价如表2.1所示。

表2.1各算法融合效果评价

从融合效果评价中可以看出，本文提出的算法与仿真实验中其他算法相比得到的图

像熵、均方根误差、平均梯度和空间频率均有很大程度的提高，这主要是由于采用了不

同的多分辨率分解工具和运用不同的融合规则引起的。

3基于二代Curvelet变换的红外与可见光图像融合

小波变换（WT）凭借其具有的时域、频域局部化分析能力以及在一维有界函数中表现的最优逼近性能，使得WT成为分析与处理一维非平稳信号的重要工具。

然而其有限的方向性使得在WT的二维或更高维函数不能“稀疏”的表示线奇异性或面奇异性。

小波基的支撑区间表现为尺寸各异的“方块”，在尺度增加的情况下，WT只能用“点”来逼近奇异性曲线，因此不能更“稀疏”的表示原函数；由于WT方向性的匮乏（只具有水平、垂直、对角方向信息），致使WT无法充分利用图像本身的几何正则性，同样不能更“稀疏”的表示原函数。

为了克服WT在图像分析中的缺陷，E.J.Candès和D.L.Donoho提出了曲线波（Curvelet）变换，Curvelet的构成是由以下几种概念组合而成：

1.脊波——一种适用于直线状奇异性边缘的描述的方法。

2.多尺度脊波——脊波金字塔窗，其变换具有更多的尺度和更好的方向性。

3.带通滤波——将待检测图像分离到不相交的尺度上。

Curvelet变换由Ridgelet变换衍生而来，首先应用带通滤波将图像分为不同尺度的子带，Curvelet系数分为两种类型：

一种是粗尺度下的Wavelet尺度函数系数，一种是精细尺度下的多尺度Ridgelet系数。

如同Ridgelet变换一样，Curvelet变换也可以在任何尺度、位置和方向进行，但Ridgelet变换具有变化的带宽width和统一的长度length，而Curvelet变换同时具有变化的带宽width和变化的长度length，这就使Curvelet变换具有各向异性。

在精细尺度下，每个子块的带宽width和长度length之间的关系可以表示为width=length2，各向异性随着尺度的不断缩小呈指数增长，从而实现对曲线奇异的检测，然而其变换过程（子带分解、平滑分块、正规化和Ridgelet分析）数学实现较为复杂，鉴于此，E.J.Candès和D.L.Donoho于2004年提出了一种新的更简单、更易于理解的Curvelet理论，被称为第二代Curvelet变换（theSecondGenerationCurveletTransform,SGCT）。

近年来，随着空气质量的下降，军事目标的可检测性逐年降低，在此情况下，军事任务对图像融合技术的要求提出了更高的要求。

作为军事应用中两种最常用的夜视传感器，红外和可见光成像仪由于其成像物理特性在成像过程中有他们各自的优势和不足。

红外图像的特点是空间分辨率低，混频现象较为严重，容易丢失掉高频的细节信息，而可见光图像含有丰富的光谱信息，高频细节信息丰富，但低频信息较低，因而红外和可见光图像的融合技术被广泛的应用于获取互补的图像信息。

由于红外图像能够记录场景中目标的热辐射情况，因而可以应用红外图像发现具有热量的目标及辨别伪装目标。

可见光图像具有背景图像中较高的空间信息，可以感知目标的精确位置和周围的环境信息。

因此，红外图像和可见光图像的图像融合可以将互补的信息结合在一幅图像中，能够更好的描述一幅场景，可以帮助进行目标检测、目标定位及环境识别等任务。

本文用SGCT对红外与灰度可见光图像进行分解，提出一种基于显著水平测度和区域匹配规则的图像融合算法。

基于SGCT的红外和灰度可见光图像融合框架如图3.1所示：

图3.1基于SGCT的红外与灰度可见光融合算法框架

实验选取两组红外与可见光图像进行仿真，用以对比验证本文提出算法的有效性和正确性。

第一组源图像为同一场景下拍摄某营地侦查的红外与可见光图像，如图3.2（a）所示，红外图像中可以清晰的分辨出一个站立的人，相比场景中的热目标其它景物对比度较低，地物模糊，不易分辨，而同一场景的可见光图像如图3.2（b）中，道路、栅栏、房顶、烟囱等景物对比度较高，但由于光线暗淡，无法看清人物。

3.2待融合图像

SGCT分解后红外、可见光和融合图像各尺度相加结果如图3.3（a）、（b）、（c）所示。

图3.3（d）、（e）、（f）为对红外、可见光和融合各尺度相加结果进行边缘检测。

从上述实验性能分析来看，SGCT可以更稀疏的表示源图像中的曲线、直线等几何特征，通过少数较大的Curvelet变换系数即可进行表示，且变换后能量更加集中，对提取与分析图像特征具有重要意义。

基于SGCT与显著水平测度的融合算法能够结合红外与可见光图像各自成像特点，有效地保留图像场景中地物特征（背景）信息和热目标（人物）信息，且边缘、细节清晰可辨。

图3.3各尺度相加结果与边缘检测

为了对比验证本章提出的融合算法的有效性和正确性，实验与3种较为典型的融合算法进行比较，第一种是基于LPT的图像融合算法，分解层数为5层，且LPT顶层子带系数采用加权平均法进行融合的融合规则；第二种是基于DWT的图像融合算法，使用“db4”小波滤波器，且图像融合算法中图像分解级数为5级；第三种是基于SGCT的图像融合算法（SGCT_simple），分解层数为5层。

为使各种融合算法之间具有可比性，在进行融合处理时，第二、三种融合算法均采用低频系数部分取加权平均，高频系数区域能量取大的融合规则。

图3.4（a）,（b）给出了待融合的第一组红外与可见光源图像,（c）～（f）是各种算法的融合结果。

图3.4融合实验

图3.5各融合算法检测到的高频细节边界区域

从视觉效果来看，图3.4中各融合算法均能将红外图像中的热目标（人物）特性与位置特性与可见光图像中背景特征信息相结合。

从对目标的观测情况来看，如图3.4中红线标识区域所示，通过比较可以发现，图3.4（d）具有明显的“块”效应，人物边缘存在虚影，这是由于DWT不具备平移不变性，因此在重构图像中产生了许多不规则的波纹和边缘。

相比之下，由于SGCT优良的多方向特性，对描述图像的边缘细节特征具有更好的方向辨识能力。

图3.4（e）、（f）中，这种“块”效应及虚影现象得以消除。

图3.5为实验对四种融合算法的融合结果进行边缘及细节检测后，确定的高频细节边界区域。

图3.5可以更清晰的对比看出本文算法的融合结果能够结合红外与可见光图像各自成像特点，有效地保留图像场景中地物特征（背景）信息和热目标（人物）信息，且边缘、轮廓等细节清晰可辨，这反映了SGCT更有利于跟踪及捕获图像中边缘、细节等重要特征的能力。

为了定量评价不同融合算法在红外与可见光图像融合中的性能，充分融入源图像中的红外目标特征信息以及背景地物边缘细节信息，本文采用熵（H）、相关系数（CC）、平均梯度（G）、空间频率（SF）作为客观评价标准。

表3.1第一组实验图像各算法融合效果评价

从融合效果评价中可以看出，与仿真实验中其它算法相比，本文提出的算法得到评价指标性能均有一定程度的提高，这主要是由于采用了不同的多分辨率分解工具和运用不同的融合规则实现的。

综合上述四种指标来看，LPT融合评价指标最差，这是因为LP分解结构中不包含方向信息并且分解过程中会产生信息丢失所致，使得对图像中微小细节反差以及细节特征信息处理的能力较差；本文算法的熵值及相关系数均高于其它三种算法，表示本文提出的融合算法能够更多的保留原始图像中重要的特征信息。

本文算法的平均梯度和空间频率显著高于其它算法，表明本文算法在保持可见光图像的背景特征信息和红外图像的目标特征信息的同时，还有效地保留了源图像中的边缘细节特征，这与主观视觉比较结果完全一致。

4结论

基于多分辨率分析的图像融合框架中：

多分辨率分析算法是图像融合的基础，融合规则是图像融合的核心，融合效果评价是图像融合的关键。

鉴于此，本文将对偶树复小波变换、二代Curvelet变换等多分辨率工具引入图像融合，结合人眼视觉特性和多传感器成像特性等先验信息，提出了多种与源图像特性相适应的多传感器图像融合算法，通过理论算法介绍、融合框架搭建、仿真实验验证和融合性能分析证明了所提算法的有效性和优越性。

参考文献

[1]孙岩.基于多分辨率分析的多传感器图像融合算法研究[D].哈尔滨:

哈尔滨工程大学,2012.