图像融合算法概述.docx
《图像融合算法概述.docx》由会员分享，可在线阅读，更多相关《图像融合算法概述.docx（14页珍藏版）》请在冰豆网上搜索。
图像融合算法概述
图像融合算法概述
摘要：
详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。
关键词：
图像融合;多尺度变换;评价标准
Abstract:
Thispaperintroducedtheprinciplesbasedonimagefusionatpixellevelindetail,analysedsyntheticallyand
summedupthepresentroutinealgorithmofimagefusionatpixellevelandevaluationcriteriaofitsquality.Itpointedoutthe
recentdevelopmentofimagefusionatpixellevel,anddiscussedthedevelopmenttendencyoftechniqueofimagefusionatpixel
level.
Keywords:
imagefusion;multi-scaletransform;evaluationcriteria
1.引言：
图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程,从而可以有效地把不同图像传感器的优点结合起来,提高对图像信息分析和提取的能力[1]。
近年来,图像融合技术广泛地应用于自动
目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。
图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性;通过对多幅图像间互补信息的处理来提高图像的清晰度。
根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。
融合的层次不同,所采用的算法、适用的范围也不相同。
在融合的三个级别中,像素级作为各级图像融合的基础,尽可能多地保留了场景的原始信息,提供其他融合层次所不能提供的丰富、精确、可靠的信息,有利于图像的进一步分析、处理与理解,进而提供最优的决策和识别性能.
2.图像融合算法概述
2.1图像融合算法基本理论
相对图像融合的其他层次,像素级图像融合是直接在采集到的原始图像上进行的,在各种传感器原始数据未经特征提取与分类前就进行数据综合与分析,是最低层次上的融合。
在某些场合（如目标识别）,实施像素级图像融合之前,有时需要先对参加融合的各图像进行预处理（如图像增强、降噪等）,其目的是提高检测性能。
不过这种预处理并非必需,但对参加融合的各图像必须进行精确的配准。
其配准精度应达到像素级。
像素级图像融合通过互补信息的有机集成,可以减少或抑制单一信息对被感知对象或环境解释中可能存在的多义性、不完整性、不确定性和误差,最大限度地利用各种信息源提供的信息,从而大大提高在特征提取、分类、目标识别等方面的有效性[2]。
图1给出了像素级图像融合的结构示意图。
2.2基于非多尺度变换的图像融合方法
2.2.1平均与加权平均方法
加权平均方法将原图像对应像素的灰度值进行加权平均,生成新的图像,它是最直接的融合方法。
其中平均方法是加权平均的特例。
使用平均方法进行图像融合,提高了融合图像的信噪比,但削弱了图像的对比度,尤其对于只出现在其中一幅图像上的有用信号。
2.2.2像素灰度值选大（或小）图像融合方法
假设参加融合的两幅原图像分别为A、B,图像大小均为M×N,融合图像为F,则针对原图像A、B的像素灰度值选大（或小）图像融合方法可表示为
F（m,n）=max（ormin）{A（m,n）,B（m,n）}
其中:
m、n分别为图像中像素的行号和列号。
在融合处理时,比较原图像A、B中对应位置（m,n）处像素灰度值的大小,以其中灰度值大（或小）的像素作为融合图像F在位置（m,n）处的像素。
这种融合方法只是简单地选择原图像中灰度值大（或小）的像素作为融合后的像素,对待融合的像素进行灰度增强（或减弱）,因此该方法的实用场合非常有限。
2.2.3基于PCA的图像融合方法
PCA图像融合方法首先用三个或以上波段数据求得图像间的相关系数矩阵,由相关系数矩阵计算特征值和特征向量,再求得各主分量图像;然后将高空间分辨率图像数据进行对比度拉伸,使之与第一主分量图像数据具有相同的均值和方差;最后用拉伸后的高空间分辨率图像代替第一主分量,将它与其他主分量经PCA逆变换得到融合图像。
PCA融合算法的优点在于它适用于多光谱图像的所有波段;不足之处是在PCA融合算法中只用高分辨率图像来简单替换低分辨率图像的第一主成分,故会损失低分辨率图像第一主成分中的一些反映光谱特性的信息,使得融合图像的光谱畸变严重。
只按统计的思想,不考虑图像各波段的特点是PCA融合算法的致命缺点。
2.2.4基于调制的图像融合方法
借助通信技术的思想,调制技术在图像融合领域也得到了
一定的应用[3,4],并在某些方面具有较好的效果。
用于图像融合上的调制手段一般适用于两幅图像的融合处理,具体操作一般是将一幅图像进行归一化处理;然后将归一化的结果与另一图像相乘;最后重新量化后进行显示。
用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。
2.2.5非线性方法
将配准后的原图像分为低通和高通两部分,自适应地修改每一部分,然后再把它们融合成复合图像。
文献[5]采用自适应的非线性处理方法融合可见光和红外图像。
2.2.6逻辑滤波方法
逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法,例如当两个像素的值都大于某一阈值时,“与”滤波器输出为“1”（为“真”）。
图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。
2.2.7颜色空间融合法
颜色空间融合法的原理是利用图像数据表示成不同的颜色通道。
简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜色通道,合并这些通道得到一幅假彩色融合图像。
该类方法的关键是如何使产生的融合图像更符合人眼视觉特性及获得更多有用信息。
Toet等人将前视红外图像和微光夜视图像通过非线性处理映射到一个彩色空间中,增强了图像的可视性[6]。
文献[7]研究表明,通过彩色映射进行可见光和红外图像的融合,能够提高融合结果的信息量,有助于提高检测性能。
2.2.8最优化方法
最优化方法为场景建立一个先验模型,把融合任务表达成一个优化问题,包括贝叶斯最优化方法和马尔可夫随机场方法。
贝叶斯最优化方法的目标是找到使先验概率最大的融合图像。
文献[8]提出了一个简单的自适应算法估计传感器的特性与传感器之间的关系,以进行传感器图像的融合;文献[9]提出了基于图像信息模型的概率图像融合方法。
马尔可夫随机场方法把融合任务表示成适当的代价函数,该函数反映了融合的目标,模拟退火算法被用来搜索全局最优解。
文献[10]提出了基于匹配图像相似性的Markov融合模型;文献[11]提出了一种只考虑图像边缘图构造的马尔可夫随机场,与迭代条件共同使用,可实现图像的实时融合。
2.2.9人工神经网络方法
受生物界多传感器融合的启发,人工神经网络也被应用于图像融合技术中。
神经网络的输入向量经过一个非线性变换可得到一个输出向量,这样的变换能够产生从输入数据到输出数据的映射模型,从而使神经网络能够把多个传感器数据变换为一个数据来表示。
由此可见,神经网络以其特有的并行性和学习方式,提供了一种完全不同的数据融合方法。
然而,要将神经网络方法应用到实际的融合系统中,无论是网络结构设计还是算法规则方面,都有许多基础工作有待解决,如网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等。
目前应用于图像融合有三种网络:
a）双模态神经元网络。
文献[12]提出六种类型的双模态神经元用于可见光和红外图像的融合。
b）多层感知器。
Fechner和Godlewski提出了基于多层感知器神经网络的图像融合方法[13],通过训练多层感知器识别前视红外图像中感兴趣的像素,将其融入可见光图像中。
c）脉冲耦合神经网络（PCNN）。
Broussard等人借助该网络实现图像融合来提高目标的识别率[14],并证实了PCNN用于图像融合的可行性。
2.3基于多尺度变换的图像融合方法
基于多尺度变换的图像融合方法是像素级图像融合方法研究中的一类重要方法。
基于多尺度变换的融合方法的主要步骤[15]为:
对原图像分别进行多尺度分解,得到变换域的一系列子图像;采用一定的融合规则,提取变换域中每个尺度上最有效的特征,得到复合的多尺度表示;对复合的多尺度表示进行多尺度逆变换,得到融合后的图像。
2.3.1基于金字塔变换的图像融合方法
Burt最早提出基于拉普拉斯金字塔变换的融合方法[16]。
该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合,实际上该方法是选取了局部亮度差异较大的点。
这一过程粗略地模拟了人眼双目观察事物的过程。
用拉普拉斯金字塔得到的融合图像不能很好地满足人类的视觉心理。
在文献[17]中,比率低通金字塔和最大值原则被用于可见光和红外图像的融合。
比率低通金字塔虽然符合人眼的视觉特征,但由于噪声的局部对比度一般都较大,基于比率低通金字塔的融合算法对噪声比较敏感,且不稳定。
为了解决这一问题,Burt等人[18]提出了基于梯度金字塔变换的融合方法,该方法用了匹配与显著性测度的融合规则。
Richard等人[19]给出了以上三种金字塔用于图像融合的定性和定量的结果。
另外,Barron和Thomas[20]提出一种基于纹理单元的金字塔算法,它在每层图像中采用24个纹理滤波器以获取不同方向的细节信息。
与梯度金字塔算法相比,它能够提取出更多的细节信息。
文献[21]提出了一种基于形态学金字塔变换的图像融合方法。
基于金字塔变换融合方法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息,相对于简单图像融合方法,融合效果有明显的改善。
其缺点是图像的金字塔分解均是图像的冗余分解,即分解后各层间数据有冗余;同时在图像融合中高频信息损失较大,在金字塔重建时可能出现模糊、不稳定现象;图像的拉普拉斯、比率低通、形态学金字塔分解均无方向性。
2.3.2基于小波变换的图像融合方法
小波变换技术具有许多其他时（空）频域所不具有的优良特性,如方向选择性、正交性、可变的时频域分辨率、可调整的局部支持以及分析数据量小等。
这些优良特性使小波变换成为图像融合的一种强有力的工具。
而且,小波变换的多尺度变换特性更加符合人类的视觉机制,与计算机视觉中由粗到细的认知过程更加相似,更适于图像融合[22]。
基于小波变换的图像融合方法的基本步骤为:
对每一幅原图像分别进行小波变换,建立图像的小波金字塔分解;对各分解层从高到低分别进行融合处理,各分解层上的不同频率分量可采用不同的融合规则进行融合处理,最终得到融合后的小波金字塔;对融合后所得的小波金字塔进行小波逆变换,所得重构图像即为融合图像。
图2给出了基于小波变换的图像融合
方法的结构示意图。
目前,基于小波变换的图像融合方法的研究主要集中在以下几个方面:
a）融合规则及融合算子的选择。
在小波图像融合过程中,融合规则及融合算子的选择对融合质量至关重要,这直接影响到图像质量的好坏。
针对不同类型和特征的图像,目前已经提出了大量的高、低频融合规则。
高频融合规则主要包括[23]简单和加权平均准则、取系数绝对值较大准则、基于小波模极大值的融合准则、基于区域能量的融合准则、局部方差准则、局部平均梯度准则、局部均方差准则、消除高频噪声法等。
通常情况下,低频部分融合一般采用平均的线性融合规则,但在许多情况下,这种取平均的线性融合方法会影响最终的融合效果。
文献[24]中提出了平均与选择相结合的低频融合规则。
该方法考虑了两幅图像的相关性,在一定程度上符合人眼对较显著的点比较敏感这一事实,融合效果相对平均法有一定的改善,但无显著的提高。
燕文浩等人[25]提出了基于Canny边缘检测算子的低频融合规则,有效地改善了融合图像边缘细节的准确度,提高了融合图像的分辨率。
b）小波分解与重构的形式。
LiMing等人[26]将离散小波变换应用于遥感图像融合中,取得了很好的融合效果。
在进行小波变换时,由于采用了行列降采样,图像的大小发生了变化,每层图像的大小均为上一层图像的1/4。
这种变化在图像融合处理过程中有时是不利的,特别是在图像配准精度不高的情况下,容易产生分块效应。
为此,ZhangZhong和Blum[27]提出了基于小波框架的图像融合算法,这种算法经变换后的图像大小不发生变化,克服了上述缺点,但计算量相对较大。
多小波是近几年刚刚发展起来的小波理论的一个新的组成部分,它提供了更加广泛的小波基选择范围,能够找到具有更好性质的优于二进制波的小波函数。
WangHai-hui[28]提出了基于多小波变换的图像融合方法,使图像的融合效果得到了进一步改善。
1994年Sweldens不依赖于傅里叶,提出了一种基于提升机制的小波变换新方法。
基于提升机制方法能够实现小波变换的快速算法,可以提高融合速度,节省内存和存储空间,所以基于提升机制的小波变换开始被应用于许多图像融合之中[29～31]。
根据小波分解与重构的形式不同,基于小波的图像融合方法大致可分为塔形小波变换（PDWT）、塔形小波帧变（PDWFT）、树状小波帧变换（TDWFT）、小波框架、多小波变换、基于提升机制小波变换（FILWT）的融合方法。
c）小波融合方法与其他融合方法的结合。
目前,针对某类特定的融合原图像和某种特殊的融合目的,出现了许多小波方法与其他融合方法相结合的算法。
唐国良等人[32]提出了基于IHS变换和小波变换的昼夜彩色图像融合算法;ZhangYun等人[33]将HIS与小波技术结合起来用于遥感图像融合中,明显降低了融结果中的颜色扭曲现象;蒋年德等人[34]提出一种新的基于主分量变换与小波变的图像融合方法,该方法使融合图像在较好地保留光谱信息的同时,增强了空间细节信息。
基于小波变换的图像融合方法进一步的研究方向主要包括:
新的融合量测指标;新的高、低频融合规则;分解层数对融合图像的影响及层数优化;新的小波分解与重构方法;小波融合方法与其他融合方法新的结合。
2.4基于Ridgelet变换的图像融合方法
当小波变换推广到二维或更高维时,由一维小波张成的可分离小波只有有限的方向,不能最优表示含线或者面奇异的高维函数。
因此,小波只能反映信号的点奇异性（零维）,而对诸如二维图像中的边缘以及线状特征等线、面奇异性（一维或更高维）,小波则难以表达其特征。
针对小波变换的不足,Candes[35]提出了一种适合分析一维或更高维奇异性的脊波（Ridgelet）变换。
脊波变换用于图像融合的意义在于:
a）脊波变换通过Radon变换把图像中线特征转换成点特征,然后通过小波变换将点的奇异性检测出来。
其处理过程克服了小波仅仅能反映“过”边缘的特征,而无法表达“沿”边缘的特征。
b）脊波变换继承了小波变换的空域和频域局部特性。
c）脊波变换具有很强的方向性,可以有效地表示信号中具有方向性的奇异性特征,如图像的线性轮廓等,为融合图像提供更多的信息。
d）脊波变换较小波变换具有更好的稀疏性,克服了小波变换中传播重要特征在多个尺度上的缺点,变换后能量更加集中,所以在融合过程中抑制噪声的能力也比小波变换更强。
因此将脊波变换引入图像融合,能够更好地提取原始图像的特征,为融合图像提供更多的信息。
文献[36]提出了一种基于脊波变换SAR与可见光图像融合方法。
该方法在保留合成孔径雷达SAR与可见光图像重要信息、抑制噪声能力方面均优于小波变换。
由于脊波理论建立时间不长,还有许多值得研究的课题,例如,如何能够减轻甚至消除在重构图像过程中出现的轻微划痕、如何简化脊波的复杂计算、寻求快速算法等。
2.5基于Curvelet变换的图像融合方法
Curvelet变换是由Candes提出的Ridgelet变换演变而来的。
Ridgelet变换对含有直线奇异的多变量函数有很好的逼近效果,能稀疏地表示包含直线边缘的分片平滑图像。
但是对于含有曲线奇异的图像,Ridgelet变换的逼近性能只与小波变换相当。
由于多尺度Ridgelet分析冗余度很大,Candes和Donoho于1999年提出了曲线波（Curvelets）变换理论[37],即第一代Curvelet变换。
其基本思想是:
首先对图像进行子带分解;然后对不同尺度的子带图像采用不同大小的分块;最后对每个块进行Ridgelet分析。
由于Curvelet结合了Ridgelet变换的各向异性和小波变换的多尺度特点,它的出现对于二维信号分析具有里程碑式的意义,也开始被应用于图像融合。
Choi等人[38]首次将Curvelet应用于多光谱图像和全景图像的融合,结果具有更丰富的空间和光谱信息以及更佳的视觉效果。
文献[39]提出了一种基于Curvelet变换多传感器图像融合算法,该方法相比传统的基于小波变换的图像融合算法。
能够有效避免人为效应或高频噪声的引入,得到具有更好视觉效果和更优量化指标的融合图像。
由于第一代Curvelet变换的数字实现比较复杂,需要子带分解、平滑分块、正规化和Ridgelet分析等系列步骤,且Curvelet金字塔的分解也带来了巨大的数据冗余量,Candes等人又提出了实现更简单、更便于理解的快速Curvelet变换算法,即第二代Curvelet变换[40,41]。
第二代Curvelet与第一代在构造
上已经完全不同:
第一代的构造思想是通过足够小的分块将曲线近似到每个分块中的直线来看待,然后利用局部的Ridgelet分析其特性;第二代Curvelet与Ridgelet理论并没有关系,实现过程也无须用到Ridgelet,两者之间的相同点仅在于紧支撑、框架等抽象的数学意义。
文献[42]提出了一种基于第二代Curvelet变换的图像融合方法,并应用于多聚焦图像的融合。
该方法可以更好地提取原始图像的特征,为融合提供更多的信息,相比第一代Curvelet变换更易于实现。
3像素级图像融合技术应用领域
3.1图像融合理论框架[43]
不同级的融合试验表明每一级都有典型的属性,并拥有某种典型的融合方法,但是所有这些方法应存在一个共同的原理。
这促使研究一个通用的数学模型来抽象这些过程,并将这个融合模型纳入到一个复杂的图像理解系统中,成为图像融合的最终目的。
文献[44]给出了一个统一的图像融合框架,在此框架下可分类、比较和评估现存的一些图像融合算法。
3.2新的分解方法
1）矩阵分解法文献[45]认为从不同传感器获取的图像,可以看做是融合图像乘以不同的权重,故可以使用非负矩阵分解技术来进行图像融合。
2）易操纵金字塔分解易操纵金字塔是一种多尺度、多方向、具有自转换能力的图像分解方法,它把图像分解成不同尺度、多方向（多于三个方向）的子带系列。
与小波变换不同,它不仅保持了紧支撑正交小波的特点,而且具有平移不变性及方向可操纵等优点。
使用基于拉普拉斯变换、小波变换的融合方法,即使原图像间存在较小的配准误差,也会引起融合图像的严重退化,出现双边缘以及虚假成分。
基于易操纵金字塔的融合方法能够克服这些缺点。
3）Hermite变换[46]由于Hermite变换基于高斯梯度算子,对图像融合来说,它具有更好的图像表示模型。
4）局部余弦基局部基将时间轴划分成不同大小的时间片断。
特别引人注意的是余弦基,它可以通过设计覆盖每个时间片断的平滑窗口和用不同频率的余弦函数相乘得到。
通过迭代基于局部余弦基的分割空间可构造局部余弦树,提供了为特定信号选择最优基的方法。
最好的局部余弦基使时间分割的片断随自适应信号时频结构的变化而变化。
5）Contourlet变换在继承Curvelet变换的各向异性尺度关系的基础上,Donoho和Vetterli提出一种新的图像二维表示方法:
Contourlet变换[47]。
它是小波变换的一种新扩展,是一种多分辨率的、局域的、多方向的图像表示方法。
Contourlet变换的优点在于能够仅使用少量系数有效地表示平滑轮廓,而平滑轮廓正是自然图像中的重要特征。
Contourlet变换不仅提供任意方向上的信息,采样冗余度小,而且使用迭代滤波器组可实现高效计算,计算复杂度远低于Curvelet变换。
文献[48]将Contourlet变换应用于遥感全色和多光谱影像的融合。
该方法能在保留多光谱影像光谱信息的同时增强融合图像的空间细
节表现能力和信息量。
3.3神经视觉生理学方法
美国麻省理工学院林肯实验室的A.M.Wax-man利用对抗受域（仿响尾蛇双模式细胞工作机理）,提出了微光夜视图像和红外图像的对抗融合。
荷兰人力因素所的Toet提出的另一种伪彩色的可见光图像和红外图像融合方法,也是一种仿生的颜色对抗（coloropponent）方法。
国内,北京理工大学利用神经视觉生理学进行像素级图像融合及其彩色显示工作正处于世界前沿领域[49]。
3.4图像融合和图像处理算法的互相结合
融合图像可以提供比单幅图像更可靠和完全的场景表示。
但是,几乎所有的融合算法都是基于基本的处理技术,没有考虑高层的抽象信息。
如今,这些算法已不能满足观察者的复杂要求,需要开发更具有主观意义的方法。
为此,文献[50]提出了一个新的框架。
其基本思路是如果用高层的信息,如图像边缘和图像分割的边界来指导基本的像素级融合过程,就能够实现更具有主观意义的算法。
与传统的两个像素级融合方法比较表明,多层融合结构消除了不利的影响,且融合过程更可靠、图像变得更清晰、图像质量也更好。
3.5自适应优化图像融合研究
自适应图像融合是一个热点研究方向,它要求有一个策略来决定算法在何时以及如何满足特定的融合目的。
将图像融合效果评价的信息加入到融合规则的选取和参数的选择过程中,能更充分地利用信息源提供的信息,会得到更好的融合效果。
文献[51]提出了一种先进的离散小波变换图像融合算法:
有两个参数可调,分别为分解层数和选择小波的长度,这两个参数决定了图像融合的质量;然后通过质量评价因子迭代优化融合过程,达到最优融合。
进一步,文献[52]通过集成客观融合指标到传统的图像融合算法构建了新框架,该框架可以自适应调整融合参数,以达到最优的融合显示。
4像素级图像融合技术发展前景
目前国内外有关图像融合的研究还不够系统和深入,还未形成完整的理论框架和体系,有许多理论和技术问题亟待解决。
未来可能的发展方向包括以下几个方面:
a）图像配准方法研究。
研究更为有效的特征匹配方法,考虑更复杂的空间变换模型,使算法能够适用于分辨率存在较大差异的图像间的配准。
升级会员 