几种平移不变性图像融合方法的客观评价.docx
《几种平移不变性图像融合方法的客观评价.docx》由会员分享，可在线阅读，更多相关《几种平移不变性图像融合方法的客观评价.docx（11页珍藏版）》请在冰豆网上搜索。
几种平移不变性图像融合方法的客观评价
控制与制导
本文2007-09-25收到,李印清、李玲玲均系郑州航空工业管理学院副教授,李保系96550部队少尉
几种平移不变性图像融合方法的客观评价
李印清李玲玲李保
摘要随着图像传感器技术的发展,多传感器图像
融合已成为图像理解、计算机视觉以及遥感领域中的一个研究热点,多种图像融合方法相继提出。
但是,对融合效果评价的方法一般只涉及主观视觉评价及单因素评价,在实际中存在很大的局限性。
针对这个问题,建立了一套对图像融合质量进行定量评价的方法和准则,应用此方法和准则对基于离散小波框架、基于可操纵方向金字塔变换和基于双树复小波变换三种具有平移不变性的图像融合方法进行了客观定量评价,综合比较了这三种融合方法的性能差异与优劣。
关键词图像融合小波变换小波框架可
操纵方向金字塔变换双树复小波变换
多传感器图像融合是对多个传感器获取的同一地区或同一目标的图像数据中所含的信息优势或互补性有机结合产生新的图像数据的技术。
近年来,它在军事目标的检测、识别与跟踪、战场监视、微型军用机器人、夜间导航、医学图像处理、遥感图像处理、以及制造业等领域得到了广泛的应用。
国外进行该领域研究具有代表性的机构是美国MIT林肯实验室和LehighUniversity,荷兰的CWI（Cen-terforMathematicsandComputerScience和TNOHumanFactorsResearchInstitute,加拿大的McGill大学等。
近年来图像融合系统典型的应用主要有:
在海湾战争中发挥很好作战性能的LANTIAN吊舱,它可将前视红外、激光测距、可见光摄像机等多种传感器信息迭加显示的图像融合系统;20世纪90年代,美国海军在SSN-691（孟菲斯潜艇上安装了第一套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像;1998年1月7日5防务系统月刊6电子版报道,美国国防部已授予
BTG公司两项合同,其中一项就是美国空军的图像融合系统设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像。
近几年图像融合技术的敏感度愈来愈高,除了在理论与算法研究上继续有报道、系统有简单描写外,关于技术实施性的报道已几近绝迹。
在算法理论研究方面,图像融合已经取得很大的进步,较早的有加权平均、IHS变换、差分及比率差分、主成分分析、高通滤波等方法。
到20世纪80年代中期,又提出了基于金字塔分解的图像融合方法,其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等。
90年代以后,相继提出了基于离散小波变换、基于多小波、基于提升小波、基于树状小波等的融合方法[1-3]
此外,将Contourlet变换等多尺
度分析数学工具引入到图像融合[4]
以及自适应图像
融合方法[5]
的研究也是一个新的趋势。
目前图像融合算法大都是建立在源图像精确配准的基础之上,当源图像之间的配准存在误差时,融合效果会受到配准误差的较大影响,融合图像严重恶化。
针对此问题,我们相继提出了基于离散小波框架、基于可操纵方向金字塔变换和基于双树复小波变换的具有平移不变性的图像融合方法[6,7]
。
如何评价这些平移不变性图像融合方法的融合效果是一个非常复杂的问题,也是图像融合的一个重要步骤。
因此,本文建立了一套对图像融合质量进行定量评价的方法和准则,应用此方法和准则对三种具有平移不变性的图像融合方法进行了客观定量评价,综合比较了这三种融合方法的性能差异与优劣。
1平移不变性图像融合方法
基于平移不变性图像融合方法属于基于多尺度
图1可操纵方向金字塔变换的系统结构
变换一类的融合方法,概括地说包括三个主要步骤:
多个传感器源图像分别进行平移不变性的多尺度分解,得到变换域一系列子图像;采用一定的融合规则,抽取变换域每个尺度最有效的特征,得到复合的多尺度表示;对复合的多尺度表示进行多尺度反变换,得到融合后的图像。
1.1平移不变性多尺度变换
1离散小波框架
离散小波框架是一种具有移位不变性的多尺度表示方法
[8]
。
离散小波框架每一阶段把输入序列
分解为小波框架序列Di（n和尺度帧序列Si（n:
Di+1（n=2kg（2i
#ksi（n#kSi+1（n=2k
h（2i
#k#Si（n-k（1
第0层的尺度帧序列等于输入序列S0（n=f（n,递归地对尺度帧进行上述分解,就构成了完
整的离散小波框架表示。
通过对原型高通滤波器g（k和低通滤波器h（k插入适当数目的0,得到每一层的高通和低通分析滤波器g（2i
#k和h（2i
#k。
原始输入序列的重构通过小波框架序列和尺度
帧序列分别与适当的高通重构滤波器g~（k和h~
（k低通重构卷积求和得到:
Si（n=2k
h~
（2i
#n-k#Si+1（n+2k
g~
（2i#n-k#Di+1（n（2
离散小波框架很容易扩展到二维,二维离散小波框架变换等价于行方向和列方向分别进行一维的离散小波框架变换。
与离散小波变换不同,在每一层的分解过程中,离散小波框架没有对图像进行下
采样,而是对滤波器进行了插值操作,从而具有移位不变性。
每层中每个频段的图像尺寸都与原图像相同。
2可操纵方向金字塔变换
Freeman和Simoncelli[9,10]
等人提出的可操纵方向金字塔变换（steerablepyramid把图像分解成不同尺度、不同方向（大于三个的子带系列。
它不仅保持了紧支集正交小波的特点,而且具有平移不变性、自转换及方向可以操纵等优点。
可操纵方向金字塔变换频率域的系统结构见图1。
图1中虚线的左边部分表示可操纵方向金字塔变换的分解（分析过程;图1中虚线的右边表示其重构（综合过程;H0（X为无方向的高通滤波器;L0（X和L1（X为窄带低通滤波器;Bk（X为n+1个方向的带通滤波器（k=0,1,,,n;|2表示下采样,{2表示上采样;X（X表示源图像,X^
（X表示重构的图像。
首先,图像被分解为高通和低通两个子带图像,随后低通子带被进一步分解为一系列带通子带图像和一个（更低通子带图像,分解后的（更低通子带图像进行下采样后再进行分解,重复以上过程,直到所设定的分解层。
其中,每一层可操纵方向金字塔分解的带通子图像的方向都是可调的。
也就是说,通过调整几个方向带通滤波器响应的线性组合,合成滤波器的响应可被
调制为任意方向,具体可参见文献[9,10]
。
频域重构的图像X^
（X可以表示为:
X^
（X=|H0（X|2+|L0（X|2|L1（X|2
+2n
k=0|Bk（X|
X（X+a.t.（3
其中a.t.表示混叠部分。
3双树复小波变换
双树复小波变换（DualTreeComplexWavelet
Transform,DT-CWT是Kingsbury[11,12]
最近提出的一种具有近似平移不变性、良好的方向选择性、有限的数据冗余和高效的计算效率的小波变换形式。
它独立地使用两棵实滤波树（树a和树b来生成小波系数的实部和虚部。
成功地进行双树复小波分解的关键在于两棵树使用的滤波器的不同。
在第一层分解时,两棵树使用奇数长度的滤波器,并且两棵树分别对信号的奇数采样位置和偶数采样位置进行滤波。
即如果两棵树滤波器之间的延迟恰是一个采样间隔,那么就可以确保树b中第1层的向下采样取到树a中因隔点采样运算而舍弃的、不能保留的采样值。
换句话说,这等价于不进行下采样的
#
表1四种多尺度变换的冗余性比较
冗余度
输出的总数据量
m=1m=2m=3m=4离散小波变换noN2
N2N2N2离散小波框架（3*m+1B14N27N210N213N2可操纵金字塔变换（4k/3+1B1
9N29N29N29N2双树复小波变换
4B1
4N2
4N2
4N2
4N2
离散小波变换。
高层使用群延迟近似1/4采样的滤波器组,两棵树相对于各自采样速率半个样值间隔的延迟。
双树复数小波变换扩展到二维可以通过使用两棵树先对图像的行进行滤波,再用两棵树对列进行滤波。
这类似与实小波变换扩展到二维的方法,不同的是双树复数小波分解产生6个
分别指向?
15b,?
45b和?
75b的细节子带图像,而实小波只产生水平、垂直和对角三个方向的细节子带图像。
1.2不变性多尺度变换的冗余性比较
我们对双树复小波变换、离散小波框架、可操纵金字塔变换三种具有平移不变性的方法以及离散小波变换的冗余性进行比较（见表1。
其中,输入图像大小为N@N,分解层数用m标识。
很容易看出:
离散小波变换没有冗余;另外,随着分解尺度的增大,离散小波框架、可操纵金字塔变换和双树复小波变换的冗余数据量依次减小。
与离散小波框架以及可操纵金字塔两种多尺度方法相比,双树复数小波变换只引入了有限的数据冗余。
1.3图像融合规则
对于分解后的高频方向子带和低频子带,采用我们在文献[7]中提出的低频基于改进的邻域熵、高频基于跨尺度的邻域空间频率的融合规则。
简单说来,低频子带融合时,计算每个像素对应的邻域熵图像,选择邻域熵较大的系数作为融合图像的低频子带对应位置的系数;高频方向子带融合时,首先求取各高频细节子带对应的邻域空间频率,然后根据该尺度和相邻尺度同方向对应位置的邻域空间频率求取测度参数,选择该测度参数值较大的系数作为融合图像的高频子带对应位置的系数;最后,对融合后的各个频带进行一致性验证,并进行逆变换,得到融合图像。
2评价图像设计与评价指标的选取
我们把算法评价使用的图像分为两类:
待融合的同传感器源图像组和待融合的不同传感器源图像组。
2.1同传感器源图像组的设计及相应的评价指标选取
对于同传感器源图像对的设计,作者使用标准参考图像,对其中间部分或外边部分分别用高斯函数模糊,得到一对模拟的同传感器源图像,考虑到图像数量越多,融合评价的可信度越高,同时其工作量也会随之增大。
在实验中作者共选择了20幅标准参考图像,图像大小均为256@256,从而可以生成20对待融合图像（从1到20,对这20对图像进行编号。
用该组的20对同传感器源图像进行融合评价时,由于有可供对比的标准参考图像,所以我们选取均方误差、峰值信噪比、参考图像和融合图像信息熵的不同（即熵差、参考图像和融合图像的互信息作为客观评价指标。
2.2不同传感器源图像组的选择及相应的评价指标选取
我们选择10对已配准的不同传感器的源图像对进行融合评价,图像大小均为256@256,从1到10对这10对图像进行编号。
对于不同传感器的图像融合是没有标准参考图像可供对比的,所以我们选取融合图像的标准差、空间频率、信息熵、以及融合图像与两源图像的互信息之和作为客观评价指标。
3平移不变性融合方法评价实验及分析
实验中我们同时与基于离散小波变换（用DWTF表示的融合方法进行了对比。
融合过程中都采用了相同的分解层（三层,并且融合规则中邻域窗口和一致性验证窗口大小均取3@3。
可操纵方向金字塔变换和双树复小波变换均采用六个方向。
3.1同传感器图像组的客观评价结果
20对同传感器源图像对,采用几种融合方法获得的融合图像的评价指标的比较结果见图2,各图中的横坐标为融合图像的序号,纵坐标分别对应
图220对同传感器图像四种方法评价指标比较曲线
融合图像的均方误差、峰值信噪比、参考图像和融合图像信息熵的差、参考图像和融合图像的互信息。
分析图2可以看到:
1对于实验中的大多数融合图像而言,基于可操纵方向金字塔变换融合方法所获得的融合图像的均方根误差最小,表明它与标准参考图像的差异最小,融合的效果最好,其次是基于离散小波框架的融合方法,然后是基于双树复小波变换的融合方法,最后是基于离散小波变换的融合方法均方根误差最大;2四种方法按峰值信噪比由大到小的次序排列（也即抗噪性由强到弱依次为:
基于可操纵方向金字塔变换融合方法、基于离散小波框架的融合方法、基于双树复小波变换的融合方法和基于离散小波变换的融合方法;3三种具有平移不变性的方法得到的融合图像与参考图像的熵差比较接近,其中基于可操纵方向金字塔变换融合方法略小于其它两种,基于离散小波框架的融合方法稍小于基于双树复小波变换的融合方法,但基于离散小波变换的融合方法的熵差较三者要大得多;4融合图像与参考图像的互信息由大到小的次序排列（信息含量由高到低依次为:
基于可操纵方向金字塔变换融合方法、基于离散小波框架的融合方法、基于双树复小波变换的融合方法和基于离散小波变换的融合方法。
综上,三种具有平移不变性的方法中基于可操纵方向金字塔变换融合方法最优,其次是基于离散小波框架的融合方法,再次是基于双树复小波变换的融合方法。
基于离散小波变换的融合方法的性能远逊于前三种方法。
3.2不同传感器图像组的客观评价结果
10对不同传感器图像,采用四种融合方法获得的融合图像的评价指标的比较结果见图3。
分析图3的对比曲线,同样可以得出与同传感器图像融合实验结果相同的结论。
总之,不管是相同还是不同传感器图像融合实验,客观评价得到了一致的评价结果:
三种具有平
#
图310对不同传感器图像四种方法评价指标比较曲线
移不变性的图像融合方法都能够很好地融合源图像的信息,效果明显好于基于离散小波变换的融合方法。
三种平移不变性的方法中,基于可操纵方向金字塔变换的融合方法效果最好,然后是基于离散小波框架的融合方法,最后是基于双树复小波变换的的融合方法。
究其原因,三种平移不变性的方法由于采用的多尺度变换方法具有平移不变性,所以较不具有平移不变性的离散小波变换方法融合效果要好得多;另外,因为可操纵方向金字塔能够有效地提取方向信息,从而获得更好的融合效果;此外,需要说明的是,基于双树复小波变换的融合方法在三种平移不变性的方法中,虽然排在最后,但其性能与前两种接近,且其冗余性最小。
3.3融合算法的执行时间比较
除融合图像质量的主观和客观评价以外,算法的执行时间也是评价融合算法好坏的重要指标。
这里对不同融合算法融合同一组图像（以128@128的图像融合为例所花费的时间进行对比,实验是在P4,1.7GHz,256MRAM的PC机上进行的,运行环境为WindowsXP,编程环境为Matlab6.1。
实验结果是基于离散小波变换的融合方法2.8940s、基于双树复小波变换的融合方法5.4070s、基于可操纵方向金字塔变换的融合方法12.6390s、基于离散小波框架的融合方法18.7180s。
其中,基于离散小波框架融合算法的计算时间最长,其次是基于可操纵方向金字塔变换融合算法,然后是基于双树复小波变换的融合方法,基于离散小波变换的融合算法的处理速度最快。
结合融合图像质量的客观评价,从综合性能上考虑,基于双树复小波变换的融合方法是一种首选。
4结论
本文提出了一套对图像融合质量进行定量评价的方法,并应用此方法对基于离散小波框架、基于可操纵方向金字塔变换和基于双树复小波变换三种具有平移不变性的图像融合方法进行了客观定量评
价,实验结果表明了该评价方法的有效性。
参考文献[1]ZhengYufeng,EdwardAEssock,BruceCHansen.Advanceddiscretewavelettransformfusionalgorithmanditsoptimizationbyusingthemetricofimagequalityindex.OpticalEngineering,2005,44（3:
1~12[2][3]李玲玲,丁明跃,周成平,彭晓明.一种基于提升小波变换的快速图像融合方法,2005,26（4:
667~670WangHaihu.iAnewmultiwavelet-basedapproachtoimagefusion.JournalofMathmaticalImagingandVision,2004,21:
177~192[4]FilippoNencin,iAndreaGarzell,iStefanoBaront,ieta.lRemotesensingimagefusionusingthecurvelettransform.InformationFusion,2007,8（2:
143~156[5][6]PetrovicVladimir,TimCootes.Objectivelyadaptiveimagefusion.InformationFusion,2007,8（2:
168~176李玲玲,周成平,丁明跃,张天序.基于易操纵金字塔的多传感器图像融合.计算机工程与应用,2003,39（22:
24~26[7]李玲玲,王洪群,娄联堂等.平移不变性图像融合及[12][11][10][9][8]在打击效果评估中的应用.华中科技大学学报（自然科学版,2006,34（7:
67~70MUnser.Textureclassificationandsegmentationusingwaveletframes.IEEETransactionsonImageprocessing,1995,4（11:
1549~1560WTFreeman,E.H.Adelson.Thedesignanduseofsteerablefilters.IEEETransactiononPatternAnalysisandMachineIntelligence,1991,13（9:
891~907EPSimoncell.iDesignofmultidimensionalderivativefilters.In:
ProceedingsofFirstInternationalConferenceonImageProcessing,1994:
790~793NKingsbury.Thedualtreecomplexwavelettransform:
anewtechniqueforshiftinvarianceanddirectionalfilters.In:
Proceedingsof8thIEEEDigitalSignalProcessingWorkshop.BryceCanyon,Utah,USA.1998:
86~89NKingsbury.Shiftinvariantpropertiesofthedualtreecomplexwavelettransform.In:
IEEEInternationalConferenceonAcoustics,1221~1224SpeechandSigna,l1999,3:
（上接第37页要实现地磁导航,只有导航算法是不够的。
匹配算法做得再好,传感器的精度如果不足以敏感地磁场的变化,导航还只是停留在理论阶段,实际应用尚需假以时日。
所以,一个灵敏度高、响应快速、综合测量精度高、环境适应性强的智能地磁传感器是实现地磁导航的硬件基础,也是地磁导航系统的一个关键环节。
参考文献5结束语本文在简要介绍地磁匹配导航的基本原理和特点的基础上,分析了这种新型导航方式的潜在应用前景,以及目前在地磁场模型、地磁传感器和匹配算法方面已经具备的理论和技术基础。
最后对其工程应用尚需解决的关键技术进行了分析,指出了地磁匹配导航在地磁场模型研究方面,干扰磁场和变化磁场对匹配效果的影响及消除方面,适合于地磁导航的匹配算法研究方面,以及磁测传感器的研制方面尚存在一些需要解决的关键技术。
随着地球物[4][2][3][1]曹红松,陈国光.飞行弹体滚转姿态探测方法研究.弹箭与制导学报,2004,24（2:
35~36陈绍顺,李彦斌,李云.地形匹配制导技术研究.制导与引信,2003,24（3:
18~22XiaoYijun,DingMingyue,ZhouChengping.Matchingsuitabilityanalysisofreferencemapforscenematchingbasednavigation.InternationalSymposiumonMultispectrolImageProcessing,SPIEVo.l3545:
100~103乔玉坤,王仕成,张琪.地磁匹配制导技术应用于导弹武器系统的制约因素分析.控制与导弹,2006（8:
39~41理学理论的不断深入、各种磁测手段的不断进步和各国生产技术的发展,以及各种滤波补偿理论的发展,地磁匹配导航作为一种新型的导航方式,以其在弥补传统制导方式上的显著优越性,必将在未来一段时间内得到长足的发展,并将带动地磁场资源在其它相关领域的深入发展和应用。
飞航导弹2008年第2期#43#
升级会员 