基于亚像素区域加权能量特征的多尺度图像融合算法解读.docx
《基于亚像素区域加权能量特征的多尺度图像融合算法解读.docx》由会员分享,可在线阅读,更多相关《基于亚像素区域加权能量特征的多尺度图像融合算法解读.docx(20页珍藏版)》请在冰豆网上搜索。
基于亚像素区域加权能量特征的多尺度图像融合算法解读
第29卷第lo期
光学学报
V01.29,No.10October,2009
2009年10月
ACTA0PTICASINICA
文章编号:
0253—2239(2009)10—2732—06
基于亚像素区域加权能量特征的多尺度
图像融合算法
柴
勇
何友
曲长文
(海军航空工程学院信息融合技术研究所。
山东烟台264001)
摘要对矩形和圆形区域中各像素进行亚像素划分.确定各亚像素的权值,得到基于哑像素的综合加权区域能量。
融合箅法首先对源图像进行金字塔分解,然后对金字塔的高频细节分量使用基于哑像素加权区域能量特征的融合规则取大,对低频粗糙分量取平均。
得到融合图像的塔形分解,最后重构融合图像。
仿真结果表明,新算法融合效果较常规的区域能量特征作为融合规则的多分辨率图像融合算法效果更好,从清晰度和熵的评价来看,提高了融合图像的品质。
关键词
图像处理;图像融合;亚像素;区域能量;多尺度
文献标识码A
doi:
10.3788/A0¥200929lO.2732
中图分类号TP391.4
MultiscaleImageFusionAlgorithmBased
on
Subpixel
Weighted
ChaiYong
(ResearchInstitute
RegionEnergy
QuChangwen
HeYou
ofInformationFusion,NavalAeronauticalEngineeringInstitute。
Yantai,Shandong264001。
China)
Abstract
Dividingpixelsinrectangularandcircularregionsintosubpixelsanddeterminingweightofeachsubpixel
source
thecompositeweightedregionenergyofeachpixelisobtainedintheregion.Themultiresolutionrepresentationcomponentsbasedproposedmethod
on
images
are
decomposedinto
thedetailthattheregion
firstly.Then
we
selectaverageofthe
as
coarse
partsandmaximalpartsof
thenewweightedregionenergy
fusion
effectsthan
thefusioncoefficients.Experimentalresultsshow
imagefusion
schemesbased
on
hasbetter
traditionalthetraditional
energy.Fromtheevaluationofimagedefinitionandentropy.thismethodimprovesthequalityofthefusionimage.Keywords
imageprocessing;imagefusion,subpixel;regionenergy;multiscale
1
引言
度和町靠性r1]。
根据融合所处的不同阶段和方式,图像融合处理通常可在三个不同层次上进行:
像素级图像融合、特征级图像融合和决策级图像融合。
像素级图像融合方法主要有简单加权法、IHS
(intensityhue
图像融合是通过一定的技术手段,综合两幅或多幅来自不同传感器图像的信息以及其它信息,以获得对同一场景更精确、更全面和更可靠的描述。
它不是简单的叠加。
而是产生蕴含更多有价值信息的合成图像,消除多传感器信息之间町能存在的冗余和矛盾,优势互补,降低信息不确定性,减小模糊度,增强图像中信息的透明度,改善图像解译的精确
收稿日期:
2008—10—08;收到修改稿日期:
2009一01—08
saturation)、主成份分析(PCA)和多
尺度分析(包括金字塔分解和各种小波)等方法,其中尤以多尺度分析算法应用最为广泛。
这主要是由多尺度分析在图像时频处理方面的优越性带来的。
基金项目:
国家自然科学基金(60672140)和教育部新世纪优秀人才支持计划(NCET一05—0912)资助课题。
作者简介:
柴
勇(1979一),男,工程师.博t研究生.主要从事图像融合和信息处理等方面的研究。
E-mail:
chysdd@l63.corn
导师简介:
何友(1956一),男.教授。
博上生导师,主要从事多传感器信息融合和多目标跟踪等方面的研究。
万方数据
10期柴勇等:
基于亚像素区域加权能量特征的多尺度图像融合算法
在图像中,轮廓往往包含更多的信息,通常也是我们关注的重点。
基于区域能量特征的融合规则是多尺度图像融合算法中最常用的融合规则,轮廓是图像中像素突变的区域,多尺度分解的高频细节分量最能表现图像的轮廓区域。
通常,采用区域能量特征时,区域中各点权值相等,然而在采用这种区域能鼍特征时,高频分量中轮廓和非轮廓区域的融合将受到高频噪声的影响,容易造成融合图像轮廓区域与非轮廓区域之间产生轻度模糊。
权值的确定是区域加权能量特征的关键,然而,权值的确定依赖于经验,较粗糙L2’3]。
亚像素技术通常能得到更高的精度[1],因此常被用于高精度算法(如图像配准H.5]等)中。
本文提出一种基于亚像素技术的区域加权能量特征来进行加权,以便消除轮廓区域与非轮廓区域之间的模糊。
论文依据图像的点散射函数模型[6],在亚象素域得到更加合理的权值确定方法,该方法不依赖于经验,精度高。
2多分辨率图像融合
Contourlet图像融合算法
多分辨率图像融合方法主要包括金字塔变换[7]
(如Laplacian金字塔、低通比率金字塔和梯度金字塔等)、小波变换[8.9]、atrous小波变换[10]和多尺度几何分析(MGA)(如Ridglet[111,Curvlet,
Bandelet,Brushlet和ContourletE垤“31)。
Contourlet
是由Do等于2002年提出来的最新MGA工具,核心思想是生成图像的多分辨率多方向
(Muhiresolutionandmultidirection,MRMD)分解
表示形式。
由于Contourlet变换更适合表示图像中的曲线、轮廓等特征,应用于图像融合时往往能得到比金字塔分析、小波和其它MGA分析工具更好的融合效果。
如图1所示,Contourlet变换分两步。
Laplacian金字塔分解和方向滤波器组构成双滤波器组的结构。
首先采用拉普拉斯金字塔(I。
P)滤波器对源图像进行子带分解,得到图像中的奇异点。
一次LP分解将原始图像分解为低频分量和源图像与低频分量的插值(即高频分量),递归地对低频分量进一步分解,从而得到多分辨率分解形式。
接下来使用方向滤波器组(Directional
filterbank.DFB)
进行方向变换,Contourlet变换采用的是一个双通道的Quincunx滤波器组(QFB),使用QFB无需对源图像进行调制。
经过QFB,同方向的奇异点合并为同一系数。
由于Contourlet变换的良好性能,因而非常适
万方数据
图1
Contourlet变换的框架
Fig.1
Frameworkofeoutourlettransform
合图像融合。
本文采用基于Contourlet变换的图像融合算法作为研究基础。
基于Contourlet变换的图像融合算法的框架如图2所示。
图2基于Contourlet变换的图像融合框架
Fig.2
Frameworkofimagefusionbased
on
eoutourlettransform
2.2融合规则采用的特征
对于基于区域特征的多尺度图像融合而言,可供采用的区域特征主要有:
区域能量、区域信息熵、区域极值(包括极大值和极小值)、区域均值、区域中值和区域一致性度量等。
令R为图像厂中以(z,y)为中心的任一区域,则上述区域特征分别表示如下:
区域信息熵
L
S(x,y)=一∑p(i)lb[p(i)3,
(1)
l=0
其中户(i)表示区域R内灰度i所占百分比,L为最大灰度级。
区域能量
E(x,y)=∑尸(z7,y7).
(2)
(一・,)∈R
区域像素最大
‰,(z,y)=max[f(x7,y/)](z7,y1)∈R.(3)
区域像素最小
M。
i。
(z,y)=min[f(x7,y7)](z7,y7)∈R.(4)区域均值
A(x,,)=sum[f(x7,Y7)]/N(z7,Y7)∈R.(5)区域中值
Mf利(z,y)=med[-f(x7,y/)](z7,yt)∈R.(6)
区域一致性
2.1
光学(7)
学报29卷
』D=lA(x,y)一M。
。
d(z,y)I.
亚像素坐标系中的位置为(z。
,Y,)的亚像素点距离中心的距离为
D(z缸,y一)=
在这些区域特征中,区域能量和区域清晰度是最常用的,尤以区域能量应用最为广泛,后面重点讨论亚像素区域能量特征。
以万万F万譬万q了万了F万而r.(8)
spread
在计算加权区域能量之前,依据图像的点散射
3亚像素区域加权能量特征
3.1
模型‘7|(Point
function,PSF),赋予各亚像素
亚像素矩形区域加权能量特征
假设窗口大小为,z×n,待融合图像的水平方向和
(z函,Y。
)的权值为
硼(zi,Y月)=
垂直方向分辨率分别为rh和rv,f(x,y)表示图像,行7=E./23是对./2取整,{f(x;,M)Ii,歹∈[_咒7,np])是区域窗口中全部像素的集合,f(xo,弘)是窗口的中心。
传统的区域能量窗口和新的加权区域能量窗口的差别
示意图如图3所示。
f
是
I。
C[IlD(x函。
Y,]
,净.『刮剐2i≠0U歹≠0
0,(9)
’。
其中,k为常数。
所有亚像素权值满足条件
∑∑∑∑w(x面,蛳)=1.
的综合加权为
(10)
在原区域窗口坐标系统中,像素f(xi,弘)对应
w(x㈦Y)=∑∑w(x。
,y,).
区域综合加权能量为
(11)
图3两种不同的窗口比较。
(a)传统的区域能量窗口;
(b)加权的区域能量窗口
Fig.3region
DifferencebetweentWOwindows.(a)traditional
E一∑∑w(x㈦Y)・尸(珀Yj).(12)
3.2亚像素圆形区域加权能量特征
这里提出一种亚像素圆形区域加权能量特征,在亚像素坐标系下,用圆形区域代替矩形区域。
一般来说,圆形区域更符合自然界图像上中心点与相邻点的关系,也更符合最近邻域的原则。
这里,前提与假设与上一节所讨论的矩形区域基本一样,不失一般性,假设“≤r,。
所取圆形区域的半径为r。
,记咒一r,/r。
]+1,在像素坐标系下,取大小为行×竹的矩形窗口完全包含圆形区域。
接下来的亚像素坐标系下的距离计算与矩形区域完全一样,不同的是亚像素权值的分配,在圆形区域下
energy
window;(b)weightedregion
energy
window
以下讨论在不特别说明的情况下均指在亚像素坐标系下,对于窗口中的各像素f(xi,YJ)将其分割为P×q(通常P,q均取整数)个亚像素,则在水平和垂直方向的分辨率分别为rh/p和r,/q。
令P7一[p/z3,q7=Eq/2],每个亚像素相对于当前像素中心点的坐标为(“,口),“∈[一P7,P7],u∈[一q7,q7]。
相对于窗口中心点亚像素坐标系下的坐标为
(z自,Y。
)=(i・P+U,j・q+V)
r
七
i—j=U一口=0
(i≠0U』≠o)nD(z函,y扣)≤,.。
(i≠0UJ≠O)n
(13)
w(x函,Y,)={。
C(1/D(x^,,咖).
【0
D(xi,“)>rc
接下来的过程和矩形区域是完全相同的,这里不再赘述。
3.3
{凹,Z=1,2,…,M},{凹,1=1,2,…,M}.
(14)
区域加权能量特征融合规则
对于源图像A和B,经过多尺度分解处理,分
细节分量按照一定规则排列为
{D产,l=1,2,…,|N),{DP,Z=1,2,…,N).
(15)
别得到各自的多尺度分解,每个源图像所分解得到的多尺度分解包含若干粗糙(低频)分量和若干细节(高频或带通)分量。
分别记源图像A和B的多尺度分解中粗糙分量按照一定顺序排列为
融合图像的多尺度分解系数为
{Cf,Z=1,2,…,M},{D;,l=1,2,…,|N}.
(1
6)
万方数据
10期柴勇等:
基于亚像素区域加权能量特征的多尺度图像融合算法
2735
对于低频粗糙分量,依然采用常用的加权平均Cf(i,歹)=ECP(i,J)+CP(i,J)]/z.
(17)
对于高频细节分量,采用本文提出的亚像素区域加权能量作为特征,取综合加权能量大的作为融合系数,即
巩胪。
D眦A(i,歹j;黧疑黧≥
(18)
图4多聚焦图像A和B
Fig.4
Multi—focusimagesAandB
4仿真和比较
4.1
融合算法均基于Contourlet变换,采用四层分解,区域窗口大小为3×3。
融合规则分别采用常规区域能量、矩形区域加权能量、圆形区域加权能量、融合结果如图5所示。
图5中(a)、(b)和(c)所对应的区域能鼍特征加权距阵分别为
多聚焦图像融合仿真分析
为验证本文提出算法的效果,对多聚焦图像进
行仿真分析,下面以多聚焦图像融合来说明算法的有效性。
仿真环境是Matlab+Windows2000+P4
(512MB内存)。
源图像如图4所示,大小为
1111
OOO
1111
O0
O
1111
1
0
,
845口J8584
013852124
138
0.05847
0.1385l,
Vo.0837
0.1239
O.1239O.1696O.1239
1111巾m∞
l
111
1111l111
11l
1O
O
1111
巾№∞
O55
0.0584JLo.0837
从区域能量特征加权距阵可以看出,在矩形区域和圆形区域情况下的加权矩阵与通常所采用的加
权矩阵明显不同。
H=一乏:
户(i)*Ib[-p(i)],
i二0
(21)
其中户(i)是图像的直方图归一化表示,L是图像中像素最大灰度值,通常为255。
熵是图像所含信息量的度量。
熵值越大,所包含的信息越丰富。
采用图像清晰度和熵对融合图像进行评价,结果如表1所示。
从清晰度的评价结果来看,方法(2)和(3)较方
图5多聚焦图像融合结果。
(a)常规区域能量;(b)矩形区域加权能量;(c)圆形区域加权能量
Fig.5
Fusion
results
of
multi—focus
images.
(a)
法(1)都有较大提高。
满足算法最初提出的目的:
发挥区域特征作为融合决策的优势,消除图像轮廓区域与非轮廓区域融合受高频噪声而产生的模糊。
图像的清晰度在很大程度上能反映图像轮廓的清晰程度,图像轮廓越清晰,清晰度将越高。
表l多聚焦融合评价结果
Table1
traditionalregionenergy;(b)rectangularregion
energy:
(c)weightedcircularregion
energy
融合的评价可分为主观评价和客观评价。
本文仿真融合结论的评价,采用两种常用的客观评价指标:
即图像清晰度(Imagedefinition,ID)和熵
(Entropy)。
Multi—focusimagefusionevaluation
对于大小为M×N的图像厂,(i,5)处的灰度为厂(i,J),图像的清晰度定义为
,一蓍薯斤乎F酾幻一————刁汀=万而F1F—一’
(20)
从熵的评价结果来看。
方法(2)和(3)优于方法(1),这表明本文所提出的新方法在提高图像清晰度的同时并不会损失图像包含的信息量。
熵的定义为
万方数据
2736光学综合两个方面的因素来看,采用本文所提出的基于亚像素技术的矩形区域加权能量和圆形区域加权能量要优于常规的区域能量。
z表示将像素分解为z×z个亚像素,即(8)式中P=q=行,本文仿真中,z的取值范围为[3:
2:
177],表示工取从3到177的奇数。
/(z)是对应的融合图像的清晰度评价指标值,为了更好的表现融合的效果。
构造函数g(z)=厂(z)一8.1,构造g(z)的目的是为了更直观地观察随着z的增大,融合图像清晰度的变化趋势,从图6可以看出,随着z的增大,清晰度呈现上升的趋势,验证了论文提出算法的有效性。
从图7来看,随着X的增大,区域能量加权权值的计算量呈快速上升的趋势,且随着z的持续增大,g(z)的变化越来越小,说明z并不是越大越好,图5融合结果所对应的z取值为151。
另外,随着z的增加,增加的计算量对算法有一定的影响,但是这种影响是很小的,因为区域能量特征加权矩阵的计算是一次性的。
图6清晰度评价
Fig.6
IDevaluation
图7权值矩阵计算量
Fig.7
Computing
COSt
ofweightmatrix
为了更好地验证本文提出的算法的有效性,对万方数据
学报29卷
图8遥感图像A和B
Fig.8
Remotesensing
仿真所用环境和参数与3.1节相同。
融合规则分别采用常规区域能量、矩形区域加权能量和圆形区域加权能量。
融合结果如图9所示。
图9遥感图像融合结果。
(a)常规区域能量;
(b)矩形区域加权能量;(c)圆形区域加权能最
Fig.9
Fusion
results
of
remote
sensing
images.(a)
traditionalregionenergy;(b)rectangular
region
energy:
(c)circularregion
energy
采用图像清晰度和熵对融合图像进行评价,结果如表2所示。
从评价结果来看,方法(2)和(3)较方法(1)都有较大的提高。
从清晰度评价指标可以看出,本文提出的新算法在不损失图像信息的情况下,能够提高图像的清晰度。
表2遥感罔像融合评价结果
Table2
Remotesensingimagefusionevaluation
5
结论
提出两种采用亚像素技术的区域加权能量,在一定程度上消除了轮廓区域与非轮廓区域之间所产
生的模糊。
基于亚像素的区域能量特征对矩形或圆形区域中各像素进行亚像素划分,确定各像素的权值,得到综合加权区域能量。
融合算法首先对参与融合的两幅图像进行多尺度分解,得到各自的金字塔结构,然后对金字塔分解的细节分量使用摹于亚像素加权区域能量特征作为融合规则进行融合。
对
低频粗糙分量取平均,形成融合图像的金字塔结构,
4.2遥感图像融合仿真分析
两幅遥感图像进行仿真分析。
源图像如图8所示,源图像大小为512×512。
10期柴勇等:
基于亚像素区域加权能量特征的多尺度图像融合算法
2737
最后重构得到融合图像。
仿真表明,本方法融合效果较常规的区域能量特征作为融合规则的多分辨率图像融合算法效果更好。
该方法权值的确定不依赖于经验,获得的权值更合理。
论文以最新多尺度分析工具Contourlet为例验证了所提出的基于亚像素技术的区域特征多尺度图像融合算法的有效性,基于亚像素技术的区域综合加权能量特征还可以应用到其它多尺度图像融合算法(如金字塔和小波等多分辨率分析算法)中。
参
考文献
1
YuQifeng。
SunXiangyi.QuanTiehan.Accuratemeasurementof
a
3D
movingobjectthroughcalibration
andsubpixeltechniques
[J].JournalofAstronautics,1999.20(3):
38~42
于起峰,孙样一,权铁汉等.用标定和亚像素技术实现三维运动目标的高精度测量[J].宇航学报.1999,20(3):
38~42
2Liu
Bin.Peng
Jiaxiong.Multi—spectralimagefusion
based
on
two-channelnon—separableadditivewavelets[J].ActaOptica
Sinica,2007,27(8):
1419~1424刘
斌.彭嘉雄.基于二通道不可分加性小波的多光谱图像融合E1].光学学报,2007,27(8):
1419~1424
3
HaihuiWang.A
newmultiwavelet-based
approach
to
image
fusion[J].J.Math.Imaging
Vis..2004,21(3):
177~192
4
H.S.Stone.M.Orchard.E.C.Changet
a1..A
fastdirect
Fourier—based皿E
algorithmforsubpixel
registration
of
images[J].
1’rans.OnGeosci.Re・mote
Sensing,200l,39(10):
2235~2243
5
P.Th6vennaz,U.E.Ruttimann.andM.Uriser.Apyramid
万方数据
approachto
subpixelregistration
based
on
intensity[J].IEEET.
ImageProcess.,1998,7(1):
27~41
6
J.A.Zandhuis.D.Pycock.S.F.Quigleyda1..Sub-pixelnon—
parametricPSF
estimationfor
image
enhancement[J].IEEE.
Procedings
Vision,Image
andSignal
Processing,1997,
144(5)l
285~292
7
MiaoQiguang,WangBaoshu.Multi—sensorimagefusionbased
on
improvedlaplacianpyramid
transform[J].ActaOptica
Sinica,
2007,27(9):
1605~1610
苗肩广,王宝树.基于改进的托普拉斯金字塔变换的图像融合方法[J].光学学报,2007.27(9):
1605~1610
8G.Piella.Ageneral
frameworkformultiresolution
image
fusion:
frompixelsto
regions[J].如formation
Fusion,2003,4(4)l
259~280
9s.G.Mallat.Atheoryformultiresolutionsignaldecomposition:
thewavelet
representation[J].IEEET.Pattern
Anal.,1989,
11(7):
674~69310Zhang
Qiang,Guo
Baolong.
Fusion
of
multispectralandpanchromatic
imagesbased
on
the
physical
characteristics
of
imaging
system[刀.Acta
OpticaSinica.2007,27(2):
243~248
张强.郭宝龙.基于成像