一种基于区域分割的多传感器图像融合方法Word文件下载.docx
《一种基于区域分割的多传感器图像融合方法Word文件下载.docx》由会员分享,可在线阅读,更多相关《一种基于区域分割的多传感器图像融合方法Word文件下载.docx(9页珍藏版)》请在冰豆网上搜索。
![一种基于区域分割的多传感器图像融合方法Word文件下载.docx](https://file1.bdocx.com/fileroot1/2022-12/7/297713fe-d0e7-44ab-82a7-333e6acf685b/297713fe-d0e7-44ab-82a7-333e6acf685b1.gif)
TN941.1 文献标识码:
A 文章编号:
0253987X(2005)10113104
RegionSegmentationBasedMultisensorImageFusionApproach
LiMin
,CaiWei2,TanZheng
(1.SchoolofElectronicsandInformationEngineering,Xi′anJiaotongUniversity,Xi′an710049,China;
2.DepartmentofComputerScience,TheSecondArtilleryEngineeringCollege,Xi′an710025,China)
Abstract:
Focusingonthemosttraditionalimagefusionalgorithmsthatsplitrelationshipamongpixels,aregionbasedimagefusionschemewasproposed.Onthebasisofimageregistration,sourceimagesweresegmentedintoseveralregions,thentwofeaturesofsalienceandvisibilitywereextractedfromeachregiontoadaptivelydeterminethefusionweighttogetthefusedimage.Theproposedmethodsolvessomeofthewell-knownproblemsinpixel-levelfusion,suchasblurringeffectsandhighsensitivitytonoise,particu-larlywhenthereismis-registrationofthesourceimages.Experimentalresultsshowthatitoutperformsthediscretewavelettransformapproachwith33%to36%reductioninrootmeansquareerror,0.9%to53%improvementinstandarddeviationofgraylevel,39%to42%enhancementinmutualinformation,and0.3%to38%improvementinspacefrequency.Theobjectiveevaluationcriteriacoincidewiththevisu-aleffectverywell.
Keywords:
imagefusion;
regionsegmentation;
regionfeature;
objectiveevaluationcriteria 多传感器图像融合作为信息融合的重要分支和研究热点,已广泛应用在机器视觉、医疗诊断、军事遥感等领域
[1]
.传统的像素级多分辨图像融合方法,
包括基于拉普拉斯金字塔、比率低通金字塔、梯度金字塔和小波变换等融合方法,在对源图像进行多尺度分解和系数选取时,大都孤立地处理各个像素,割裂了像素间的联系.此外,尽管基于小波变换的图像
融合方法在多分辨图像融合方法中是最优的
[2]
,但
是由于传统的小波变换不具有平移不变性,在源图像没有或无法严格配准的情况下,将直接影响融合效果.
本文以区域观点来考虑像素间的相关性,提出一种基于区域分割的图像融合方法,将特征与区域相结合,自适应地确定目标区域的融合权值,以得到
收稿日期:
20050117. 作者简介:
李 敏(1971~),女,博士生;
谈 正(联系人),男,教授,博士生导师. 基金项目:
“十五”“211工程”西安交通大学学科建设重点项目.
融合图像.这种融合方法可以克服传统像素级融合方法所造成的融合图像模糊、对噪声敏感等不足,尤其适用于图像没有严格配准的应用场合.多聚焦图像融合和异质图像融合的实验结果表明,本文方法适用范围广,无论在视觉质量还是客观评价准则上,均明显优于基于小波变换的图像融合方法.
1 算法结构
本文提出的算法基本结构流程如图1所示,具
体步骤如下.
图1 本文算法流程图
(1)对来自多传感器的源图像I1,I2,…,In在经过配准的基础上,进行区域分割,设Im,i为源图像Im(m=1,2,…,n)经分割后所得的第i个区域.
(2)提取能反映图像分割区域Im,i的性能和清晰度特征———显著性因子和可见性因子.
(3)将特征作为主要依据确定该区域在融合图像中的贡献系数,即融合权值.
(4)根据像素所属区域的融合权值,通过加权平均最终得到融合图像.
2 区域分割
本文从实时性和有效性出发,提出的区域分割方法如下.
(1)对源图像进行边缘检测.由于Canny算子具有定位准确、单边响应和信噪比高等优点,本文先采用Canny边缘检测算子求得图像的边缘[3].假设B(p)为经过Canny算子求得的像素p的边缘特性值,若p为边缘点,则B(p)为1,否则为0.
(2)根据下式确定检测结果中的孤点和断点
∑
q∈N9
(p)
B(q)=
1 p为孤点
2
p为断点
{
(1)
式中:
N9(p)是以图像中边缘点p为中心的3×
3邻域.图像中的孤点常由噪声干扰产生,可以直接忽略不计.
(3)对断点进行边界闭合处理.
设Q为所有边缘点和图像边界点组成的集合,对于相连点的选择,采用计算量小、应用效果良好的距离测度,即对于任意断点pk,集合Q中位于pk的
3×
3邻域外且与pk欧氏距离最小的点作为其相连点qk.qk满足下式
D(qk,pk)=Dmin(q,pk),q∈Q∩N9(p)(2)式中:
D(q,pk)为q、pk两点间的欧氏距离.得到各源图像对应的分割结果后,为了满足后续处理过程,需要将所有分割结果进行合并以得到一幅更加细化的二值分割图像,依此对各源图像进行区域分割.边界点归属到与8邻域内灰度值最接近的非边界点所在区域.
3 特征提取
3.1 显著性因子
通过对多聚焦和异质图像融合的实例分析发
现,对同一目标而言,它在不同源图像中边缘的清晰程度直接决定了其相应源图像在融合过程中的贡献系数,边缘愈清晰,其相应源图像的融合权值愈大,故本文从目标区域边界相对于背景邻域的突出性出发,提出显著性因子作为区域的提取特征之一.
对于各分割区域Im,i,将其边缘进行8邻域扩张,形成一条宽约为3个像素的边缘带,求取带内所有属于和不属于该目标区域的像素平均灰度值之差,其绝对值即定义为相应目标区域的显著性因子
S=
m∑m
i=1fi-n∑n
j=1
gj
(3)
fi为区域边缘带上任一属于该区域的像素灰度值;
m为边缘带上属于该区域的像素总数;
gj为区域边缘带上任一不属于该区域的像素灰度值;
n为边缘带上不属于该区域的像素总数.3.2 可见性因子
根据人眼生理视觉特性,本文采用的可见性因子定义如下[4]
V=
Im,i∑(x,y)∈Im,i
mi
α
imi
(4)
α为视觉常数,通常取值为0.6~0.7;
∑Im,i是
区域中像素总数;
mi为区域中像素平均灰度值.以显著性因子和可见性因子作为区域融合依据,自适应地确定权值即可得到融合图像.
图2为未精确配准的多聚焦图像融合实例(源图像由LehighUniversity研究小组提供).图2a所示的图片左前方的物体聚焦,右后方的物体离焦,图2b所示的图片刚好相反,采用人工剪切和粘贴的方法合成的聚焦清晰的参考图片示于图2c.
本文分别对图2a和图2b中表盘字符“8”所在
(a)左边聚焦右边离焦的图像 (b)右边聚焦左边离焦的图像 (c)人工剪切和粘贴的清晰图像
图2 多聚焦图像融合实例
区域的S值和V值进行计算,实验结果见表1.由表1可知对应区域越清晰,其S值和V值就越大,特征值的大小能够反映视觉效果的清晰度.
表1 显著性因子和可见性因子示例
区域S
图2a图2bV
图2a图2b图2中表盘字符“8”
53.002
13.668
0.03618
0.00729
4 融合效果仿真实验及性能评价
为了检测算法性能,采用灰度均方根误差(ERMS)、灰度标准差(σg)、空间频率(SF)和互信息(MI)作为融合效果客观评价准则[5].以两幅源图像融合为例,设R为理想融合图像,F为实际融合图像.以上各评价准则定义如下
ERMS=
MN∑M-1i=0∑N-1
j=0
[R(i,j)-F(i,j)]2
}
1/2
(5)
σg=
∑L-1
g=0
(
g-
g=0gp(g)
)2
p(g)
[]
(6)
SF=
MN
∑M-1
i=0
N-1
[F(i,j)-F(i,j-1)]2
+
∑N-1
i=1
[F(i,j)-
F(i-1,j)]
]}
(7)
MI=∑L-1
u=0∑L-1
v=0
hR,F(u,v)lbR,FhR(u,v)hF(u,v)
(8)
M和N为图像的尺寸;
L为灰度级数;
p(g)为灰度等于g的像素数与图像总像素数的比值;
hR,F为R和F间的归一化联合灰度直方图分布;
hR和hF分别为两幅图像的归一化边缘直方图分布.
均方根误差越小,说明融合图像与理想图像越接近.灰度标准差反映了相对灰度均值的离散状况,标准差越大,灰度分布越分散.空间频率反映了一幅图像空间域的总体活跃程度,值越大越活跃.互信息衡量的是融合图像对源图像不确定性的减少量,故其值越大越好.
针对多聚焦图像融合和异质图像融合,利用基于小波变换的融合方法和本文算法进行了对比实验.小波变换采用Daubechies的8系数小波,分解层数为3,采用基于区域能量匹配度的融合规则,窗口大小为5×
5像素,α取值为0.7[2].
图3为未精确配准的多聚焦图像融合实例,源图像见图2.注意图2a和2b中人的头部存在相对位移(虚线框所示),采用不同方法的融合效果见图3,客观评价准则见表2.
表2 图3中不同方法的图像融合效果对比
融合方法
ERMSσgSFMI小波变换4.66246.79212.8763.9848本文方法
2.967
48.008
12.914
5.5324
由图3可看出,由于源图存在一定位移,基于小
波变换方法的融合结果中,人的头部位置存在一定
程度的虚影和模糊,而利用本文方法所得的融合图像则无此现象.此外,从表2中也可以看出,与基于小波变换的融合方法相比,本文方法的均方根误差减小了36%,灰度标准差提高了2.6%,空间频率提高了0.3%,互信息提高了39%.
图4给出了异质图像融合实例,图4a为计算机X射线断层扫描(CT)图像,图4b为核磁共振(NMR)图像,不同融合方法所对应的融合效果如图4c、4d所示.由于在此实验中无法构造出理想的融合参考图像,选用的客观评价准则见表3.
(a)基于小波分解的融合效果 (b)本文方法区域分割结果 (c)本文方法融合效果
图3
未精确配准的多聚焦图像融合效果比较
(a)CT图像 (b)NMR图像 (c)基于小波分解的融合效果(d)本文方法的融合效果
图4 医学CT图像和NMR图像融合效果比较
表3 图4中不同方法图像融合效果对比
融合方法σgSF小波变换39.572816.9592本文方法
60.5915
23.3304
由图4可看出,相比较而言,本文方法融合效果更清晰,边缘轮廓保持得更好,图像细节更丰富.表3中的客观评价准则与视觉效果吻合良好.
5 结 论
本文提出一种基于区域分割的图像融合方法,该方法计算量小,实时性好,可以更准确地保持图像的有用信息,提高融合的针对性,克服了传统像素级融合方法中融合图像模糊、对噪声敏感、对非严格配准图像融合效果差等不足,评价结果与目视效果吻合良好.本文方法可以很容易地扩展为对两种以上传感器获得的多幅图像进行融合处理,同时适用于
遥感、机器视觉、目标跟踪和战场监视等诸多领域.参考文献:
[1] iellaG.Ageneralframeworkformultiresolutionim-
agefusion:
frompixelstoregions[J].InformationFusion,2003,3(4):
259280.
[2] ZhangZ,BlumRS.Acategorizationofmultiscale-de-
composition-basedimagefusionschemeswithaper-formancestudyforadigitalcameraapplication[J].ProceedingsofIEEE,1999,87(8):
13151326.[3] CannyJ.Acomputationalapproachtoedgedetection
[J].IEEETransactionsonPatternRecognitionandMachineAnalysis,1986,8(6):
679698.
[4] 黄继武,ShiYQ,戴宪华.基于视觉系统特性的图像
分割编码算法[J].中国图像图形学报,1999,4(5):
400404.
[5] XydaesC,PetroviV.Objectiveimagefusionperform-
ancemeasure[J].ElectronicLetters,2000,36(4):
308309.
(编辑 刘 杨)