基于视觉信息保真度的融合图像质量评价方法.docx
《基于视觉信息保真度的融合图像质量评价方法.docx》由会员分享，可在线阅读，更多相关《基于视觉信息保真度的融合图像质量评价方法.docx（14页珍藏版）》请在冰豆网上搜索。
基于视觉信息保真度的融合图像质量评价方法
基于视觉信息保真度的融合图像质量评价方法
张勇＊,1，2，余宏生,金伟其11
（1北京理工大学光电学院，北京100081）
（2军械技术研究所，河北石家庄050000）
摘要：
在假设图像源符合高斯尺度混合模型前提下，将图像融合算法视为图像信号增强通道，考虑人眼视觉内部神经元噪声特性，建立了一种基于视觉信息保真度的融合图像质量客观评价模型。
采用该方法对不同融合算法获得的融合图像进行了性能验证，实验结果表明该算法能对融合图像质量进行正确评价,相比于传统方法其客观评价结果与主观评价结果更具有一致性.
关键词：
图像融合；评价；高斯尺度混合模型；视觉信息保真度
中图分类号TP391.4文献标识码A
FusionImageQualityAssessmentMethodBasedonVisualInformationFiedity
ZHANGYong＊，1,2，YUHong-sheng1,JINWei—qi1
（1SchoolofOptoelectronics，BeijingInstituteofTechnology，Beijing100081）
（2MechanicalEngineeringInstitute,Heibei,Shijiazhuang,Hebei050000）
Abstract:
BasedontheassumptionthattheimagesourcesmeetGSMmodeliscorrectandimagefusionalgorithmisregardedasimagesignalenhancementchannel.Andconsideringhumanvisualnoisecharacteristicswithinneurons,FVIFobjectivequalityassessmentmodelisestablished。
Theexperimentindicatedthatthemethodcanevaluatefusionimagequalitycorrectlyanditsobjectiveevaluationresultsaremoreconsistentwithsubjectiveevaluationresultsthantraditionalmethods。
Keywords：
ImageFusion；Assessment；GaussianScaleMixture（GSM）;VisualInformationFiedity（VIF）
1引言
图像融合技术为解决单一图像来源成像机理、天候环境、光学系统等因素限制，将不同传感器获取的信息进行有效综合和集成，一定程度上提高了图像承载信息量和空间图像分辨率，拓展了图像应用范围。
针对图像融合系统开展融合图像质量评价方法研究，不仅可比较各个融合算法的性能优劣，还可根据融合效果对算法进行改进和完善,具有重要的指导意义和参考价值[1］。
融合图像质量客观评价方法用可定量分析的数学模型表达人对图像的主观感受，再经各种计算得到图像质量评价指标。
归纳近年来融合图像客观评价方法大致可分为四类。
第一类是基于全像素统计理论的评测方法。
该评测方法完全忽略人眼视觉特性对图像质量评测结果的影响，算法实现虽然简单，但评测结果常与人的主观感受相偏离［2]。
第二类是基于信息理论的评测方法.该方法虽然克服了全像素统计理论中主观赋权的局限性，根据熵、交互信息量等评价指标的差异程度来修正权重，但仍和主观评价结果存在较大差异［3].第三类是基于人眼视觉系统（HumanVisualSystem，HVS）仿生理论的评测方法。
该方法模仿人眼对像素层绝对差值的认知机制，通过掩盖低于人眼感知能力的差异修正评测结果，从原理上较好的体现了人眼对图像质量的感知机制，但由于目前对人眼视觉感知机制认识的局限性，且仿生模型的实现又非常复杂，模型性能和上述两种方法相比不具有明显的优越性[4］.第四类是以结构相似度（StructureSimilarity,SSIM）为代表的基于特征参数的评测方法.该方法利用人眼视觉机制特点,通过设计和检测能典型代表图像特性的单个或多个特征参数来体现图像质量,算法实现简便，具有较好的应用前景［5］。
收稿日期：
2011年-月-日；收到修改稿日期:
2011年-月-日
作者简介：
张勇（1974—）,男,博士生，工程师，主要从事融合图像质量评价方面的研究.Email：
bit10701159@
余宏生（1968—），男，博士生，副教授,主要从事图像拼接方面的研究。
Email：
yhs99981@
导师简介:
金伟其（1960-），男，博士，教授，主要从事微光与红外成像技术方面的研究。
Email：
jinwq@*通信联系人。
E-mail：
bit10701159@sina。
com
本文基于视觉信息保真度（VisualInformationFiedity，VIF）评价方法，通过建模人眼视觉失真通道和信号失真通道,提出了基于视觉信息保真度的图像融合质量客观评价指标（FusionVisualInformationFiedity,FVIF），首先介绍VIF图像质量评价模型，然后给出了FVIF的构造方法和参数估计，最后利用不同融合算法获得的融合图像进行了算法验证，实验结果显示FVIF与主观评价具有一致性。
2VIF图像质量评价模型
VIF最初应用于自然感图像质量评价，依赖于自然场景统计模型、图像信号失真通道和人眼视觉失真模型。
VIF评价模型需满足以下假设：
（1）图像源的统计分布满足GSM模型；
（2）图像小波域系数不相关，各小波子带相互独立;（3）人眼视觉失真解释为内部神经元的噪声特性；（4）输入信号（参考图像系数）和输出信号（失真图像系数）均已知［6]。
图1是VIF评价模型示意图。
c:
\iknow\docshare\data\cur_work\https：
\wkretype。
\retype\zoom\c4d2e5ed19e8b8f67c1cb95e?
pn=2&x=0＆y=0&raww=329＆rawh=184＆o=jpg_6_0_______&type=pic＆aimh=184＆md5sum=bddef0a9df101a9888483af9e5d711dc＆sign=615d25664c&zoom=&png=156-2563＆jpg=0-9596
图1VIF评价模型Fig。
1VIFassessmentmodel
模型中假设输入图像、图像失真通道、失真图像模型均是精确的，利用I（C；E|z）和I（C；F｜z）分别表示人眼能够理想的从输入图像和失真图像特定子带中提取的信息。
I（C；E｜z）解释为输入图像信息内容,
I（C;F｜z）解释为输入图像和失真图像的互信息值。
该值在视觉上从失真图像相对于输入图像中出现的信息
内容中提取，由于各小波子带相互独立，则两种信息测量的比例能够扩展到多个子带，I（Cr;E|zr）和
k
k
k
I（Crk;Fk｜zrk）分别是第k个子带相应的互信息测量,其中k是子带数，VIF指标可表示为：
VIF=
∑［I（C
k=1Kk=1
K
krkr
；Fk｜zrk）］
，
（1）
∑[I（C
3FVIF评价模型
；Ek|zrk）］
用于融合图像质量评价的VIF模型如图2。
不失一般性，假设输入源图像分别为可见光图像和红外图像，
输入源图像分别经过信息增强通道cs1，cs2生成融合图像，经人眼视觉通道后，输入源图像信息内容可表示为
I（Csk1;Esk1｜zsk1）和I（Csk2；Esk2|zsk2），输入源图像与融合图像之间的互信息值可表示为I（Csk1;Fk|zsk1）和
k
）。
I（Csk2;Fk｜zsk2），可见光图像与红外图像之间的互信息值表示为I（Cek1,o;Cek2，o|zoi
3。
1图像GSM模型
小波域高斯尺度混合（Gaussianscalemixture,GSM）模型用一个随机场来描述图像小波系数分布,该随机
场由一个高斯随机场和一个尺度随机变量构成。
设输入图像符合GSM分布，则可从图像小波子带的不重叠块中提取小波系数c，随机向量c可表示为零均值高斯向量u和独立正尺度随机因子和红外图像的小波系数cs1，cs2可分别表示为：
z的乘积[7］。
可见光图像
（2）cs1=zs1us1,
（3）cs2=zs2us2，
式
（2）,（3）中，“=”表示具有相同的分布，us1,us2为零均值的高斯向量，zs1，zs2是独立的标量随机变量。
向量cs1，cs2具有相同的协方差结构Cs1,m，Cs2，m，每一个子带的小波系数被分成M个不重叠块。
由于块不重叠,当乘数zs1，
zs2已知时，块内系数之间的相关性可通过协方差矩阵Cs1,m,Cs2，m建模。
图2基于FVIF的融合图像质量评价模型Fig.2FVIF-basedfusionimagequalityassessmentmodel
3.2图像增强模型
将图像融合算法视为图像信号增强通道.融合图像可视为图像源小波域信号cs1,cs2在增益gs1，gs2作用下的输出信号与附加噪声v叠加：
（4）d=gs1cs1+gs2cs2+v，
其中d为融合图像相应子带的随机向量场，gs1,gs2表示确定的标量增益场，v是独立的零均值白噪声
2
场，协方差矩阵满足Cv=σvI.
3。
3人眼视觉失真模型
人眼视觉失真模型主要考虑人眼内部神经元的噪声作用,将其建模为固定零均值附加白高斯噪声：
（5）es1=cs1+n，
（6）es2=cs2+n，
f=d+n，（7）其中es1，es2和f分别表示人眼视觉感知输入图像和融合图像相同小波子带的随机系数向量；n表示在
2
小波系数中独立的白高斯噪声,其协方差矩阵满足Cn=σnI。
3。
4图像源互信息模型
在计算输入图像信息内容时，图像源的互信息被重复叠加，因此须在信息总和中剔除输入图像源互信息［8]。
设输入图像源重叠区域分别为cs1，o,cs2，o，则:
（8）cs1,o=gocs2，o+vo，
2
其中go是确定的标量增益场，o是独立的零均值白噪声场,其协方差矩阵满足Co=σoI。
有:
（9）es1,o=cs1，o+n，
es2,o=cs2,o+n，（10）其中es1,o，es2,o分别是人眼视觉感知两幅输入图像重叠区域相同小波子带的随机系数向量.图3是图像源
互信息计算模型。
图3图像源互信息模型
Fig。
3Mutualinformationmodelofimagesources
4FVIF评价指标
令Cs1={ca1，ca1,。
.。
caN｝，Cs2=｛cb1,cb1,。
..，cbN}表示随机向量场cs1,cs2的N个实现集合。
这些向量从小波子带不重叠的系数块中提取,利用
（2）至（7）中的d，es1，es2，f,co，es1，o,es2，o定义
D,Es1，Es2,F,Co,Es1,o，Es2,o，且令Zs1=｛za1，za1，。
。
.,zaN}，Zs2={zb1,zb1，..。
，zbN}，，同时假设模型参数
22
均已知，由于协方差矩阵Cs1,u,Cs2，u,Co,u对称,可将其改写成对角矩阵形式，对角线gs1,gs2,go,σv2,σo，σn
上的一组特征值分别定义为λa1,λa2，。
..，λaM，λb1,λb2,。
.。
，λbM,λo1,λo2，...,λoM。
对于可见光图像,给定Zs1，则
Cs1和Es1之间的信息内容为式（11），其中h（c）表示连续随机向量的熵微分:
I（Cs1;Es1|zs1）=∑I（cai;eai｜zai）
i=1
2
zaiCs1，m+σnIzaiλai11NM
=∑[h（cai+ni｜zai）—h（ni｜zai）］=∑log2（）=log（1+）∑∑222
2|σI|2σi=1i=1i=1j=1nn
N
N
N
（11）
同理对于红外图像，有:
zλ1NM
I（Cs2;Es2|zs2）=∑I（cbi；ebi｜zbi）=∑∑log2（1+bi2bi），（12）
2i=1j=1σni=1
N
根据式（4），对于融合图像和可见光图像的互信息可表示为:
d=gs1cs1+gs2cs2+v
I（Cs1；Fs1|zs1）=∑h（gaicai+gbicbi+vi+ni|zai）-h（gbicbi+vi+ni｜zai）
i=1
N
=
gzλaj1
log（1+∑∑2g2zλ+（σ2+σ2））
2i=1j=1bibibjv,in
N
M
2
aiai
（13）
类似的，对于融合图像和红外图像的互信息可表示为：
2
gbizbiλbj1NM
（14）I（Cs2；Fs2｜zs2）=∑∑log2（1+2），22
2i=1j=1gaizaiλaj+（σv，i+σn）
根据式（8）至（10）,可见光与红外图像的互信息可表示为：
2
goizoiλoj1NM
I（Ce1,o;Ce2，o|zoi）=∑∑log2（1+2），（15）2
2i=1j=1σo，i+σn
由于各小波子带互相独立,将互信息扩展到K个子带求和,即得出融合图像质量评价指标FVIF，式（16）
kkkkkk
中K是子带数,I（C;E｜z）和I（C;F|z）分别是第k个子带对应的互信息测量值:
FVIF=
∑[I（C
k=1
K
ks1；Fk｜zsk1）+I（Csk2；Fk|zsk2）］
（16）
∑[I（C
k=1
K
k
s1k
;Esk1|zsk1）+I（Csk2；Esk2|zsk2）-I（Cek1,o;Cek2,o|zoi）]
若可见光图像与红外图像相等时，式（16）退化为VIF计算公式，只是由于输入图像完全相同，计算结
果为VIF的2倍，可见式（16）是更普遍的计算图像质量的表达公式，可推广至多源图像融合计算过程。
要完成FVIF算法，必须分别对可见光图像、红外图像和融合图像进行小波变换,然后将小波子带划分为不重叠的系数块，从小波系数块中提取小波系数构成向量cs1,i，cs2，i,co，i,di。
协方差矩阵Cs1，m，Cs2，m,Co,m以及
zri,zbi,zoi可利用小波系数块中的小波系数进行估计，由于图像输入和输出均已知，gri,gbi，goi,σv,i，σo,i可
采用线性回归分析方法进行估计.5实验分析
实验图像来源于美国麻省理工学院林肯实验室、荷兰人力资源研究所、美国海军研究生院在网络上提供的可见光（微光）和红外图像。
采用像素级图像融合算法，包括取大平均法（MAX）、主成分分析法（PCA）、拉普拉斯金字塔（LaplacianPyramid，LP）和离散小波变换（DWT）.图4、图5是采用上述融合算法获得的融合图像。
由6名观察者在相同设备和视角条件下给每幅融合图像评分，评分采用相对尺度，即由观察者将一批图像由好到坏进行分类，在视觉无法确定两幅图像质量优劣时，尽可能采用相同分数以避免分数的不确定性。
主观评价过程中要求测试者根据不同的融合图像，从“目标可探测性（TargetDetectableAbility，TDA）"、“细节分辨能力（DetailsResolvableAbility，DRA）”和“图像整体舒适性（WholeComfortableAbility，WCA）"等三个方面依次给出分值[9-10］。
评价结果取三者均值（AverageScore，AS），评分依据如表1.表2、表3是分别针对图4、图5获得的FVIF指标和主观评价结果比较，其中MI（MutualInformation，MI）又称互信息，是两个变量之间相关性的度量，或为一个变量包含另一个变量信息量的度量。
FMSSIM为利用空域SSIM评价方法获得的评价指标，实现方法是利用图像块标准差作为选择参考图像对应位置图像块的判据，即如果输入图像A图像块a的标准差大于输入图像B对应位置图像块b的标准差，选择a作为参考图像块，反之选择b。
然后利用参考图像和融合图像进行结构相似度比较，从而获得整幅图像的FMSSIM评价结果[11］。
分析表2、表3可知，MI指标评价结果与主观评价结果存在较大差异,虽然基于信息理论的评价方法克服了全像素统计理论主观赋权的局限性，但受自然图像内容复杂性和承载信息多样性限制，图像信息量变化能否真正反映人眼对图像的理解程度还需进一步探讨.而FVIF指标展示了与主观评价结果较好的一致性。
表1相对评价尺度与分值
Tab.1Relativeassessmentmetricandscorevalue
7
6Good
4Fair
3
2Poor
1
MAXfusedimagePCAfusedimageLPfusedimageDWTfusedimage
图4采用不同融合算法获得的融合图像
Fig。
4Differentfusionimagesbydifferentfusionalgorithms
c:
\iknow\docshare\data\cur_work\https：
\\retype\zoom\c4d2e5ed19e8b8f67c1cb95e
图5采用不同融合算法获得的融合图像
Fig.5Differentfusionimagesbydifferentfusionalgorithms
表2针对图4的主观评价与FIVF评价结果比较
Tab。
2ComparisonsubjectiveevaluationresulttoFIVFmetricwithfigure4
MAXPCALPDWT
MI6。
41731。
63322.19482。
2754
FMSSIM0。
35440。
12820。
58580。
5798
表3针对图5的主观评价与FIVF评价结果比较
Tab。
3ComparisonsubjectiveevaluationresulttoFIVFmetricwithfigure5
MAXPCALPDWT
MI6。
86605.21982。
64272。
8365
FMSSIM0.46020。
15270.67140.6719
FVIF0。
36950.27510。
69740.6868
TDA7。
13。
48.28.4
DRA6。
73.47。
88。
0
WCA8.56.77。
47。
5
AS7.44.57.88.0
FVIF0.34940.13190。
58650.5763
TDA7.24.38。
28.9
DRA4.53.18。
78.8
WCA6。
53。
26。
46.9
AS6.13.57。
88。
2
6结论
不同的融合算法从不同角度解释输入源图像，从而产生不同亮度、不同对比度、不同结构特征的融合图像。
本文将图像融合算法视为图像信号增强通道，建立了一种基于视觉信息保真度的融合图像质量客观评价模型，实验结果表明该算法能对融合图像质量进行正确评价，具有主客观一致性。
应该说明的是，融合图像质量评价属于图像质量评价范畴，但相比于图像质量评价，构建通用、高效、客观的融合图像质量评价指标存在相当大的难度,原因包括对人眼生理特性和心理特性建模的局限性，也包括实际应用的融合系统往往带有明显的视觉任务或视觉目的，如何将明显的主观目的性引入到客观评价指标中，还要对应用于不同条件下的实际图像融合系统进行充分分析。
但是，考虑到考核融合图像质量客观评价指标的重要依据是主客观一致性，因此可深入开展以下方面的研究,一是多种评价指标的综合利用；二是由单纯的客观评价方法逐步向主客观结合的评价方法转变.三是构建面向具体任务的融合图像评价指标。
参考文献
[1]ATOET,EMFRANKEN。
Perceptualevaluationofdifferentimagefusionschemes［J]。
Displays,2003，24
（1）:
25-37.［2］崔岩梅,倪国强,钟堰利,等。
利用统计特性进行图像融合效果分析及评价[J］。
北京理工大学学报，2000,20
（1）:
102-106.[3]VPETROVIĆ.Subjectivetestsforimagefusionevaluationandobjectivemetricvalidation［J]。
InformationFusion,2007，8
（2）:
208—216。
[4］CHRISHOWELL,RICHARDMOORE,STEPHENBURKS，etal。
Anevaluationoffusionalgorithmsusingimagefusionmetrics
andhumanidentificationperformance［C］.Proc。
oftheSPIE，2007:
65430V1-65430V11.
[5]ZWang,ACBOVIK，andHRSHEIKH，etal。
Imagequalityassessment:
fromerrorvisibilitytostructuralsimilarity[J].IEEE
TransactionsonImageProcessing，2004，13（4）：
600-612。
c:
\iknow\docshare\data\cur_work\https：
\wkretype。
\retype\zoom\c4d2e5ed19e8b8f67c1cb95e
file:
//c:
\iknow\docshare\data\cur_work\https：
\wkretype.bdimg。
com\retype\zoom\c4d2e5ed19e8b8f67c1cb95e？
pn=6＆x=0&y=651&raww=290＆rawh=293&o=png_6_0_0_450_118_157_158_892。
979_1262。
879&type=pic&aimh=293&md5sum=bddef0a9df101a9888483af9e5d711dc&sign=615d25664c＆zoom=&png=130629—256786&jpg=41926—41926
c:
\iknow\docshare\data\cur_work\https：
\\retype\zoom\c4d2e5ed19e8b8f67c1cb95e
［6］H.R.Sheikh，A.C.Bovik,andG。
deVeciana.AnInformationFidelityCriterionforImageQualityAssessmentUsingNaturalScene
Statistics［C]。
IEEETrans.ImageProcess.，2005，14（12）:
2117～2128。
［7］J。
Portilla，V.Strela，
升级会员 