单幅图像自动去雾新算法精.docx
《单幅图像自动去雾新算法精.docx》由会员分享，可在线阅读，更多相关《单幅图像自动去雾新算法精.docx（12页珍藏版）》请在冰豆网上搜索。
单幅图像自动去雾新算法精
第16卷第4期2011年4月
中国图象图形学报JournalofImageandGraphics
Vo.l16,No.4
Apr.,2011
中图法分类号:
TP391.41文献标志码:
A文章编号:
1006-8961（201104-0516-06
论文索引信息:
郭璠,蔡自兴,谢斌唐琎.单幅图像自动去雾新算法[J].中国图象图形学报,2011,16（4:
516-521
收稿日期:
2010-01-06;修回日期:
2010-02-10基金项目:
国家自然科学基金项目（。
第一作者简介:
郭璠（1982,女。
中南大学计算机应用技术专业博士研究生,主要研究方向为数字图像处理、虚拟实验环境等。
E-mai:
lguofancsm。
单幅图像自动去雾新算法
郭璠,蔡自兴,谢斌,唐琎
（中南大学信息科学与工程学院,长沙410083
摘要:
针对雾天拍摄图像的退化现象,提出一种针对单幅图像的自动去雾新算法。
该算法先将有雾图像从RGB转换到YCbCr颜色空间后,再在亮度分量上进行多尺度Retinex处理,所得的亮度图在图像清晰度评价指标的调控下经过反色变换和中值滤波即可求得传播图,并进一步得到清晰化后的复原图像。
实验结果表明,该算法能有效地改善雾天图像的退化现象,提高图像的清晰度。
关键词:
雾;清晰化;亮度分量;Retinex算法;图像清晰度评价指标
Newalgorithmofautomatichazeremovalforsingleimage
GuoFan,CaiZixing,XieBin,TangJin
（SchoolofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083China
Abstract:
Aimatthedegradationofsingleimageunderhazeconditions,thispaperproposesanewalgorithmofautomatichazeremova.lItfirsttransformsthehazeimagefromRGBtoYCbCrcolorspace,andusesmult-iscaleRetinexalgorithmontheluminancecomponent,thenconductasubtractionoperationwiththecontrolofimagequalityassessment.Aftermedianfilterontheimage,thetransmissionmapisobtainedandthehazeremovalimagecanbeobtainedaswel.lExperimentsshowthatthealgorithmcaneffectivelyimprovethedegradationofimageandenhanceitsquality.Keywords:
haze;hazeremova;lluminancecomponent;Retinexalgorithm;
imagequalityassessment
0引言
有雾图像清晰化是计算机视觉领域中一个重要问题,对雾天图像进行去雾可以增加图像的视觉效果。
在雾天情况下,由于场景的能见度降低,图像中目标对比度和颜色等特征被衰减,因而无法满足室外视频工作系统需要准确提取图像特征的需求。
由此可见,消除图像中雾气对场景目标的影响具有重大的现实意义。
目前,对于雾天图像的处理方法主要分为两类:
基于图像处理的雾天图像增强方法和基于物理模型
的雾天图像复原方法。
图像增强方法能有效提高对
比度,突出细节。
典型方法如直方图均衡化算法。
此法虽然实现简单,但没有考虑到雾天图像中景深的多样性,因而有时无法得到好的效果。
为此,祝培
等人先将图像中的天空区域分离之后,再利用图像中不同深度的景物特征,对雾天景物影像进行局部自适应增强
[1]
。
但是,该方法在进行景物影像的清
晰化时,采用的是基于移动模板的快重叠直方图均衡化方法。
而移动模板大小的确定,需要对所拍摄的样本图像进行观察学习,即需要人工参与,这就决定了此方法很难满足对变换场景的实时图像处理需求。
基于物理模型的图像复原方法针对性强,得到
第4期郭璠等:
单幅图像自动去雾新算法517
的结果自然,能够取得较为理想的去雾效果。
一些学者利用McCartney提出的大气散射模型[2],通过对雾天场景建模来解决雾天图像的去雾问题。
如陈功等人借助一张晴天和一张雾天场景的参考图像,计算出场景各点的深度关系来复原雾天图像[3]。
但是,由于该方法对图像采集的要求过于苛刻,因而在实际中难以实现。
近年来,众多研究者致力于如何按照降质图像中雾气浓度的变化,达到彻底去雾的目的。
在这方面的早期工作是由Tan等人完成的[4]。
他们通过统计发现无雾图像相对于有雾图像必定具有较高的对比度,从而利用最大化复原图像的局部对比度来达到去雾的目的,该方法的缺点在于复原后的图像颜色常常过于饱和。
此外,Fattal等人在假设光的传播和场景目标表面遮光部分是局部不相关的前提下,估算出场景的辐照度和传播图像[5]。
由于该方法基于数理统计,并且要求有足够多的颜色信息,所以当处理浓雾天气下颜色暗淡的图像时,该方法无法得到可信的传播图像,因而复原后的图像失真较大。
为了解决以上两种方法的问题,何恺明最近提出了基于暗原色的单一图像去雾技术[6]。
该方法指出无雾图像中存在能识别雾气浓度的暗原色统计规律,根据此规律复原后的图像,达到了很好地去雾效果,但该方法具有较大的计算代价。
针对以上这些问题,提出一种基于亮度分量的自动图像去雾方法,即先将有雾图像从RGB转换到YCbCr颜色空间后,在亮度分量Y上进行多尺度Retinex处理,然后利用图像清晰度评价指标SSIM动态调控算法参数,再根据所确定的参数对亮度分量图进行反色变换和中值滤波处理,把滤波后的亮度分量图像扩展为3分量,并进行3分量图像的合成,此分量合成图即为大气散射模型的传播图。
实验结果表明,该方法在取得较好的清晰化效果的同时,具有较快的清晰化速度,能够满足实际应用的需求。
1相关理论
McCartney于1975年提出了大气散射模型,该模型由衰减模型和大气光模型2个模型组成。
其中衰减模型描述了光从场景点传播到观测点之间的削弱过程。
大气光模型描述了周围环境中的各种光经过大气粒子散射后,对观测点所观测到得光强的影响。
大气散射模型用公式表示为
I（x=J（xt（x+A（1-t（x（1式中,I为观测点接收到的点光强（即输入的有雾图像,J为场景点处的辐照度（即去雾后的复原图像,A为大气光,其代表了周围环境中各种光的总强度,在实际运算中该值通过暗原色图像求得。
t为光路传播图,其代表了场景目标的深度信息,本文即是通过对图像亮度分量的相关操作来获取其光路传播图。
去雾的目的在于通过t、A值从I中得到去雾后的图像J。
由于去雾的目的在于通过对原有雾图像的处理得到类似于在天气晴朗环境下拍摄的图像,所以去雾后的图像应满足对大量无雾或晴天图像的统计规律,即暗原色先验统计规律。
该规律表明:
对于晴天图像,在被分为多个局部区域后,每个局部区域至少在一个颜色通道上有亮度值很小的像素点。
一般地,对于一幅图像J,其暗原色图像各像素点的值按以下表达式确定:
Jdark（x=min
cI{r,g,b}
（min
yI8（x
（Jc（y（2式中,Jc为原图像J的颜色通道,8（x为以x为中心的局部区域。
除天空区域外,Jdark的亮度值较低且趋近于0。
如果J是无雾或晴天图像,则Jdark被称为J的暗原色图像。
此暗原色图像的物理意义为通过局部最小值滤波,滤去可能干扰大气光取值的白色场景目标,从而使A的取值尽可能准确。
此图像中的较低的亮度值主要有3个来源物体的阴影、黑色物体或表面,以及具有鲜艳颜色的物体。
以上统计规律被称为暗原色先验统计规律[6],其物理意义在于去雾后的图像应该满足这一由晴天或无雾图像统计得到的规律,即有雾图像的清晰化过程可以采用由该规律得到的暗原色图像。
由于大气光的存在,有雾图像的雾气越浓,该图像的暗原色图像的亮度值越大,相应传播图t的亮度值越小。
从视觉上来看,暗原色的亮度近似等于雾气的浓度,其重要性在于:
根据这一特性,可以估算出相应的大气光值A。
在大多数已有的单一图像去雾方法中,大气光值A主要是由受雾气影响最亮的像素估计求得。
如文献[4]采用图像的最大亮度值作为大气光,文献[5]对此方法做了进一步的改进。
但在实际图像中,亮度最大的像素点可能位于白色的小车或白色的建筑物处,所以利用暗原色先验规律来自动估算大气光值比以上这些方法更精确。
具体做法为在暗
518
中国图象图形学报www.cjig.cn
第16卷
原色图像中,将各像素点的亮度值按照递减的顺序排序,确定数值大小为前0.1%的点在暗原色图像中所处的位置,则这些位置所对应的原有雾图像区
域中的最大值即为大气光A的值。
按这种方法取得的A值可能不是整幅图像中的亮度最大值,从而避免选取错误的A值。
本文利用上述大气散射模型、暗原色先验统计规律以及大气光值A的估计方法,将原有雾图像I的亮度分量图经过相关变换得到大气散射模型的传播图t后,将这些参数代入大气散射模型表达式（1即可获得去雾后的图像J。
与传统的直方图均衡化算法相比,由于本文方法能更好地反映图像中景物的深度关系,因而去雾图像的清晰化效果更为显著。
2基于亮度分量的自动图像去雾算法
2.1算法流程
去雾算法流程如图1所示。
该算法首先求取原有雾图像的暗原色图像,并借助该暗原色图像估算出原图的大气光值A。
然后对原有雾图像进行颜色空间的转换,并在此空间中提取其亮度分量图进行多尺度Retinex变换。
Retinex是EdwinLand提出来的一个关于人类视觉系统如何调节和感知物体的颜色及亮度的模型。
不同于传统的图像增强算法只能增强图像的某一类特征,如压缩图像的动态范围,或增强图像的边缘等,Retinex可以在灰度动态范围压缩,边缘增强和颜色恒定性3方面达到平衡,从而对图像进行自适应性地增强。
因此,对图像的亮度分量进行多尺度Retinex变换后,可以得到边缘细节增强、对比度改善的新亮度图像。
再采用结构相似度作为清晰度评价指标来对算法相关参数进行动态调节,得到此新亮度图在适当参数下的反色亮度图。
对此反色亮度图进行中值滤波,滤波后的图像即为大气散射模型的传播图。
最后根据大气散射模型中的原有雾图像、
传播图和大气光值实现原图像的去雾。
图1去雾算法流程图
Fig.1Theflowchartofhazeremovalmethod
2.2基于亮度分量的传播图估计
由于注意到图像抠图方程与大气散射模型的表达式（1在形式上的一致性,而抠图作为一种把图像的前景部分从背景中分离出来的技术,其表达式为C=AF+（1-AB
其中,C,F和B分别表示合成图像、前景图像和背景图像。
A称为掩像。
与掩像中的每一点对应的A值是从0到1连续变化的,抠图过程就是一个获得自然连续变化的A值的过程。
因此,大气散射模型中的传播图实际上就可看做为A图。
在何氏方法
[6]
中,采用了soft抠图算法思想来求得更为精
细的传播图[7]
。
此抠图算法作为一种交互式的图
像抠图方法,能够在极少的用户输入下,获取高质量的A图。
本文所提方法的出发点在于:
从概念上来看,采用抠图法获取传播图的目的就是获取一个场景目标边缘轮廓大体清晰、场景深度层次较为分明的A图
[6,8]
以便能局部估算雾气的浓度,从而与原
有雾图像进行合成达到去雾的效果。
而MSR变换
通过对尺度参数的调整而涵盖了多个尺度的特征,其综合了小尺度的动态范围压缩和图像边缘细节增强、大中尺度的色彩平衡的优势,能够同时实现图像的锐化、动态范围的压缩、对比度改善和颜色恒常性[9]
。
将此变换应用到有雾图像的亮度分量,再经过反色变换和滤波处理即可得到与何氏方法效果类似的传播图像,从而实现传播图的自动、快速获取。
基于亮度分量的传播图估计操作的具体步骤如下:
1选取图像转换的颜色空间。
对图像而言,为了将其亮度分量和色度分量分离开来,可以转换到HSI、YUV颜色空间等,从而只针对亮度分量进行处理。
目前常用的是HSI空间,但由于该空间与RGB之间的转换需要对每一个像素点进行三角函数运算,在计算时间和计算量上开销较大。
因此选取的颜色空间为YCbCr空间,主要原因是其与RGB之间的互换只涉及简单的代数运算,计算量小,计算速度快。
2在亮度分量上进行Retinex处理。
该处理过程的数学形式为
Rm（x,y=
N
n=1
Wn（lnY（x,y-ln[Fn（x,y*Y（x,y]
（3
式中,Rm（x,y是MSR在第i个色彩空间的输出,N为尺度个数,Wn为对应于每一个尺度的权值,Y（x,y为亮度图像分布,Fn（x,y为对应权值Wn的第n
第4期郭璠等:
单幅图像自动去雾新算法519
个环绕函数,选取高斯形式。
在对亮度分量进行处理时,环绕函数尺度的选择应尽量包含各个范围的尺度。
实验表明对于大多数图像而言,选取大、中、小3个尺度,并且每个尺度的权重在保证和值为1的前提下根据保证色彩均衡的标准来选取。
此步求得的新亮度图即为下一步求取与抠图法结果类似的传播图的基础。
3对处理所得的新亮度图进行反色变换。
注意到新亮度图与实际抠图法所获A图的差别,为了使两者在效果、功用上趋于一致,采用将传播图调整参数C减去图像中每一点的像素值的方式来实现。
具体来说,传播图的调整方法主要有2步:
（1利用暗原色图像确定大气光的A值;（2确定传播图调整参数C值,即在A值确定的前提下调整参数C的值。
C的取值是基于应用场景的,对于C值的确定将在2.4节中讨论其自动获取的方法。
将取定的C值减去经Retinex变换后的新亮度图中每一点的像素值得到该亮度图的反色亮度图对应点的像素值。
此求取过程按下式确定。
Iinv（x,y=C-Rm（x,y
（4
4对第3步所得的亮度图进行滤波处理。
考虑到在最终复原场景辐照度时,亮度图中的场景目标轮廓与原有雾图像越相近,则越容易淹没去雾图像的细节信息。
为了淡化亮度图的场景目标轮廓,使去雾后的图像含有更丰富的细节信息,需要对上步求得的亮度图进行中值滤波。
实验结果表明:
若
模板选取过小,则去雾后图像的场景目标缺乏立体感;若模板选取过大,则去雾后图像的场景目标颜色过深。
对于大小为200@200的图像,当选取5@5的模板进行中值滤波时,去雾效果最佳。
这样经过滤波后的新亮度图就起到了局部估算雾气浓度的作用,与何氏方法所求的传播图的作用类似。
此外,由于该新亮度图只含有一个分量信息,因此其在与原有图像进行代数操作时,需要首先将亮度分量值扩展到3个分量再进行分量值合成,此分量合成图即为本方法最终的传播图。
图2（b即为图2（a采用基于亮度分量的传播图估计方法所得到的传播图。
2.3场景辐照度复原
根据大气散射模型的表达式,即可利用传播图来复原场景辐照度。
但是由于散射模型的表达式（1中的衰减光模型项J（xt（x在传播图t（x趋近于0时其数值也趋近为0。
因此,需要将传播图t（x限制到一个较小的范围t0,其物理意义为在雾气浓度较深的区域保留少量的雾气影响。
则所需复原的场景辐照度（即去雾后的复原图像为
J（x=
I（x-Amax（t（x,t0
+A（5
式中,t0选取0.1。
因为场景辐照度J（x在亮度上通常要小于大气光A,所以去雾后的图像显得较为暗淡,因此引入t0来增加去雾图像的曝光度。
图2（c即为对图2（a
采用本文方法的最终复原结果。
图2去雾结果Fig.2Hazeremovalresult
2.4传播图调整参数C值的确定
由于传播图调整参数C是基于应用场景的,为
了能确定C的值,建立了以结构相似度SSIM为标准的图像清晰度评价指标
[10]
。
结构相似度的理论
基础为:
人眼在观察图像时所提取的是图像的结构信息,而不是图像像素点间的误差,因此,结构失真
才是图像质量评价中至关重要的因素。
为此SSIM通过亮度、对比度和结构3方面的比较实现了对两
幅图像结构相似程度的度量。
以SSIM为反馈信号,通过循环迭代来确定C值,从而借助反馈机制将一个静态开环的参数估计问题转换为闭环的动态参数调节问题。
520
中国图象图形学报www.cjig.cn
第16卷
通过对大量图像的统计分析,发现C的最优取值一般在1.07附近,为此设定C的迭代范围为1.1~1,步长为-0.001。
所建立的图像清晰化评价
指标选定为SSIM,原因是SSIM包括了亮度、对比度、结构3方面,算法简单,实现速度快,且评价性能较好。
迭代条件为:
设在相隔一个步长的不同C值条件下按SSIM计算求得的指标值分别为mssim1,mssim2。
若mssim1[mssim2,则继续迭代,否则停止迭代,获取此C值,则此时处理后图像即为最终的去雾图像。
该过程的算法如下:
C_ObtainAlgorithm
Input:
原有雾图像Iy
Output:
C值,去雾图像Ih
Step1EnhanceImg1=Iy;//设置循环迭代的初始条件Step2forC=1.1:
-0.002:
1OutputImg1=Defog（Iy,C;//采用本文方法进
行去雾处理
EnhanceImg2=rgb2gray（OutputImg1;
//将
处理后图像转化为灰度图
OutputImg2=Defog（Iy,（C-0.001;//C减
少一个步长再进行去雾处理EnhanceImg3=rgb2gray（OutputImg2;
[mssim,ssim_map]=ssim（EnhanceImg1,Enhance
Img2,K,window,L;
//对两图像进行SSIM指标评估。
其中K=[0.05,0.05],window=8,L=100
mssim1=mssim;//获取当前的SSIM指标评估
值,mssim1=[0,1]
[mssim,ssim_map]=ssim（EnhanceImg2,EnhanceImg3,K,window,Lmssim2=mssim;
ifmssim1<=mssim2;//如果前一次的MSSIM值
大于或等于当前该值
EnhanceImg1=EnhanceImg3;//设置下次代
入迭代的变量值continue;
else
Ih=OutputImg1;//获取最终的去雾图像break;
end
end
3实验结果分析
为了验证算法的有效性以及实用性,采用Matlab6.5在Pentium（RD,3.00GHz,2GB内存的PC上对数百幅雾天图像进行对比性实验。
实验结果表明,本方法对于雾天的景物影像清晰化效果非常显著。
表1是采用SSIM指标确定的该算法相关参数的数值。
图35分别给出了3组图像清晰化实验的对比效果示例。
从图中可以看到,采用直方图均衡化算法处理的去雾图像,近处的景物被过增强,而远处的景物变得更模糊了。
而采用本方法处理后的图像,近处与远处的景物都得到了不同程度的增强,细节比较分明,且远处场景目标的轮廓比较清晰。
由此可见,本文方法对场景的恢复效果明显好于常用的直方图均衡化算法。
表1算法相关参数的取值Tab.1Thevalueofrelativeparameters
图像编号本文方法中的C值
结构相似度图3（204@
1.074
0.
9997
图3清晰化效果对比
Fig.3Comparisonofhazeremovalresults
第4期郭璠等:
单幅图像自动去雾新算法521基于物理模型的雾天图像复原新方法[J].中国图象图形学4结论报,200813（5:
888,-893].[4]TanR.Visibilityinbadweatherfromasingleiage[C]//mProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.WashingtonUSA:
IEEE,20082347,:
-2354.[5]FattalR.Singleiagedehazing[J].ACMTransactionsonmGraphics200827（3:
721729.,,[6]HeKaiing,SunJianTangXiaoou.Singleiagehazeremovalm,musingdarkchannelprior[C]//ProceedingsofIEEEConferenceonComputerVisionandPatterRecognition.Washington,USA:
nIEEE,20091956:
-1963.[7]LevinA,LischinskiD,WeissY.Aclosedforsolutiontomnaturaliagematting[C]//ProceedingsofIEEEConferenceonmComputerVisionandPatternRecognition.WashingtonUSA:
IEEE,200661-68:
.[8]LinShengyou,YeFujun.AMRFmode-basedapproachtolnaturaliagematting[J].JournalofIageandGraphics2008mm,,13（3:
499-505[林生佑,叶福军.基于MRF的复杂图像抠.图[J].中国图象图形学报,200813（3:
499,-50
升级会员 