单幅图像自动去雾新算法精.docx

1、单幅图像自动去雾新算法精第16卷 第4期2011年4月中国图象图形学报Journa l o f I m age and G raphicsV o.l 16,N o .4A pr .,2011中图法分类号:TP391.41 文献标志码:A 文章编号:1006-8961(201104-0516-06论文索引信息:郭璠,蔡自兴,谢斌唐琎.单幅图像自动去雾新算法J.中国图象图形学报,2011,16(4:516-521收稿日期:2010-01-06;修回日期:2010-02-10基金项目:国家自然科学基金项目(。第一作者简介:郭璠(1982 ,女。中南大学计算机应用技术专业博士研究生,主要研究方向为数字

2、图像处理、虚拟实验环境等。E-m ai:l guofancs m 。单幅图像自动去雾新算法郭璠,蔡自兴,谢斌,唐琎(中南大学信息科学与工程学院,长沙 410083摘 要:针对雾天拍摄图像的退化现象,提出一种针对单幅图像的自动去雾新算法。该算法先将有雾图像从RGB 转换到Y CbC r 颜色空间后,再在亮度分量上进行多尺度R eti nex 处理,所得的亮度图在图像清晰度评价指标的调控下经过反色变换和中值滤波即可求得传播图,并进一步得到清晰化后的复原图像。实验结果表明,该算法能有效地改善雾天图像的退化现象,提高图像的清晰度。关键词:雾;清晰化;亮度分量;R e ti nex 算法;图像清晰度评价

3、指标New algorith m of auto m atic haze re moval for single imageGuo Fan ,Ca i Zi x ing ,X i e B i n ,Tang Ji n(School o f Infor m ation Science and E ng i n ee ring,Cen t ral S outh Un iversit y,Chang sha 410083China Abstrac t :A i m a t the degradation o f si ng l e i m age under haze conditi ons ,th

4、 i s paper propo ses a ne w a l gor it hm o f au t om atic haze re m ova.l It fi rst transfor m s t he haze i m ag e from RG B to Y CbC r co l o r space ,and usesm ult-i sca le R etinex a l gor it hm on the l um inance component ,then conduct a sub tracti on operati on w it h t he con tro l of i m a

5、ge quality assess ment .A fter m ed i an filter on the i m age ,the trans m i ssi on m ap i s obta i ned and t he haze re m oval i m age can be obta i ned as w e l.l Exper i m ents show tha t the a l gor it hm can effecti ve l y i m prove t he deg radati on of i m age and enhance its quality .K eywo

6、rds :ha ze ;haze re m ova;l l u m i nance co m ponent ;R eti nex a l gor it hm ;i m ag e qua li ty assess m ent0 引 言有雾图像清晰化是计算机视觉领域中一个重要问题,对雾天图像进行去雾可以增加图像的视觉效果。在雾天情况下,由于场景的能见度降低,图像中目标对比度和颜色等特征被衰减,因而无法满足室外视频工作系统需要准确提取图像特征的需求。由此可见,消除图像中雾气对场景目标的影响具有重大的现实意义。目前,对于雾天图像的处理方法主要分为两类:基于图像处理的雾天图像增强方法和基于物理模型的雾天

7、图像复原方法。图像增强方法能有效提高对比度,突出细节。典型方法如直方图均衡化算法。此法虽然实现简单,但没有考虑到雾天图像中景深的多样性,因而有时无法得到好的效果。为此,祝培等人先将图像中的天空区域分离之后,再利用图像中不同深度的景物特征,对雾天景物影像进行局部自适应增强1。但是,该方法在进行景物影像的清晰化时,采用的是基于移动模板的快重叠直方图均衡化方法。而移动模板大小的确定,需要对所拍摄的样本图像进行观察学习,即需要人工参与,这就决定了此方法很难满足对变换场景的实时图像处理需求。基于物理模型的图像复原方法针对性强,得到第4期郭璠等:单幅图像自动去雾新算法517的结果自然,能够取得较为理想的去

8、雾效果。一些学者利用M cCartney提出的大气散射模型2,通过对雾天场景建模来解决雾天图像的去雾问题。如陈功等人借助一张晴天和一张雾天场景的参考图像,计算出场景各点的深度关系来复原雾天图像3。但是,由于该方法对图像采集的要求过于苛刻,因而在实际中难以实现。近年来,众多研究者致力于如何按照降质图像中雾气浓度的变化,达到彻底去雾的目的。在这方面的早期工作是由Tan等人完成的4。他们通过统计发现无雾图像相对于有雾图像必定具有较高的对比度,从而利用最大化复原图像的局部对比度来达到去雾的目的,该方法的缺点在于复原后的图像颜色常常过于饱和。此外,Fattal等人在假设光的传播和场景目标表面遮光部分是局

9、部不相关的前提下,估算出场景的辐照度和传播图像5。由于该方法基于数理统计,并且要求有足够多的颜色信息,所以当处理浓雾天气下颜色暗淡的图像时,该方法无法得到可信的传播图像,因而复原后的图像失真较大。为了解决以上两种方法的问题,何恺明最近提出了基于暗原色的单一图像去雾技术6。该方法指出无雾图像中存在能识别雾气浓度的暗原色统计规律,根据此规律复原后的图像,达到了很好地去雾效果,但该方法具有较大的计算代价。针对以上这些问题,提出一种基于亮度分量的自动图像去雾方法,即先将有雾图像从RGB转换到YCbC r颜色空间后,在亮度分量Y上进行多尺度Retinex处理,然后利用图像清晰度评价指标SSI M 动态调

10、控算法参数,再根据所确定的参数对亮度分量图进行反色变换和中值滤波处理,把滤波后的亮度分量图像扩展为3分量,并进行3分量图像的合成,此分量合成图即为大气散射模型的传播图。实验结果表明,该方法在取得较好的清晰化效果的同时,具有较快的清晰化速度,能够满足实际应用的需求。1相关理论M c C artney于1975年提出了大气散射模型,该模型由衰减模型和大气光模型2个模型组成。其中衰减模型描述了光从场景点传播到观测点之间的削弱过程。大气光模型描述了周围环境中的各种光经过大气粒子散射后,对观测点所观测到得光强的影响。大气散射模型用公式表示为I(x=J(xt(x+A(1-t(x(1式中,I为观测点接收到的

11、点光强(即输入的有雾图像,J为场景点处的辐照度(即去雾后的复原图像,A为大气光,其代表了周围环境中各种光的总强度,在实际运算中该值通过暗原色图像求得。t 为光路传播图,其代表了场景目标的深度信息,本文即是通过对图像亮度分量的相关操作来获取其光路传播图。去雾的目的在于通过t、A值从I中得到去雾后的图像J。由于去雾的目的在于通过对原有雾图像的处理得到类似于在天气晴朗环境下拍摄的图像,所以去雾后的图像应满足对大量无雾或晴天图像的统计规律,即暗原色先验统计规律。该规律表明:对于晴天图像,在被分为多个局部区域后,每个局部区域至少在一个颜色通道上有亮度值很小的像素点。一般地,对于一幅图像J,其暗原色图像各

12、像素点的值按以下表达式确定:J dark(x=m inc Ir,g,b(m iny I8(x(J c(y(2式中,J c为原图像J的颜色通道,8(x为以x为中心的局部区域。除天空区域外,J dark的亮度值较低且趋近于0。如果J是无雾或晴天图像,则J dark被称为J的暗原色图像。此暗原色图像的物理意义为通过局部最小值滤波,滤去可能干扰大气光取值的白色场景目标,从而使A的取值尽可能准确。此图像中的较低的亮度值主要有3个来源物体的阴影、黑色物体或表面,以及具有鲜艳颜色的物体。以上统计规律被称为暗原色先验统计规律6,其物理意义在于去雾后的图像应该满足这一由晴天或无雾图像统计得到的规律,即有雾图像的

13、清晰化过程可以采用由该规律得到的暗原色图像。由于大气光的存在,有雾图像的雾气越浓,该图像的暗原色图像的亮度值越大,相应传播图t的亮度值越小。从视觉上来看,暗原色的亮度近似等于雾气的浓度,其重要性在于:根据这一特性,可以估算出相应的大气光值A。在大多数已有的单一图像去雾方法中,大气光值A主要是由受雾气影响最亮的像素估计求得。如文献4采用图像的最大亮度值作为大气光,文献5对此方法做了进一步的改进。但在实际图像中,亮度最大的像素点可能位于白色的小车或白色的建筑物处,所以利用暗原色先验规律来自动估算大气光值比以上这些方法更精确。具体做法为在暗518中国图象图形学报 www.cji g .cn第16卷原

14、色图像中,将各像素点的亮度值按照递减的顺序排序,确定数值大小为前0.1%的点在暗原色图像中所处的位置,则这些位置所对应的原有雾图像区域中的最大值即为大气光A 的值。按这种方法取得的A 值可能不是整幅图像中的亮度最大值,从而避免选取错误的A 值。本文利用上述大气散射模型、暗原色先验统计规律以及大气光值A 的估计方法,将原有雾图像I 的亮度分量图经过相关变换得到大气散射模型的传播图t 后,将这些参数代入大气散射模型表达式(1即可获得去雾后的图像J 。与传统的直方图均衡化算法相比,由于本文方法能更好地反映图像中景物的深度关系,因而去雾图像的清晰化效果更为显著。2 基于亮度分量的自动图像去雾算法2.1

15、 算法流程去雾算法流程如图1所示。该算法首先求取原有雾图像的暗原色图像,并借助该暗原色图像估算出原图的大气光值A 。然后对原有雾图像进行颜色空间的转换,并在此空间中提取其亮度分量图进行多尺度Re ti n ex 变换。R eti n ex 是E d w in Land 提出来的一个关于人类视觉系统如何调节和感知物体的颜色及亮度的模型。不同于传统的图像增强算法只能增强图像的某一类特征,如压缩图像的动态范围,或增强图像的边缘等,Retinex 可以在灰度动态范围压缩,边缘增强和颜色恒定性3方面达到平衡,从而对图像进行自适应性地增强。因此,对图像的亮度分量进行多尺度Reti n ex 变换后,可以得

16、到边缘细节增强、对比度改善的新亮度图像。再采用结构相似度作为清晰度评价指标来对算法相关参数进行动态调节,得到此新亮度图在适当参数下的反色亮度图。对此反色亮度图进行中值滤波,滤波后的图像即为大气散射模型的传播图。最后根据大气散射模型中的原有雾图像、传播图和大气光值实现原图像的去雾。图1 去雾算法流程图F i g .1 T he fl ow chart o f haze re m ov alm e t hod2.2 基于亮度分量的传播图估计由于注意到图像抠图方程与大气散射模型的表达式(1在形式上的一致性,而抠图作为一种把图像的前景部分从背景中分离出来的技术,其表达式为C =A F +(1-A B其

17、中,C,F 和B 分别表示合成图像、前景图像和背景图像。A 称为掩像。与掩像中的每一点对应的A 值是从0到1连续变化的,抠图过程就是一个获得自然连续变化的A 值的过程。因此,大气散射模型中的传播图实际上就可看做为A 图。在何氏方法6中,采用了soft 抠图算法思想来求得更为精细的传播图7。此抠图算法作为一种交互式的图像抠图方法,能够在极少的用户输入下,获取高质量的A 图。本文所提方法的出发点在于:从概念上来看,采用抠图法获取传播图的目的就是获取一个场景目标边缘轮廓大体清晰、场景深度层次较为分明的A 图6,8,以便能局部估算雾气的浓度,从而与原有雾图像进行合成达到去雾的效果。而M SR 变换通过

18、对尺度参数的调整而涵盖了多个尺度的特征,其综合了小尺度的动态范围压缩和图像边缘细节增强、大中尺度的色彩平衡的优势,能够同时实现图像的锐化、动态范围的压缩、对比度改善和颜色恒常性9。将此变换应用到有雾图像的亮度分量,再经过反色变换和滤波处理即可得到与何氏方法效果类似的传播图像,从而实现传播图的自动、快速获取。基于亮度分量的传播图估计操作的具体步骤如下:1选取图像转换的颜色空间。对图像而言,为了将其亮度分量和色度分量分离开来,可以转换到H S I 、YUV 颜色空间等,从而只针对亮度分量进行处理。目前常用的是H SI 空间,但由于该空间与RGB 之间的转换需要对每一个像素点进行三角函数运算,在计算

19、时间和计算量上开销较大。因此选取的颜色空间为YCbCr 空间,主要原因是其与RGB 之间的互换只涉及简单的代数运算,计算量小,计算速度快。2在亮度分量上进行R eti n ex 处理。该处理过程的数学形式为R m (x,y =Nn=1W n (l n Y(x,y -ln F n (x,y *Y(x,y (3式中,R m (x,y 是M SR 在第i 个色彩空间的输出,N 为尺度个数,W n 为对应于每一个尺度的权值,Y(x,y 为亮度图像分布,F n (x ,y 为对应权值W n 的第n第4期郭璠等:单幅图像自动去雾新算法519个环绕函数,选取高斯形式。在对亮度分量进行处理时,环绕函数尺度的选

20、择应尽量包含各个范围的尺度。实验表明对于大多数图像而言,选取大、中、小3个尺度,并且每个尺度的权重在保证和值为1的前提下根据保证色彩均衡的标准来选取。此步求得的新亮度图即为下一步求取与抠图法结果类似的传播图的基础。3对处理所得的新亮度图进行反色变换。注意到新亮度图与实际抠图法所获A 图的差别,为了使两者在效果、功用上趋于一致,采用将传播图调整参数C 减去图像中每一点的像素值的方式来实现。具体来说,传播图的调整方法主要有2步:(1利用暗原色图像确定大气光的A 值;(2确定传播图调整参数C 值,即在A 值确定的前提下调整参数C 的值。C 的取值是基于应用场景的,对于C 值的确定将在2.4节中讨论其

21、自动获取的方法。将取定的C 值减去经Reti n ex 变换后的新亮度图中每一点的像素值得到该亮度图的反色亮度图对应点的像素值。此求取过程按下式确定。I inv (x,y =C -R m (x,y (44对第3步所得的亮度图进行滤波处理。考虑到在最终复原场景辐照度时,亮度图中的场景目标轮廓与原有雾图像越相近,则越容易淹没去雾图像的细节信息。为了淡化亮度图的场景目标轮廓,使去雾后的图像含有更丰富的细节信息,需要对上步求得的亮度图进行中值滤波。实验结果表明:若模板选取过小,则去雾后图像的场景目标缺乏立体感;若模板选取过大,则去雾后图像的场景目标颜色过深。对于大小为200200的图像,当选取55的模

22、板进行中值滤波时,去雾效果最佳。这样经过滤波后的新亮度图就起到了局部估算雾气浓度的作用,与何氏方法所求的传播图的作用类似。此外,由于该新亮度图只含有一个分量信息,因此其在与原有图像进行代数操作时,需要首先将亮度分量值扩展到3个分量再进行分量值合成,此分量合成图即为本方法最终的传播图。图2(b即为图2(a 采用基于亮度分量的传播图估计方法所得到的传播图。2.3 场景辐照度复原根据大气散射模型的表达式,即可利用传播图来复原场景辐照度。但是由于散射模型的表达式(1中的衰减光模型项J (x t(x 在传播图t(x 趋近于0时其数值也趋近为0。因此,需要将传播图t(x 限制到一个较小的范围t 0,其物理

23、意义为在雾气浓度较深的区域保留少量的雾气影响。则所需复原的场景辐照度(即去雾后的复原图像为J (x =I (x -A m ax (t(x ,t 0+A (5式中,t 0选取0.1。因为场景辐照度J (x 在亮度上通常要小于大气光A,所以去雾后的图像显得较为暗淡,因此引入t 0来增加去雾图像的曝光度。图2(c即为对图2(a 采用本文方法的最终复原结果。图2 去雾结果F ig .2 H aze remova l result2.4 传播图调整参数C 值的确定由于传播图调整参数C 是基于应用场景的,为了能确定C 的值,建立了以结构相似度SS I M 为标准的图像清晰度评价指标10。结构相似度的理论基

24、础为:人眼在观察图像时所提取的是图像的结构信息,而不是图像像素点间的误差,因此,结构失真才是图像质量评价中至关重要的因素。为此SSI M 通过亮度、对比度和结构3方面的比较实现了对两幅图像结构相似程度的度量。以SSI M 为反馈信号,通过循环迭代来确定C 值,从而借助反馈机制将一个静态开环的参数估计问题转换为闭环的动态参数调节问题。520中国图象图形学报 www.cji g .cn第16卷通过对大量图像的统计分析,发现C 的最优取值一般在1.07附近,为此设定C 的迭代范围为1.11,步长为-0.001。所建立的图像清晰化评价指标选定为SSI M ,原因是SS I M 包括了亮度、对比度、结构

25、3方面,算法简单,实现速度快,且评价性能较好。迭代条件为:设在相隔一个步长的不同C 值条件下按SSI M 计算求得的指标值分别为m ssi m 1,m ssi m 2。若m ssi m 1m ssi m 2,则继续迭代,否则停止迭代,获取此C 值,则此时处理后图像即为最终的去雾图像。该过程的算法如下: C_O bta i n A lgor it h mInput :原有雾图像I yO utput :C 值,去雾图像I hS tep1Enhance I m g 1=I y ;/设置循环迭代的初始条件S tep2for C =1.1:-0.002:1 O utput I m g 1=D efog

26、(I y ,C ;/采用本文方法进行去雾处理Enhance I m g 2=rgb 2gray (Ou t put I m g 1;/将处理后图像转化为灰度图O utput I m g 2=D efog (I y ,(C -0.001;/C 减少一个步长再进行去雾处理Enhance I m g 3=rgb 2gray (O ut put I m g 2;m ssi m ,ssi m _map =ssi m (Enhance I m g 1,EnhanceI m g 2,K,w indo w,L ;/对两图像进行SSI M 指标评估。其中K =0.05,0.05,w indow =8,L =10

27、0m ss i m 1=m ssi m;/获取当前的SSI M 指标评估值,m ssi m 1=0,1m ssi m ,ssi m _map =ssi m (Enhance I m g 2,Enhance I m g 3,K,w indo w,L m ss i m 2=m ssi m;if m ss i m 1=m ssi m 2;/如果前一次的M SSI M 值大于或等于当前该值Enhance I m g 1=Enhance I m g 3;/设置下次代入迭代的变量值conti nue ;e l seI h =O ut pu t I m g 1;/获取最终的去雾图像break ;endend

28、3 实验结果分析为了验证算法的有效性以及实用性,采用M a tlab 6.5在Penti u m (R D,3.00GH z ,2GB 内存的PC 上对数百幅雾天图像进行对比性实验。实验结果表明,本方法对于雾天的景物影像清晰化效果非常显著。表1是采用SSI M 指标确定的该算法相关参数的数值。图35分别给出了3组图像清晰化实验的对比效果示例。从图中可以看到,采用直方图均衡化算法处理的去雾图像,近处的景物被过增强,而远处的景物变得更模糊了。而采用本方法处理后的图像,近处与远处的景物都得到了不同程度的增强,细节比较分明,且远处场景目标的轮廓比较清晰。由此可见,本文方法对场景的恢复效果明显好于常用的

29、直方图均衡化算法。表1 算法相关参数的取值T ab .1 T he value of re l a ti ve para m eters图像编号 本文方法中的C 值结构相似度图3(2041.0740.9997图3 清晰化效果对比F i g .3 Com par ison o f haze remova l results第 4期 郭璠等: 单幅 图像自动去雾新算法 521 基于物理模型的雾天图像复原新方法 J . 中国图 象图形学 4 结 论 报, 2008 13 ( 5 : 888 , -893 . 4 Tan R. V isib il ity in bad w eather from a

30、single i age C / / m Proceed ings of IEEE Con ference on Com puter V is ion and Pat tern R ecognit ion. W ash ington U SA: IEEE, 2008 2347 , : -2354. 5 Fattal R. S ingle i age dehazing J . ACM T ransact ion s on m G raph ics 2008 27 ( 3 : 721 729. , , 6 H e K ai ing, Sun Jian Tang X iaoou. S ingle i

31、 age haze rem oval m , m us ing dark channel prior C / /Proceed ings of I EEE C onferen ce on Com puterV ision and Patter R ecognit ion. W ash ington, U SA: n IEEE, 2009 1956 : -1963 . 7 Levin A, L isch in sk i D, W eiss Y. A closed for solu tion to m natu ral i age matt ing C / / Proceed ings of IE

32、EE Con feren ce on m C om pu ter V ision and Pat tern R ecogn ition. W ash ington U SA: , IEEE, 2006 61-68 : . 8 L in Shengyou, Y e Fu jun. A M R F m od e- based approach to l natu ral i agem atting J . Journa l of I age and G raph ics 2008 m m , , 13 ( 3 : 499 -505 林生佑, 叶福军. 基于 M R F的复杂图像抠 . 图 J . 中国图象图形学报, 2008 13( 3 : 499 , -50