雾天降质图像清晰度恢复技术研究4000.docx

1、雾天降质图像清晰度恢复技术研究4000雾天降质图像清晰度恢复技术研究摘 要 雾霾天气的情况下，在户外获取的场景图像受到该天气情况的不利影响影响，导致所获取的图像的对比度信息丢失，色彩变淡场景中信息受损，严重影响了户外计算机视觉系统的工作质量，使其无法可靠的工作。所以在雾天的天气条件下，通过图像去雾处理技术处理雾化的图像，增加雾天情况下户外场景的对比度非常重要，值得我们去开展图像去雾的研究。本文围绕先验暗原色去雾方法开展研究，并在此方法的基础上，改进该方法。针对图像去雾的实时性要求，以及颜色失真问题作了以下处理：（1） 将图像从RGB颜色空间转换到YUV颜色空间进行处理；（2） 使用Guide

2、Filter代替抠图法处理透射率t值图。经过实验对比，证明优化后的去雾方法能有效获得清晰地图像，并且缩短了图像处理的时间，提高去雾图像的质量，满足了图像去雾的实时性要求。关键词：暗原色去雾 大气散射模型 guide滤波器 YUV Abstract Under haze weather conditions, the outdoor scene image acquired by the adverse effects of the influence of weather conditions, resulting in the contrast of the acquired image i

3、nformation is lost, damaged scene color fades information, a serious impact computer vision system for outdoor work quality, making it impossible to reliably work. So in foggy weather conditions, through image processing techniques to deal with atomized mist image, increase contrast outdoor scenes u

4、nder foggy conditions is very important, it is worth us to carry out research image to fog. This paper focuses on the dark color to fog a priori methods research, and based on this method, the improvement of the method. Real-time requirements for the image to go to the fog, and the color distortion

5、problem made the following treatment: (1) the image from the RGB color space to YUV color space to process; (2) using guide filter instead of cutout method and treatment of transmittance t value.Through experimental comparison, the optimized to fog that method can effectively obtain a clear image, a

6、nd short the time of image processing, improve the quality of the image to fog can meet the real-time requirements of image to fog.Keywords: Dark grey to fog Atmospheric scattering model guide filter YUV目 录摘 要 IAbstract I一、绪论 31.1研究背景 31.2 研究的目的与意义 31.3 国内外雾化图像恢复技术研究概况 4二、大气散射理论及退化模型 42.1大气的散射 42.3大

7、气散射模型 5三 暗原色先验 63.1 暗原色去雾原理 63.2暗原色去雾的缺点 7四、基于暗原色去雾方法的优化 74.1 YUV颜色空间RGB颜色空间 74.2利用guide滤波代替抠图法 9五、结果分析 10六、总结与展望 11参考文献 12一、绪论1.1研究背景随着人类社会步入信息时代，人们对于对信息的采集以及信息的提取有了更大的需求，其中图像作为信息的以一种载体有着更加直观的作用。近些年来，极端天气频发。在雨、雾、雪等恶劣天气下，户外获得的图像会受到复杂天气的影响。而其中雾，霾天气是较常遇到的天气，这种天气时空中有大量的悬浮颗粒，由于这些微粒对光线的散射、吸收等作用，使得大气的能见度降

8、低，造成了雾天拍摄的图像质量大大降低，图像的清晰对和对比度受影响，最终直接导致了图像中细节被遮盖，图像信息无法正常提取。因此雾天条件下，图像处理技术对雾化图像的处理，还原原始的无雾图像，方便与图像信息的提取，使得计算机视觉系统能够在恶劣天气下也能正常提取图像信息，降低天气对计算机视觉系统的不利影响，这无疑具有十分重要的理论和实际应用价值。1.2 研究的目的与意义 在雾霾天气的条件下，户外拍摄时，图像的清晰度下降，图像细节模糊，导致从中提取的有用信息减少，影响对图像清晰度要求较高的计算机视觉系统的工作可靠性。本文通过对雾化图像去雾算法的研究，选择先验暗原色的去雾算法，在改善图像清晰度和能见度的同

9、时，缩短图像去雾的时间，提高去雾图像的质量，有利于户外计算机视觉系统的成像及图像信息的提取。 本文的研究对于城市道路交通视频监控系统、银行的监控系统、视频安防监控领域有着重大的现实意义。此外，本文的研究也可为地形探测、遥感导航的系统提供有效的图像预处理途径。并且，本文的研究有助于加强遥感图像的有效利用，在目标识别、遥感导航及军事国防领域都具有重大的应用价值。1.3 国内外雾化图像恢复技术研究概况图像去雾技术是为了消除不利的天气因素对图像的清晰度和对比度方面的影响，从而增强图像的质量，该问题吸引了国内外研究人员的兴趣。大气散射对人的视觉影响最大，根据是否依赖大气散射模型，可以将现有的去雾技术分成

10、两类，即基于物理模型方法和基于非物理模型方法。在图像去雾技术的基础上，视频去雾也有所发展。目前主要是将图像去雾技术扩展到视频去雾领域。二、大气散射理论及退化模型 有雾天气条件下在户外进行取景时，户外场景会受到雾气的影响，导致传感器获得的图像清晰度不高，获得的图像不可靠，影响了计算机视觉系统在雾天情况下的可靠、稳定工作。2.1大气的散射图片质量下降从本质上来说，是由于场景的反射光线在进入传感器的传播过程中，光线与大气中的气溶胶系统的微粒相遇，发生交互作用，使得光线的传播方向及能量发生变化并在空间中以一定规律重新分布的结果。根据交互作用的原理分为三个类型：吸收、散射和放射。其中大气散射作用从本质上

11、讲是大气中的微粒或是气溶胶系统的微粒与入射的电磁波发生交互作用，产生多极子或电偶极子振荡，并以此微粒为中心，向各个方向辐射与入射的电磁波频率相同的散射波。2.2大气散射模型 Mie散射理论对大气的散射现象进行了详细的阐述和论证。将大气中复杂的散射作用分为两大类：光线在传播中通过大气介质时引起的光强度衰减作用和大气中的大量微粒散射的环境光随场景光进入接收装置所引起的大气光作用。 图2.1入射光衰减模型和大气光成像模型由于大气粒子的散射作用，入射光线有小部分被大气介质散射和吸收，使得光的辐射能量衰减，并且在这个过程中，场景点辐射衰减度随着场景与接收装置距离的增加呈现指数性规律。主要有入射光衰减模型

12、和大气光成像模型，示意图分别为下图。图2.2衰减模型图2.3大气成像模型三、暗原色先验基于暗原色先验的雾天图像复原是He等，统计了大量的无雾的图像，得出了暗原色先验理论，这是一种雾天图像自适应处理的方法。这种方法创造性的提出了一种场景深度的估计方法，使得图像去雾进入了崭新的阶段。3.1 暗原色去雾原理在利用暗原色去雾的算法中我们需要求取的未知量其中有一个是天空的亮度，对于一般的去雾图像，会选取图像中最亮的点作为天空亮度的取值估计。但这种取法有一个明显的缺点，就是图像中最亮的点并不一定都是天空区域，这就会导致天空亮度值得估计错误。如，在有雾的天气中，最亮的点可能是近处的白色建筑或白色的衣裳，而非

13、远处雾蒙蒙的天空。为了防止这种错误的发生，在He的算法中，通过比较暗原色矩阵中的像素，求出暗原色矩阵中一些数量为总数的0.1%最亮的点，并通过这些点找到原雾化图像的所对应的点，这些点拥有图像中最大的亮度值，然后将其作为天空的亮度值。在暗原色通道中寻找最亮的像素的对应点，可以最大可能的避免单个像素点或一小片区域的亮度值超过天空区域值的情况，防止发生错误的估计。暗原色通道里最亮的像素点，一般来说就雾化较为严重的区域（雾化区域的亮度较高），为雾化的天空区域。所以说这样就可以找到图像的天空区域，再在这些区域寻找最大值，作为天空亮度的估计值，减少估计值得偏差。3.2暗原色去雾的缺点暗原色去雾是通过统计的

14、方法找出无雾图像的共同点，并在此基础上进行去雾。通过上述的说明，已验证这方法可以有效的提高图像的清晰度和能见度。但上述方法中仍然存在着不足，需要进一步的去改进。首先，对于暗原色去雾，在处理彩色图片时，必须要对RGB三个颜色通道进行处理，求出暗原色矩阵。若是将彩色图像处理的三个通道转化处理一个通道情况，那么将会减少图像处理的时间。第二，在求传输透色率时，也会对三个RGB通道根据大气散射模型进行处理，而这样处理的结果将会对于部分图像（包含天空区域）造成颜色失真。四、基于暗原色去雾方法的优化 在上节中提到，暗原色去雾方法在实时方面的不足之处在于，在使透射率图平滑时，稀疏矩阵的计算时间较长；在去雾效果

15、方面的不足之处在于，通过RGB三颜色通道求暗原色矩阵复原后部分图像会色彩失真，并且通过三个通道求暗原色矩阵也会耗费不少的时间。以下针对上述的不足之处，提出优化后的方法，并与元暗原色先验方法对比并得出最终结论。4.1 YUV颜色空间RGB颜色空间 针对对于应用RGB通道求取透射率图时出现的实时性问题和效果要求，本文将去雾时采用的RGB颜色空间表示方法转化为YUV颜色空间模型进行处理。众所周知，自然界中的任意的光线都可以都红、绿、蓝三种颜色的光经过不同比例相加而混合而成，这种颜色的表示方法称为RGB彩色空间，该彩色空间基于三原色原理，任意的光F都用基色光R、G、B三色不同分量相加混合而成：F=rR

16、+gG+bB。而YUV（亦称YCrCb）彩色空间，是应用于欧洲电视系统的颜色空间（颜色编码）。RGB彩色空间的三个颜色通道（r、g、b）与YUV颜色空间亮度信号Y和两个色差信号U、V可以相互转化。YUV颜色空间的特点是它的亮度信号Y和色度信号U、V是分离的。YUV与RGB相互转换的公式如下（RGB取值范围均为0-255），RGB向YUV转化： （4.1）YUV向RGB转化： （4.2）因为YUV色彩空间它的亮度信号Y和色度信号U、V是分离的。则在利用YUV彩色空间表示图像进行暗原色去雾时，相对于RGB彩色空间，我们只需针对Y通道进行处理即可。因为暗原色去雾的实质（或则目标）是求取图像的场景深度

17、。使用的方法是对图像采用开窗的做法，在开窗的范围内比较求取灰度的最小值，组成暗原色矩阵（及暗原色图）。因此，在Y通道得到的开窗范围灰度的最小值与RGB三通道计算得出灰度最小值并没有较大的差别，仍然可以估计透射率的取值。Y通道表示的图像的场景结构信息，是通过RGB三个通道叠加建立的，而U、V通道表示的颜色信息。在去雾时这样处理，有利于保留场景的颜色信息，尽量做到使场景的颜色不失真。 使用YUV颜色通道不仅由以上使场景颜色不失真的效果，而且在利用YUV颜色空间计算天空亮度值时，将会比RGB颜色空间所需时间减少2/3。因为在暗原色去雾方法中，天空亮度的取值是RGB三通道中通过先在暗原色通道里寻找0.

18、01%个最大的值的位置所对应的最大值。因此，将其转换到Y通道进行，依照暗原色图寻找Y通道的对应最大值作为天空亮度，其结果仍符合暗原色去雾的原理。但不同的是，由原来的需要处理三个通道变为只需处理一个通道，大大较少了去雾的时间，更符合图像去雾实时性的要求。4.2利用guide滤波代替抠图法 在暗原色去雾方法中，在求取暗原色矩阵时，对图像采用的开窗分别求取每一个窗内的暗原色值，从而组成暗原色矩阵。但这同时也导致了在后来所求出的透射率t传输图中存在着块状效应。对于这个问题，He采用了抠图法的思想利用Laplacian矩阵进行运算，从而保持t传输图边缘的平滑，并能正确反映场景的深度。但由于Laplaci

19、an矩阵计算需要耗费大量的时间，不利于满足图像去雾处理的实时性要求。为了满足先验暗原色去雾的是实时性要求，且保持良好的去雾效果。本文采用指导性滤波器（guide filter）40对t图进行边缘的光滑处理，实现快速去雾。 所谓的指导性滤波器是指即需要引导图的滤波器。滤波过程中包含引导图I，输入图像p（即需要滤波的图像）， 以及输出图像q。其中I与p可以是同一张图像。本文的思想是将原始有雾图作为引导图，提取图像场景结构信息，并对透射率t值传输图进行边缘光滑处理。guided filter的关键假设就是引导图I与输出图q之间的局部线性模型： （4.3）a,b为线性系数，且在局部窗口k中为常数。为确

20、定以上公式中的线性系数，并满足使得q与p的差别最小，转化为最优化问题： （4.4）以上公式的求解可以利用线性回归： （4.5）在这里, k 和k2表示I在局部窗口wk中的均值和方差。| 是窗口内的像素数，pk表示p在窗口wk中的均值。当求的ak和bk后： （4.6）其中： （4.7）相对于上一章节抠图法的思想，指导性滤波的方法更加有效率、所需的内存更少。加之软抠图的方法存在一个问题，及对于场景较小的区域，其场景深度估计可能不准确，容易被周围深度较大值得区域所干扰或者取代。指导性滤波器修正透射率的方法则有效的防止这种情况的发生。五、结果分析 本文按照第三节的改进方法，首先，我将RGB颜色空间转化

21、为YUV颜色空间求取暗原色矩阵和天空亮度；第二，我将原来使透射率t值图边缘平滑化的抠图法用guide滤波的方法将其代替。结果如下图所示： 图a雾化原图 图b原方法去雾图图c优化后的去雾图该图片大小为232*205。原去雾方法处理的时间为17.522060 seconds，优化后的去雾方法的时间为2.372458 seconds。从上图可以看出图C相对于图b，天空部分和道路部分都显示正常，并没有颜色失真，且在天空部分也没有引入多余的噪声。实验结果表明，使用YUV颜色通道代替RGB颜色通道不仅可以缩短处理时间，更重要的是是图像在去雾的时候颜色不是真，这因为YUV通道中亮度信息和颜色信息分离的结果。

22、且去雾时间比原来明显缩短，这表示guide滤波代替抠图法不仅可以使透射率t图值边缘光滑化，而且相对于抠图法中使用稀疏矩阵的计算，使用指导性滤波的方法大大减少的该部分所需的时间。证明了优化后的去雾方案是有效的。六、总结与展望本文首先验证了暗原色去雾的可行性，但通过对图像去雾的实时性的要求，发现该方法存在的缺陷与不足。本文针对于上述不足之处做出优化。首先，将YUV颜色空间代替RGB颜色空间进行算计处理，以解决颜色失真问题；然后，用指导性滤波的方法代替抠图法进行透射率t值图边缘光滑化处理。实验结果表明，优化后的算法不仅避免了原算法所带来的在部分去雾图像中的原色失真，而且大大减少了图像去雾处理的时间，

23、进一步向实时性图像去雾要求靠拢。参考文献1 P.Chavez. An improved dark-object substraction technique for atmospheric scattering correction of multispectral dataJ. Remote Sensing of Environment, 24:450479,1988.42 禹晶,徐东彬，廖庆敏.图像去雾研究进展J.中国图像图形学报，2011,16（9）:1561-15763 E.B.Goldstein. Sensation and perceptionM.1980.44 E.Hsu, T.

24、Mertens, S.Paris, S.Avidan, and F.Durand. Light mixture estimation for spatially varying white balanceJ. In SIGGRAPH, pages 17, 2008.55 芮义斌,李鹏,孙锦涛.一种图像去薄雾方法.计算机应用. 2006, 26(l): 154-1566 Doo Hyun Choi,Ick Hoon Jang,Mi Hye Kim,Nam Chul Kim. Clolor Image Enhancement Based on Single-scale Retinex With a

25、 JND-Based Nonlinear Filter. Circuits and Systems, 2007. ISCAS 2007. IEEE International Symposium on 27-30 May 2007 Page(s):3948 3951.7 S.G.Narasimhan and S.K.Nayar. Vision and the atmosphere.IJCVc, 48:233254, 2002.1,28 S.G.Narasimhan and S.K.Nayar. Contrast restoration of weather degraded images. P

26、AMIc,25:713724,2003.19 S.G.Narasimhan and S.K.Nayar. Interactive deweathering of an image using physical modelsJ. In Workshop on Color and Photometric Methods in Computer Vision,2003.110 S.K.Nayar and S.G.Narasimhan. Vision in bad weather.ICCVc,page 820,1999.111 R.Tan. Visibility in bad weather from

27、 a single image. CVPRc,2008.1,2,5,6,712 S.Shwartz,E.Namer,and Y.Y.Schechner. Blind haze separation.CVPRc, 2: 19841991,2006.113 祝培,朱虹,钱学明等.一种有雾天气图像景物影像的清晰化方法J.中国图像图形学报, 2004,9(1):124-128.14 陈功,王唐,周荷琴.基于物理模型的雾天图像复原新方法J.中国图象图形学报,2008,27(5):1一10.15 C. Rother, V. Kolmogorov, A. Blake. Grabcut - Interacti

28、ve Foreground Extraction using Iterated Graph CutJ. In Proceedings of ACM SIGGRAPH, 2004. 30931416 Yin Li, Jian Sun, H. Y. Shum. Video Object Cut and PasteJ. In Proceedings of ACM SIGGRAPH, 2005. 59560017 Jue Wang, Pravin Bhat, Alex Colburn, et al. Interactive Video CutoutJ. In Proceedings of ACM SIGGRAPH, 2005. 58559418 Xue Bai, G. Sapiro. A Geodesic Framework for Fast Interactive Image and Video Segmentation and Matting. In Proceedings of IEEE ICCVc, 200719 翟艺书,柳晓鸣,涂雅媛等.一种改进的雾天降质图像的清晰化算法J.大连海事大学学报,2007,33(3):55一58.20 苗义斌,李鹏,孙锦涛,等.一种交互式图像去雾方法J.计算机应用,2006,26(11):2733一2735.