时序图像降噪处理.docx

1、时序图像降噪处理时间序列图像降噪（College of Information engineering）摘 要本文从随机噪声的特性出发，分析了传统滤波和自适应滤波的性能，以及新型滤波技术的现状。然后对所处理图像序列进行直方图均衡化。在MSE准则下，实现了Not-local means算法，并通过MATLAB编程实现滤波器。接着用图像去噪来验证该滤波器的性能，结果表明图像的质量在MSE准则下得到了明显的改善。最后分析比较了维纳滤波和Not-local means滤波对边缘细节的处理性能。最后MATLAB实现了以上几种滤波方法的视频降噪，并与原视频进行了简单分析。关键字：图像序列，视频去噪，维纳滤

2、波，直方图均衡，Not-local means1 引言1895年，德国著名物理学家伦琴发现X射线，并于1901年获得首届诺贝尔物理学奖，这个划时代的发现，不仅宣布了现代物理学的开端，更给医学诊断技术带来了革命性变化，开启了医学影像的新时代。1979 年，Hounsfield和Cormack因发明CT(computed tomography)成像技术获得诺贝尔医学和生理学奖。2003年，Lauterbur和Mansfied由于发明MRI(magnetic resonance imaging)技术，获得诺贝尔医学和生理学奖。一个多世纪以来，医学成像技术的不断进步，给医生带来越来越丰富的图像信息，也

3、加深了人类对自身的认识和理解。随着数字图像处理和分析在理论和技术上的逐渐完善，以及计算能力和数字医学影像技术的快速发展，对数字化医学影像的处理和分析逐渐成为国内外研究热点。医学影像在现代医学中占有重要地位，对于传统的动态图像，例如，X射线透视诊断，胃肠检查，血管造影等。但是由于各种噪声的存在，例如热噪声，量子噪声以及传输、放大等环节引入的各种干扰等，这些噪声干扰了医生对病人的正确判断。在医学影像时间序列中，采用各种技术减少噪声的干扰是医学影像处理的重要工作。本设计将对于提供的带有噪声的视频影像设计并实现相关的处理方式，以改善其图像信噪比，并对设计的算法提出检测和比较的方法。2基础理论 从学习图

4、像技术的角度看，视频可以看作是对（静止）图像的扩展。视频是在有规律的间隔拍摄得到的图像序列，所以视频相对于图像在时间上有了扩展。讨论视频时，一般均认为视频图像是彩色的，所以还要考虑由灰度到彩色的扩展。2.1视频表达函数如果对图像用函数来表示，则考虑到视频的时间扩展，视频可用函数来表示，它描述了在时间投影到图像平面XY的3-D景物的某种性质（如辐射强度）。换句话说，视频表示在空间和时间上都有变化的某种物理性质，或者说是在时间投影到图像平面的时空3-D空间中的某种物理性质。进一步，如果彩色图像用函数来表示，则考虑到视频灰度到彩色的扩展，视频可用函数来表示，它描述了在特定时间和空间的视频的颜色特性。

5、实际的视频具有一个有限的时间和空间范围，性质也是有限的。空间范围取决于摄像机的观测区域，时间范围取决于场景被拍摄的持续时间，而颜色性质也取决于场景或景物的特性。2.2视频噪声分析1视频监控中背景亮度和摄像设备状态在短时间内保持不变。因此可假设相邻帧图像具有相同的背景，在无噪声情况下背景区域对应位置的像素值完全相同。定义表示第帧背景图像中位置处的亮度值则 （1）假设不同位置处的噪声是独立同分布的加性噪声，则处的观测亮度值可以表示为背景图像的亮度值和噪声之和，即 （2）式中：表示第帧中处的的噪声。前后两帧做差，得到新的图像 （3）根据对噪声的假设可得 （4） （5）式中：和分别代表Y和n的方差。

6、可以通过下述方法估计：1）在相邻两帧中找到一块背景区域，可以是任意形状，但简单起见，选择的矩形区域。这个区域要足够大，以获得较好的统计结果。2） 用当前帧中的亮度值减去前一帧中相应位置的亮度值，得到。3） 用下面公式估计的均值和方差 （6） （7）3方法选择3.1方法比较视频降噪算法主要有像素域滤波处理和时域滤波处理两种。像素域滤波器一般在以当前像素为中心的特定大小的工作窗口内进行，如谐波均值滤波、加权算术平均滤波、-截尾均值滤波和中值滤波等2-5。这类算法对不同类型的噪声性能表现差别很大。例如，均值滤波器是去除高斯噪声的最好滤波器之一，却会模糊物体的边缘和细节3。中值滤波器采用周围像素的中值

7、来取代当前像素值，可有效去除脉冲噪声，同时避免边缘模糊，但对个高斯噪声的去除效果不是很好3。像素域滤波效果和强度有很大的关系，强度太大会造成边缘模糊和细节丢失，太小则对噪声的去除不彻底。为解决此问题可进行边缘检测或自适应滤波。边缘检测根据当前工作窗口内是否有明显的物体边界决定滤波器的强度；而自适应滤波则根据当前窗口内图像的统计特点动态地选择最优滤波器进行处理。传统的均值操作明显地对图像的细节和边缘产生模糊，损失很多图像细节。为了减少细节的损失，又能很好地抑制噪声，很有必要对边缘信息和图像细节进行保护。但是由于图像受到噪声的污染，如何尽可能地保护边缘而又抑制噪声就成为一个关键问题。通常的边缘检测

8、算法虽然也能很好地检测边缘。受噪声的影响比较大。检测出来的边缘中很容易感染噪声，产生伪边缘，不利于降噪处理。时域滤波主要通过运动补偿技术，在时域跟踪物体运动并滤除噪声7-9。由于噪声的存在，通过最小化残差绝对值之和的运动搜索算法找到的最优匹配块往往不是实际物体对应的位置，如果以此为基础直接进行滤波将造成和明显的边缘模糊和细节丢失，尤其是当噪声的功率比较大的情况。滤波去噪是视频图像处理中一个非常重要的环节，常用的图像滤波方法有线性滤波技术和非线性滤波技术。线性滤波方法主要是基于均值操作，其对象主要是高斯白噪声。非线性滤波方法主要是中值滤波，主要针对椒盐噪声。由于在图像中主要存在的是高斯噪声，所以

9、本文中提出的视频降噪器主要基于均值操作。当然纯粹的均值操作具有一定的局限性，比如模糊边缘，没有利用到象素之间的相关性信息。以下是一些基本滤波算法的效果比较（包括均值、中值、维纳、2D-统计、小波等滤波器）：图 1(a) 几种通用滤波方法结果对比图 1(b) 几种通用滤波方法结果对比3.2处理方法该视频降噪器代码的软件仿真分别用Matlab和Simulink中的VIPBLKS10（Video and Image Processing Blockset）实现，VIPBLKS为视频和图像研究工作者提供了极大的便利。各种经典的视频和图像处理算法只需通过若干构建（Blockset）组合搭配即可实现。在M

10、ATLAB的Command Window键入命令viplib即可启动VIPBLKS，软件界面如图 2所示。从图中可以看出，VIPBLKS的构件库主要包含四类模块集：源模块集（Sources）、目标模块集（Sinks）、处理模块集（变换、统计等）和标注模块集（Text&Graphics）。其中，源模块集主要负责模型的各种输入，相应地就有视频、图像等媒体文件的读取或捕获模块；目标模块集主要负责显示或记录模型处理的输出结果；处理模块集主要负责实现各种变换、概率统计、模式识别、视频图像处理和机器视觉等经典算法；视频和图像处理模块集包含图像分析和增强( Analysis & Enhancement)、颜

11、色和数据类型转换( Conversions)、滤波( Filtering)、几何转换( Geometric Transformations)、形态学操作( Morphological Operations )、统计( Statistics )、时频转换( Transforms)、文本和图形( Text & Graphics)、接收器( Sinks)、发生源( Sources)等10多类共75个模块，可实现100多个算法11。不同的模块库下又包含不同的模块，不同模块库的作用也各不相同。丰富的模块满足不同图像处理的需求。例如，分析和增强模块库主要用于对图像及视频进行分析或增强处理，滤波模块库用于对

12、图像和视频进行各种滤波操作，统计模块库用于对图片或视频进行各类统计操作。标注模块集用于对模型中的各种模块进行标注或指示，便于其它用户对模型的理解和使用。此外，VIPBLKS中包含的每个模块都有一个设置参数的对话框。例如边缘检测模块（Edge Detection）使用的边缘检测算法可采用的算子是Prewitt，可选的还有：Sobel、Roberts和Canny。通过简单的参数设置，用户就可以对这四种边缘检测算法的性能和效果进行直观的比较，最终确定适合自己研究工作的算法。利用视频和图像处理模块集对图像进行处理的流程大致如下：1) 在Matlab命令窗口中输入viplib命令，打开视频和图像处理模块

13、集窗口；2) 在Library: viplibv1窗口中选择FileNewModel菜单，新建模型；3) 在新建模型窗口中加入所需模块，各模块名称、数量、来源及位置根据不同的图像处理方式不同；4) 连接各模块；5) 双击模块，修改模块的参数设置和名称；6) 根据需要设置仿真参数；7) 运行并调试仿真系统，在窗口中选择FileSaveas菜单保存模型文件。图 2 Video and Image Processing Blockset3.3处理内容3.3.1视频频谱分析根据之前理论，我们首先抽取具有代表性的一些帧图像进行频谱，噪声分析；便于噪声分析，我们截取这些帧的纯色区域进行FFT2变换，其频谱

14、结果如下所示：图 3 频谱分析结果从截取区域频谱，我们可以大致看出，所处理视频主要还是受到了高斯噪声的污染。3.3.2视频直方图均衡化模型由于视频场景较暗，我们决定采用直方图均衡的措施均衡灰度分布。如图 4所示，在直方图统计模型中，将RGB Video模块用于输入原始时间序列图像。Hist R,G,B模块直接对原始视频进行直方图统计处理，其中Number of bins参数表示输入图像中可能的灰度级总数，最大值为256。为了保证输出平滑的图像，一般采用远小于原图像灰度级大小的值，故采用默认设置值64。To Video Display模块显示原始视频，RGB Histogram模块显示经过直方图

15、统计模块处理后的统计值。特别指出的是，该模型是将时序图像的RGB分量风别进行统计，用以直观地表示图像三分量直方图分布，在Vector Scope模块中用坐标显示图像的灰度分布情况。图 4 直方图统计模型图 5 实时直方图统计结果显示然后抽取所有图像帧进行直方图均衡化处理，这里采用了matlab的自适应直方图均衡化处理函数adapthisteq进行自适应处理，其处理后图像较一般处理措施的峰值信噪比PSNR高一定数值；而对于本实验所用的TrueColor图像，用对HSV分量的V分量进行均衡的办法在主观感受上普遍要比对RGB分量分别进行处理的好，故在此采用了前者。图 6 第3帧直方图均衡试验结果3.

16、3.3视频降噪模型主要针对视频监控等具有固定背景图像的特殊场景进行研究。针对视频监控等特殊应用，为了消除高斯噪声和脉冲噪声，主要使用了维纳（wiener）和非局部均值（Not-Local Means）滤波方法对视频图像进行降噪预处理。基本思路是对像素周围的整个灰度分布情况进行比较，根据灰度分布的相似性来贡献权值。并加入了运动估计方法，然后对运动区域进行自适应滤波。自适应算法根据当前图像的特征动态选择一种，从而高效地消除噪声。图 7 左右分别为均衡后未去噪和Wiener去噪图像图 8 左右分别为均衡后未去噪和NL-means去噪图像图 9 去噪后边缘细节对比4实验结果将NL-means滤波处理后

17、的图像（如图 8、图 9所示）与原始图像（如图 7所示）进行对比，背景区域的噪点明显减弱，其中窗口大小为2，高斯核为3的滤波参数所得到的图像效果较优，而窗口、高斯核大小为34时滤波的处理时间明显增加（达到了5.115994s，相对于2.055578s），所得到的图像边缘过于模糊。峰值信噪比（PSNR）作为图像质量评估的主要客观标准，一般而言，峰值信噪比愈大图像质量愈高。其中，窗口-高斯核为23时的NL-means滤波后图像峰值信噪比为89.91，而窗口-高斯核大小为34时的图像峰值信噪比仅为89.21，说明窗口-高斯核大小为23的NL-means滤波处理的图像效果最好，与目视结果吻合。对比图

18、7和图 8的实验结果，目视判读可以得出：经过直方图均衡化后，图像的亮度明显提高，物体的轮廓更加清晰，近图像的细节更加突出。从图5所示的直方图分布图中可以得出：原始图像的动态范围主要分布在00.2（相对于255RGB色阶）之间，说明原始图像总体偏暗且灰度级并未充分利用；而经过直方图均衡化处理后的图像直方图较均匀地分布在00.5之间，动态范围适当，图像处理效果理想，由于拍摄图像整体环境偏暗，不宜作再度加强的直方图均衡，否则色差偏差太大，超出人们主观敏感范围。采用这段含有噪声的视频序列进行测试，验证降噪方法性能。首先选取图像上方35664区域的区域进行噪声分析，采用 3.2 中给出的算法，估算出的均

19、值和方差分别为，。然后根据估计噪声级别，采用NL-means算法对视频进行处理，得到图像，如图3a所示。图 9(a)是未作预处理的原始视频第3帧图像，和图 9(b)相比较可以发现，在背景区域，后者的图像质量明显要优于前者，特别是是在物体的边缘处更加清晰，如机箱、桌子的边缘。采用维纳滤波对视频序列第3帧进行降噪处理，分别得到图 7(a)和图 7(b)。同原始视频第6帧对比可见，NL-means滤波在获得较好背景的同时也保留了运动区域的细节，而时域-空域滤波对运动区域的细节部分有所损失，如人的面部表情。播放视频还可以发现， 降噪处理后的视频在背景处噪声很好的消除，没有“闪烁”、“晃动”的现象，具有

20、更加清晰的背景。为进一步验证算法对编码性能的提升，分别将降噪处理后的视频以及原始视频用Cinepak10编码，并改变目标码率为3 Mbit/s的值，对比分析解码视频的主观和客观质量。表1是输出码率3视频码流的PSNR值；实验结果分析：1）基于非局部的临域滤波和自适应像素域滤波算法都能够带来明显的客观质量提升，前者主要作用于运动区域，后者主要作用于背景区域。2）基于非局部的临域滤波算法所带来的编码增益大于Wiener自适应像素域滤波。例如B帧在输出码率为3Mbit/s的时候，时域滤波平均获得4.8 dB的编码增益，而时域-像素域滤波获得5.9 dB的编码增益，仅比前者提5总结与展望非局部均值图像

21、去噪算法（Not-local means）具有优秀的去噪效果，但是算法复杂度高，不能应用于高速视频流处理系统中。为提高算法执行速度,使其拥有更广泛的应用。当然，算法还有待进一步的优化和改进。而现在已经有文献18提出了基于GPU加速的Not-local means滤波器，这可能是今后该算法在实时视频降噪中应用的新的技术方法。参考文献：1崔建伟,谷源涛,唐昆.采用背景提取和自适应滤波的视频降噪算法A.电视技术,2009,33(s2):75-78.2CHEN T-H, CHEN C-Y, CHEN T-Y, etal. An intelliegent videonoise reduction met

22、hod using adaptive spatial and motion compen-sation temporal filter C. IEEE Conference on Cybernetics and In-telligent Systems 2006,S.l.: IEEE Press,2006:1-6.3GONZALEZ R C, WOODS R E. Digital image processingM.2nded. Beijing: Publishing House of Electronics Industry, 2003.4GUPTA N, SWAMY M N S, PLOT

23、KIN E I. Wavelet domain-basedvideo noise reduction using temporal discrete cosine transform andhierarchically adapted thresholding J. IET Image Process, 2007,1(1):2-12.5ZLOKOLICA V, PHILIPS W, VAN DE VILLE D. Robust non-lin-ear filtering for video processingC. Proc. 14th International Con-ference on

24、 Digital Signal Processing：Vol. 2. S.l.：IEEE Press,2002:571-574.6ZHANG X H, LIN W S, XUE P. Just-noticeable distortion estima-tion for image pixels, multimedia signal processingC. 2005 IEEE7th Workshop. S.l.: IEEE Press,2005:1-4.7BOYCE J M. Noise reduction of image sequences using adaptive motion co

25、mpensated frame averaging, Acoustics,Speech,and Signal ProcessingC. Proc. ICASSP 1992: Vol. 3. S.l.: IEEE Press,1992:461-464.8CHEN T-H, LIN Z-H, CHEN C-H, etal. A fast video noise re-duction method by using object-based temporal filtering C. Proc.IIHMSP 2007: Vol. 2. S.l.: IEEE Press,2007:515-518.9李

26、岩,乔彦峰,高丰端,等.一种基于运动补偿的时域自适应视频降噪算法J.电子器件,2007,30(5):1666-1669.10胡波,陈阿林.基于Simulink数字图像处理的仿真模块设计J.重庆文理学院学报,2012,31(4):54-57.11刘璎瑛.基于Simulink的大米动态图像检测系统仿真J安徽农业科学,2009,37(16):7607- 7609.12李了了,邓善熙.MATLAB在图像处理技术方面的应用J.微计算机信息,2003,19(2):65-66.13许录平.数字图像处理学习指导M.北京:科学出版社,2009:1-3.14贾秋玲,袁冬莉,栾云凤.基于MATLAB7.X/Simu

27、link/Stateflow系统仿真、分析及设计M.西安:西北工业大学出版社,2006:1-2.15周又玲,杜锋,汤全武,等.MATLAB在电气信息类专业中的应用M.北京:清华大学出版社,2011:22516陈武凡,秦安,江少峰,冯前进,郝立巍.医学图像分析的现状与展望J.中国生物医学工程学报,2008,27(2):176-181.17Jeffery Xu.图像和视频噪声基础知识M.18王钢,杨民.动态序列DR图像降噪算法及快速实现J.全国射线数字成像与CT新技术.北京航空航天大学,2009,6.19贾晓萌.基于非局部均值的图像去噪M.燕山大学,2005.20徐晶晶.基于非局部均值滤波的SAR

28、图像去斑J.西安电子科技大学,2010.21Matlab Central. Dirk-Jan Kroon. Fast Non-Local Means 1D, 2D Color and 3D. 22Matlab Central. wiener2. 23Lim, Jae S. Two-Dimensional Signal and Image Processing, Englewood Cliffs, NJ, Prentice Hall, 1990, p. 548, equations 9.44-9.46.24Mathworks. Removing Noise from Images. 25Dr.T

29、im Ferguson. Cinepak (CVID) stream format for AVI and QT. http:/multimedia.cx/mirror/cinepak.txt. 2001.2632 bit Cinepak for x86. 27Bylund, Anders. From Cinepak to H.265: a brief history of video compression. Ars Technica. Retrieved 1 November 2012.28Apple Computer, Inc (2004). QuickTime for the Web: For Windows and MacIntosh. Morgan Kaufmann. p. 328. ISBN 978-1-55860-904-4. Retrieved 1 November 2012.