图像超分辨率重建处理算法研究概要.docx

1、图像超分辨率重建处理算法研究概要第4l卷 第ll期 2011年11月激光与红外LASER &INFRAREDV01.41,No.11 November,2011文章编号:1001-5078(201111-1278-04图像超分辨率重建处理算法研究图像与信号处理万雪芬1,杨义2,崔 剑3(1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学 图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图 像细节的目的。本文对使用较为普遍的频域

2、方法、非均匀差值算法、凸集投影算法、迭代反投影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发 展方向。关键词:图像处理;超分辨率;低分辨率重建中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023Research on super-resolution image reconstructionWAN Xuefenl,YANG Yi2,CUI Jian3(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Do

3、nghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,ChinaAbstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e-quence of low resolution images.It has been widely used in digital TV,medicinal processing,military a

4、nd remote剐m8一ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale discussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed.Key words:image processing;super resolution;low resolution image reconst

5、ructionl 引 言近年来,数字图像采集技术已被广泛应用于工 控、安监、军事与消费等领域。但由于价格成本因素 限制,很多情况下通过低端图像采集设备获得的图 片质量与分辨率较低,往往不能满足实际的要求。 利用一系列相似的低分辨的图像,经过超分辨率技 术的处理,可以得到一幅分辨率较高、包含信息较多 的图像。这个处理过程就是超分辨率重建。采用超 分辨率技术可以在不更换原有设备的前提下,提高 图像的分辨率、改善图像的质量。超分辨率技术用途较为广泛。在数字电视领 域,可以利用超分辨率重建技术将数字电视信号转 化为与高清晰度电视接收机相匹配的信号,提高观 众的体验。在医疗领域,提高医学图像的分辨率,可

6、 以帮助医生做出正确的诊断。在军事、气象领域,通 过侦查卫星与气象卫星获得图片的分辨率通常难以 达到人们期望的分辨率级别,使用超分辨率技术,通 过对观测结果做后期处理,可以更好地识别目标,更 好地服务于军事安全和日常生活。2超分辨率算法模型超分辨率重建的核心思想就是用时间带宽(获 取同一场景的多帧图像序列换取空间分辨率,实 现时间分辨率向空间分辨率的转换。超分辨率重建 通过融合多帧相似的低分辨图像提高分辨率。多帧 的低分辨率图像是对同一场景偏移一定角度或位置基金项目:上海市科委重点实验室项目(No.08DZ2231100 资助。作者简介:万雪芬(1979一,女,教师、硕士,主要研究方向为图 像

7、处理,虚拟现实技术。Email:calmer收稿Et期:201l-05-28万方数据激光与红外No.11201I 万雪芬等图像超分辨率重建处理算法研究 1279采样的结果。对超分辨率的理解,首先从图像的成 像模型去考察。假设原始图像为,可以看作高于 奈奎斯特频率采样的结果,得到的低分辨率图像Y。 可以用公式(1表示,其中仇是降采样因子,风是 模糊因子,F是变形因子,因此低分辨图像是高分辨 率经过降采样,模糊,变形后加上噪声的影响的结 果。公式中前一项的参数部分可以用一个矩阵 表示,因此公式(1可以写成公式(2。这样超分辨 率重建可以总结为图像复原模型,因此超分辨率重 建本质上是图像复原问题。Y

8、k=DHkF,+畋,虬一N0,口: (1 扎=舷+心(1%p (2 要求解公式(2,需要确定日,这涉及以下几个 问题:运动估计,需要估计多帧低分辨率图像的相 对位移。得到精确的运动矢量;图像模糊的估计, 通常情况下需要假设点扩散函数的模型;噪声估 计,通常认为噪声符合高斯噪声模型,噪声估计会影 响系统的求解,噪声的估计同样是图像超分辨率重 建很重要的一步。图像超分辨率算法原理如图2所示。誓墨口墨一J_图1图像超分辨事算法原理3常用超分辨率重建算法超分辨率算法最早是由Tsai与Huang在 1984年提出的,目前超分辨率实现技术的方法有多 种,这里我们阐述几个目前晟常使用的方法。3.1频域方法频

9、域方法是基于以下假设:第一,用于重建 的LR图像之间的位移是平移关系;第二,图像在频 域的信号带限;第三,不考虑成像系统的点扩散函 数,运动模糊和噪声。假设f(i,为连续的HR图 像,Y。(i是采样得到的低分辨图像,5:。和乱是在 *和Y方向的平移,在周期z和Y方向上被周期分别 为r。和咒均匀采样成离散信号,则,(f,和 Y。(iJ的关系为:Yt(f=,(iL+如.j疋+k (3 根据傅里叶变换的移位性质得到扎(u,v=一霄(“+枷F(,p和带限信号的假设,以及关系 m=21r/Tj,toy=2xt/疋,L,和,分别是水平和垂直 方向的放大因子,在频域HR图像和LR图像的关系 可以表示为:h=

10、一l“ffilyI(m,n=l/LB.F (4 F卸I2qrm._+ira,嚣“峰 (5 最终HR图像可以用傅里叶逆变换求出。频域 方法理论简单直观,仅仅是一些傅里叶变换的操作, 计算较为方便。但是该方法仅限于空间移位不变的 模型,因此应用范围受到了很大的限制。3.2非均匀插值方法非均匀插值方法是目前超分辨率研究中最直观 的方法”“1。通过对多帧图像进行比较估计,得到 它们之间的相对关系信息,以此获得高分辨率图像 在非均匀间距采样点上的像素值。然后通过直接或 者迭代的方式非均匀插值的方法。就可以得到一幅 高分辨率的图像。得到的图像会存在噪音、模糊等 问题还需要进行去模糊等处理,因此可以通过图像

11、 恢复技术进行一定的修复,这一步通常采用维纳滤 波等卷积的方法使图像清晰。非均匀插值方法包括 三个步骤:运动估计、非均匀插值和去模糊。非均匀 插值方法的优点是计算复杂度低,易于实现。缺点 是由于恢复时忽略了插值过程引入的误差.无法保 证整个复原算法的最优。3.3迭代反投影算法迭代反投影算法(iterative back p叫ectim,IBP 是由Irani和Peleg提出的”j。该算法首先求出一个 超分辨率重建的初始解z”,这个初始解通常由参 考帧的插值得到。得到超分辨率的初始解后接下来 模拟图像的降至过程,产生模拟的降至图像Y“,将 模拟的降质图像和真实的低分辨图像相减的差值反 向投影到估

12、计的高分辨率图像。模拟的降质过程如 公式(6所示,反向投影过程采用公式(7,H为点 扩散函数,日”为反向投影算子,r/为噪声。Y”=Hxo+n (6 x“+”2z“+H。9(yy(8 (7 在上述设定的基础上同时定义误差阈值,如公 式(8所示,当误差小于一个指定阈值时停止迭代 输出结果,其中P是LR图像的帧数。万方数据激光与红外 第41卷e“-/。莹o Y。一以曲o 22(8 Y r迭代反向投影算法思路比较简单,这种方法很 好地解决了模糊和噪声问题,但是算法的解不唯一。 Irani等证明了该算法是收敛的,但是收敛慢。另外 反向投影矩阵酽较难选择,不能加入一些先验 信息。3.4凸集投影算法凸集投

13、影算法(POCS算法是一种基于集合的 理论哺.8】,该算法利用空域中的模型,把需要复原的 图像的各种先验信息,如正定、能量有界、光滑等,定 义为约束凸集,每一约束条件对应于一个含有理想 超分辨率图像的凸集。超分辨率重建图像的解作为 .一个点被包含在这些凸集合的交集内。每一个集合 用C。表示,它们的交集用c0表示,则重建的高分辨 率图像Y应满足公式:yE互Ci 2Co (9 POCS算法是一种迭代过程,相应约束集合的 投影算子将解空间中的一个点投影到距离凸集表面 最近的点上,反复执行迭代运算,就可以得到一个收 敛于凸约束集合的交集的解。假设给出高分辨率图 像的初始值五,为每一个约束集定义一个凸集

14、投影 算子P置,则凸集投影法超分辨率重建的解如式(10 所示:髫。=PNP2P2Pl戈o (10 其中,是约束集合个数。上述凸集可定义为: G(髫lYl=t厂(菇l,Y1:|rI(菇,yl瓯Tk(,= |lvl一lYk x,一.f 7(菇l,Y1I(茗,y;xl,Y1(11 其中,k=l,2,P,P表示LR图像的帧数,瓯= ctrO反映了理想估计的HR图,(戈,Y位于凸集 C。(茗。,Y。内的统计置信度,例如当c=3时,置信度 为99%。对于任何一点以髫,Y在凸集C。(茗。,Y。的 投影满足公式(12:Y“+1【舅I,Yl】=y”【菇l,Yl】+r【菇,】一艿【省,】IIx,Y,菇1,Yl】E

15、h:x,Y,茗l,Yl】 r【戈,】艿【并,】r【茗,】I8k髫,】(12 r【髫,】+6k【茗,】IIx,Y,菇1,Y1】:【戈,y,zl,YI】 r【菇,yl一艿I【菇,】 式中,h“茗,菇。,Y,代表图像在点(茗,Y处降质的 点扩散函数。凸集投影法的算法简单,能够充分利 用先验知识,缺点在于解不唯一,收敛过程依赖初值 的选择,解不稳定。同时,凸集投影方法的降噪能 力差。3.5最大后验概率方法最大后验概率方法(MAP则基于贝叶斯理论, 将超分辨率重建问题看成是统计估计问题9一引。 根据贝叶斯理论,多帧LR图像儿的HR图像.厂的最 大后验概率的解丘。为:k=一P警 ,式中,Py。I n是似然

16、函数,舍弃常数项,并取对数 可以得到公式(14:L=argmaxPlog【Pyt I力】+log【P价” (14 最大后验概率算法对噪声和模型都具有较好的 鲁棒性,并且能够很好地加入先验信息,如果有合理 的先验假设可以获得非常好的图像边缘效果,但是 该算法的缺点是运算量较大。3.6基于学习的方法近年来基于学习的超分辨率图像处理技术成为 该领域的研究热点之一。该方法利用人工智能技术 和给定的训练图像集,获得计算测试样本与训练图 像集之间的领域关系,以及最优权值约束。通过该 方法可以在先验知识的基础上获得对高分辨率测试 样本的逼近结果。该方法在低分辨率图像中包含的 信息较难满足高分辨率图像恢复要求

17、时,可以获得 较多的图像高层信息。该方法的核心是获得确定高 分辨率图片与低分辨率图片之间关系的架构模型。 这一模型可以用插值核、查找表和映射系数等表示。 该领域中较为成熟的模型有基于样例(Example. based的方法1|、邻域嵌入(Neighbor Embedding 方法21、稀疏表示(Sparse Presentation方法131及 向量回归方法(SVR41等。基于样例的方法需要 先进行图像分块,将样例图像划分为子域,从而通过 处理获得转移矩阵。该方法对高频信息处理较好, 但是存在着对训练样本要求高及噪声敏感度强等缺 点。邻域嵌入方法假定高分辨率和对应的低分辨率 图像块在特征空间可

18、以形成具有相同局部几何结构 的流形。利用二者对应的领域表示。之后结合加权 系数,获得对应关系。该方法噪声特性较好,且需要 较少的训练样本。但是其领域前提的限定制约了其 适用范围。稀疏矩阵方法克服了领域嵌入方法中领万方数据激光与红外No.112011万雪芬等图像超分辨率重建处理算法研究 1281域大小选择的问题。该方法先期随即提取高分辨率 图片的部分信息生成一个过完备词典、之后获得稀 疏矩阵表示。该方法的缺陷在于由于其过完备超分 辨率恢复词典的限制,仅能适用于部分有针对性的 领域。而支持向量回归的方法通过加入额外的约束 条件形成二次规划求解格局。其实现了对样本的的 自动选择,训练集较小。但是通过

19、该方法恢复的图 像对比度有所不足。4未来的发展趋势人们在最近20年中对超分辨图像重建技术进 行了大量的研究,超分辨率技术也得到了迅速的发 展。但该领域仍存在着许多需要解决的问题,如降 质模型、运动估计、重建算法等。在上述方法的基础 上,于超分辨重建过程中加入正则项约束,以得到更 好的边缘效果。为了克服解不唯一和模糊等问题, 将上述方法结合起来的混合方法是考虑的方向,如 混合的最大后验概率和凸集投影算法。又如随着放 大倍数的提高,单纯依靠LR图像提供的信息不足, 改善基于学习的方法,通过建立更有效的相似图像 训练集,以获得更多的先验信息及关系模型。在未来的研究中,将通过跨领域的技术融合及 导入更

20、优的人工智能方法,对噪声处理、先验知识、 自学习训练样本选取、运算速度及算法质量评估标 准等超分辨率算法领域的核心问题进行更深入地 研究。参考文献:1Wan Xuefen,et a1.Super-resolution image reconstruction C/IEEE International Conference on Computer Appfi cation and System Modeling,2010,8:V8351一V8355. 2S P Kim,N K Bose,H M Valenzuela.Recursive recon struction of high resolu

21、tion image from noisy undersam-pied muhiframesJ.IEEE Tram.Aconst.Speech,Signal Processing,1990,38(6:10131027.3Michael E1ad,Arie Feuer.Superresolution reconstruction of image sequencesJ.IEEE Transactions on Pattern A nalysis and Machine InteHigence,1999,21(9:8l7834.4M S Alam,et a1.Infrared image regi

22、stration and hishre8-ohtion reconstruction using multiple translational shifted aliased video framesJ.IEEE Tram.Instnan.Meas., 2000,49(10:915923.5M Irani,S Peleg.Improving resolution by image registra-tionJ.CVGIP:Graphical Models and Image Proc., 1991,53(5:231239.6H Stark,P Oskoui.High-resolution im

23、age recovery from image plane arrays using convex projectionsJ.J.Opt. Soc.Amer.A,1989,6:17151726.7A M Tekalp,M K Ozkan,M I Sezan.Hish-resolution im-age reconstruction for lowerresolution image sequences and spacevarying image restorationC/IEEE Interna-tional Conference on Acoustics,Speech,and Signal

24、 Pro-cessing,1992,3:169172.8A J Patti,M I Sezan,A M TekMp.Super resolution video reconstruction with arbitrary sampling lattices and nonzero aperture timeJ.IEEE Trans.on Image Processing, 1997,6(8:10641076.9P Cheeseman,B Kanefsky,et a1.Super-resolved surface reconstruction from multiple imagesJ.NASA

25、 Technical Report,1994。12:FIA-94一12.10R Schulz,R L Stevenson.Extraction of hishresolution frarfles from video sequencesJ.IEEE Tram.Image Pro-cessing,1996,5(6-9961011.11W Freeman,T Jones,Pasztor E C.Example based super-resolutionJ.IEEE Computer Graphics and Applica-tions,2002,22(2:5665.12K Su,T Qi,X

26、Qing,et a1.Neighbor hood Issue in single frame image superresolutionC.IEEE International Conference on Multimedia and Expo,Amsterdam,2005: 1122一1125.13C Yang,J Wright J,Y MA,et a1.Image superresolution as sparse representation of raw image patchesC.Pro-ceedings of IEEE Conf CVPR.Anchorage,2008:128.1

27、4K Ni,T Ngnyen.Image super-resolution using support vector regressionJ.IEEE Transactions on Image Pro-cessing,2007,16(6:15961610.万方数据 图像超分辨率重建处理算法研究作者:万雪芬 , 杨义 , 崔剑 , WAN Xue-fen, YANG Yi, CUI Jian作者单位:万雪芬,WAN Xue-fen(华北科技学院,河北三河,065201 , 杨义,YANG Yi(东华大学,上海,201620 , 崔 剑,CUI Jian(北京航空航天大学,北京,100191 刊

28、名:激光与红外 英文刊名:Laser & Infrared年,卷(期:2011,41(111. K Su;T Qi;X Qing Neighbor hood Issue in singleframe image super-resolution 20052. W Freeman;T Jones;Pasztor E C Example based superresolution 2002(023. R Schulz;R L Stevenson Extraction of high-resolution frames from video sequences外文期刊 1996(064. Wan X

29、uefen Super-resolution image reconstruction 20105. P Cheeseman;B Kanefsky Super-resolved surface reconstruction from multiple images 19946. A J Patti;M I Sezan;A M Tekalp Super resolution video reconstruction with arbitrary sampling lattices andnonzero aperture time外文期刊 1997(087. A M Tekalp;M K Ozka

30、n;M I Sezan High-resolution image reconstruction for lower-resolution image sequences andspace-varying image restoration 19928. H Stark;P Oskoui High-resolution image recovery from image plane arrays using convex projections 19899. M Irani;S Peleg Improving resolution by image registration 1991(0510

31、. M S Alam Infrared image registration and high-resolution reconstruction using multiple translational shiftedaliased video frames 2000(1011. Michael Elad;Arie Feuer Super-resolution reconstruction of image sequences外文期刊 1999(0912. S P Kim;N K Bose;H M Valenzuela Recursive reconstruction of high resolution image from noisy undersampledmultiframes 外文期刊 1990(0613. K Ni;T Nguyen Image super-resolution using support vector regression外文期刊 2007(0614. C Yang;J Wright J;Y MA Image super-resolution as sparse representation of raw image patches 200