图像超分辨率重建处理算法研究概要.docx

图像超分辨率重建处理算法研究概要.docx

《图像超分辨率重建处理算法研究概要.docx》由会员分享，可在线阅读，更多相关《图像超分辨率重建处理算法研究概要.docx（7页珍藏版）》请在冰豆网上搜索。

图像超分辨率重建处理算法研究概要

第4l卷第ll期2011年11月

激光与红外

LASER&INFRARED

V01.41,No.11November,2011

文章编号:

1001-5078（201111-1278-04

图像超分辨率重建处理算法研究

・图像与信号处理・

万雪芬1,杨义2,崔剑3

（1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191

摘要:

超分辨算法为实现图像和视频分辨率提高的一种方法。

其广泛应用于数字电视、医学图像处理、军事与遥感等领域。

超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。

本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投

影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。

关键词:

图像处理;超分辨率;低分辨率重建

中图分类号:

TP751文献标识码:

ADOI:

10.3969/j.issn.1001-5078.2011.11.023

Researchonsuper-resolutionimagereconstruction

WANXue—fenl,YANGYi2,CUIJian3

（I.NordlChinaInstituteofScienceandTechnology,Sanhe065201,China;2.DonghuaUniversity,Shanghai201620,China;3.BeihangUniversity,Beijing100191,China

Abstract:

Super-resolutionimagereconstructionisatechniquetoreconstructhighresolutionimageorvideofroma8e-

quenceoflowresolutionimages.IthasbeenwidelyusedindigitalTV,medicinalprocessing,militaryandremote剐m8一

ing.Thesuperresolutionmethodissummarizedinthispaper.Somesuperresolutionimagereconstructionsaledis—

cussedforsuper-resolutionimagereconstruction.Thetendencyanddevelopmentprospecta弛alsodiscussed.

Keywords:

imageprocessing;superresolution;lowresolutionimagereconstruction

l引言

近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。

但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。

利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。

这个处理过程就是超分辨率重建。

采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。

超分辨率技术用途较为广泛。

在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。

在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。

在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。

2超分辨率算法模型

超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列换取空间分辨率,实现时间分辨率向空间分辨率的转换。

超分辨率重建通过融合多帧相似的低分辨图像提高分辨率。

多帧的低分辨率图像是对同一场景偏移一定角度或位置

基金项目:

上海市科委重点实验室项目（No.08DZ2231100资助。

作者简介:

万雪芬（1979一,女,教师、硕士,主要研究方向为图像处理,虚拟现实技术。

E—mail:

calmer@

收稿Et期:

201l-05-28

万方数据

激光与红外No.11201I万雪芬等图像超分辨率重建处理算法研究1279

采样的结果。

对超分辨率的理解,首先从图像的成像模型去考察。

假设原始图像为,,可以看作高于奈奎斯特频率采样的结果,得到的低分辨率图像Y。

可以用公式（1表示,其中仇是降采样因子,风是模糊因子,F是变形因子,因此低分辨图像是高分辨率经过降采样,模糊,变形后加上噪声的影响的结果。

公式中前一项的参数部分可以用一个矩阵Ⅳ表示,因此公式（1可以写成公式（2。

这样超分辨率重建可以总结为图像复原模型,因此超分辨率重建本质上是图像复原问题。

Yk=D^HkF^×,+畋,虬一N{0,口:

（1扎=舷+心（1≤%≤p（2要求解公式（2,需要确定日,这涉及以下几个问题:

①运动估计,需要估计多帧低分辨率图像的相对位移。

得到精确的运动矢量;②图像模糊的估计,通常情况下需要假设点扩散函数的模型;③噪声估计,通常认为噪声符合高斯噪声模型,噪声估计会影响系统的求解,噪声的估计同样是图像超分辨率重建很重要的一步。

图像超分辨率算法原理如图2所示。

誓墨口墨

●■一—J_●

图1图像超分辨事算法原理

3常用超分辨率重建算法

超分辨率算法最早是由Tsai与Huang…在1984年提出的,目前超分辨率实现技术的方法有多种,这里我们阐述几个目前晟常使用的方法。

3.1频域方法

频域方法…是基于以下假设:

第一,用于重建的LR图像之间的位移是平移关系;第二,图像在频域的信号带限;第三,不考虑成像系统的点扩散函数,运动模糊和噪声。

假设f（i,,为连续的HR图像,Y。

（i√是采样得到的低分辨图像,5:

。

和乱是在*和Y方向的平移,在周期z和Y方向上被周期分别为r。

和咒均匀采样成离散信号,则,（f,』和Y。

（iJ的关系为:

Yt（f√=,（iL+如.j疋+k（3根据傅里叶变换的移位性质得到扎（u,v=一霄（“+枷’F（Ⅱ,p和带限信号的假设,以及关系m=21r/Tj,toy=2xt/疋,L,和￡,分别是水平和垂直方向的放大因子,在频域HR图像和LR图像的关系可以表示为:

h=一l“ffi—l

yI（m,n=l/LB.∑..∑.F’（4F’卸[I"2qrm._+ira,,嚣“峰（5最终HR图像可以用傅里叶逆变换求出。

频域方法理论简单直观,仅仅是一些傅里叶变换的操作,计算较为方便。

但是该方法仅限于空间移位不变的模型,因此应用范围受到了很大的限制。

3.2非均匀插值方法

非均匀插值方法是目前超分辨率研究中最直观的方法”“1。

通过对多帧图像进行比较估计,得到它们之间的相对关系信息,以此获得高分辨率图像在非均匀间距采样点上的像素值。

然后通过直接或者迭代的方式非均匀插值的方法。

就可以得到一幅高分辨率的图像。

得到的图像会存在噪音、模糊等问题还需要进行去模糊等处理,因此可以通过图像恢复技术进行一定的修复,这一步通常采用维纳滤波等卷积的方法使图像清晰。

非均匀插值方法包括三个步骤:

运动估计、非均匀插值和去模糊。

非均匀插值方法的优点是计算复杂度低,易于实现。

缺点是由于恢复时忽略了插值过程引入的误差.无法保证整个复原算法的最优。

3.3迭代反投影算法

迭代反投影算法（iterativebackp叫ectim,IBP是由Irani和Peleg提出的”j。

该算法首先求出一个超分辨率重建的初始解z”’,这个初始解通常由参考帧的插值得到。

得到超分辨率的初始解后接下来模拟图像的降至过程,产生模拟的降至图像Y“’,将模拟的降质图像和真实的低分辨图像相减的差值反向投影到估计的高分辨率图像。

模拟的降质过程如公式（6所示,反向投影过程采用公式（7,H为点扩散函数,日”为反向投影算子,r/为噪声。

Y‘”=Hx‘o’+n（6x‘“+”2z‘“’+H。

9（y—y（8’（7在上述设定的基础上同时定义误差阈值,如公式（8所示,当误差小于一个指定阈值时停止迭代输出结果,其中P是LR图像的帧数。

万方数据

激光与红外第41卷

e“’-^/÷。

莹oY。

一以曲o22（8Yr…

迭代反向投影算法思路比较简单,这种方法很好地解决了模糊和噪声问题,但是算法的解不唯一。

Irani等证明了该算法是收敛的,但是收敛慢。

另外反向投影矩阵酽’较难选择,不能加入一些先验信息。

3.4凸集投影算法

凸集投影算法（POCS算法是一种基于集合的理论哺.8】,该算法利用空域中的模型,把需要复原的图像的各种先验信息,如正定、能量有界、光滑等,定义为约束凸集,每一约束条件对应于一个含有理想超分辨率图像的凸集。

超分辨率重建图像的解作为.一个点被包含在这些凸集合的交集内。

每一个集合用C。

表示,它们的交集用c0表示,则重建的高分辨率图像Y应满足公式:

yE互Ci2Co（9POCS算法是一种迭代过程,相应约束集合的投影算子将解空间中的一个点投影到距离凸集表面最近的点上,反复执行迭代运算,就可以得到一个收敛于凸约束集合的交集的解。

假设给出高分辨率图像的初始值五,为每一个约束集定义一个凸集投影算子P置,则凸集投影法超分辨率重建的解如式（10所示:

髫。

=PN…P2P2Pl戈o（10其中,Ⅳ是约束集合个数。

上述凸集可定义为:

G（髫lYl=t厂（菇l,Y1:

|rI（菇,yl≤瓯Tk（,,,=|lv—lⅣ一l

Ykx,,,一∑.∑.f7（菇l,Y1・^I（茗,y;xl,Y1（11其中,k=l,2,…,P,P表示LR图像的帧数,瓯=ctr≥O反映了理想估计的HR图,’（戈,Y位于凸集C。

（茗。

Y。

内的统计置信度,例如当c=3时,置信度为99%。

对于任何一点以髫,Y在凸集C。

（茗。

Y。

的投影满足公式（12:

Y‘“+1’【舅I,Yl】=y‘”’【菇l,Yl】+

r∽【菇,,,】一艿‘【省,,】・^IIx,Y,菇1,Yl】

Eh:

[x,Y,茗l,Yl】’

r∽【戈,,,】>艿‘【并,,】

r∽【茗,,】I<8k[髫,,】（12r∽【髫,,,】+6k【茗,,,】・^IIx,Y,菇1,Y1】

∑^:

【戈,y,zl,YI】’

r∽【菇,yl<一艿I【菇,,,】式中,h“茗,,,,菇。

Y,]代表图像在点（茗,Y处降质的点扩散函数。

凸集投影法的算法简单,能够充分利用先验知识,缺点在于解不唯一,收敛过程依赖初值的选择,解不稳定。

同时,凸集投影方法的降噪能力差。

3.5最大后验概率方法

最大后验概率方法（MAP则基于贝叶斯理论,将超分辨率重建问题看成是统计估计问题[9一引。

根据贝叶斯理论,多帧LR图像儿的HR图像.厂的最大后验概率的解丘。

为:

k=一P{警㈤,

式中,P{y。

In是似然函数,舍弃常数项,并取对数可以得到公式（14:

L=argmaxP{log【P{ytI力】+log【P价”（14最大后验概率算法对噪声和模型都具有较好的鲁棒性,并且能够很好地加入先验信息,如果有合理的先验假设可以获得非常好的图像边缘效果,但是该算法的缺点是运算量较大。

3.6基于学习的方法

近年来基于学习的超分辨率图像处理技术成为该领域的研究热点之一。

该方法利用人工智能技术和给定的训练图像集,获得计算测试样本与训练图像集之间的领域关系,以及最优权值约束。

通过该方法可以在先验知识的基础上获得对高分辨率测试样本的逼近结果。

该方法在低分辨率图像中包含的信息较难满足高分辨率图像恢复要求时,可以获得较多的图像高层信息。

该方法的核心是获得确定高分辨率图片与低分辨率图片之间关系的架构模型。

这一模型可以用插值核、查找表和映射系数等表示。

该领域中较为成熟的模型有基于样例（Example.based的方法¨1|、邻域嵌入（NeighborEmbedding方法¨21、稀疏表示（SparsePresentation方法[131及向量回归方法（SVR¨41等。

基于样例的方法需要先进行图像分块,将样例图像划分为子域,从而通过处理获得转移矩阵。

该方法对高频信息处理较好,但是存在着对训练样本要求高及噪声敏感度强等缺点。

邻域嵌入方法假定高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形。

利用二者对应的领域表示。

之后结合加权系数,获得对应关系。

该方法噪声特性较好,且需要较少的训练样本。

但是其领域前提的限定制约了其适用范围。

稀疏矩阵方法克服了领域嵌入方法中领

万方数据

激光与红外No.112011万雪芬等图像超分辨率重建处理算法研究1281

域大小选择的问题。

该方法先期随即提取高分辨率图片的部分信息生成一个过完备词典、之后获得稀疏矩阵表示。

该方法的缺陷在于由于其过完备超分辨率恢复词典的限制,仅能适用于部分有针对性的领域。

而支持向量回归的方法通过加入额外的约束条件形成二次规划求解格局。

其实现了对样本的的自动选择,训练集较小。

但是通过该方法恢复的图像对比度有所不足。

4未来的发展趋势

人们在最近20年中对超分辨图像重建技术进行了大量的研究,超分辨率技术也得到了迅速的发展。

但该领域仍存在着许多需要解决的问题,如降质模型、运动估计、重建算法等。

在上述方法的基础上,于超分辨重建过程中加入正则项约束,以得到更好的边缘效果。

为了克服解不唯一和模糊等问题,将上述方法结合起来的混合方法是考虑的方向,如混合的最大后验概率和凸集投影算法。

又如随着放大倍数的提高,单纯依靠LR图像提供的信息不足,改善基于学习的方法,通过建立更有效的相似图像训练集,以获得更多的先验信息及关系模型。

在未来的研究中,将通过跨领域的技术融合及导入更优的人工智能方法,对噪声处理、先验知识、自学习训练样本选取、运算速度及算法质量评估标准等超分辨率算法领域的核心问题进行更深入地研究。

参考文献:

[1]WanXuefen,eta1.Super-resolutionimagereconstruction[C]//IEEEInternationalConferenceonComputerAppfi・cationandSystemModeling,2010,8:

V8351一V8355.[2]SPKim,NKBose,HMValenzuela.Recursiverecon—structionofhi}ghresolutionimagefromnoisyundersam-piedmuhiframes[J].IEEETram.Aconst.Speech,SignalProcessing,1990,38（6:

1013—1027.

[3]MichaelE1ad,ArieFeuer.Super—resolutionreconstructionofimagesequences[J].IEEETransactionsonPatternA—nalysisandMachineInteHigence,1999,21（9:

8l‘7—834.

[4]MSAlam,eta1.Infraredimageregistrationandhish—re8--ohtionreconstructionusingmultipletranslationalshiftedaliasedvideoframes[J].IEEETram.Instnan.Meas.,2000,49（10:

915—923.

[5]MIrani,SPeleg.Improvingresolutionbyimageregistra-tion[J].CVGIP:

GraphicalModelsandImageProc.,1991,53（5:

231—239.

[6]HStark,POskoui.High-resolutionimagerecoveryfromimageplanearraysusingconvexprojections[J].J.Opt.Soc.Amer.A,1989,6:

1715—1726.

[7]AMTekalp,MKOzkan,MISezan.Hish-resolutionim-agereconstructionforlower—resolutionimagesequencesandspace—varyingimagerestoration[C]//IEEEInterna-tionalConferenceonAcoustics,Speech,andSignalPro-cessing,1992,3:

169—172.

[8]AJPatti,MISezan,AMTekMp.Superresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime[J].IEEETrans.onImageProcessing,1997,6（8:

1064—1076.

[9]PCheeseman,BKanefsky,eta1.Super-resolvedsurfacereconstructionfrommultipleimages[J].NASATechnicalReport,1994。

12:

FIA-94一12.

[10]RSchulz,RLStevenson.Extractionofhish—resolutionfrarflesfromvideosequences[J].IEEETram.ImagePro-cessing,1996,5（6-996—1011.

[11]WFreeman,TJones,PasztorEC.Examplebasedsuper-resolution[J].IEEEComputerGraphicsandApplica-tions,2002,22（2:

56—65.

[12]KSu,TQi,XQing,eta1.NeighborhoodIssueinsingle—frameimagesuper・resolution[C].IEEEInternationalConferenceonMultimediaandExpo,Amsterdam,2005:

1122一1125.

[13]CYang,JWrightJ,YMA,eta1.Imagesuper—resolutionassparserepresentationofrawimagepatches[C].Pro-ceedingsofIEEEConfCVPR.Anchorage,2008:

128.

[14]KNi,TNgnyen.Imagesuper-resolutionusingsupportvectorregression[J].IEEETransactionsonImagePro-cessing,2007,16（6:

1596—1610.

万方数据

图像超分辨率重建处理算法研究

作者:

万雪芬,杨义,崔剑,WANXue-fen,YANGYi,CUIJian

作者单位:

万雪芬,WANXue-fen（华北科技学院,河北三河,065201,杨义,YANGYi（东华大学,上海,201620,崔剑,CUIJian（北京航空航天大学,北京,100191刊名:

激光与红外

英文刊名:

Laser&Infrared年,卷（期:

2011,41（11

1.KSu;TQi;XQingNeighborhoodIssueinsingleframeimagesuper-resolution20052.WFreeman;TJones;PasztorECExamplebasedsuperresolution2002（02

3.RSchulz;RLStevensonExtractionofhigh-resolutionframesfromvideosequences[外文期刊]1996（064.WanXuefenSuper-resolutionimagereconstruction2010

5.PCheeseman;BKanefskySuper-resolvedsurfacereconstructionfrommultipleimages1994

6.AJPatti;MISezan;AMTekalpSuperresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime[外文期刊]1997（08

7.AMTekalp;MKOzkan;MISezanHigh-resolutionimagereconstructionforlower-resolutionimagesequencesandspace-varyingimagerestoration1992

8.HStark;POskouiHigh-resolutionimagerecoveryfromimageplanearraysusingconvexprojections19899.MIrani;SPelegImprovingresolutionbyimageregistration1991（05

10.MSAlamInfraredimageregistrationandhigh-resolutionreconstructionusingmultipletranslationalshiftedaliasedvideoframes2000（10

11.MichaelElad;ArieFeuerSuper-resolutionreconstructionofimagesequences[外文期刊]1999（09

12.SPKim;NKBose;HMValenzuelaRecursivereconstructionofhighresolutionimagefromnoisyundersampledmultiframes[外文期刊]1990（06

13.KNi;TNguyenImagesuper-resolutionusingsupportvectorregression[外文期刊]2007（06

14.CYang;JWrightJ;YMAImagesuper-resolutionassparserepresentationofrawimagepatches200