超分辨率算法综述.docx

超分辨率算法综述.docx

《超分辨率算法综述.docx》由会员分享，可在线阅读，更多相关《超分辨率算法综述.docx（21页珍藏版）》请在冰豆网上搜索。

超分辨率算法综述

超分辨率复原技术的发展

TheDevelopmentofSuper2ResolutionRestorationfromImageSequences

1、引言

在图像处理技术中,有一项重要的研究内容称为图像融合。

通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。

图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅（或多幅）携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。

（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20世纪70年代后期形成并发展起来的。

由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。

从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。

增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。

增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象（或图象序列）,以提高图象的空间分辨率。

对图象空间分辨率进行增强的技术也叫超分辨率（super2resolution）技术,或亚像元分析技术。

本文主要关注超分辨率（SR）重建技术,对SR技术中涉及到的相关问题进行描述。

）

（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。

图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。

按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。

显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。

超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。

超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。

例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。

正因为如此,超分辨率图像复原在近年

来已成为国际上图像复原领域最为活跃的研究课题,）

（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。

在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。

由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。

这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。

由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1],因此对减小像素尺寸的方法技术和经济成本要求较高。

将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2倍或23倍[2],但在应用上通过探测元排列方式提高分辨率不容易实现。

相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。

）

（在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。

造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能（如点扩散函数:

PSF）引起的光学模糊以及采集对象的运动带来的运动模糊。

另外,在成像、传输、存储过程中,会引入不同类型的噪声（如高斯、椒盐噪声等）,且其引入方式也不同（加性或乘性噪声）,这都会直接影响到图像的分辨率。

此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。

图1所示为图像的降质过程。

提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器（如CCD）的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[1]。

提高图像分辨率的另一方法是提高芯片尺寸,但这将导致电容的增加和电荷转移速度的下降。

一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率SR（super2resolution）重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR（high2resolution）图像。

若利用一个滑动窗口对多帧低分辨率LR（low2resolution）图像序列进行处理,则可以生成HR图像序列。

SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。

由于SR重建技术可以克服图像系统内在分辨率

的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:

）

（图像超分辨率技术的应用很广泛。

就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。

该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。

）

1、超分辨率复原技术的含义

许多成像系统,如红外成像仪和CCD照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质（理论依据是奈奎斯特采样定理）。

虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。

如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。

解决这一问题的一个有效办法就是超分辨率复原技术。

这种方法的目的就是由一些低分辨率变形图像（或视频序列）来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。

大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。

单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。

虽然单帧图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。

在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大

的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。

（超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图象序列）换取空间分辨率,实现时间分辨率向空间分辨率的转换。

由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。

但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。

）

3超分辨率复原技术的类型

超分辨率复原技术主要分成两类方法:

频域方法和空域方法。

频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1]。

频域方法有以下优点:

理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。

但这类方法还存在以下缺点:

只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。

所以目前这类方法不再成为研究的主流。

（3.1　频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法（Re2constructionviaAliasRemoval）。

消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai和Huang在1984年进行的。

在原始场景信号带宽有限的假设条件下,利用离散Fourier变换和连续Fourier变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每一帧观察图象都必须只对方程组中的一个不相关的方程作出贡献。

Tsai&Huang的方法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。

由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。

Tekalp,Ozkan和Sezan针对Tsai&Huang方法的限制,于1992年提出一种改进的方法,对Tsai&Huang的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSIPSF（Linear

ShiftInvariant）和观测噪声。

Tekalp在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang方法及Tekalp等人对Tsai&Huang方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。

Kaltenbacher和Hardie于1996年在Tsai&Huang算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang方法相比有重大的进步,对提高计算效率方面有很大的帮助。

Lucas等提出了一种基于数据驱动的稳健计算方法,该方法具有较少的计算复杂度,便于用硬件进行实现。

后来还出现了用递归最小二乘方法以及基于多通道采样定理的方法,但总的说来,这些方法都只是对Tsai&Huang方法的改进,都存在着与Tsai&Huang方法中整体平移假设这一相似的缺点,通过混叠解混叠方法进行超分辨率重建的理论目前仍然没有取得重大突破。

）

在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。

空域方法具有很强的包含空域先验约束的能力,例如马尔科夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。

空域方法主要包括非均匀空域样本内插法[2]、迭代反投影方法[3]、集合理论复原方法（凸集投影POCS）[4]、统计复原方法（最大后验概率估计器MAP和最大似然估计器ML）[5]、混合MAPPPOCS方法[6]以及自适应滤波方法[8]等。

迭代反投影方法（IBP）是首先用输出图像的一个初始估计作为当前结果,并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差,根据模拟误差不断更新当前估计。

迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配,但这种方法的超分辨率重建结果不惟一,而且把先验约束引入到这种方法中也不是一件容易的事情。

凸集投影方法（POCS）是一类解决超分辨率图像复原问题的流行算法。

超分辨率图像解空间与一组凸形约束集合相交叉,而这组凸形约束集合代表了期望的超分辨率图像的一些特性,如正定、能量有界、数据可靠、平滑等,这样通过这些约束集合就可以得到简化的解空间。

POCS是指一种迭代过程,在给定超分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸形约束集合条件的收敛解。

在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。

最大后验概率（MAP）的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。

根据贝叶斯原理,高分辨率图像的后验概率等价于以下两项之积:

①已知理想高分辨率图像的前提下,低分辨率视频序列出现的条件概率;②理想高分辨率图像的先验概率。

条件概率项通常采用高斯模型,先验概率项在不同的算法中采用不同的模型。

最大后验概率估计方法的收敛稳定性取决于先验概率项。

先验概率模型应该具有下面3个特点:

①是一个局部平滑函数;②具有边缘保持能力;③是一个凸函数。

最大似然复原方法可以认为是最大后验概率复原方法在等概率先验模型下的特例。

混合MAPPPOCS方法就是在最大后验概率方法的迭代优化过程中加入了一些先验约束。

已有的理论证实,只有采用梯度下降最优化方法才能保证这种混合MAPPPOCS方法收敛到全局最优解。

在空域方法中,研究较多的是凸集投影方法和最大后验概率估计方法。

凸集投影方法的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节;缺点是解不惟一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。

为了提高凸集投影算法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。

最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和惟一、降噪能力强和收敛稳定性高等;缺点是收敛慢和运算量大。

另外,最大后验概率估计算法的边缘保持能力不如凸集投影算法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。

3.2　空间域方法

空间域方法是图象超分辨率重建应用中另一类主要的方法,它将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理,作为影像重建的全部内容,其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可

变点扩散函数、非理想采样及其他一些内容。

空间域影像超分辨率重建方法主要包括非均匀间隔样本内插（InterpolationofNon2UniformlySpacedSam2ples）、代数滤波后向投影（AlgebraicFilteredBackpro2jection）、概率论方法（ProbabiliticMethods）以及集合论方法（SetTheoreticMethods）、混合MAP/POCS方法以及自适应滤波方法等。

3.2.1　非均匀间隔样本内插

LR的观测影像序列经过配准后,形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像,这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。

Keren、Peleg和Brada提出了一种包括整体平移和旋转的超分辨率重建模

型,但该方法的内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。

Aizawa、Komatsu和Saito提出了另一种基于内插的方法,对通过立体相机获取超分辨率影像的方法进行了讨论。

Masayuki用内插滤波方法对遥感影像进行了模拟试验,证明了超分辨率的可行性,但效果并不很理想。

近年来,有的学者对基于小波的图象超分辨率技术进行了初步的研究和试验,将多帧低分辨率数据变换到不同尺度的小波空间,然后在不同尺度的小波空间再对图象进行重建,得到高分辨率的重建图象,取得了比较满意的试验结果。

但总的说来,这一类方法基本没有考虑光学模糊和运动模糊的影响,不能够利用任何先验信息,因而图象重建效果受到一定的影响。

3.2.2　代数滤波后向投影方法

代数层析滤波后向投影方法是Friden和Aum2man在1987年提出的,当时的研究并不是由影像序列重建超分辨率影像,而是一个与超分辨率重建相关的、由线性成像阵列对一固定景物进行多次一维扫描的重建问题。

Friden和Aumman研究的问题和超分辨率重建仅仅在成像系统的PSF方面不同,Friden和Aumman重建公式中假定线阵列传感器的分辨率高于光学系统的有限分辨率,成像几何能够提供给定景物区域的重叠扫描,但没有考虑观测值噪声,对高频噪声非常敏感,该方法的主要贡献在于将层析成像领域中的重建技术应用于影像超分辨率重建领域。

3.2.3　基于概率论的方法

在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。

因为超分辨率重建问题是一个病态（ill2posed）问题,欲使病态问题转化为可解的良（well2posed）问题,必须施加一定的先验附加条件和限制。

在最近几年,本质上就包含着以先验概率密度函数为先验限制条件的Bayesian方法,由于其较好的重建结果已经赢得了越来越多人的重视,成为处理病态问题最有前景的（mostpromising）方法之一。

Bayesian方法实际上就是极大后验概率估计MAP（maximumaposterioriprobabil2

ityestimate）方法,它的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图象的后验概率达到最大。

Schultz和Stevenson最早在1992年将极大后验概率估计方法应用于以Huber2Markov随机场作为先验知识的影像内插,以改善影像的清晰度。

1995年他们又将早期的研究结果推广到了影像超分辨率重建的研究,提出了一种基于运动补偿亚采样矩阵的观测值模型。

1997、1998年Schultz,Stevenson

和Meng认识到了精确运动估计信息对超分辨率重建的重要性,对子像素级精度（sub2pixelaccuracy）运动估计（motionestimation）方法,特别是对具有8个参数的块运动估计投影模型以及基于光流（opti2calflow）的运动估计方法进行了深入的研究,提出检测和排除不精确运动估计向量的方法,使得超分辨率影像重建的效果得到了极大改善。

注意到运动估计本身就是一个病态问题,Schultz和Stevenson还提出了正则化运动估计方法,这种方法将Bayesian运动估计量用于块运动估计,获得了十分满意的超分辨率重建效果。

Hardie,Barnard和Bognar也提出了一种本质上与Schultz和Stevenson相同的MAP方法,不同的是他们考虑了整体和非整体运动模型。

后来Hardie对这一工作进行了推广,考虑了一种运动估计和超分辨率重建

同时解算的问题,并给出了极大后验估计的公式。

尽管这一公式的收敛速度比较慢,但因为其运动估计参数不再是像其它大多数超分辨率重建算法那样直接用LR观测数据估计,得到了较好的重建效果。

Wesley提出了一种基于平稳随机场退火的优

化内插方法,取得了分辨率提高2倍的结果。

3.2.4　基于集合论的方法

解决超分辨率重建问题的另一著名方法就是

基于集合理论的凸集投影POCS（projectionontoconvexset）方法。

在这种理论中,限制集定义为超分辨率解空间中可行解的限制条件（如正定性、能量有界性、观测一致性以及光滑性等）,而每一个限制条件则定义为向量空间中的凸集合（convex

sets）,通过对这些限制集合进行求交,形成超分辨率重建问题的解空间。

Yoyla和Webb在1982年最先将凸集投影的理论应用影像复原。

此后1987年Friden、Aumman研究了利用局部滤波投影的方法进行线阵列扫描影像、面阵列扫描影像的复原。

Stark和Oskoui在1987年首次将POCS应用于超分辨率影像重建。

Tekalp,Patti和Sezan在1992年和1994年分别指出了上述缺陷,提出了包含系统矩阵的运动模型,该模型考虑了空间变化的点扩散函数SVPSF（SpaceVariyingPointSpreadFunction）的影响,模型化了由LR采样引起的退化以及由于传感器和景物之间的相对运动产生的模糊。

但总的说来,超分辨率图象复原技术受3个关键因素的影响:

首先,最根本的就是子像素位移信息的可靠性,不可靠的运动估计造成的影响比缺少运动信息更大;其次,观察模型必须能精确地对成像系统及其退化进行描述;第三,影像重建算法必须尽可能地包含先验信息。

基于这样的认识和对解空间进行约束的讨论,未来的研究工

作将主要在运动估计、退化模型、重建算法等3个最重要的方面展开。

运动估计　虽然目前已经出现了许多种运动估计方法,但在实际应用中仍然无法获得令人满意的运动估计效果,同时这些运动估计方法的适用场合非常有限,从而有必要对现有的运动估计算法进行研究,在回顾与分析现有算法的基础上对其进行扩展。

在进行运动估计的过程中,运动模型及其估计方法应根据场景/相机运动的先验知识来进行选择,并且运动估计还应当考虑到多种互不相关的运动方式。

值得注意的是,由于运动估计是根据退化图象进行的,而且运动估计的效果与超分辨率重建的结果息息相关,因而在运动估计过程中还应该重点强调算法的稳健性和结果的可靠性。

同时将运

动估计和超分辨率重建这两个步骤纳为一体进行考虑应该是一种很有前景的方法,这有可能同时提高运动估计和重建算法的效果。

此外,还应该对重建的超分辨率序列图象增加运动估计约束。

退化模型　图象超分辨率复原通常采用的简单、确定的降质模型进行近似时,近似模型与实际成像过程差距很大。

在成像系统中,观察模型精确地对图象退化进行说明（即是对重建的高分辨率图象和观察图象之间的关系进行精确的描述）有利于对图象解空间进行约束,因而进行这方面的研究是十分有意义的。

此外,还应该对CCD影像传感器的几何属性、空间-时域积分属性、噪声和读出噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建模,使其更加精确和全面,实现对点扩散函数和噪声的精确估计,提高图象超分辨率重建的效果。

重建算法　尽管目前已经提出了很多超分辨率复原算法,但这些方法仍然存在着较大的缺陷和不足。

基于概率论的超分辨率重建理论与算法和基于集合论的超分辨率重建理论与算法是两种很有前景的研究方法,而混合MAP/POCS方法能将数学的严格性、解的唯一性与先验约束描述的方便性两者有机地结合在一起,也是一种大有可为的方法。

同时复原多帧超分辨率图象在相关文献中尚没有报道,对该方法的研究将进一步提高对解空间进行约束的机会,提高算法的稳健性和精确性。

基于小波变换的插值与超分辨率重建也是一种很有希望的方法。

总之,完善现有算法,不断发展新的算法,以提高超分辨率图象复原的能力,减小计算量,加快运算的收敛速度,适用于不同的图象要求是摆在我们面前的一个重要的任务。

总之,超分辨率技术的进一步深入研究必将导制这一技术拓宽到一些新的应用领域,此外,超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考,具有十分重要的意义。

（3.1　成像模型

SR重建依赖于准确的、符合实际成像系统条件和压缩特性的降质模型,通常采用简单、确定的退化模型进行近似,这与实际成像过程差距很大,而压缩视频模型的有效性和普遍适应性还有待进一步的提高。

在成像系统中,观察模型精确地对图像退化进行说明有利于对图像解空间进行约束,应对CCD传感器的几何属性、空/时域积分属性、噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建