图像超分辨率综述及应用.docx

图像超分辨率综述及应用.docx

《图像超分辨率综述及应用.docx》由会员分享，可在线阅读，更多相关《图像超分辨率综述及应用.docx（24页珍藏版）》请在冰豆网上搜索。

图像超分辨率综述及应用

图像超分辨率ImageSuperResolution

概述

　　图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。

图像超分辨率技术分为超分辨率复原和超分辨率重建。

目前，图像超分辨率研究可分为3个主要范畴：

基于插值、基于重建和基于学习的方法．

超分辨率（Super-Resolution）

　　即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。

超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率,实现时间分辨率向空间分辨率的转换。

超分辨率图像重建综述

超分辨率图像重建（Super-ResolutionImageReconstruction）　　在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。

高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。

例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。

自从上世纪七十年代以来，电荷耦合器件（CCD）、CMOS图像传感器已被广泛用来捕获数字图像。

尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。

例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。

因此，寻找一种增强当前分辨率水平的方法是非常必须的。

　　增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。

然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。

不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。

当前的图像传感器技术大多能达到这个水平。

在许多高分辨率图像的商业应用领域，高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。

因此，有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。

　　一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率（简称LR）图像得到高分辨率图像。

最近这样的一种分辨率增强技术正成为最热的研究领域之一，在文献中人们把它叫超分辨率（简称SR或者HR）图像复原或者简单地叫做分辨率增强。

本文中我们用“超分辨率图像复原”这个术语来指分辨率增强的信号处理方法，因为在克服低分辨率图像系统固有的分辨率限制方面，“超分率”术语中的“超”字代表了一个非常好的技术特性。

信号处理方法最大的好处就是它的成本低，同时现存的低分辨率图像系统仍能使用。

在许多实际应用中，特别是在医疗图像、卫星图像和视频等领域，同样场景的多帧低分辨率图像很容易得到的情况下，SR图像复原被证明是非常有用的。

一种应用就是用便宜的LR数码相机/便携式摄像机复原高质量的数字图像以便打印/停格使用，通常对于一个便携式摄像机，很有可能连续显示放大帧；另外一种非常重要的应用是在监控、法院、科学、医疗和卫星图像应用中缩放感兴趣区域（简称ROI），例如，在监控和法院中，目前数字摄像机（简称DVR）已经普遍取代了闭路电视（简称CCTV），就很有必要放大场景中的目标如汽车牌照或者疑犯的脸部。

在诸如CT和核磁共振（简称MRI）等医疗应用中，分辨率质量有限的而获取多幅图像有是可能的情况下，SR技术是非常有用的；在遥感和地球资源卫星（简称LANDSAT）一类卫星图像应用中，在同一地区的多幅图像可提供的情况下，可以考虑使用SR技术增强目标的分辨率；另外一种非常迫切而现实的应用是把一般的NTSC格式低清电视信号转换为高清电视信号（简称HDTV）而不失真地在HDTV上播放。

　　我们如何从多幅LR图像中得到HR图像？

在基于SR的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅LR细节图像。

在SR中，典型地认为LR图像代表了同一场景的不同侧面，也就是说LR图像是基于亚像素精度的平移亚采样。

如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为HR图像的复原提供新的信息。

如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。

为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。

我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。

如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的.　　与SR技术相关的一个课题是图像修复，这是一个在图像应用中被大量处理的领域，图像修复的目标是恢复一个被模糊或者噪声破坏的图像，但是它不改变图像的尺寸。

事实上图像修复和SR复原在理论是完全相关的，SR复原可以看作是第二代图像修复课题。

　　与SR技术相关的另一个课题是图像插值，即增加单幅图像的尺寸。

尽管这个领域已经被广泛地研究，即使一些基本的功能已经建立，从一幅近似的LR图像放大图像的质量仍然是有限的，这是因为对单幅图像插值不能恢复在LR采样过程中损失的高频部分。

因此图像插值方法不能被认作是SR技术。

为了在这方面有更大的改进，下一步就需要应用基于同一场景的相关的额外数据。

基于同一场景的不同的观察信息的融合就构成了基于场景的SR复原。

1、超分辨率重建

通过对获得的低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积，去除光学系统的影响;另一方面能够获得显示图像的像元总数增加，同时也希望在处理过程中去除相应的成像系统的噪声等。

通过这些处理以后，图像的分辨率得到了改善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计，因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建.

2、超分辨率重建技术应用

（1）生物医学成像:

核磁共振成像等；

（2）卫星成像：

遥感、遥测、军事侦察等；

（3）视频监控

（4）视频格式转换

（5）视频增强和复原：

老旧电影的翻制等；

（6）显微成像、虚拟现实等

3、降质模型

图像的超分辨率重建是建立在图像降质的数学模型基础上的，降质的数学模型反映图像降质的因素，才能用数学方法进行处理，重建图像。

（1）位移—模糊模型

（2）模糊—位移模型

4、超分辨率涉及的两个问题：

a）图像修复

改良光照不均匀、噪声较多的图像，但是不改变图像大小

b）图像插值

改变图像大小，对单张图像进行差值并不属于超分辨率重建技术

5、基于重建的超分辨率技术

（1）频域方法

通过在频率域消除频谱而改善图像的空间分辨率。

基于傅里叶变换的移位特性；（TsaiandHuang）

考虑光学系统的点扩展函数和噪声的影响；（Tekalp）

估计帧间整体平移参数的解算方法；（KaltenbackerandHardie）

用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。

由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。

（2）空域方法

非均匀样本内插法（Non-uniforminterpolation）；

迭代反投影方法（IterativeBackProjection,IBP）;

凸影投影法（ProjectionontoConvexSet,POCS）;

最大后验概率估计（MaximumaPosteriori,MAP）;

混合Map/POCS方法；

自适应滤波方法；

基于重构的方法比较成熟，主要针对图像空间信息的增强和复原，但是仍存在很多问题：

（1）实时性

（2）鲁棒性

（3）盲超分辨率

6、基于学习的超分辨率技术

基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与高分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。

马尔可夫网络建模低分辨率和高分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复出高分辨率图像。

有效组织图像块数据库提高匹配效率；（Bishop）

Super-resolutionenhaneementofvideo.IntemationalConfereneeonArtifieialIntelligeneeandStatisties，2003.

通过主要轮廓先验增强图像质量；（Sun）

ImagehallueinationwithPrimalsketchPriors.IEEEComputerSocietyConferenceComputeronComputerVisionandPatternRecognition，2003，2:

729-736

基于流形学习的方法；（Chang）

H.Chang，D.Y.Yeung，Y.Xiong.Super-resolutionthroughneighborembedding.IEEEComputerSocietyConferenceonComputerVisionAndPatternRecognition，2004，l:

275-282.

利用多尺度张量投票理论来估计位置的高分辨率图像（Tai）

Yu-WingTai，Wai-ShunTong，Chi-KeungTang.Perceptually-inspiredanEdge-directedcolorimagesuper-resolution.IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2006，2:

1948-1955.

融合不同尺寸的图像进行分辨率增强（Joshi）

Alearning-basedmethodforimagesuper-resolutionfromzoomedobservation.IEEETransactionsonSystems,ManandCybernetics,2005;

7、可能的研究方向

（1）图像超分辨率重建是一个典型的逆问题，现有的研究绝大多数都是用仿真来模拟图像的降质，当处理具体问题时，一个很重要的问题就是图像降质模型的辨识，这个问题目前研究的人还不是很多，是需要深入研究的方向;

（2）一些新的基于学习的方法也可以用于超分辨率重建领域;

（3）图像超分辨率问题的特殊性使得对其算法性能的评判没有统一的标准;

多帧图像变分超分辨率重建

1.引言

　　超分辨率（super-resolution;SR）是一种由一序列低分辨率（low-resolution;LR）退化图像重建一幅（或序列）高分辨率（high-resolution;HR）清晰图像的复原技术[1].与传统图像复原技术不同之处在于，超分辨率重建技术充分利用了获取的低分辨率图像序列信息，并且综合考虑了成像过程中的各种退化因素（如运动变形，光学模糊，低采样率，随机噪声等），因而更具广泛性和实用性，如红外图像、遥感图像等领域。

　　从退化模型的角度看，超分辨率重建与传统图像复原在Hardmard意义下均是非适定数学反问题[2],从而具有共同的理论支撑，如正则化理论、Bayesian统计等。

事实上，自1984年Tsai和Huang提出一种基于频域的超分辨率重建算法[1],此后多数超分辨率重建框架大都借鉴于传统图像复原领域。

在过去二十多年的发展历程中，特别是近十年，国内外报道了大量关于超分辨率图像重建技术的研究工作，事实上超分辨率图像重建技术已经成为当前国际上最热门的研究领域之一。

超分辨率重建技术中的经典算法主要有[1,3-5]:

迭代反投影（IBP）法、凸集投影（POCS）法、最大似然（ML）/最大后验概率（MAP）估计法、以及混合ML/MAP/POCS法等。

　　近年来，超分辨率图像重建技术又有了新的进展：

Nguyen[6]和Bose[7]等人分别提出基于多分辨率思想的超分辨率重建算法；Kim等人[8]提出基于边缘增强和各向异性扩散的超分辨率重建变分方法；Capel等人[9]提出基于连续全变差模型的文本图像序列超分辨率重建算法；Farsiu等人[10]提出基于双边全变差模型的快速鲁棒超分辨率重建算法；另外，IEEESignalProcessingMagazine最近将超分辨率图像重建作为专题进行了特别报道[11-14],其中的多篇综述文章从不同角度对超分辨率重建技术作了回顾与展望。

在国内，超分辨率重建领域的主要工作有：

韩玉兵等人[15,17]在最大后验概率估计和加权最小二乘的基础上，提出动态自适应滤波的视频序列超分辨率重建算法；孟庆武[16]基于Gaussian-MRF图像先验模型，提出一种联合估计帧间位移和高分辨率图像的预估计混叠度MAP超分辨率重建算法；张新明等人[29]基于Huber-MRF图像先验模型，提出一种基于多尺度边缘保持正则化的MAP超分辨率重建算法。

　　鉴于MRF-MAP框架在超分辨率重建中的灵活性和有效性，本文基于国际上近期报道的双边滤波器[20],研究设计出一种结构自适应的各向异性数字滤波器，同时导出广义各向异性MRF图像先验模型。

各向异性模型继承了各向异性数字滤波器优良的滤波性能，是对Farsiu等人[10]提出的双边全变差模型以及经典MRF模型的有效改进。

随后，基于各向异性模型提出联合估计亚像素运动和高分辨率图像的边缘增强超分辨率重建算法，并且利用半二次正则化理论和最速下降法求解相应的最小能量泛函。

不论是视觉效果还是峰值信噪比，实验结果都验证了本文的超分辨率重建算法具有更强的噪声抑制性和边缘保持能力。

　　2.问题描述

　　2.1退化模型的建立

　　假设低分辨率图像序列中包含P帧N1×N2大小的退化图像。

超分辨率的任务是重建一幅R1N1×R2N2大小的高分辨率清晰图像u,其中R1,R2分别为水平方向和垂直方向的分辨率提高因子。

对图像u按列重新排列后，假设高分辨率图像为u=（u1,u2,…，uM）T,M=R1N1R2N2,低分辨率图像序列为gk=（gk1,gk2,…，gkL）T,L=N1N2,k=1,2,…，P.

　　图像获取是一个相对复杂的过程，精确的退化建模对有效的超分辨率重建至关重要，退化模型采用矩阵-向量表达如下：

　　gk=DBkMku+nk,k=1,2,…，P

（1）其中，u表示原始高分辨率清晰图像（u），gk表示第k帧低分辨率图像（gk），nk表示加性随机噪声（nk），Mk表示gk相对u的M×M运动变形矩阵，Bk表示M×M光学模糊矩阵，D表示L×M下采样矩阵。

因此，超分辨率重建实质上是涉及运动估计、盲恢复、图像建模等的多任务图像处理问题[11-14].本文我们特别考虑传感器模糊情形下的超分辨率重建问题[3,15-16,19].

　　2.2基于MAP-MRF框架的超分辨率重建

　　在信噪比（SNR）较低或者需要对很多参数估计的情况下，给定一个有效的先验统计模型是十分有益的，例如基于光流估计的超分辨率重建[1];但当信噪比（SNR）较高并且仅需要对较少参数估计时，不需要预先给定先验模型或者假定先验模型为常数，如基于刚性图像配准的超分辨率重建[1,18].

　　3.本文的结构保持各向异性数字滤波器

　　3.1双边滤波器研究的简要回顾

　　高斯滤波是一种早为人知的图像平滑过程。

通过高斯核函数加权平均邻域像素灰度值作为当前像素灰度值，从而在提高图像信息相关性的同时，增强图像内容的可视性。

众所周知的是，高斯滤波在平滑噪声的同时亦模糊了图像中最重要的视觉特征，即边缘信息。

事实上，在提高图像信息相关性过程中，高斯滤波忽略了图像信息本身的一个重要特征，即不同性质的区域信息具有不同强度的相关性：

在图像的低对比度区域（光滑区域），像素间的相关性较强，而在高对比度区域（边缘区域），相关性则较弱。

为此，研究者们对于边缘保持的非线性数字滤波器展开大量卓有成效的研究工作。

　　特别地，1998年Tomasi和Manduchi[20]提出的双边滤波器近年来倍受国际研究者的广泛关注[10,21,22,24].与传统数字滤波器[5,11]不同的是，双边滤波器同时考虑邻域像素与中心像素间的几何距离度量和灰度相似性度量（两种度量均采用高斯核函数），对邻域中距离接近和灰度相似的像素赋予较大权重，反之则赋予较小权重。

正是这种双重异性加权机制（距离各势异性与灰度各向异性）保证双边滤波器的边缘保持性图像平滑。

　　目前，已经有多篇文献报道了关于双边滤波的研究工作。

具有代表性的工作包括：

2001年，Elad[21]证明双边滤波是基于双边加权思想的最小二乘能量泛函在Jacobi算法下的单步迭代格式；2002年，Barash[22]将双边滤波思想分别引入到自适应平滑和各向异性扩散方程[23],指出双边滤波中作为灰度相似性度量的高斯核权重实际是各向异性扩散方程的一种边缘停止函数；2004年，Farsiu等人[10]基于Elad的工作导出一种双边滤波和l1范数耦合的双边全变差模型，同时提出基于双边全变差模型进行图像的超分辨率重建。

在国内，2007年邵文泽等人[24]

　　基于稳健统计理论和双边滤波思想，建立鲁棒的图像复原统一能量泛函，导出一种非线性数字滤波器的统一设计框架。

能量泛函充分融合了双边滤波的双重异性加权机制和稳健函数（robustfunction）对边缘奇异点的鲁棒处理机制，具有鲁棒的噪声抑制性和边缘保持能力。

　　双边滤波器凭借鲁棒的边缘保持性而得到广泛的研究与应用。

但是，数字图像除了含有边缘结构以外，还有角型结构区域及尺度较小的纹理结构，双边滤波过程没有充分考虑这些重要几何结构的保持。

此外，经过大量的实验发现，双边滤波迭代过程在低对比度区域产生明显的阶梯效应。

事实上，这是由双边滤波本身的性质决定的，关于这一点将在下文详述。

总的来说，双边滤波存在以下几点不足：

（1）双边滤波在迭代过程中的邻域窗口总是各向同性不变的；

（2）双边滤波忽略如下事实：

边缘结构区域是1D的，而角型结构区域是2D的；

　　（3）双边滤波在低对比度区域产生阶梯效应，尤其迭代次数较多时，导致数字图像自然度的降低；

　　（4）双边滤波没有考虑低对比度区域的结构保持性，如尺度较小的纹理，导致数字图像的分片常数性。

　　基于双边滤波器的上述不足，本文提出一种结构自适应的各向异性数字滤波器，能够在保持边缘、角型以及细小结构的同时，明显减少图像低对比度区域中的阶梯效应。

　　3.2结构保持的各向异性数字滤波器

　　数字图像中的每个像素点都有两重属性，即亮度属性和几何属性。

亮度属性是指数字图像的灰度，对于灰度图像而言，每个像素点灰度值的范围都在0到255之间。

几何属性是指数字图像的局部结构，具体而言是指，边缘结构上的像素点具有1D方向性，角型结构上的像素点具有2D方向性，而平坦区域上的像素点没有方向性；边缘及角型结构上像素点的局部对比度较大，而平坦区域上像素点的局部对比度较小。

为了设计结构保持的各向异性数字滤波器，希望对局部邻域里亮度属性和几何属性与中心像素点均相似的像素点赋予较大权重，反之则赋予较小权重；同时，希望平坦区域上像素点的局部邻域阶数大且各向同性（邻域像素整体平均），边缘结构上的像素点的局部邻域阶数大且各向异性（边缘像素局部平均），角型结构上像素点的局部邻域阶数小且各向同性（角型像素局部平均）。

图1给出各向异性数字滤波器在平坦区域（区域A）、边缘区域（区域B）和角型区域（区域C）的邻域示意图。

　　首先，定义亮度属性的相似性度量。

类似双边滤波器的灰度相似性度量，为了实现各向异性数字滤波器中亮度属性上的鲁棒局部滤波，根据邵文泽等人[24]关于非线性数字滤波器统一设计框架的工作，本文采用稳健函数（8）的影响函数（influencefunction）作为相似性度量基函数。

　　由于各向异性数字滤波器邻域窗口的大小及形状依赖于中心像素点所属几何结构的性质，因此必须估计局部几何结构的方向和属性。

目前，文献报道了多种估计局部几何结构方向的方法，例如：

Bigun等人[25]将局部结构方向估计归结为Fourier变换域中平面最小二乘拟合问题；Weickert[26]则基于主成分分析（PCA）思想提出一种称为结构张量的结构方向估计方法；Feng[27]进一步耦合PCA和MRA思想，提出一种鲁棒性更强的方向估计方法。

通过对各种结构方向估计方法的综合分析，我们认为Weickert的结构张量方法具有最佳的时效性能。

具体地说，结构张量方法不仅估计精度较高，而且时间复杂度较低，同时还能给出几何结构的属性描述子。

　　由上文知，几何属性的一个重要方面是图像像素点的局部对比度。

在低对比度区域尤其是含有噪声的平坦区域，采用局部对比度lc（x）=|μ（x）?

μ⊥（x）|指示平坦区域比起亮度属性而言对噪声的敏感性较弱。

因此，通过融合图像局部对比度的相似性度量，能够调节增大各向异性数字滤波器在低对比度区域中各个邻域像素的权重，从而减少阶梯效应的产生。

类似（9）式，为了实现局部对比度上的鲁棒局部滤。

　　分别给出基于双边滤波器和各向异性滤波器的噪声图像去噪结果，迭代次数均取10,邻域阶数均取3.图2（左）为高斯白噪声退化的“woman”图像，噪声方差为10.图2（中）为双边滤波器的滤波结果。

双边滤波器能够较好地抑制平坦区域的噪声，同时能够保持强边缘结构。

然而，过分平滑弱边缘等小尺度结构，导致数字图像的分片常数性；另外，人脸及胳膊区域存在明显的阶梯效应。

正是这种分片常数性和阶梯效应使得图像的自然度显著降低。

图2（右）为各向异性滤波器的滤波结果。

各向异性滤波器能够在保持强边缘、角型以及弱边缘结构的同时较好地抑制噪声，使得图像低对比度区域中的阶梯效应明显减少，图像的自然度也得到较好的保持。

因此，本文的结构保持各向异性数字滤波器是对双边滤波器的一种有效发展。

　　4.各向异性图像先验模型及边缘增强超分辨率重建算法

　　4.1各向异性图像先验模型的提出

　　该PDE最初由Perona等人[23]在1990年针对各向同性的热扩散方程提出，以实现边缘保持的图像去噪。

然而，众所周知的是，PDE（24）在低对比度区域容易产生阶梯效应，导致数字图像自然度的降低；同时，没有考虑低对比度区域中的结构保持性，如尺度较小的纹理，导致数字图像的分片常数性。

非线性PDE（24）产生阶梯效应一个重要的原因在于，（24）式本质上是一个扩散-增强型PDE,会在梯度相对较大的像素点处起到冲击滤波的效果，尤其对于边缘结构。

对于双边滤波器而言，每个像素点的邻域阶数s≥3,使得上述阶梯效应和分片常数性更为明显。

当每个像素点的邻域阶数s≤2,不考虑几何距离度量和对比度相似性度量，同时灰度相似性度量取为稳健函数时，（21）式退化为经典MRF模型[3,4,16,19].当每个像素点的邻域阶数s≥3,窗口函数ws取为