精品视频超分辨率重建.docx
《精品视频超分辨率重建.docx》由会员分享，可在线阅读，更多相关《精品视频超分辨率重建.docx（11页珍藏版）》请在冰豆网上搜索。
精品视频超分辨率重建
先进技术专题讲座报告
题目视频超分辨率重建
专业、班级
学生姓名
学生学号
2013年12月01日
摘要
随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越来越强烈。
高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要作用。
然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破这些限制。
因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成为人们研究的重点。
视频超分辨率重建技术是近年图像处理与计算机视觉的研究热点之一,目前,视频超分辨率重建中使用较广的是视频重建模型,但由于该方法未对边界帧进行考虑,不能对视频中的每一帧进行重建。
每一帧图像的超分辨率重建主要包括配准和重建2个过程,其中配准算法的精度直接关系到重建视频的质量。
配准算法主要包括频率域和空间域两大类,总体而言,空间域方法适用于更为普通的运动模型,但在大运动情况下将会产生较大误差。
重建算法主要包括非均匀内插法、迭代反投影法、集合论方法、最大后验概率估计法和自适应滤波法等。
由于迭代反投影算法具有计算量小、收敛速度快、算法简洁和可自动降噪等优点,被有效地应用于视频超分辨率重建中。
超分辨率重建是采用软件方法对图像或者视频进行一系列的分析处理，提高图像或视频分辨率的一种数字图像处理技术。
利用超分辨率重建技术能够在不升级现有采集设备的情况下，提高采集图像的分辨率；也能够在不增加传输信号带宽的情况下，改善图像或视频的画面质量。
因此，超分辨率重建技术具有良好的研究价值和广泛的应用前景。
在获取视频过程中，有许多因素会导致视频质量的退化，使得视频的空间分辨率降低；而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。
视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法，已经在计算机视觉和图像处理等领域引起了广泛关注。
详细阐述了视频超分辨率重建研究的概念和必要性，并较全面地回顾了超分辨率技术近年来的发展历程，对视频超分辨率重建中关键问题进行了较为深入的分析，指出了当今研究难点和今后的研究方向，对视频超分辨率重建的应用前景进行了展望。
关键词：
图像处理，超分辨率重建，空间超分辨率，时间超分辨率，帧间配准
摘要2
第一章绪论4
1.1研究背景及意义4
1.2研究现状5
第二章超分辨率技术的发展历程6
2.1静态图像超分辨率重建6
2.2单视频超分辨率重建6
2.3多视频超分辨率重建7
第三章视频超分辨率重建中的关键问题7
3.1视频退化函数的估计7
3.2视频帧间配准7
3.3多个视频的时空对齐8
3.4视频超分辨率重建方法9
3.5时空“振铃效应”的消除9
第四章未来应用展望10
参考文献10
第一章绪论
1.1研究背景及意义
在实际的数字图像应用中，为了能对图像进行高质量的后处理和图像分析，通常要求高分辨率图像或者高分辨率视频。
图像的分辨率是指一幅图像中所包含的细节信息，图像分辨率越高，则图像拥有的细节就越多。
在具体的应用中，图像的分辨率受很多因素限制。
首先受限于成像传感器或者成像采集设备。
目前典型的成像传感器有CMOS传感器和CCD传感器。
这些传感器将采集得到的二维图像信号以二维阵列的形式排列。
因此，传感器单位面积上传感元素的数量决定了采集图像的分辨率：
传感器单元密度越大，则成像系统所采集到的图像分辨率越高。
如果成像系统没有足够数量的传感元素，那么采集到的图像将由于较低的空间采样频率而发生混叠现象，即采集到的图像分辨率低且可能伴随块效应。
因此，提高图像分辨率的最直接的方式为通过减小传感器单元尺寸来增加传感器密度。
但是，减小传感器单元尺寸将同时带来传感器单位面积接收到的光量的减少，这样采集到的图像就会有散粒噪声。
所以，传感器单元尺寸有下限值，通过这类手段提高的图像分辨率也有限。
图像分辨率还受光学系统的影响，包括镜头模糊、由运动造成的光学模糊、透镜畸变效应等等，这类情况可以通过构造较高级的成像芯片以及光学元件来解决，但是这种做法一方面技术要求较高，并且造价昂贵，不适合大量生产，如不能广泛应用在普通的视频监控或者手机内置摄像头中。
即使不考虑造价问题，在一些特殊场合，如卫星摄像，受外在物理环境所限不能采用高分辨率的传感器；视频监控，分辨率受摄像速度及硬件存储容量所限。
考虑到通过硬件方式来提升图像的分辨率存在分辨率提高有限、成本高、技术难度大、易受环境影响等问题，因此提出从软件方式着手，采用信号处理技术，权衡计算量及重建质量，对采集到的较低分辨率图像进行后处理，以提高图像的分辨率，这样一类技术就是超分辨率重建技术（Super-ResolutionReconstruction）。
超分辨率重建就是通过软件的手法，克服低分辨率成像系统的局限性，提高图像分辨率的方法。
图1-1是两组低分辨率图像进行超分辨率重建后的效果图，图1-1（a）中左边一幅图像是低分辨率图像，右边一幅为对其进行超分辨率重建后的高分辨率图像，图1-1（b）同前。
对比可以看出，重建后的图像更清晰，噪声也降低了，如字母，边界部分都清晰可见。
（a）（b）
图1-1低分辨率图像进行2倍的超分辨率重建结果
实际中所采集到的低分辨率图像，往往不仅仅是高分辨率图像的简单下采样，还会受到光学模糊、运动模糊、噪声污染、混叠等因素影响。
因此，超分辨率重建技术是传统图像复原技术的进一步深入，在改变图像尺寸的同时去除图像所受的噪声、模糊等。
研究超分辨率重建技术，一方面能够推动图像复原技术的进一步发展，另一方面其研究成果在当今社会的多个邻域都具有普遍的实际应用价值，如在继续使用原有低分辨率成像系统设备的情况下，依然能够获得符合高分辨率要求的图像；在网络传输中，带宽有限，采用超分辨率技术能够实现用较少数据量恢复较大的信息量。
目前超分辨率重建的典型应用有
●视频监控：
对监控视频中感兴趣区域进行超分辨率重建以及自动目标识别中的分辨率增强，如交通系统的监控视频中对车牌的图像增强，对犯罪嫌疑人的脸部识别等等。
●遥感技术：
提供一个目标场景的多幅图像，提高目标场景图像的清晰度。
●军事：
用于军事上的目标识别与定位，战场环境监测，打击效果评估等。
●医学图像：
对医学图像，包括电脑断层扫描影像（CT），核磁共振影像（MRT），超声波影像（Ultrasound）等，进行处理提高医用图像的主管质量。
●视频标准之间的转换：
例如将NTSC制的视频信号通过超分辨率重建技术转化为HDTV
信号。
1.2研究现状
广泛研究的超分辨率重建方法是基于学习的超分辨率重建方法。
这类方法首先学习训练图像，生成样本集合，然后利用该样本集合重建图像。
为了使基于学习的超分辨率重建方法对各种内容的图像都适用，就要求建立一个较大的样本集合，包含足够的样本。
这就导致基于学习的超分辨率重建方法的数据量大，重建速度较慢，不适应实际应用。
Chang在其文献中提出了一种邻域嵌入（NeighborEmbedding）的超分辨率重建算法，算法将流形中的局部线性嵌入思想引入到超分辨率重建中，即使在样本集合很小的情况下也能达到较好的重建效果。
另外，Yang等也提出了一种基于块的单幅图像超分辨率重建方法，方法引用压缩感知理论，确保高分辨率信号能由它们的低维投影精确重建。
Datsenko和Elad将最大后验概率引入到基于学习的超分辨率重建算法中，提出全局最优的超分辨率重建方法。
Protter吸收了非局部去噪算法的思想，在待重建图像内部（或者图像序列里）寻找相似特征，以此代替原有学习方法的对其他图像学习，为基于学习的超分辨率重建方法增添了新的思路。
由于基于学习的超分辨率重建方法在训练图像的内容与待重建图像的内容相似时，有较好的重建效果，并且只需要改变学习过程就能适应不同的放大倍数。
因此，基于学习的超分辨率重建方法在针对一种类型的图像重建上效果较为明显，如文字处理、人脸识别等等。
目前，实现超分辨率重建的广泛应用还面临许多问题和挑战。
对于多幅图像的超分辨率
重建，图像配准是重建过程中举足轻重的环节，直接影响最终的高分辨率图像重建效果。
首
先图像配准本身就是一个病态问题，其次在超分辨率重建系统中，由于观察图像是一系列具
有严重混叠纹影的低分辨率图像，导致标准的图像配准算法会出现较多的配准误差，反映在重建图像上则会出现很多可见的纹影，这些纹影造成的主观质量下降甚至超过了采用普通插
值算法时造成的模糊现象。
因此，超分辨率重建中的图像配准难度很大。
另外，实际中的图
像降质是一个复杂的过程，受到模糊、噪声、运动物体、运动模糊等影响，超分辨率重建的
降质模型并不准确，降质模型的参数也很难准确估计，这都直接影响超分辨率的重建效果。
而这在一些实际应用中是不能接受的，比如在视频标准转化中出现纹影等现象。
因此，超分
辨率重建中的降质过程建模以及模型参数估计是研究超分辨率重建的又一关键。
另外，目前
仍未获知，什么才是对超分辨率重建最为有益的先验知识，特别是在基于学习的超分辨率重
建中。
最后，衡量超分辨率重建质量的标准也是值得研究的课题。
例如，虽然很多时候双立
方内插的客观质量（如PSNR）低于部分超分辨率重建方法，但是从主观上来看，超分辨率
重建方法存在更多的锯齿、纹眼、噪声等，与双立方内插相比，反而更不容易为人们所接受。
超分辨率重建是一个复杂的研究工作，它包含很多相互依赖的环节，未来的超分辨率重
建研究，需要结合数学、图像处理等更多方面的知识，甚至涉及其他邻域，因此要求研究者
在理论分析和重建效果上共同推动超分辨率重建技术的发展。
第二章超分辨率技术的发展历程
2.1静态图像超分辨率重建
传统的超分辨率概念最早是由Harris和Goodman于20世纪60年代针对图像光学系统提出的，是指恢复单幅图像中因为超出光学系统限带传递函数而丢失的极限分辨率之外的图像信息，这种超分辨率方法被称为Harris-Goodman频谱外推法。
随后Barnes提出了长球波函数外推法，Gerchberg提出了能量连续降减法，Wadaka和Sato提出了叠加正弦模板法。
尽管这些法做出了给人印象深刻的仿真结果，但实际应用中并没有获得理想的效果。
1984年，Tsai和Huang提出新的超分辨率概念，即利用同一场景的低分辨率图像序列来重建出一幅高空间分辨率图像。
可以认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的亚采样。
如果不同图像之间仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的重建提供新的信息。
分析国内外研究者使用的图像序列的超分辨率重建方法，主要包括了频率域方法和空间域方法两大类。
频域方法主要包括解混叠重建方法、递归最小二乘法和基于多通道采样定理的方法；空域方法主要包括非均匀插值、迭代反投影、凸集投影（ProjectionOntoConvexSet，POCS）、最大后验概率估计（MaximumaPosteriori，MAP）、自适滤波法、小波复原法、结合自相关信息的重建方法以及混合MAP/POCS方法等。
从20世纪80年代至今，超分辨率技术的研究取得了突破进展，研究成果被应用到了遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。
2.2单视频超分辨率重建
近年来，伴随着数字视频采集设备的普及，人们对超分辨率重建技术的研究不再局限于静态图像，而是向视频领域发展，提出了视频超分辨率的概念。
单个视频的超分辨率重建是静态图像序列超分辨率重建的延伸和发展，其结合了滑动窗口模型和连续帧间的亚像素级互补信息对每个视频帧进行超分辨率重建，从而重建出一个高空间分辨率的视频。
不少研究者已对单视频超分辨率展开了研究，并取得了不少的成果，包括得到了较好的视频帧间配准算法以及各种有效的空间超分辨率重建方法。
Borman等提出了一种多帧同步超分辨率视频重构方法，该方法利用了时空平滑约束，获得了较好的重建效果。
Tom等提出了一种迭代算法来增强视频的分辨率，这种算法的效果依赖于视频运动估计算法的效果。
王新年等提出了一种基于运动轨迹的面向超分辨率图像恢复的配准方法，解决了目标运动幅度变化大和目标在视场中远离镜头或靠近镜头情况下的图像配准问题。
JIANG采用了一种光流场方法来准确估计视频帧之间图像信息的运动变化，同时提供了一个稳定有效的机制去检测和剔除会影响超分辨率重建效果的错误图像匹配。
2.3多视频超分辨率重建
就单视频超分辨率重建而言，相邻帧间亚像素级的冗余信息是有限的，因此限制了空间分辨率的重建倍数，同时单视频超分辨率重建不能解决因视频采集帧率低而引起的混叠现象。
因此一些研究者开始引入多视频超分辨率重建的思路，并对由此带来的各种复杂科学问题进行研究。
韩玉兵对多视频超分辨率重建框架进行了综合性的阐述。
Stein等人利用2台计算机时钟分别标定目标质心，实现了多视频时间上的配准，但配准精度需要进一步提高。
Sharma等人在已实现多视频时间配准的前提下，实现了首帧图像的配准和序列内帧间图像的配准。
彭晓明等人也提出了一种多视频时空配准算法，配准精度较高，但对拍摄的视频有一定限制要求。
DanielHazen等人提出了一种多视频超分辨率重建方法，该方法可应用于多视频监控和多视频压缩方面。
Shechtman,Caspi和Irani共同提出了基于特征的多视频时空配准算法，将时空信息作为一个整体同时计算。
他们还提出了基于区域的方法，将高斯金字塔模型推广到视频序列图像上。
目前，国内多视频的超分辨率重建技术研究还处于初级阶段，从能够查阅到的参考文献来看，研究者较少。
因此，还需要各国研究者们对其进行不断的探索。
第三章视频超分辨率重建中的关键问题
3.1视频退化函数的估计
摄像机成像系统会受各种因素的影响，例如传感器噪声、摄像机聚焦不佳、物体与摄像机之间的相对移动、随机大气湍流、光学系统的象差、成像光源和光线的散射等。
这些都会导致视频图像质量的降低，或者说是退化。
如果能对低分辨率视频的退化函数进行较准确的估计，将会进一步提高重建图像的质量。
另外，在多视频超分辨率重建中，常会存在用不同采集设备采集视频的情况。
各个视频来自不同的成像系统，在重建的时候需要考虑多个不同的退化函数以及它们在重建模型中的相互关系。
现阶段，较多学者对单一退化模型进行了研究，但对多视频超分辨率重建中退化模型的研究还很少。
因此，如何建立更符合实际退化情况的视频退化模型，并找出适合多视频超分辨率重建的退化模型是需要进一步研究的关键问题。
3.2视频帧间配准
在进行视频的空间超分辨率重建前，首先要进行视频帧间配准，估算出参考帧与待配准帧间的亚像素级运动矢量，而且配准精度直接影响到超分辨率重建的效果。
通常将视频帧图像的变换类型分为全局变换、局部变换和位移变换这3类，同一个视频的帧间变换可能同时包含这几种变换，采用精确的数学函数来反映2帧图像的映射关系是视频帧间配准的关键。
目前，根据利用图像信息的不同可将配准方法分为3
个主要类别：
基于灰度信息法、变换域法和基于特征法。
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。
这类算法实现简单，但不能用于校正图像的非线性形变，并且运算量较大。
变换域中最主要的是傅氏变换方法，在傅氏变换域中图像的平移、旋转、仿射等变换都有相应的体现，运算复杂度低，但空间局域性较差，而且难以包含空域的先验知识。
基于特征的匹配方法首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。
这几类配准算法的最终目的都是要对低分辨率视频帧图像进行像素内的运动配准，不可避免地存在一定的误差，从而影响重建视频的质量。
因此，提高运动配准算法的精度和扩大算法适用范围在视频超分辨率重建过程中起着至关重要的作用。
3.3多个视频的时空对齐
多视频时空对齐（又称为多视频时空配准），是多视频超分辨率重建中的一个重要前提，各个视频间的对齐精度（时间对齐精度和空间对齐精度）也将直接影响到视频重建效果。
在对多个视频时空对齐的过程中，通常是将其中1个视频作为参考视频，然后其它所有视频都与该参考视频进行对齐，所以多视频对齐的本质是2个视频的对齐。
视频对齐主要包括2个方面的内容：
空间对齐和时间对齐。
由于不同的视频序列之间可能存在时间差（如摄像机不是同时开始采集），或摄像机有不同的采集帧率，需要对多个视频进行时间上的对齐。
而由于各个摄像机的内部参数（如放大倍数等），以及架设位置（包括拍摄角度和旋转等）的不同，也需要对获取的视频图像进行空间上的对齐。
视频时空对齐是多视频超分辨率重建的基础，它决定了重建后的视频的质量。
国内外已有学者对多视频对齐进行了研究，并且取得了一定的成果。
但现阶段国际上对多视频对齐进行研究的时候，为了将问题简化，主要假设场景为平面，或者假设多个摄像机之间的距离远小于摄像机到场景的距离（该情况下，场景可类似看成一个平面）。
但通常情况下，摄像机之间的距离以及摄像机与场景的角度不一定满足这种假设，所以与实际应用存在一定的差距。
各个摄像机与场景之间存在大角度的情况也将成为未来的一个研究方向。
（a）low-resolutionsequence（b）low-resolutionsequence
（c）reconstructedhigh-resolutionsequence
图2多视频时空超分辨率重建示意图
3.4视频超分辨率重建方法
通过摄像机获取低分辨率的视频序列是一个三维时空采样的过程，如果把对应的理想高分辨率的视频序列视为一个完整数据集，那么视频超分辨率重建可看作是用这个观测到的不完整数据集来估计理想的完整数据集，这是一个典型的逆问题，存在着多种可能解。
处理这样的问题可以根据先验知识约束解空间，包含平滑度、确定性等约束对获取高质量的超分辨率视频是至关重要的，因此更多的重点应该放在能够包含先验知识的方法上。
另外，从公开报道的研究来看，国际上对多视频超分辨率重建算法研究有2种研究思路：
一种是分别在空间和时间上重建，然后再将这2个视频信息进行融合，得到高时空分辨率的视频；另一种思路是在一个总体框架下进行时空联合重建，直接得到一个高时空分辨率的视频。
其中，现有的图像超分辨率重建算法可以运用到第一种思路中，但对视频本身的时空连续性以及视频间的联合特性没能充分利用。
如何利用好视频的时空联合信息，提出一个优良的算法来得到一个高质量的重建视频则是未来研究中的一大难点。
3.5时空“振铃效应”的消除
“振铃效应”的典型表现是在图像灰度剧烈变化的邻域出现类吉布斯分布（满足给定约
束条件且熵最大的分布）的振荡，它是影响重建视频质量的一个重要因素。
视频空间超分辨
率重建中根据重建算法的不同，会出现不同程度的振铃现象，而在视频时间超分辨率重建中
也会产生时间上的振铃现象（也称为“鬼影现象”），这通常直接影响到重建视频的效果。
视频超分辨率重建中，时空振铃效应是一个不可忽视的问题。
因为视频帧的连续性，振铃效应在重建视频中比较严重，严重降低了重建视频帧的质量，使得难于对重建视频帧进行后续处理。
在当前研究阶段，通常所做的方法是引入正则化条件，以此来提高求解的精度，抑制鬼影的产生。
比如以色列的Scheman
等从时间和空间上分别引入正则化条件，起到了一定的作用，但效果不是很明显。
此外，当运动物体目标较大的时候，鬼影现象会更加明显。
所以，如何解决多视频重建中的振铃现象，特别是时间上的振铃现象，是当前迫切需要解决的一个关键问题。
第四章未来应用展望
视频超分辨率重建是近年来计算机视觉和图像处理等领域的一个研究热点，不仅在理论上具有重要意义，而且在实际应用中也有迫切需求。
例如在视频监控方面，银行、车站、机场、居民小区等都会设有多个监控摄像头，通过视频超分辨率技术，可以提高视频质量，方便观察可疑人物及可疑物品的细节信息；在交通管理方面，由于摄像头观测的场景较大，无法获取高速行驶的车辆及过往行人的细节信息，利用多视频超分辨率重建技术，可以对车辆违法或肇事过程进行更详细的重现，并有利于对大场景中的车牌或某个人物面部进行辨识等；在刑侦工作方面，对于案发现场获得的低分辨率视频（例如银行、街道等场合中摄像头拍摄到的视频），利用视频超分辨率技术，则能提高视频质量，获得犯罪人员的更多的体态信息和面部信息，帮助案件的侦破；在体育运动方面，常常会有许多高速运动的物体需要捕捉（例如高速运动的网球、乒乓球等），视频超分辨率重建可以帮助我们更清晰地观察这些动态事件的细节。
随着视频超分辨率相关理论和技术的发展，必将促进其在各个领域的深入应用，同时这又会进一步给研究工作提出更高的要求。
参考文献
[1]MarcoCrisani,DongSeonCheng,VittorioMurino,andDonatoPannullo.Distillinginformationwithsuper-resolutionforvideosurveillance[C].InProceedingsoftheACM2ndInternationalWorkshoponVideoSurveillanceandSensorNetworks,2004:
2–11
[2]FrankLin,ClintonB.Fookes,VinodChandran,andSridhaSridharan.Investigationintoopticalflowsuper-resolutionforsurveillanceapplications[C].InTheAustrilianPatternRecognitionSocietyWorkshoponDigitalImageComputing,2005:
73-78
[3]XiupingJia,FengLiandDonaldFraser.UniversalHMTbasedsuperresolutionforremotesensingimages.InIEEEInternationalConferenceonImageProcessing,2008,pages333–336
[4]J.A.Kennedy,O.Israel,A.Frenkel,R.Bar-Shalom,andA.Haim.Super-resolutioninPET
imaging[J].IEEETransactionsonMedicalImaging,2006,25
（2）:
137–147
[5]J.MaintzandM.Viergever.Asurveyofmedicalimageregistration[J].MedicalImageAnalysis,1998,
升级会员 