电子稳像综述.pptx

1、电子稳电子稳像综述像综述2016年年3月月目录目录电子稳像背景电子稳像背景稳像算法介绍稳像算法介绍背背景景 摄像机有时必须安装在有震动的环境中，必然存在机械震动，而且这些机械震动往往难以消除，机械震动会引起视频图像的抖动，尤其是在使用高倍放大的镜头情况下，轻微的机械震动都会引起图像的剧烈抖动，从而严重影响对视频的观察监视。军事领域公共安全航空航天稳像稳像：消除视频图像的各种抖动。光学稳像光学稳像电子稳像电子稳像机械式稳像机械式稳像背背景景EIS（Electronic Image Stabilization）电子稳像电子稳像 电子电子稳像技术稳像技术是一种对随机运动或抖动的摄像机所获取的动态图像

2、序列进行平滑补偿平滑补偿,使其平稳输出的技术。EIS技术的研究已三十多年历史，美国、法国、俄罗斯等国家对电子稳像技术应用于军事方面已经进行了较深入的研究；日本和韩国对家用摄录机的稳定技术也进行了研究和开发。国内对电子稳像技术的研究依然处于初级阶段，目前为止，只有中国科学院长春光机所和北京理工大学等单位在这个领域有一定的研究，总体来说，电子稳像技术解决复杂抖动依然不够成熟。背背景景背背景景(a)参考帧(b)当前帧(c)参考帧(d)稳像后稳像图示稳像图示：（1）高精度（2）快速计算背背景景技术要求技术要求：（5）利用图像信息区分摄像机的晃动量和摄像机的正常扫描运动。（4）去除局部运动，准确估计全局

3、运动也是一个难题。前景，背景（3）减少视频信息的丢失背背景景运动估计运动补偿抖动视频稳定视频运动滤波稳像系统框图稳像系统框图：全局运动估计是为全局运动建立数学模型并估计模型的参数。运动补偿是指根据运动估计及运动平滑获得的抖动参数重构视频图像，重新生成一个只存在摄像机主观运动的稳定视频序列算算法法原原理理运动估计算算法法原原理理全局运动参数计算：一般采用六参数仿射模型对摄像机运动建模。当场景中物体的相对深度变化和摄像机的焦距缩放都不太大时，六参数仿射模型能够很好的描述摄像机的纯旋转、摇镜头、平移运动，并且六参数仿射模型计算复杂度适中、累积误差较小。六参数仿射运动模型和模型参数的具体介绍如下：式中

4、：（a1,a2,a3,a4,a5,a6）为摄像机的全局运动参数；其中（a1，a5）为缩放参数，（a2，a4）为旋转参数，（a3,a6）为平移参数：（x,y）为参考帧的像素坐标：（x，y）为抖动视频当前帧对应的像素坐标。算算法法原原理理参考帧的选取：分为固定参考帧模式和相邻参考帧模式。不需要实时更新参考帧图像，这种参考帧选取方式计算量小。不会带来累积误差，算法的鲁棒性好。缺点：随着摄像机的运动，图像也会发生变化，图像的重叠区域慢慢减小。缺点：相邻参考帧棋式占用很大的存储空间，计算量增大，容易出现累积错误。最大程度地利用了图像的特征信息，减少稳定帧的无定义区域。当前运动估计算法有：块匹配法BMA（

5、BlockMatchingAlgorithm）位平面匹配法BPM(Bitplanematching)代表点法RPM(Representativepointmatching)特征匹配法也有一些在经典算法基础上改进后的新算法。灰度投影算法PA(projectionalgorithm)运运动动估估计计运运动动估估计计 尽管视频序列帧之间存在着一定的几何变化和光照亮度的变化，但相邻帧之间必然存在很大的图像重合区域重合区域，这个区域里图像的像素灰度信息分布规律基本是一样的。灰度投影就是建立在这样的前提假设之下，此算法将图像在水平和垂直方向上分别对每行和每列的像素对每行和每列的像素灰度值灰度值进行累加进行

6、累加，这样对于这幅图像就会产生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规律。灰度投影法：其中式Colk(j)为第k 帧图像第j 列的灰度值;Curk(i.j)是第k 帧图像上(i,j)位置处的像素的值;N C 是列数;ColProjk(j)是第k 帧图像第j 列修正后的投影值。对于一段视频，如果序列图像之间存在水平或者垂直方向上的平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量。图：参考帧图像列方向投影数据曲线图：当前帧图像列方向投影数据曲线图：当

7、前帧和参考帧的列相关曲线灰度投影法：运运动动估估计计 对于对于图像灰度分布简单，视频中只存在平移类图像灰度分布简单，视频中只存在平移类的抖动时，采用灰度投影算法来稳像是最合适的，的抖动时，采用灰度投影算法来稳像是最合适的，此时它稳像精度高且算法处理速度非常快。此时它稳像精度高且算法处理速度非常快。灰度投影法：运运动动估估计计块匹配法 图像块匹配法假设图像的任一子块中的像素的运动情况都是相同的。假设水平和垂直的方向上，摄像机载体的振动的幅度范围为（dxmax,dymax)，参考帧中待匹配的图像块的大小为MN，那么当前帧中块匹配的搜索区域范围为（M+2dxmax,N+2dymax）在搜索区域内，按

8、照定的匹配准则进行搜索并计算出匹配块的位置，匹配块的初始位置和最终 的位置在水平和垂直方向上的差就是相应的位移矢量。一般传统的块匹配算法将图像分为 PQ个子块，分别对每个子块进行块匹配，计算出每个子块的偏移量，然后加权求和取平均，结果就是整个图像帧的运动偏移量。运运动动估估计计目前块匹配的准则有很多种，其中最为典型的匹配准则有：最小绝对差和准则（SAD）、最小平均绝对差值准则（MAD）、最小均方差准则（MSE）和归一化相关函数。以上几个公式中,fk（s,t）和fk+1（s+i,t+j）分别是参考帧图像和当前帧图像的相应位置的像素灰度值。第一个 NCCF 值取最大时，为最优匹配。后三个匹配准则的

9、值最小时，为最优匹配。四个匹配准则中最常用的是最小总绝对差 SAD 准则。块匹配法-匹配准则运运动动估估计计基本块匹配搜索算法是在匹配窗口中进行遍历搜索，称为全匹配搜索法。块匹配法-搜索方法：目前最为常用的是三步搜索法。运运动动估估计计（1）BMA目前更多的还是用于估计平移运动，估计旋转和缩放运动的精度还是很低；（2）如果选用全匹配搜索（full search）的搜索策略，运算量很大，目前工程应用中常三步搜索法，虽然匹配的精度有所下降，但匹配的速度得到很大提高。块匹配算法利用的都是单像素点的灰度信息，通过逐点的匹配计算，来得到运动矢量，而且在匹配过程中非常容易陷入局部最优，降低运动矢量的估计精

10、度；（3）块匹配法BMA只适用于存在小幅度运动的场景，计算量大，效率低，稳像精度取决于块的大小、搜索的策略及匹配准则，适用性不强；块匹配法-缺点：运运动动估估计计代表点法 代表点匹配算法是分别在参考图像和当前图像选取一些代表点，然后对代表点进行相关匹配，求运动矢量。这样既能大大的提高系统的运算速度，又能较好的保证运动矢量的检测精度。（是在基于普通的块匹配算法的基础上提出的。由于全匹配搜索算法（或叫穷尽搜索算法）计算量大，效率较低，一般来说，很难做到实时地稳像处理。）通常是将图像分成四个区域,每个区域分别选取30 个代表点,每个点有一个确定的搜索区域。建立先前帧与当前帧图像代表点之间关系式,最后

11、以搜索区域内选定的代表点为相对参考点作一个相同位移位,相应的有一个绝对差值,对所有代表点坐标的绝对差值求和,获得一个相关函数关系式运运动动估估计计此方法的优点是算法简单、计算量小。但是由于代表点是确定的,并非是图像上有明显特征的点,因此对图像的变化不敏感,对旋转晃动和慢速晃动尚不能补偿。代表点法运运动动估估计计位平面匹配法BPM 图像每一点的像素值为一个八位的二进制数，这个图像可被表示为一组二进制数，将该组二进制数所有第n位(n从0到7，闭集，例如n=2)的数提取出来，组成一个平面，即为第n位的位平面，采用该方法分析图像称为为位平面法。由于用二进制值代替了像素灰度，则后续可用逻辑运算代替数值运

12、算，从而大大减少了运算量。同时，由于图像的关键信息处于某特定的位平面，采用单独的位平面运算并不会降低匹配精度。假设原始图像在像素点(x,y)位置上具有2k个灰度等级，该像素点的灰度值可通过以下公式表示，并可推广到整幅图像：式中，G(x,y)表示(x,y)点像素的灰度值，bk为一个布尔值，取值为0或者1。运运动动估估计计位平面匹配法BPM 对于一个灰度为256的图像，k=8，则经过位平面变换后，可以得到8个等级的位平面。图像的第k个位面构成的布尔矩阵为bk(x,y)，其中的每个值均为0或者1，后续计算相应被简化了。每一个位面对应一个级别，第k个位面的级别是2k，这样一个k位的灰度图像就可以看作是

13、由k个二值的位平面图像矩阵bk(x,y)构成。一个位平面仅能够描述图像的部分信息，但等级越高的位平面包含的信息量越大。运运动动估估计计位平面匹配法BPM-位平面匹配位平面匹配：得到的位平面即可用于图像匹配。同时，我们引入两帧图像的位平面匹配测度作为匹配准则。假设t-1时刻参考帧中待匹配的块大小为M N，t时刻当前图像中搜索区域为(M+2p)(N+2q)，选取第k位平面进行匹配，分别表示为 bkt-1和 bkt，则两帧图像的位平面匹配测度可由下式得到：式中，Ck（m,n）理解为当前帧的搜索区域与参考帧对应区域间的不匹配比特数的平均值,Ck（m,n）值最小的点即视为最佳匹配位置点，(m,n)就代表

14、了帧间运动的大小，它指向的方向即为帧间运动的方向，其角度可由式（3-7）获得：运运动动估估计计位平面匹配法BPM-搜索算法搜索算法：六边形匹配算法是一种由粗到精的搜索方法，采用逐步缩小搜索范围的方式可以减少搜索的复杂度。图：六边形搜索算子运运动动估估计计主要针对平移运动情况，对图像旋转和缩放处理能力有限。位平面匹配法运运动动估估计计特征匹配法 基于特征匹配的电子稳像方法，和其他稳像方法相比，可以稳定包含平移和旋转等复杂抖动的视频。将参考帧和当前帧中的特征量分别提取出来，并采用一定的匹配准则得到这些匹配两两之间对应的关系，通过这种对应关系带入图像运动模型中计算出全局运动参数，利用全局运动参数来补

15、偿抖动分量，获取稳定视频。特征点，也就是角点，作为图像的一种重要的局部特征被广泛地应用。长期以来，对于 特征点的描述和定义，一直没有一个统一的概念表述。通常情况下是指灰度信息变化剧烈的 不连续的点。因为特征点在图像中属于表征上的特殊点，因此并不随着光照的改变而发生大 的变化，此外，特征点还具有旋转不变性。目前特征点提取方法可分为以下几类：（1)基于灰度图像：（2）基于边缘的特征：（3)基于数学形态学：（4）基于二进制图像。运运动动估估计计特征匹配法 最近几年在一些基本特征点的基础上，出现了一些较新的算法，如SIFT(Scale Invariant Feature Transform)特征点、S

16、URF特征点、FAST（features from accelerated segment test）特征点，关于这方面的算法研究也很火热，目前众多特征点提取方法中应用较多的有经典Harris角点、SIFT特征点、KLT算法，以及较新的FAST特征点。SIFT和SURF 算法提取过程复杂，计算量太大。稳像需要对视频图像 中的较大区域提取特征点，而对较大区域提取SIFT和SURF特征点，理论上耗时会很大。图：FAST算法检测特征点效果运运动动估估计计 介介绍FAST算法对特征点的求取过程。在一幅图像中，判断像素p p是否为特征点，可通过如下方法完成：(1)设定阈值t;(2)计算p 点像素值vP 与1 点像索值v1 差值m;(3)计算p 点像素值vP 与9 点像素值v9 差值n;(4)若m n0时且|m|t 或|n|t 中至少有一个为真，则进行第5步，否则返回“假：(5)计算p点像索值vP 与5 点像素值v5 差值p;(6)计算p点像素值vP 与13点像素值v13差值q;(7)若满足|m|t,|n|t,|P|t,lql t中至少有3个为真，且m,n,p,q 在为真的表达式中，均同号，则进行