第三讲光流分析法.docx
《第三讲光流分析法.docx》由会员分享，可在线阅读，更多相关《第三讲光流分析法.docx（12页珍藏版）》请在冰豆网上搜索。
第三讲光流分析法
第三讲光流分析法
3.1二维运动与视在运动
1-三维场景——>二维的时变图像——>数学上
3D2D投影
而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列,问题是：
2.
可控与可观测问题一>即真实二维位移场与速度是否可观测?
三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。
而我们可观测到的是视在运动。
（1）
假定投影中心在原点
t时刻
t'时刻
投影
pp—二维成像平面上的二维位移矢量
二维位移矢量函数
（x，t）A3
（2）假定投影中心在Oi点由于投影作用，从P点出发，
终点在OiP/虚线上的三维位移矢量均有相同的二维投影位移矢量。
所以说，投影的结果只是三维真实运动的部分信息。
（3）设（X,t）R3,ttlt
由像素的运动Sc（X，t）dc（X,t,t'）
对应于点阵A3，则有
dp（X,t;lt）dc（X,t;lt），
假定三维瞬时速度为（Xi,X2,X3），则
Vp（X,t）Vc（n,k）
4.光流场与对应场
（1）pp定义为对应矢量
光流矢量定义为某点（X,t）R3上的图像平面坐标的瞬时变化率，为一个导数。
V（Vi,V2）T（dxi/dt,dx2/dt）T
表征了时空变化，而且是连续的变化。
（2）当ttt0时，则光流矢量与对应矢量等价。
如果在某个点阵A3可观测到这种变化，则就意义
对应场<——像素的二维位移矢量场
光流场<――像素的二维速度矢量场
也分别称为二维视在对应场与速度场。
一般而言，对应矢量工位移场
光流矢量工速度场
光照变化——＞将防碍二维运动场的估计。
3.
2二维运动估计
2.逆向估计
Sk（xi,X2）
Sk1（X1di（X）,X2d2（X））,其中t
3.数学上问题
（I）光流的估计——＞若每一个厶t间隔时，速度矢量不变。
则光流估计与对应估计等价；否则在有加速度的情况下，估计光流需要多帧运算，至少三帧。
（2）解的存在性>如遮挡与显露问题。
（3）解的唯一性一一>产生孔径问题。
位移各分量是否解耦合的。
若独立，未
知量的个数是方程数的2倍。
（4）解的连续性一一>产生噪声<――不连续4•数学描述有两种主要方法
（1）参数模型<――基于三维曲面的表达式
（2）非参数模型
a.光流方程
b.块运动模型
c.像素递归法
d.
贝叶斯（最大后验概率）
（3.33）
（3.34）
我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多
2.二阶微分法
dSc（X,t）
dt
使空间图像梯度守恒
3.块运动模型
定义像素块B上的光流方程误差为
（dSc（X,t））
XBdt
使E最小为约束条件，为使E—>Emin，应有
Xi
E
X2
（3.3—5）
4.H-S法
它是一个搜索过程，使光流矢量逐步达到最小值
dSc（X,t）
dt
min
通过迭代计算使
（3.3—6）
5.梯度估计
将（3.3—2）式中的偏微分项用梯度估计出来
SC（x1,X2,t）
x,足（X1,X2,t）
（3.3
7）
X1
SC（x1,X2,t）
XSC（X1,X2,t）
（3.3
8）
X2
SC（X1,X2,t）
t
tSC（X1,X2,t）
（3.3
9）
6.其它的算法，如自适应方法。
第四讲基于块的分析法
4.1块运动模型
1•图像的块模型
（1）图像由块构成
（2）块运动由平移和二维变形构成
2.平移块运动
（1）模型
在纯平移情况下，设块B€n,而n=（m,化）,D=（d1,d2）T是位移矢量,且第k帧中图像块B为S（m,n2,k）,则有
（4.11）
S（n1,r）2,k）s（mdmd2,k1）
注意上式中D为已被采样点阵抽样及量化后的值。
最接近真正（d1,d2）的整数。
（2）
重叠问题图在下面:
j
1
1-It
1
1
块B
未重叠块
可知块B在k与k+1帧之间可能重叠的，（a）在未重叠时，块B有单一的运动矢量。
（b）在重叠时，可选择重叠区内平均运动矢量作为补偿。
（3）应用
平移的块运动模型算法简单
（a）每一块只需一个运动矢量—而光流法要附加的条件来表示运动场
（b）算法规整简单，便于VLSI实现
（c）不能用于变形运动
3.变形的块运动
（1）位射变换
设k帧中某像素的坐标为（xi,X2），而在k+l帧中的对应像素的坐标为（x',X2）,则由一般的位射变换有
X'=AX+D（4.1—2）
其中X=（xi；x2）T,X=（xi,x2）T,D=（di,d2）T（4.1--2）可处理
{长方形旋转四边形的变换，而位射是正交投射。
（2）
透视变换一非线性处理
x1
（4.2--1）
{'
（3）双线性变换X：
［引入了非线性处理
频域法
4.2相位相关法弋
1.线性相位差项
在（4.1--1）试两边取付氏变换
Sk（f「f2）Sk1（f1,f2）.exp{j2（d,dzfz）}
因此对应块之间的相位差为
（4.2--2）
arg{Sk（f1,f2）}arg{Sk1（f?
）}2（dfdzf?
）
可见相位差只是在（f1,f2）坐标上一个平面方向，则帧间的运动矢量可以由这个方向指示来估计。
（4.2--1）式也表明空间场的相对位移引入傅立叶场的线性相位项，而光学的傅立叶常谱特性更容易得到快速算法。
2.相位相关函数
定义k,k+1帧间的相关函数为
Ck,k1（n1,n2）S（n1,n2,k1）*S（n1,n2,k）（4.2--3）
相复功率谱有
Ck,k1（f1,f2）归一化功率谱为
Sk1（f1,f2）S（f1,f2）
（4.2--4）
Ck,k1（f1,f2）
Sk1（f1-f2）Sk（f1,f2
）
|Sk1（f1,f2）Sk（f1,f2）
（42-5）
若为平移运动,有
C%,k1（f1,彳2）
exp{j2（dddzfz）}
（4.2--6）
上式反变换有
C,k1（m，门2）
（qd1,n2d2）
（4.2--7）
（4.2--7）式称为相位相关函数，是一个S函数，即S函数的位置生成位移矢量
3实现及问题
实现步骤：
（1）计算块的二维DFT（k,k+1帧）
（2）计算（4.2--5）式的归一化功率谱
（3）求反二维DFT
（4）检测相位相关函数峰值位置
问题：
（1）伪峰的出现
（2）峰分裂
（3）分辨率
（4）频谱泄露
优点：
（1）不敏感照明的变化—归一化的功率谱
（2）可检测多物体运动一每个峰将指示一个特定运动
算法将复杂
4.3块匹配法—时域法
1.块匹配法
（1）算法在时域进行，算法本身简单、归整
（2）便于VLSI实现，MPEG1、2、4均大量采用
（3）原则
（a）合适的块大小
（b）匹配准则
（c）搜索方法
2.匹配准则
（1）最小均方误差MSE,定义:
MSE（di,d2）
12
N^（n鳥S（ni，n2，k）S（ni，n2，k）]
（43-3）
（43-4）
（43-5）
（43-6）
（43-7）
D表示（（?
d2）T的域
MSE可看成光流的约束条件（指块内）但不利于VLSI实现
（2）MAD最小绝对值法，定义：
IMAD（di,d2）S（n仆乜也Sgm’ki）
NiN2gB）
求（d?
（）2）T，使得（&d2）Tmin{MAD（d11d2）,（d11d2）TD}
其中D是（（?
（）2）T的域
可见MAD便于VLSI实现，但块范围大后，性能下降。
（3）MPC最大匹配像素数法
对块中的每一个像素，定义：
1,S（n1,n2,k）S（ni,n2,k1）|t门限
Tg」2,di,d2）{0,其它
由（4.3--5）决定该像素是否匹配像素
则块中的匹配像素的个数为
Mpc（di,d2）T（mn2；di,d2）
（ni,n2）B
求（d?
（）2）T，使得
（眾&广min{mpc（di,d2）,（di,d2）TD}
其中D是（（?
（）2）T的域
MPC法只需逻辑运算及计数，便于硬件实现
3•搜索过程
（1）全程搜索—费时，但可靠，保证全局极值点
4.4分级运动估计
1.图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运动估计
2.低分辨率开始>运动估计却大块的运动于
……•小块运动动解—高分辨率”
若有理解初始值，则可以减小窗口的大小
/
降低运动量
3.重建时可根据需要重建
4.5一般的块运动估计
1•平移估计的缺陷
（1）上述方法只能用于平移情况
（2）旋转、变形、运动场有不连续点时不能适用
2.改进
（1）后处理
（2）空间变换
后处理：
在H.26x,MPEG1,MPEG2中图象分成16X16块易引入边界效应。
先在块E决定一个运动估计，然后块被分成k个区域块或子块，每个子块有一个单一运动估计，将k个附加的运动估计与分割图象处理联系起来，在边缘
处传递合适的运动估计（而大块长的运动估计），因此，而传递了更多的运动信息。
变形匹配：
将变形块细化成三角形或小四边形，追求最佳分解；然后在给定的空间变换中寻求最佳匹配三角形或四边形，而基础是SME法、MAD法或MPC法。
空间变换+平移块估计
升级会员 