双目视觉下三维人体运动跟踪算法概要.docx

1、双目视觉下三维人体运动跟踪算法概要收稿日期：2008206219;修回日期：2008209224 基金项目：国家“863计划资助项目（2006AA01Z324 ;西北工业大学研究生创业种子基金资助项目 （200850作者简介:蔡杰（19852 ,男,河南修武人,硕士,主要研究方向为多媒体智能 信息处理等（caijie2015g mail . com ;郑江滨（19712 ,男,副教授,博士,主要研究方 向为计算机视觉、图像/视频及多媒体处理技术等双目视觉下三维人体运动跟踪算法3蔡杰,郑江滨（西北工业大学计算机学院,西安710072摘 要:由于人体运动的复杂性，人体运动轨迹的快速改变和人体自遮挡

2、现象经 常发生,这给人体运动跟踪带来了很大的困难。针对此问题提出了一种基于三维 Kai m an滤波器和人体约束的人体运动跟踪算法。该算法首先利用外极线约束和灰 度互相关法对二维标记点进行立体匹配，计算各个标记点的三维位置，从而构建得到 三维标记点；然后利用三维Kai m an滤波器对三维标记点进行跟踪；最后利用人体 约束检验和修正跟踪结果。实验结果表明，该算法能有效地对复杂人体动作进行跟 踪并能从跟踪错误中正确恢复。关键词：外极线约束；三维Kai m an滤波器;三维人 体运动跟踪；人体约束中图分类号:TP391 文献标志码:A 文章编号:100123695（200904212792033D

3、 hu man moti on tracking algorithm in binocuiar ca C A I J ie, ZHE NG J 2bin(School of Co m puter , N orthw estern Polytech ni cal U X iAbstracts is very difficult t o track hu man moti on 2rap id cha nge in traject ory of hu man mo 2ti on due t o the comp lexity of hu man moti r using 3D Kai m an f

4、ilter and hu man constraints t o try t o s olve these p r oble m s in a s ome markers t o the hu man body at key j oin ts, and in itialized 3D Kal m an . t o 3D markers, matched the corres ponding 2D markers of each bin 2ocular i m age on . Thirdly, tracked 3D markers by 3D Kal m an filter . Fin all

5、y, used hu man con stra ints t of the track ing results, and revise the track ing err ors . Experi m ental results de monstrate the p r oposed track lex hu man moti on accurately and als o can revise the track ing err ors . Key words:ep restricti on; 3D Kal m an filter; 3D hu man moti on tracking; h

6、u man constraints引言近年人体运动跟踪技术被广泛应用到虚拟现实、视频压缩、体育运动分析、人 机交互、运动捕捉等领域之中，成为计算机视觉领域中研究的热点之一。由于人体 运动是非刚性的，人体运动轨迹的快速改变和人体自遮挡现象经常发生，对人体运动 进行准确有效的跟踪是十分困难的。目前国内外学者已经研究出许多人体运动跟踪算法 ，它们大致可分为基于模型的和非基于模型的1两类。基于模型的跟踪方法常需要建立人体运动模型库，来存 放人体运动的各种姿势模型及对应的特征参数和运动参数。在跟踪过程中需要在模 型库中为跟踪目标选择一个最匹配的模型，当匹配完成之后，人体的各种运动参数就 可以从库中得到。

7、Hua ng等人2提出了一种基于模型的人体跟踪算法。首先利用 模型估计人体在空间中的姿势，然后使用遗传算法估计关节点的位置。Sigal等人3 提出了一种基于松散连接的人体模型的跟踪算法 ，并得到了较好的跟踪结果。Ki m等人4提出了一种基于三维人体模型的跟踪算法。他们使用有着 17个关节的三维人体模型和粒子滤波器对人体进行跟踪，也得到了不错的跟踪结果。而非基于模型 的算法常利用图像的一些辅助特征进行跟踪。Ukida等人5利用提取的人体轮廓和安置在人体关节上的彩色标记点对人体进行跟踪。Chen等人6通过提取人体轮廓和人体约束来对人 体进行跟踪。Zhua ng等人7利用贴在人体身上的色块对人体进行

8、跟踪。 Silaghi等人8通过安置在人体关节的光学标记点进行跟踪。 Shen等人9把整个跟踪过程分为宏运动分析和微运动分析，前者通过分析投影面获得人体姿势；后者基于不同姿 势之间的转换并使用Kai m an滤波器预测得到运动参数。目前大多数的跟踪算法在特定条件下有着较好的结果，但由于人体运动所固有 的复杂性,仍存在一些问题。基于模型的跟踪算法不能为所有类型的动作建立模型 所以应进行跟踪。由于这些特征极易受人体自遮挡和环境的影响 ，算法的鲁棒性较差。本文提出一种基于三维Kai m an滤波器和人体约束的平行双目人体运动跟踪 算法。该算法将基于模型的方法和非基于模型的方法相结合，能有效地对复杂人

9、体 动作进行跟踪并能从跟踪错误中恢复。三维人体运动跟踪算法1立体匹配构建三维标记点外极线约束方法能有效缩小图像中标记点在另一幅图像中的搜索范围（从二维降到一维，在此基础上，再使用灰度互第26卷第4期2009年4月计算机应用研究App licati on Research of Computers Vol . 26No . 4Ap r . 2009相关法对标记点进行匹配，可得到准确的匹配结果。11灰度互相关法假设I和I为待匹配图像,I为左视图,I为右视图,(x, y为I中一标记点的位置，(x 表示I中一标记点的位置。对图像I和I中的每个标记点建立一个以该标记点为中心的匹配模板。然后选择I中的一个

10、标记点，将其模板与图像I中的候选标记点(满足外极线约束关系 的模板 进行比较,利用式(1计算两个模板的相关程度。corr ij = Eku =-k Ekv =-k g(x i +u, y i +v -g -(x i , y i g (x j +u, y j +v-g -(x j , y j / E kk= E k v 二kv =-kg (x j +u, y-g - j +v(x j , y j 2(1其中:(x i , y i、(x i , y 分别为图像I、I中标记点的坐标；g表示图像I中一点的灰度；g表示图像I中一点的灰度; g和g -分别表示模板中所有像素灰度的平均值。计算标记点(x,

11、y与图像I中候选标记点的相关程度，由式(2得到I中与(x, y对 应的标记点。corr i =max j =1, ,n (cor r ij(211 匹配准则假设P 1(x 1, y 1和P 2(x 2, y 2是对应匹配点，P 2线为a ? u +b ? v +c =0,当已 知P 1时，P :x 2b |b 2 (3其中：油式（3 1的候选匹配点集Q ,然后再使用式（1选择与P 1互相关程度最 高的标记点作为P 2的对应匹配点。1三维滤波器在之前已经得到所有三维候选标记点（候选标记点的三维位置，在此要使用某 种策略为标记点选择三维候选点。本文使用扩展 Kai m an滤波器对标记点的三维 位

12、置进行预测，并在此预测范围内寻找候选标记点。11扩展滤波器的组成三维Kai m an滤波器用于对三维标记点进行跟踪,并由以下参数组成：M n =（p k , p ck , p k , v kk , v k , a k oak , a kn（4其中:Mn表示三维标记点n; p k表示M n在第k时刻测量得到的三维中心位置P ok表示M n在第k时刻预测得到的三维中心位置； p表示M n在第k时刻预 测位置的误差，也即候选标记点的搜索范围；v k表示M n在第k时刻测量得到的速 度；v c示M n在第k时刻预测得到的速度； v表示M n在第k时刻预测速度的误差 a k表示M n在第k时刻测量得到的

13、加速度；a k表示M n在第k时刻预测得到的 加速度； a表示M n在第k时刻预测加速度的误差。11使用扩展滤波器进行位置预测Pk +1=p k +v k x t +1/2a k XA t 2(5 A p k +1= A p k + A v k XA t +1/2 A a k XAt2(6其中:p -k +1表示标记点在第k +1时刻预测的三维位置；A p k +表示标记点三维坐标 位置预测的误差，为搜索M n提供了搜索范围。鉴于人体运动的复杂性，通常要在A p k +1Qpius ycqciDicVjj ir&pporrm町 pjccfiouic npjizpru 4ojtks* IddSO

14、lO3上加一个正常数v。11候选标记点的选择策略在标记点M n的搜索范围（ p k +1+内搜索候选点,若此范围内只有一个,则 直接作为候选点；若有多个则选择距离预测中最近的点作为候选点；没有则可能丢 失或发生异常,将会在1.3节中进行处理。另外扩展 Kai m an参数的修正也在1.3 节中进行。1使用人体约束处理跟踪结果在人体运动跟踪过程中，人体运动经常被看做是由多个关节组成的刚体运动。 在图1中,实线表示的关节点之间的长度是相对不变的，在运动过程中只会发生微小 的变化;虚线表示的关节点间的长度则会发生较大的变化，但由于运动的连续性，相 邻帧间的关节点间的距离只会发生较小的变化。可以利。假

15、设Q代表得到的三维标记点集合；Q代表三维Kai m an滤波器的跟踪结果；M n代表在Q中的一个三维标记点n; M 代表M n的跟 踪结果并且在集合Q中;M r n表示M n距离本帧最近且未发生异常情况的那一帧 的三维位置；dis (M i , M j表示本帧M i和M j之间的距离；last_dis(M i , M j表示距 离本帧最近且未发生异常情况的那一帧的 M i和M j之间的距离；表示预设的阈值(很小的正数，并且能够在跟踪期间调整。具体算法如下：a检验M n (n =0, ,从(1.2节获得 的存在情况。只要存在相邻点有跟踪结果，执行b ;否则转到e。b确定相邻标记点跟踪结果的正确性。如果相邻点 M n -1和M n (n =1, ,5or 7, 的跟踪结果 M n1和M n满足式(7 ,则置M n -1和M n跟踪正确。判断此时是否所有标记点(除了丢失和遮挡 的都跟踪正确。如果是，则结束此帧跟踪；否则继续处理。|dis (M -1, M n -last_dis(M n -1, M n | S(7c正确跟踪的相邻标记点对其中间标记点跟踪结