基于三维深度信息的人体动作运动轨迹识别V.docx

基于三维深度信息的人体动作运动轨迹识别V.docx

《基于三维深度信息的人体动作运动轨迹识别V.docx》由会员分享，可在线阅读，更多相关《基于三维深度信息的人体动作运动轨迹识别V.docx（25页珍藏版）》请在冰豆网上搜索。

基于三维深度信息的人体动作运动轨迹识别V

基于三维深度数据的人肢体动作运动轨迹识别

RecognitionofHumanBodyActionMovementTrajectoryBasedontheThree-dimensionalDepthData

摘要：

本文研究了传统人的肢体动作运动轨迹的识别技术，总结了传统识别技术的缺点，然后在此基础上将人的肢体动作的三维深度数据与三维环境下的运动历史图像（3DMHI）相结合，计算出运动历史图像的不变矩作为肢体动作的特征向量，应用于人的肢体动作运动轨迹的识别问题上来。

文中详细阐述了基于三维深度数据的人的肢体运动轨迹识别技术的算法理论与实现方案，最后通过对比识别实验结果，验证了基于三维深度数据的人的肢体运动轨迹识别方法具有更好的鲁棒性与更好的准确性。

关键词：

机器视觉识别；人的肢体动作识别；三维运动历史图像

1引言

随着机器人技术的迅猛发展，机器人视觉跟踪技术与自然人机交互技术也开始成为了机器人技术研究领域的重要研究方向。

而人的肢体动作是一种自然且直观的人际交流模式，人的肢体动作运动轨迹的识别也理所当然地成为了实现新一代自然的人机交互界面中的不可缺少的一项关键技术，特别是针对一些残障人士，只需要通过人的肢体动作就能给轮椅与残障辅助设备下达指令，更显的尤为便利。

之前针对人肢体动作运动轨迹识别的人机交互研究主要侧重于人体皮肤颜色建模，连续动态动作的基于图像属性的鲁棒性特征的提取，然而由于人肢体动作本身具有的多样性、多义性、以及时间与空间上的差异性等特点，因此传统的动作运动轨迹识别研究都有很大的局限性。

本文就尝试将人体的三维深度数据引入到人的肢体运动轨迹的识别上面来，开创性的将传统方法拓展到三维空间，这样将减小环境光照、衣物遮挡与人体肤色与背景色的影响，使得计算机对人的肢体运动轨迹的识别更准确与更好的鲁棒性。

2问题描述

人的肢体运动轨迹识别问题，即是将传感器实时捕获的人的肢体真实运动轨迹与预先定义好的样本轨迹相匹配的问题。

传统方法是应用隐马尔科夫模型来进行真实运动轨迹与模板运动轨迹的匹配。

图1.人的肢体动作二维图像

基于二维图像的隐马尔科夫模型，如图1所示，通过隐马尔科夫模型进行样本轨迹的匹配，过程如图2所示。

但是基于二维的识别有如下的几个难点：

（1）光照：

当光照发生变化时，人体的亮度信息会发生变化，传感器捕获的图像容易受到自然光与人工灯光的影响。

（2）遮挡：

由于在识别过程中，肢体运动轨迹可能会被静止的背景区域或者是眼镜、帽子等物体所遮挡，遮挡会产生识别信息的丢失，给识别的可靠性带来了很大的影响。

（3）背景：

在实际识别过程中，如果人体运动区域与背景区域的颜色、纹理或者形状相似，也会增大识别的难度。

图2.基于二维图像的隐马尔科夫模型

基于三维深度数据的隐马尔科夫模型，因为引入了三维深度数据，虽然可以有效地去除背景光源照度的影响，与不同目标人员肤色基准值的影响，识别过程不被光照、遮挡与背景等环境因素所影响，但是计算量大，训练效率低下，容易陷入局部最优值等问题，一直制约其在实时监控领域的应用。

为了解决这些问题，这里我们将动作历史图像（MHI,MotionHistoryImages）与人的肢体三维深度数据相结合，得到描述人的肢体动作的能量图像MEI，如图3所示，计算运动历史图像MHI的七个不变矩作为肢体动作特征向量，最后建立起肢体动作模板集合，也就是计算出这些肢体动作特征向量集的均值向量与协方差矩阵，识别阶段，通过Mahalanobis距离来衡量新输入的肢体动作与已知的肢体动作模板之间的相似性，只要计算出的Mahalanobis距离在规定的阈值范围之内都可以认为动作识别成功。

这样既排除了光照、遮挡与背景等环境因素的影响，又很大程度上提高了识别过程的实时性与准确性。

图3.基于三维深度数据的运动能量图像

3问题求解

Problemsolving

3.1肢体动作的三维运动历史图像表征

Bodymovementscharacterizedbythree-dimensionalmotionhistoryimage

本文应用将传统的基于二维图像的动作历史图像进行改进，使之与三维深度数据相结合，达到共同表征三维肢体动作信息的目的。

Inthispaper,tocharacterizethe3Dmotioninformation,applicationoftraditionalmotionhistoryimagebasedontwo-dimensionalimageisimprovedtocombinethethree-dimensionaldepthdata.

运动历史图像作为时间差分法的一个分支，时间差分法是将连续的图像序列中比较两个或者三个相邻帧对应像素点发生的相对变化，得到差分图像进而阈值化来提取图像中的运动区域。

本文引入三维深度数据，所以采用改进后的差分方法如下：

Themotionhistoryimageisabranchoftimedifferencemethod，themethodistogetdifferentimagebyacontinuousimagesequencecomparisonsbetweentwoorthreeadjacentpixelscorrespondingtotheframe，thentothresholdtoextractmovingregionsinanimage.Thispaperintroducedthe3Ddata,theimproveddifferentialmethodisasfollows:

其中：

表示第

帧图像中三维空间位置

处的像素灰度值，

是连续3帧差分后的结果，代表了人体肢体动作发生变化的区域，将

阈值化如下：

Amongthem，

representsthePixelgrayvalueintheposition（x,y,z）inthreedimensionalspace,

istheresultofthethreeconsecutiveframesdifferenceanditalsorepresentshumanbodymovementchangedarea.Thethresholdof

isasfollows:

其中

是选择的阈值，

值过低则不能有效抑制图像中的噪声，值过高则会抑制图像中有用的变化。

isthechoiceofthethreshold.Ifitsvalueistoolow,itcannoteffectivelysuppressnoiseinimages,butifitsvalueistoohigh,itwillinhibittheimagechangesofuseful.

肢体运动的三维运动历史图像MHI的产生如下：

Threedimensionalmotionhistoryimageofbodymovement（MHI）ismadeasfollows:

运动历史图像MHI不仅反映了肢体动作的外在形状，也反映了肢体动作发生的方向与状态，在运动历史图像MHI中，每个像素的灰度值都与该位置肢体动作的持续运动时间成比例，最近发生的肢体动作姿态的灰度值最大，灰度值的变化体现了肢体动作运动发生的方向。

ThemotionhistoryimageMHIreflectsnotonlytheexternalshapeofbodymovements,butalsoreflectsthedirectionandstateofbodymovements.Inthemotionhistoryimage,thegrayvalueofeachpixelisinproportionwiththedurationofthebodymovementintheposition.Therecentbodygestureshavethemaximumgrayvalue.Grayvaluechangesreflectthedirectionofthebodymovements.

图4.肢体运动的三维运动历史图像MHI

Fig4Threedimensionalmotionhistoryimageofbodymovement（MHI）

3.2肢体动作的运动历史图像不变矩计算

Calculationoftheinvariantmomentforthemotionhistoryimage

这种基于肢体的三维运动历史图像MHI表征方法虽然简单快捷有效，但对观察点的位置角度比较敏感，为了克服这一缺点，所以本文选取了不变矩作为肢体动作的运动历史图像的特征向量。

不变矩的方法是一种比较经典的图形图像特征提取方法，它的平移不变性、伸缩不变性与旋转不变性能很好地排除观察点的位置与角度的影响。

Althoughthethree-dimensionalmotionhistoryimagemethodbasedonMHIlimbissimpleandefficient,itissensitivetothepositionofobservationpoint.Inordertoovercomethisshortcoming,thispaperselectstheinvariantmomentsaseigenvectorforthemotionhistoryimage.Themethodofinvariantmomentisaclassicalmethodtoextractimagefeature,itstranslationinvariance,scalinginvarianceandrotationinvariancepropertieswellruleouttheimpactonthepositionandangle.

我们得到肢体动作的三维运动历史图像MHI之后，为了计算它的不变矩，先将他分别在XY平面（如图5）、YZ平面（如图6）与XZ平面（如图7）进行投影。

这样就可以得到对于同一个肢体动作的三维运动历史图像的三个视图，然后别对这三个主视图进行不变矩的计算。

Togettheinvariantmoment,afterwegetthethree-dimensionalmotionhistoryimage,weprojecteditintheXYplane,YZplaneandXZplane.Thismethodcanbeforthethreeviewsofa3Dmotionhistoryimagewithonegesture.Thenwedidthecalculationofmomentinvariantsforthethreemainview.

图5.肢体运动的MHI的XY面投影

Fig5.XYsurfaceprojectionoftheMHI

图6.肢体