人体行为识别技术讲解学习.docx

1、人体行为识别技术讲解学习人体行为识别技术人体行为识别技术在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题， 在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅 助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图 像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重 从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前 该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是 时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进 行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研

2、究一般遵从 特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基 础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为 识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作 处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领 域知识，识别复杂行为，实现对事件和场景的理 解。 【2】1、行为识别的应用 从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： 智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在 一定的场景中检测是否有人的出现

3、 （ 如通过检测人脸的方法 ）防止只是简单的通 过运动目标检测所造成的错误报警 （ 例如因为动物活动或者刮风摇动树枝等等而 造成误报 ） 。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其 行为进行分析和识别，跟踪可疑行为 （ 如经常在重要地点徘徊等等行为 ） 从而采 取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、 办公大楼、住宅小区等地，以实现对这些场所的智能监控。2虚拟现实 跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚 拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等 方面。3高级用户接口 指可以通过对用户手势的识别来

4、代替传统的鼠标和键盘输入，从而实现人 与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与 计算机之间的手语交流。4运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动 会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的 时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参 数（如关节位置、角度和角速度，等等 ） ，通过分析这些信息，可以为运动员的 训练提供指导和建议，有助于提高运动员的训练水平。此外，还可以用于体育 舞蹈动作的分析，以及临床矫形术的研究等领域。5基于模型的视频编码通过提取一定的静态场景中人物的形态特征参数

5、和 3D 姿态参数，以较低的 数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用 于在因特网上展开远程视频会议以及 VOD（Video-On-Demand）视频点播。总之，人体运动跟踪的研究已涉及到计算机视觉、模式识别、视频图像处 理等方面的理论问题和实际应用问题，对人体这一带有关节旋转运动的非刚体 目标的跟踪与分析将会促进这些领域在理论上产生新的处理方法，并将对诸多 应用领域产生潜在的影响。2、行为识别研究难点 行为识别发展至今，取得了很大的进展，在低层，中层和高层都取得了一 定的突破，但是行为识别算法并不成熟，目前不存在一个算法适合所有的行为 分类， 3 个视觉层次中都还

6、有很多严峻的问题有待解决。其研究的难点主要体 现在以下几个方面：1）动作类内类间的变化太大 对于大多数的动作，即使是同一动作都有不同的表现形式。比如说走路， 可以在不同的背景环境中完成，走路的速度也可以从慢到快，走路的步长亦有 长有短。其它的动作也有类似的结果，特别是一些非周期的运动，比如过马路 时候的走路，这与平时周期性的走路步伐明显不同。由此可见，动作的种类本 身就很多，再加上每一种类又有很多个变种，所以给行为识别的研究带来了不 少麻烦。2）环境背景等影响 环境问背景等因素的影响可谓是计算机视觉各个领域的最大难点。主要有 视角的多样性，同样的动作从不同的视角来观察会得到不同的二维图像；人与

7、 人之间，人与背景之间的相互遮挡也使计算机对动作的分类前期特征提取带来 了困难，目前解决多视觉和遮挡问题，有学者提出了多摄像机融合通过 3 维重 建来处理；另外其影响因素还包括动态变化和杂乱的背景，环境光照的变化， 图像视频的低分辨率等。3）时间变化的影响 人体的行为离不开时间这个因素。而我们拍摄的视频其存放格式有可能不 同，其播放速度有慢有快，这就导致了我们提出的系统需对视频的播放速率不 敏感。4）数据的获取和标注 既然把行为识别问题当成一个分类问题，就需要大量的数据来训练分类模 型。而这些数据是视频数据，每一个动作在视频中出现的位置和时间都不确 定，同时要考虑同一种动作的不同表现形式以及不

8、同动作之间的区分度，即数 据的多样性和全面性。这一收集过程的工作量不小，网上已经有一些公开的数 据库供大家用来实验，这将在本文的第 3 部分进行介绍。另外，手动对视频数据标注非常困难。当然，有学者也提出了一些自动标 注的方法，比如说利用网页图片搜索引擎 , 利用视频的字幕，以及利用电影描述 的文本进行匹配。5）高层视觉的理解 上面一提到，目前对行为识别的研究尚处在动作识别这一层。其处理的行 为可以分为 2 类，一类是有限制类别的简单规则行为，比如说走、跑、挥手、 弯腰、跳等。另一类是在具体的场景中特定的行为，如检测恐怖分子异常行 为，丢包后突然离开等。在这种场景下对行为的描述有严格的限制，此时

9、其描 述一般采用了运动或者轨迹。这 2 种行为识别的研究都还不算完善，遇到了不 少问题，且离高层的行为识别要求还相差很远。因此高层视觉的理解表示和识 别是一个巨大的难题。3 人体行为分析研究一般的运动人体行为分析主要包括一下几个流程： 1）数据库建立； 2）运 动人体检测； 3）运动特征提取； 4）行为理解与识别。在我们的运动人体行为 分析研究中，重点研究运动人体检测和运动特征提取。如图 1 所示是运动行为 分析研究的整体框架：图13.1运动目标检测对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步，运 动检测即为从序列图像中将变化区域从背景图像中提取出来。目前 , 已有的运动 目标

10、检测方法按照算法的基本原理可以分为三类 : 帧间差分法、背景减除法和光 流法。三类方法各有其优缺点。(1)背景减除法 背景减除法是预先选取不含前景运动目标的背景图像，然后将当前图像帧 与背景图像相减得到前景目标。最常用且有效的是背景减除法。此类算法的缺点是由于通常需要缓冲若干帧来学习背景 , 因此往往需要消耗 大量的内存 , 这使其使用范围受到了限制。此外 , 对于大范围的背景扰动 , 此类算 法的检测效果也不理想。 Stauffer 和 Grimson 提出的高斯混合模型是使用最为 广泛的背景建模方法。高斯混合模型 通过多个高斯分布对背景建模 ,每个分布对 应一种背景像素的模态 ,从而能够适

11、应像素层面上的背景扰动问题 ,并能通过对背 景的不断更新 ,使系统能对背景的变化自适应。但是 ,高斯混合模型对于全局光照 变化、阴影非常敏感 ,对于缓慢的运动目标检测效果也不理想。(2)帧间差分法 帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来 检测发生运动的区域。 Lipton 等人提出的用于实时视频流中运动冃标检测的算 法就是顿间差分的方法 Lipton98 。顿间差分法的特点是动态性强 , 能够适应动 态背景下的运动目标检测。但是 , 这类算法检测出的目标轮廓非常不理想 , 在目 标内部会留有许多空洞 , 在目标运动较快时目标的轮廓会被扩大 , 在目标运动较 慢时甚至有

12、可能无法得到目标的边界。(3)基于光流的运动目标检测算法 基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状 态矢量,从而发现运动的像素点 , 并且能够对这些像素点进行跟踪。在摄像机运 动、背景变化时 ,光流法也能检测出运动目标 , 并且它能同时完成运动目标检测 和跟踪, 但是该方法的计算复杂度高 ,在没有专用硬件支持的情况下很难做到实 时检测, 同时,光流场的计算非常容易受到噪声、光照变化和背景扰动的影响。 采用光流场计算的方法也很难将运动目标的轮廓完整地提取出来。3.2运动目标分类目标分类是指从运动目标检测到的前景运动区域中提取感兴趣目标区域。复杂场景小检测到的前景区域可能包

13、含不同种类的目标，如行人、车辆、飞鸟、刘云、摇动的树枝 等，在人体运动分析系统中，只对运动人体感兴趣，因此需要对运动目标的类型进行分析识别，提取人体目标。目前常用的目标分类方法有如图 2：图23.3运动目标跟踪依据运动目标的表达和相似性度量 , 运动目标跟踪算法可以分为四类 : 基 于主动轮廓的跟踪、 基于特征的跟踪、 基于区域的跟踪和基于模型的跟踪。 跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的 定义 , 跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。1）基于主动轮廓的跟踪Kass 等人提出的主动轮廓模型 , 即 Snake 模型 , 是在图像域内定义的可变 形曲

14、线 , 通过对其能量函数的最小化 , 动态轮廓逐步调整自身形状与目标轮廓 相一致 , 该可变形曲线又称为 Snake曲线。 Snake技术可以处理任意形状物体 的任意形变 , 首先将分割得到的物体边界作为跟踪的初始模板 , 然后确定表征物 体真实边界的目标函数 , 并通过降低目标函数值 , 使初始轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来 自图像的灰度信息 , 而且考虑整体轮廓的几何信息 , 增强了跟踪的可靠性。由于跟踪过程实际上是解的寻优过程 , 带来的计算量比较大 , 而且由于 Snake 模型的盲目性 , 对于快速运动的物体或者形变较大的情况 , 跟踪效果不 够理想

15、 2） 基于特征的跟踪基于特征匹配的跟踪方法不考虑运动目标的整体特征 只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征 集合表达 , 搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的 特征来实现跟踪外 , 还可以采用多个特征信息融合在一起作为跟踪特征。2）基于特征的跟踪基于特征的跟踪主要包括特征提取和特征匹配两个方面。 (1) 特征提取，特 征提取是指从景物的原始图像中提取图像的描绘特征 , 理想的图像特征应具备的 特点是 a)特征应具有直观意义 ,符合人们的视觉特性 ; b) 特征应具备较好的分 类能力, 能够区分不同的图像内容 ; c) 特征计算应该相对简单

16、,以便于快速识别 ; d) 特征应具备图像平移、 旋转、 尺度变化等不变性。目标跟踪中常用的运动 目标的特征主要包括颜色、 纹理、边缘、 块特征、 光流特征、 周长、 面 积、 质心、 角点等。提取对尺度伸缩、 形变和亮度变化不敏感的有效特征至 今仍是图像处理研究领域中一个比较活跃的方面。 (2) 特征匹配，特征提取的目 的是进行帧间目标特征的匹配 , 并以最优匹配来跟踪目标。常见的基于特征匹 配的跟踪算法有：基于二值化目标图像匹配的跟踪、 基于边缘特征匹配或角点 特征匹配的跟踪、 基于目标灰度特征匹配的跟踪、 基于目标颜色特征匹配的 跟踪等。基于特征的跟踪算法的优点在于对运动目标的尺度、 形

17、变和亮度等变 化不敏感 , 即使目标的某一部分被遮挡 , 只要还有一部分特征可以被看到 , 就 可以完成跟踪任务 ; 另外, 这种方法与 K al man 滤波器联合使用 , 也具有很 好的跟踪效果。但是其对于图像模糊、 噪声等比较敏感 , 图像特征的提取效果 也依赖于各种提取算子及其参数的设置 , 此外 , 连续帧间的特征对应关系也较 难确定 , 尤其是当每一帧图像的特征数目不一致、存在漏检、 特征增加或减少 等情况。3)基于区域的跟踪基于区域的跟踪算法基本思想是 : a) 得到包含目标的模板 , 该模板可通过 图像分割获得或预先人为确定 , 模板通常为略大于目标的矩形 , 也可为不规则 形

18、状 ; b) 在序列图像中 , 运用相关算法跟踪目标。这种算法的优点在于当目标 未被遮挡时 , 跟踪精度非常高、 跟踪非常稳定。但其缺点首先是费时 , 当搜索 区域较大时情况尤其严重 ; 其次 , 算法要求目标变形不大 , 且不能有太大遮挡 , 否则相关精度下降会造成目标的丢失。近年来 , 对基于区域的跟踪方法关注较 多的是如何处理模板变化时的情况 , 这种变化是由运动目标姿态变化引起的 , 如果能正确预测目标的姿态变化 , 则可实现稳定跟踪。4)基于模型的跟踪 基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型 , 然后通过 匹配跟踪目标进行模型的实时更新。对于刚体目标来说 , 其运动状

19、态变换主要 是平移、 旋转等 , 可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅 仅是刚体 , 还有一大部分是非刚体 , 目标确切的几何模型不容易得到。这种方 法不易受观测视角的影响 , 具有较强的鲁棒性 , 模型匹配跟踪精度高 , 适合于 机动目标的各种运动变化 , 抗干扰能力强 , 但由于计算分析复杂、 运算速度慢 , 模型的更新较为复杂 , 实时性较差。准确建立运动模型是模型匹配能否成功的 关键。3.4运动目标的特征运动目标的特征，是判断一个目标区别于另外一个目标的重要依据。有效 的运动目标特征集可以准确地区分不同目标。运动目标特征的提取是实现运动 目标分类的重要步骤。运动目标分类

20、方法概述目前，基于视频的运动目标分类方法已经有很多，主要有 3 类：基于静态 特征的分类，基于动态特征的分类和基于静态、动态特征相结合的分类。1）基于静态特征的分类 基于静态信息的分类，即利用检测出来的运动区域的形状、颜色等物理特 征进行目标分类的方法。 Lipton 等利用离散度和面积信息对运动区域进行分 类，区分人、车、及混乱扰动，并利用时间一致性约束使分类更准确，把除 人、车外的目标当成干扰物，实现简单。 Zang 等人利用长宽比、角点特征对运 动区域进行分类，区分人、汽车。 Rivlin 、Bogomolov 等利用外接椭圆的长宽 比以及星形骨架等形状特征，区分人、动物、汽车。 Hu

21、等定义了目标轮廓上的 点与几何中心的距离为“中距离”，利用中距离的离散度、最大中距离与最小 中距离的比值作为分类特征，区分人、自行车、汽车。方帅等利用最大互信息 获得一组可靠、独立且具辨认力的目标特征集，并用有向无环图的多类支持向 量机进行分类，区分人、汽车。 Otoom 等人以角点的个数、圆的个数、离散度 为分类特征，区分机场周围的人、人群、包裹、手推车，该文分类效果较差， 主要是因为同一个目标角点的个数与离摄像头远近差别很大，而且圆的个数判 断人、人群依赖目标姿势。2）基于动态特征的分类 基于动态特征的分类，即利用人体运动的周期性或其他与运动相关的特征 进行目标分类的方法。采用静态特征往往

22、会造成在特征提取上对姿势依赖的问 题，而有效的动态特征可以减少对姿势的依赖。 Cutler 与 Davis 对目标随着 时间变化的自相关特性进行计算，再通过时频化方法分析目标是否存在周期性 的运动特征而将人识别出来。 Yang Ran 与 Tsaac Weiss ，基于周期性分类人和 车辆，对目标较小、图像分辨率低的航空和红外图片有比较好的分类效果。 Javed、Shah 等利用是否有人体周期性运动特征、圆的个数等特征，分类人、 人群和车辆。3） 基于静态与动态特征相结合的分类Bogomolov、Dror 等的系统是基于目标静态特征和动态运动特性相结合进 行目标分类的，采用了属于同类目标的静态

23、轮廓的相似性和身体的倾斜角、脚 之间的距离等运动特征，用支持向量机分类器进行分类，提高了精确度和鲁棒 性。 Aggarwal 等利用紧凑度值以及运动方向的变化量，区分人、人群、汽车、 自行车，运动方向的变化量区分度不是很好。 Li 等使用速度、长宽比、离散度 等特征，以 BP 神经网络作为分类器，区分交通场景中的人、自行车，较好地 对复杂场景下人、自行车进行分类。常见的运动目标特征分析一个运动目标特征往往无法识别三个以上的目标，或者识别的准确率不够 高，一般目标分类研究都是选择至少两个特征。通用特征指的是能反映所有目 标特性的特征；属性特征，顾名思义，某个目标的所固有的特征是特别能反映 该目标

24、特性的特征。1）运动目标的通用特征目标常见的通用特征主要有面积、长宽比、离散度、空隙率 （紧凑度 ） 等。 面积是在像素平面的投影面积，不是目标的实际目标，同一位置的不同目标大 小各异，但是摄像机拍摄的目标近大远小，即使是同一目标，摄像头拍摄的距 离不同，面积也是不一样的，在固定单摄像机的情况下，面积对不同类目标之 间的区分度不是很大；摄像机标定后该特征有一定的应用。长宽比即目标外接 矩形的长宽比例，与距离摄像头远近无关，具有归一化的特性，能真实反映目 标的形状比例，是最常用的一种目标特征。离散度即运动目标周长的平方与面 积的比值，外形越复杂的目标，离散度越大；对于目标碎片比较多的运动目 标，

25、由于目标的轮廓准确获取不易，离散度计算比较复杂并且计算的准确性无 法保证。空隙率即目标外接矩形内部非目标像素点所占的比例，与其相反的特 征就是紧凑度。2）运动目标的属性特征人的属性特征主要有圆、人体运动周期性等。人头近似圆，从人的头顶往 下的角度看，人头所在位置可以检测到圆；研究中发现圆特征严重依赖目标角 度、姿势，正面、侧面的角度下，圆特征不明显、人头所在位置常常无法检测 到圆。人体运动周期性特征反映的是人体步态的规律性变化，周期性特征的提 取对目标的观察角度有很高的要求，只有人体目标偏侧面才能准确提取到该特 征。汽车的属性特征主要有运动速度、离散度变化量等。运动速度即相邻两帧 的目标像素距

26、离与时间间隔的比值，该特征在一定程度上反应了目标在视频图 像中的运动快慢，汽车的运动速度比较快；但是由于目标在不同的视频中所处 的环境和位置不同，摄像头拍摄的角度和距离也不同，该特征与面积特征一 样，只有进行摄像机标定后，才有实际应用意义。离散度变化量反映了各个目标的变化幅度。离散度变化量特征与离散度一 样，计算比较复杂并且计算的准确性无法保证。空隙率变化量计算简单，也能 反映各个目标的变化幅度，并且在目标碎片比较多的情况下也能很好的提取， 可以较好地替代离散度变化量特征。自行车既不是刚体，也不是非刚体，是一 种介于刚体（汽车）与非刚体（人）的目标。目前很少有文献提起自行车行之 有效的属性特征

27、，其特征一般都是介于人、汽车之间。运动目标特征的选取由于实验中提取到的前景目标存在多角度、目标含有少量影子、目标区域 提取不完整和目标较小等情况，采用基于形状的特征分类目标，可较好地适应 这些情况。因此，我们参赛的特征主要是基于形状的特征。目标基于形状的特征主要有目标轮廓、面积、长宽比、离散度、质心、外 接矩形等。目前研究中广泛使用的目标特征主要有长宽比 P、面积信息 S、离散 度（区域致密性） D、惯性主轴方向、 Hu不变矩等区域特征。实验在此基础上 又定义了几种特征：目标高度与目标区域约三分之一高度处宽度之比；目标高 度与目标区域约三分之二高度处宽度之比；占空比，定义为目标外接矩形内背 景

28、面积与外接矩形面积之比。场景运动目标检测到的前景目标区域提取到的运动目标，并对其进行分类的结果图33.5行为识别人的行为理解与描述是指对人的运动模式进行分析和识别 , 并用自然语言 等加以描述 . 可以简单地认为是时变数据的分类问题，即将测试序列与预先标 定的代表典型行为的参考序列进行匹配 . 行为理解的关键问题是如何从学习样 本中获取参考行为序列 , 并且学习和匹配的行为序列能够处理在相似的运动模 式类别中空间和时间尺度上轻微的特征变化。目前, 已有的人体行为识别方法按照算法的基本原理可以分为三类：基于模 板匹配、基于状态空间、基于语义描述的方法。模板匹配是一种较早用在人体 运动识别上的方法

29、 , 将运动图像序列转化为一个或一组静态的模板，通过将待识 别样本的模板与已知的模板进行匹配获得识别结果。在行为识别中，基于模板 匹配的算法可以分为帧对帧匹配方法和融合匹配方法。主要方法有：运动能量 图像（ MEI）和运动历史图像（ MHI），基于轮廓的平均运动形状（ MM）S 和基于 运动前景的平均运动能量（ AME）等。概率统计方法进行运动识别是把运动的每一种静态姿势定义为一个状 态或者一个状态的集合，通过网络的方式将这些状态连接起来，状态和状态之 间的切换采用概率来描述。主要有隐马尔科夫模型 HMM， 最大熵马尔科夫模型 （ MEM）M，条件随机场（ CRF）等。模板匹配方法的优点是计算复杂度低、操作和实现简单，但缺乏考虑运动 序列中相邻时序之间的动态特性，对于噪声和运动时间间隔的变化相当敏感。 状态空间方法虽然能克服模板匹配的缺点，但通常涉及到复杂的迭代运算，算 法的步骤较为复杂，难以应用到实际工作中。