基于计算机视觉的手势跟踪与识别技术的研究.docx

1、基于计算机视觉的手势跟踪与识别技术的研究基于计算机视觉的手势跟踪与识别技术的研究1 绪论11手势识别研究的意义在人机交互的发展过程中先后出现了基于文本方式的键盘、基于图形方式的鼠标等交互接，然而从某种程度上说，这些机械设备在人机交互方面是不方便和不和谐的。它把机器作为人机交互的中心，在人机交互时人需要去适应机器的输入输出设备，对机器没有主动控制的能力。随着计算机科学的快速发展，研究符合人类交流习惯的人机交互技术成为国内外关注的热点，这些研究包括人脸识别、面部表情识别、头部运动跟踪、眼睛识别、手势识别以及人体姿势识别等。总体来说，人机交互的研究已经从以计算机为中心转移到以人为中心，大大提高了人机

2、交互的效率。手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。手势生动、形象、直观，而且蕴涵着丰富的信息，是人与人沟通的重要媒介。目前基于手势的交互已经成为人机交互的重要内容。手势识别的应用前景十分广阔：(1)对于聋哑人而言，特别是文化程度比较低的聋哑人，使用手语和正常人交流更加方便和高效。手语是用手势表示意思的语言，对不熟悉手语的普通人来说，理解手语是非常困难的。如果有一套可以翻译手语的系统，则将大大方便聋哑人与正常人之间的交流；(2)利用手势对虚拟现实中的智能设备进行控制。比如在虚拟场景内利用手势实现虚拟钢琴的演奏，又如用机器人的虚拟手抓取物体等；(3)研究人类对于视觉语言的

3、理解规律，提高计算机对人类语言的理解能力；(4)手势交互是虚拟现实中多通道接口的重要组成部分之一。12手势识别国内外研究现状根据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息，其优点是系统的识别率高，缺点是输入设备昂贵，并且要求打手势的人穿戴复杂的数据手套，给人带来很多不便，因此这种方式不能成为未来发展的趋势。基于视觉的手势识别是计算机通过对摄像头拍摄的手势图像进行分析和处理提取出手的位置及形状。这种方法在实现时无需购买昂贵的设备，仅需要廉价的摄像头和低端处理能力的P

4、C机即可。并且在操作时更加自然、方便，符合以人为本和自由性的要求，是手势识别未来发展的趋势。但是这种方法的识别效率比基于数据手套的手势识别低，而且能够识别的手势种类受到很大的限制，是目前亟待解决的问题。国外很早就开始了对手势识别的研究工作。Huang创建的手语识别系统使用3D神经网络的方法识别了15个不同的手势。Stamert51等人使用隐马尔可夫模型(HMM)对输入视频序列中的美国手势中带有词性的40个词汇随机组成的句子进行了识别，其中HMM参数的估计采用的是EM算法。系统对分离单词的识别和由5个单词组成的句子(句子的结构限定为代词+动词+名词+形容词+代词)的识别分别进行了测试，识别正确率

5、达90。Zhu6使用主成分分析方法创建统计结构，从而识别活跃对象的形状，即模型化系统和弹性对象的识别。Vogler和MetaxastTl开发的手语理解系统通过固定在人身上的物理传感器和一个能够对手臂进行精确定位的摄像机来获取手臂位置信息。系统采用独立的语言模型对包括53个单词的手语集进行了测试，识别率也达到90。我国对手势识别的研究起步较晚，但近年来也取得了显著的成果。例如文献f81中使用神经网络方法和Hough变换对中国手语中的20种手势进行识别。在文献91q丁采用基于表观的手势模型，提取八个手势特征组成特征向量，采用二次分类(粗分类和细分类)的方法对10个常用的静态手势进行识别。张秋余、姚

6、开博等采用矩形特征描述手势，用改进的AdaBoost算法训练分类器，在复杂背景下对手势的跟踪与识别取得了不错的效果。中科院的单彩峰提出了结合均值漂移的粒子滤波(The Mean Shift Embedded Particle Filter，MSEPF)，通过在时序模板中引入时空轨迹，提出了时序模板轨迹概念，将跟踪得到的手势运动轨迹压缩到单幅图像中，实现了对预先定义的动态手势的识别。山东大学的徐立群等提出了一种基于颜色概率模型并融合运动信息进行手势跟踪的新方法。利用肤色概率查找表将图像序列转换为肤色概率分布图，用运动信息和肤色概率分布对搜索窗口进行初始化，然后对肤色概率分布图进行迭代运算，得到手

7、势的位置和大小，从而实现了对六种孤立手势的识别。1.3基于视觉的手势跟踪与识别流程图本课题的主要内容是研究基于计算机视觉的手势跟踪与识别。首先对手势跟踪与识别各个阶段的算法进行了分析，提出基于Hu矩特征和“一对多径向基核函数支持向量机相结合的手势识别算法，并在Microsoft Visual C+60开发环境下，借助OpenCV开源库，实现了对从摄像头输入的10个常用手势的识别，以验证提出算法的可行性，并以此为基础建立了一个简单的手势交互系统。基于视觉的手势跟踪与识别流程图见图1-1。图1-1 基于视觉的手势跟踪与识别流程图2 基于计算机视觉的手势识别基础理论在人与人的交际过程中，经常会用到手

8、势，手势的语义强大并且直观，可以很好地表达思想，与自然语言形成互补。所以近些年来，手势识别的研究得到了很大的关注和发展。本章主要介绍基于视觉的手势识别的一些基础理论。21模式识别概述模式识别诞生于20世纪20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成-f学科1131。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能的发展，扩大了计算机应用的可能性。几十年来，模式识别研究取得了大量的成果，在很多方面都得到了广泛的应用。但是，由于模式识别涉及到很多复杂的问题，现有的理论和方法对于解决这些问题还有很多不足之处。通常，我们把通过对具

9、体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，把各模式所属的类别称为模式类。模式识别是对表征事物或者现象的各种形式的信息进行分析和处理，来实现对事物或现象进行描述、辨认、分类和解释，是信息科学和人工智能的重要组成部分。人们为了掌握客观事物，就将事物按照相似度组成类别。模式识别的作用和目的就在于面对某一具体事物时将其J下确的归入某一类别。有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。与此相应的模式识别系统都由两个过程组成，即设计与实现。设计是指用一定数量的样本(叫做训练集或学习集)进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。基于统计方法

10、的模式识别主要由4个部分组成：数据获取、预处理、特征提取和选择、分类决策，如图2-1所示。图2-1 模式识别系统的基本构成1数据获取为了使计算机能够对各种现象进行分类识别，要用计算机可以运算的符号来表示所研究的对象。通常输入对象的信息有一维波形、物理参量和逻辑值、二维图像3种类型，通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形。这就是数据获取的过程。2预处理预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。3特征提取由图像或波形所获得的数据量是相当大的。例如，一个文字图像可以有几千个数据，一个心电图波形也可能有几千个数据。为了有效地实现分

11、类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。这就是特征提取和选择的过程。一般我们把原始数据组成的空间叫测量空间，把分类识别赖以进行的空间叫做特征空间，通过变换，可把在维数较高的测量空间中表示的模式变为在维数较低的特征空间中表示的模式。4分类决策分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。22基于计算机视觉的手势跟踪理论手势分割与跟踪是手势识别的基础，其好坏将影响识别率的大小。手势分割的方法大体分为三种：基于运动信息的、基于运动模板的和基于颜色

12、信息的。基于运动信息的手势分割是通过对前后两帧图像做差分运算来检测手势的，当手势运动时则图像发生变化。运动估计的依据是图像强度发生变化，用图像序列中相邻图像的差来表示强度的变化。图像差运算非常简单，这是由于在图像差运算中仅仅涉及到了像素强度的相减。在实际的手势识别系统中，摄像机的位置是固定的，对手势序列中相邻两帧图像做差分运算便能有效地保留运动的部分(即手势)，滤除图像中保持不变的背景区域。基于运动模板的手势分割是用模板匹配方法寻找运动的手势，一般把二维可变形模板作为插值节点去近似物体轮廓。模板由平均点集合、点可变性参数和外部变形构成，平均点集合描述的是某一组形状的平均形状，点可变性参数描述的

13、是可变形模板的全局运动。通常用基于可变形模板的人手模型来跟踪人手。二维模板实现简单，但对手的姿念有一定限制。三维模板则不受手的姿态的限制，但其参数过多使得实现困难。基于颜色信息的分割在图像分割中占有重要地位。颜色分割与其他两种方法相比，具有高效性和鲁棒性等特点，得到了广泛的应用。但是在复杂背景的情况下或者光照变化快时，基于颜色的分割效果不好，为了解决这个问题，目前众多研究者尝试利用融合多种信息的技术进行手势分割。国内外对手势跟踪的研究很多，例如利用粒子滤波(Particle Filter)对手势跟踪获得了较好的效果。Camshift巧J(ContinuouslyAdaptive Mean Sh

14、ift)是一种基于颜色概率模型的跟踪算法，它是Mean Shift算法的改进与扩展，可以处理动态变化的分布。当视频序列一帧一帧变化时，Camshift能够自动调节搜索窗的大小和位置，定位被跟踪目标的中心和大小，并且用当前帧定位的结果来预测下一帧图像中目标的中心和大小，每帧图像都这样处理，就形成了连续的跟踪。23基于计算机视觉的手势识别理论基于视觉的手势识别可以分为基于单目视觉的手势识别和基于多目视觉的手势识别。基于单目视觉的手势识别就是通过单个摄像机来采集手势图像，从而建立平面手势模型。这种方法处理的数据量较小，识别速度快，但是对于用户手势的输入限制较大。基于多目视觉的手势识别是通过两个或两个

15、以上的摄像机来采集图像，建立的是立体模型。这种方法对于用户手势的输入限制较小，可以实现更加自然的人机交互，但由于立体模型的复杂性，需要处理大量的数据，识别时间长，无法实现实时的识别。基于视觉的手势识别算法可分为神经网络算法、模板匹配，统计分析算法、和隐马尔可夫模型(Hidden Markov Model HMM)等。231神经网络算法对人工神经网络的研究早在20世纪40年代就已经开始了。有人以包含0-1和1-0变化的随机模型作为模型化神经系统的基础。到了50年代中期和60年代初期，人们已设计出称为感知机(perceptrons)的学习机器，引起了模式识别理论界人士的重视。80年代中期提出的对多

16、层感知机的新训练算法(称为以反扩散学习的广义德尔塔(Delta)规则)是非常有效的。广义德尔塔规则在许多实际问题中得到了成功的应用，使得多层感知机类机器成为目自玎使用神经网络的主要模型之一。神经网络是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术，其目的是使机器具有人脑那样的感知、学习和推理功能。神经网络方法在手势识别领域得到了广泛的使用。它对信息处理具有自组织、自学习等特点，有较强的抗干扰能力。它是由许多具有非线性映射能力的神经元组成的一种大规模并行处理网络，神经元之间通过权相连。文献16qb MYeasin采用了TDNN(TimeDelay Neutral Network时延神经网络)的手势识别技术。BP神经网络模型实现了多层网络学习的设想。它是一种单向传播的多层前向神经网络，除输入输出节点外还有一层或多层隐层节点，同层节点之I、日J没有耦合，输入信号从输