基于Android的视觉手势识别毕业论文.docx

1、基于Android的视觉手势识别毕业论文基于Android的视觉手势识别-相册管理实现毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校

2、要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论

3、文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名： 日期： 年 月 日导师签名： 日期： 年 月 日注 意 事 项1.设计（论文）的内容包括：1）封面（按教务处制定的标准封面格式制作）2）原创性声明3）中文摘要（300字左右）、关键词4）外文摘要、关键词 5）目次页（附件不统一编入）6）论文主体部分：引言（或绪论）、正文、结论7）参考文献8）致谢9）附录（对

4、论文支持必要时）2.论文字数要求：理工类设计（论文）正文字数不少于1万字（不包括图纸、程序清单等），文科类论文正文字数不少于万字。3.附件包括：任务书、开题报告、外文译文、译文原文（复印件）。4.文字、图表要求：1）文字通顺，语言流畅，书写字迹工整，打印字体及大小符合要求，无错别字，不准请他人代写2）工程设计类题目的图纸，要求部分用尺规绘制，部分用计算机绘制，所有图纸应符合国家技术标准规范。图表整洁，布局合理，文字注释必须使用工程字书写，不准用徒手画3）毕业论文须用A4单面打印，论文50页以上的双面打印4）图表应绘制于无格子的页面上5）软件工程类课题应有程序清单，并提供电子文档5.装订顺序1）

5、设计（论文）2）附件：按照任务书、开题报告、外文译文、译文原文（复印件）次序装订指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论

6、文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二

7、、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、

8、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日中文摘要 手势识别是计算机视觉领域和数值图像处理领域一个迅速发展的重要方向。手

9、势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。 手势识别技术在过去几年得到了很好的发展，但移动设备中的手势识别技术仍然面临一些重要的难题，例如移动设备常常处于各种不同的环境中，其环境背景可能会有差异，而且处于变化状态中，那么在这一情况下能够实现较高准确度的手势识别就能使得这一技术得到很好的用户体验。 本研究从实际出发，开发出一款不必接触屏幕即可控制手机的技术，并以相册的管理作为演示案

10、例。关键字： Android，手势识别，相册管理英文摘要Gesture recognition is an important direction of the field of computer vision and numerical image processing a rapid development. The gesture is divided into two kinds of static gestures and dynamic gestures, dynamic gesture can be seen as a continuous sequence of static

11、gestures. The dynamic gesture has a rich and intuitive skills, and with static gestures combine to create a richer semantics. Dynamic gesture recognition to build a new interface, a new generation of human-computer interaction interface naturally the input requirements, can make up for the deficienc

12、ies of the traditional interactive mode. Gesture recognition technology in the past few years has been well developed, but the gesture recognition technology still faces some important challenges in the mobile device, such as mobile devices are often in a variety of different environments, the envir

13、onmental background may vary, butin a state of change, in this case can achieve higher accuracy of the gesture recognition will be able to make this technology a good user experience. The actual, developed a do not have to touch the screen to control the mobile phone technology, and the management o

14、f the album as a demonstration case.Key Words: Android, Gesture recognition, Album management1 绪论11手势识别研究的意义在人机交互的发展过程中先后出现了基于文本方式的键盘、基于图形方式的鼠标等交互接，然而从某种程度上说，这些机械设备在人机交互方面是不方便和不和谐的。它把机器作为人机交互的中心，在人机交互时人需要去适应机器的输入输出设备，对机器没有主动控制的能力。随着计算机科学的快速发展，研究符合人类交流习惯的人机交互技术成为国内外关注的热点，这些研究包括人脸识别、面部表情识别、头部运动跟踪、眼睛识别

15、、手势识别以及人体姿势识别等。总体来说，人机交互的研究已经从以计算机为中心转移到以人为中心，大大提高了人机交互的效率。手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。手势生动、形象、直观，而且蕴涵着丰富的信息，是人与人沟通的重要媒介。目前基于手势的交互已经成为人机交互的重要内容。手势识别的应用前景十分广阔：(1)对于聋哑人而言，特别是文化程度比较低的聋哑人，使用手语和正常人交流更加方便和高效。手语是用手势表示意思的语言，对不熟悉手语的普通人来说，理解手语是非常困难的。如果有一套可以翻译手语的系统，则将大大方便聋哑人与正常人之间的交流；(2)利用手势对虚拟现实中的智能设备进行控制

16、。比如在虚拟场景内利用手势实现虚拟钢琴的演奏，又如用机器人的虚拟手抓取物体等；(3)研究人类对于视觉语言的理解规律，提高计算机对人类语言的理解能力；(4)手势交互是虚拟现实中多通道接口的重要组成部分之一。12手势识别国内外研究现状根据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息，其优点是系统的识别率高，缺点是输入设备昂贵，并且要求打手势的人穿戴复杂的数据手套，给人带来很多不便，因此这种方式不能成为未来发展的趋势。基于视觉的手势识别是计算机通过对摄像头拍摄的手势图像进

17、行分析和处理提取出手的位置及形状。这种方法在实现时无需购买昂贵的设备，仅需要廉价的摄像头和低端处理能力的PC机即可。并且在操作时更加自然、方便，符合以人为本和自由性的要求，是手势识别未来发展的趋势。但是这种方法的识别效率比基于数据手套的手势识别低，而且能够识别的手势种类受到很大的限制，是目前亟待解决的问题。基于视觉的手势跟踪与识别流程图本课题的主要内容是研究基于计算机视觉的手势跟踪与识别。首先对手势跟踪与识别各个阶段的算法进行了分析，提出基于Hu矩特征和“一对多径向基核函数支持向量机相结合的手势识别算法，并在Microsoft Visual C+60开发环境下，借助OpenCV开源库，实现了对

18、从摄像头输入的10个常用手势的识别，以验证提出算法的可行性，并以此为基础建立了一个简单的手势交互系统。基于视觉的手势跟踪与识别流程图见图1-1。图1-1 基于视觉的手势跟踪与识别流程图2 基于计算机视觉的手势识别基础理论在人与人的交际过程中，经常会用到手势，手势的语义强大并且直观，可以很好地表达思想，与自然语言形成互补。所以近些年来，手势识别的研究得到了很大的关注和发展。本章主要介绍基于视觉的手势识别的一些基础理论。21模式识别概述通常，我们把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，把各模式所属的类别称为模式类。模式识别是对表征事物或者现象的各种形式的信息进行分析

19、和处理，来实现对事物或现象进行描述、辨认、分类和解释，是信息科学和人工智能的重要组成部分。人们为了掌握客观事物，就将事物按照相似度组成类别。模式识别的作用和目的就在于面对某一具体事物时将其J下确的归入某一类别。有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。与此相应的模式识别系统都由两个过程组成，即设计与实现。设计是指用一定数量的样本(叫做训练集或学习集)进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。基于统计方法的模式识别主要由4个部分组成：数据获取、预处理、特征提取和选择、分类决策，如图2-1所示。图2-1 模式识别系统的基本构成1数据获取为了使计算机

20、能够对各种现象进行分类识别，要用计算机可以运算的符号来表示所研究的对象。通常输入对象的信息有一维波形、物理参量和逻辑值、二维图像3种类型，通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形。这就是数据获取的过程。2预处理预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。3特征提取由图像或波形所获得的数据量是相当大的。例如，一个文字图像可以有几千个数据，一个心电图波形也可能有几千个数据。为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。这就是特征提取和选择的过程。一般我们把原始数据组成的空间叫测量空间，把分类识别赖以进

21、行的空间叫做特征空间，通过变换，可把在维数较高的测量空间中表示的模式变为在维数较低的特征空间中表示的模式。4分类决策分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。22基于计算机视觉的手势跟踪理论手势分割与跟踪是手势识别的基础，其好坏将影响识别率的大小。手势分割的方法大体分为三种：基于运动信息的、基于运动模板的和基于颜色信息的。基于运动信息的手势分割是通过对前后两帧图像做差分运算来检测手势的，当手势运动时则图像发生变化。运动估计的依据是图像强度发生变化，用图像序

22、列中相邻图像的差来表示强度的变化。图像差运算非常简单，这是由于在图像差运算中仅仅涉及到了像素强度的相减。在实际的手势识别系统中，摄像机的位置是固定的，对手势序列中相邻两帧图像做差分运算便能有效地保留运动的部分(即手势)，滤除图像中保持不变的背景区域。基于运动模板的手势分割是用模板匹配方法寻找运动的手势，一般把二维可变形模板作为插值节点去近似物体轮廓。模板由平均点集合、点可变性参数和外部变形构成，平均点集合描述的是某一组形状的平均形状，点可变性参数描述的是可变形模板的全局运动。通常用基于可变形模板的人手模型来跟踪人手。二维模板实现简单，但对手的姿念有一定限制。三维模板则不受手的姿态的限制，但其参

23、数过多使得实现困难。基于颜色信息的分割在图像分割中占有重要地位。颜色分割与其他两种方法相比，具有高效性和鲁棒性等特点，得到了广泛的应用。但是在复杂背景的情况下或者光照变化快时，基于颜色的分割效果不好，为了解决这个问题，目前众多研究者尝试利用融合多种信息的技术进行手势分割。国内外对手势跟踪的研究很多，例如利用粒子滤波(Particle Filter)对手势跟踪获得了较好的效果。Camshift巧J(ContinuouslyAdaptive Mean Shift)是一种基于颜色概率模型的跟踪算法，它是Mean Shift算法的改进与扩展，可以处理动态变化的分布。当视频序列一帧一帧变化时，Camsh

24、ift能够自动调节搜索窗的大小和位置，定位被跟踪目标的中心和大小，并且用当前帧定位的结果来预测下一帧图像中目标的中心和大小，每帧图像都这样处理，就形成了连续的跟踪。23基于计算机视觉的手势识别理论基于视觉的手势识别可以分为基于单目视觉的手势识别和基于多目视觉的手势识别。基于单目视觉的手势识别就是通过单个摄像机来采集手势图像，从而建立平面手势模型。这种方法处理的数据量较小，识别速度快，但是对于用户手势的输入限制较大。基于多目视觉的手势识别是通过两个或两个以上的摄像机来采集图像，建立的是立体模型。这种方法对于用户手势的输入限制较小，可以实现更加自然的人机交互，但由于立体模型的复杂性，需要处理大量的

25、数据，识别时间长，无法实现实时的识别。基于视觉的手势识别算法可分为神经网络算法、模板匹配，统计分析算法、和隐马尔可夫模型(Hidden Markov Model HMM)等。231神经网络算法对人工神经网络的研究早在20世纪40年代就已经开始了。有人以包含0-1和1-0变化的随机模型作为模型化神经系统的基础。到了50年代中期和60年代初期，人们已设计出称为感知机(perceptrons)的学习机器，引起了模式识别理论界人士的重视。80年代中期提出的对多层感知机的新训练算法(称为以反扩散学习的广义德尔塔(Delta)规则)是非常有效的。广义德尔塔规则在许多实际问题中得到了成功的应用，使得多层感知

26、机类机器成为目自玎使用神经网络的主要模型之一。神经网络是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术，其目的是使机器具有人脑那样的感知、学习和推理功能。神经网络方法在手势识别领域得到了广泛的使用。它对信息处理具有自组织、自学习等特点，有较强的抗干扰能力。它是由许多具有非线性映射能力的神经元组成的一种大规模并行处理网络，神经元之间通过权相连。文献16qb MYeasin采用了TDNN(TimeDelay Neutral Network时延神经网络)的手势识别技术。BP神经网络模型实现了多层网络学习的设想。它是一种单向传播的多层前向神经网络，除输入输出节点外还有一层或多层隐层节点，同层

27、节点之I、日J没有耦合，输入信号从输入层节点依次传过各层节点，最后到达输出层节点。每一层节点的输出只影响下一层节点的输出。BP神经网络结构分三层：输入层、隐含层和输出层。图2-2是一个三层前馈神经网络模型，输入层、中间隐含层和输出层的神经元个数分别为5、50和9。图2-2 三层前馈神经网络模型BP网络学习是典型的有导师学习。训练集包含M个样本，对第P个训练样本(P=1,2，M)，单元的实际输出为郇，它的第i个输入(也即第i个神经元的输入)为，则： (2-1)BP算法中大多选用S型函数作为输出函数，即： (2-2)232基于模板匹配的算法模板匹配算法就是将输入的原始数据与预先存储的模板进行匹配，

28、通过测量两个模板之间的相似度进行识别。模板匹配的方法多用于静态手势识别中，如Cui Yuntao通过计算模板的相关系数来进行预测匹配。文献f181中张良国、吴江琴、高文等人首先改进了Hausdorff距离，接下来通过比较预处理后的输入图像的Hausdorff距离和标准模板库中各种图像的Hausdorff距离进行判断。Hausdorff距离是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式【191：假设有两组集合A=，B= ，则这两个点集之上的Hausdorff距离定义为： (2-3) (2-4) (2-5)是点集A和点集B间的距离范式这里，式(2-3)称为双向Hausdo

29、rff距离，是Hausdorff距离的最基本形式；式(2-4)(2-5)中的h(A，B)和h(B，A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff距离。即h(A，B)实际上首先对点集A中的每个点到距离此点最近的B集中点b，之间的距离进行排序，然后取该距离中的最大值作为h(A，B)的值，h(B，A)同理可得。由式(2-3)知，双向Hausdorff距离H(A, B)是单向距离h(A，B)和h(B，A)两者中的较大者，它度量了两个点集之间的最大不匹配程度。233统计分析算法统计分类算法是在模式识别发展的过程中建立的经典方法，它用概率统计模型得到各类别的特征向量分布，以达到分类

30、的目的。统计分类算法是一种监督学习的模式识别方法。如何将分类器设计得更有效，识别率更高，是需要重点解决的问题。当几个类别的样本在特征空间的分布符合一定的拓扑结构，并且我们知道各个类别的概率分布函数时，我们就可以利用统计分类方法进行模式识别。常用的统计分类方法有很多，例如byproduct”方法、决策树和决策表方法等。模式的统计分类方法，又称为决策理论识别方法，它是将各模式类别看成是用某个随机向量实现的集合。属于同一类别的各个模式之间的差异，有些是由环境噪声和传感器的因素引起的，有些是模式本身所具有的随机性质引起的。在通常情况下，不同类别的两个模式之间的距离要大于同一类别的两个模式之间的距离，这样就可以将特征空间准确的划分为几个区域，其中各个区域同各个类别是一一对应的。若不满足上述条件，则对每个特征向量估计其属于某一类的概率，概率值最大的类就是该点所属的类别。统计分类方法常用的分类器主要有贝叶斯分类器、线性判别函数、树分类器、最小距离分类、近邻法分类、聚类分析等。234隐马尔可夫模型(HMM)在给定前一个状态的情况下，随机变量序列的下一个状态的出现是条件独立的。每一个时刻的随机变量有一个度量值，这个度量值的分布与该时刻的状态有关。这样的模型称为隐马尔可夫模型(HMM)。隐马尔可夫模型是在Ma