基于CNN的手势游戏控制技术与开发实现.docx

基于CNN的手势游戏控制技术与开发实现.docx

《基于CNN的手势游戏控制技术与开发实现.docx》由会员分享，可在线阅读，更多相关《基于CNN的手势游戏控制技术与开发实现.docx（31页珍藏版）》请在冰豆网上搜索。

基于CNN的手势游戏控制技术与开发实现

基于CNN的手势游戏控制技术与开发实现

摘要

人机交互是计算机领域的热门话题，计算机的发展不能只专注于硬件提升，在人机交互方面尤也为重要，如今的交互技术也是日新月异。

手势识别技术作为一种比较新的交互技术，它可以帮助人们更便捷的操控软件，加快文档处理效率。

手势识别技术按输入设备的不同可分为基于数据手套及其他硬件的手势识别和基于计算机视觉的手势识别两种。

手势的种类繁多，因而使计算机在进行手势识别分类操作的时候显得比较困难，随着计算机领域的硬件性能的提升，加上更加适合的软件算法，许多之前不可能解决的问题变成了可能。

业界手势识别大致分为静态手势识别和动态手势识别两种。

第一种是计算机只通过识别手部的静态图像来确认用户的指令。

第二种是计算机通过识别手部形态，并且识别手部运动轨迹来精确用户指令。

针对静态手势，本项目提出了一种基于CNN的有效提取方法，经过opencv库调取摄像头得到手的轮廓，最后，通过轮廓匹配得到识别结果。

在各种灯光下进行重复测试，并调整系统参数。

实验表明，该方案来提取手势并实现游戏控制是可行的，取得了良好的游戏体验效果。

关键词：

手势识别CNNOpencv游戏控制

Abstract

Human-computerinteractionisahottopicinthefieldofcomputers.Thedevelopmentofcomputerscannotonlyfocusonhardwareimprovement,butalsoisparticularlyimportantintermsofhuman-computerinteraction.Today'sinteractiontechnologyisalsochangingwitheachpassingday.Gesturerecognitiontechnologyasarelativelynewinteractivetechnology,itcanhelppeoplemoreeasilycontrolthesoftware,speeduptheefficiencyofdocumentprocessing.Gesturerecognitiontechnologycanbedividedintogesturerecognitionbasedondataglovesandotherhardwareandgesturerecognitionbasedoncomputervisionaccordingtodifferentinputdevices.Therearemanytypesofgestures,whichmakesitdifficultforcomputerstoperformgesturerecognitionandclassificationoperations.Withtheimprovementofhardwareperformanceinthecomputerfieldandmoresuitablesoftwarealgorithms,manyproblemsthatwereimpossibletosolvebeforebecamepossible.

Gesturerecognitionintheindustryisroughlydividedintostaticgesturerecognitionanddynamicgesturerecognition.Thefirstisthatthecomputeronlyconfirmstheuser'sinstructionsbyrecognizingthestaticimageofthehand.Thesecondisthatthecomputercanaccuratelydetermineuserinstructionsbyrecognizingtheshapeofthehandandrecognizingthemovementtrajectoryofthehand.Forstaticgestures,thisprojectproposesaneffectiveCNN-basedextractionmethod.Thecameraisobtainedthroughtheopencvlibrarytoobtainthecontourofthehand,andfinally,therecognitionresultisobtainedthroughcontourmatching.Repeatthetestundervariouslightsandadjustthesystemparameters.Experimentsshowthatthisschemeisfeasibletoextractgesturesandachievegamecontrol,andhasachievedgoodgameexperienceeffects.

Keywords:

GesturerecognitionCNNOpencvGamecontrol

第一章绪论

1.1研究背景与意义

时间来到了2020年，计算机的性能有了飞跃的提升，计算机在各个领域都得到了普及，使得人机交互技术越来越成为计算机领域的研究热点，手势识别就是其中之一。

将手势识别作为一种交互技术能应用到很多场景中，因此，研究手势识别技术拥有很好的前景。

平时通过键盘和触控实现的人机交互技术在手势识别技术面前，显得不那么高端，手势识别技术应用计算机视觉收集手部信息，通过程序转化输出识别结果，达到交互效果。

但是，手势变化多样，使得手势识别成为一项极具挑战性的研究项目。

目前的手势识别技术日趋成熟，有的是基于手环感知肌肉抖动信息来完成手势识别的，有的是通过指套的形式，结合距离传感器来实现手势识别，这两种比较依赖硬件，还有一种是通过计算机视觉来实现，对硬件要求不高，但可以达到相近的水平，为了达到预期的操作效果和开发速度，本文中引入了微软的Opencv函数库和CNN（卷积神经网络）。

手势识别的意义在于通过手势隔空操作，不用去触碰操作实体，为人机交互增添新的方式。

图象处理和图象识别是实现手势识别技术的前提，手势识别技术的发展，使计算机可以完成很多看似不可能的任务。

在很多领域中，手势识别都起着很大的作用，下面列出了一些在手势识别中有应用前景的领域。

在视频直播领域引入手势识别。

直播已成为大众娱乐项目之一，不光是直播的内容更加丰富多彩了，各种直播特效让屏幕内容眼花缭乱，手势识别在其中的作用也非同小可，主播可以在不操作键盘，直接通过手势来使用各种直播特效来吸引观众的眼球。

在物联网领域引入手势识别技术。

手势控制开关灯，手势控制电视，手势拍照，手势唤醒智能终端等等，增加了人机互动的趣味性。

在虚拟现实领域引入手势识别。

虚拟现实技术的不仅给我们带来丰富的视觉体验，手势识别技术的加入使得它能操控虚拟世界的物品，所以手势识别技术是虚拟现实技术交互中的一个重要环节。

现如今的虚拟现实设备的手势识别大多都是在硬件层面实现的，成本较高，要想在普通相机上挑战高质量的手指追踪效果，难度较大。

在手机领域引入手势识别。

随着手机性能的提升，图像处理能力也得到了相应的提高，越来越多的手机厂商也开始注重手机的AI性能，像谷歌的pixe系列，华为的高端系列，小米等，特别是华为的EMUI10智慧全连接系统，加入了系统级别的手势操作，为手机操作增添了不少乐趣。

图1-1手势识别应用场景

1.2国内外研究现状及分析

1.2.1国外研究现状

21世纪初，手势识别技术就得到了技术人员的广泛研究，特别是基于计算机视觉的手势识别。

2004年韩国Inda大学和KoreaPolytechnic大学的JongShillLee、YoungJooLee等人用熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别[1]。

利用freeman码技术进行手部边缘的检测，计算出手势中心到手部边缘的距离。

它在六种手势的分类识别上可以达到百分之九十五的识别率。

2010年chendongYu等人[2]在手势识别中采用了基于视觉的组合特征，并结合了手部面积、周长、重心、面积比和长宽比等特征点，提高了手势识别率。

2014年，脸书收购了一家VR的初创公司，并吸收了其在手势识别技术深耕多年的技术人员。

2019年，Oculus发布了可通过四个较为廉价的摄像头实现精度较高的手势识别的V12测试版本，并开放API。

1.2.2国内研究现状

我国在手势识别方面的研究与国外相比并没有落后太多，但随着国内学者的努力，我们也在一步步的追赶。

2006年来自中国科学技术大学和哈尔滨工业大学刘岩[3]等人，研究了基于“大小手”的实时徒手手势识别，将双手分为大手和小手，并根据单手的重叠情况进行处理。

他们的论文用了他们首创的大小手特征提取算法，实现了基于动态的手势识别技术，对17种常用的手势进行了识别率达百分之九十四。

2012年根据AdaBoost算法和光流匹配的原理，王凯等人[4]提出了一种实时手势识别方案：

只要与计算机相连，通过摄像头读取2D手势视频片段，就可以对手势进行更精确的识别。

运用迭代算法，对一个训练集训练多个分类器，将多个分类器再重组成一个强分类器，实现手势的分类识别。

最近几年上线的XXAI开放平台提供了多种手势识别产品，通过API连接可以识别多种常见手势，如抱拳，停止，比心，数字，剪刀手等。

1.3文本主要工作和内容

本文的研究重点在于：

研究并开发基于Pygame框架的小游戏开发。

研究CNN的网络结构，采用一种合适的模型结构进行训练。

研究用合适的分类算法，用于提高手势识别的准确率。

研究使用何种方式进行手势分类识别。

1.4文本章节安排

第一章：

绪论。

介绍了本论文研究背景与研究意义，分析国内外关于手势识别的研究历史与各大厂商研究现状，并撰写了本文研究的主要内容和章节安排。

第二章：

基于pygame小游戏开发。

本章简单介绍了pygame模块，并开发一款基于pygame的小游戏。

第三章：

CNN理论介绍。

本章简单介绍了CNN的结构，介绍了时下主流的几种深度学习框架。

第四章：

神经网络搭建。

本章编写从搭建到设计CNN结构再到训练模型的全过程，使用训练好的模型进行手势识别并操控游戏。

第五章：

总结与展望。

首先为整个实验做实验总结，简述了整个项目开发过程并思考了实验的不足之处，以及改进方向以供后续开发。

第二章基于Pygame的小游戏开发

2.1Pygame简介

Pygame是一个用于游戏开发的跨平台的Python模块，由于基于SDL,所以他有很多多媒体相关函数。

对于Python程序，使用Pygame模块可以创建功能丰富的游戏和各式各样的多媒体程序，并且因为Pygame模块的部分是由C语言开发而成，所以它执行起来并不算慢，它还拥有Python语言的面向对象、脚本编程和高度可移植等特性。

当你再开发游戏时使用pygame模块，你会发现十分简单，每一个控件都是一个相对独立的surface对象。

Surface对象的作用是在Pygame中显示图像，该对象可以将一个图像绘制到另一个图像的上方，并设置图像的透明度。

并且Pyga