体感技术研究基于kinect的体感控制系统研究与实现论文.docx

体感技术研究基于kinect的体感控制系统研究与实现论文.docx

《体感技术研究基于kinect的体感控制系统研究与实现论文.docx》由会员分享，可在线阅读，更多相关《体感技术研究基于kinect的体感控制系统研究与实现论文.docx（36页珍藏版）》请在冰豆网上搜索。

体感技术研究基于kinect的体感控制系统研究与实现论文

武汉理工大学毕业设计（论文）

体感技术研究：

基于kinect的体感控制系统研究与实现

学院（系）：

专业班级：

学生姓名：

指导教师：

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本学位论文属于1、保密囗，在年解密后适用本授权书

2、不保密囗。

（请在以上相应方框内打“√”）

作者签名：

年月日

导师签名：

年月日

摘要

随着计算机在人们生活中的普及和深入，传统的鼠标和键盘难以满足日益多样化的控制需求。

基于视觉的体感控制是实现新一代人机交互所不可缺少的一项关键技术。

Kinect作为一款革命性的产品，正在提供一项全新的人机交互的方式，使人机互动的理念更加彻底的展现出来。

它能够捕捉、跟踪以及识别人体的动作，手势以及声音。

本文内容涵盖对人机交互技术应用的介绍，Kinect硬件设备构造与原理的分析，Kinect开发技术的介绍，并利用Kinect在Windows7系统下，使用C#语言设计了一套体感控制系统。

本系统通过设置合适的阈值，判断用左手与头部在Kinect空间Y轴的距离是否超过阈值控制鼠标左键的按下与弹起。

通过右手在空气中的移动的坐标映射到屏幕坐标控制鼠标移动。

最后，在不同光照环境下，利用PC游戏中《水果忍者》测试了本系统。

测试结果表明：

本系统在光照变化的条件下鲁棒性较好。

本设计与其他同类设计相比，主要创新之处有以下几点：

1）本系统在使用前无需对系统进行训练，提高了体感控制系统的便捷性。

2）本系统使用关节点相对位置判断操作意图，不需要进行手势识别，提高了控制识别的成功率。

3）本系统在骨骼跟踪的过程中加入了滤波算法和平滑参数，提高了系统的流畅性和稳定性。

关键词：

Kinect；体感控制；人机交互；骨骼跟踪

Abstract

Ascomputersspreadinpeople'slivesanddeepening,thetraditionalmouseandkeyboardcontrolisdifficulttomeettheincreasinglydiverseneeds.Vision-basedmotioncontrolisakeytechnologytoachieveanewgenerationofhuman-computerinteraction.Asarevolutionaryproduct,Kinectisprovidinganewwayofhuman-computerinteraction,makestheideaof​​human-computerinteractionmorethoroughlyunfolded.Itcancaptureandtrackandrecognizethemovementofthehumanbody,gesturesandvoice.

Thisarticlecoversanintroductiontohuman-computerinteractiontechnology,ananalysistoKinecthardwarestructureandtheory,KinectdevelopmenttechnologyintroductionanduseKinectonWindowssystems,usingtheC#languagedesignamotioncontrolsystem.BysettinganappropriatethresholdtodeterminewhetherthedistancebetweenhislefthandandheadintheYaxisofKinectspaceexceedsthethreshold,thesystemcontroltheleftmousebuttonpressandbounce.Bymappingthecoordinatesoftheairtothescreen,thesystemcancontrolofthemousemovement.Finally,weusethePCgame"FruitNinja"totestthesystemunderdifferentlightingconditions.Thetestresultsshowedthat:

thesysteminthechanginglightconditionshasgoodrobustness.

Comparedwithothersimilardesign,themaininnovationsofthisdesignarethefollowing:

1）Beforeusingthesystem,usersdon’tneedanysystemtraining,whichmakesthemotioncontrolsystemmoreeasilytouse.

2）Inthissystem,weusetherelativepositionofjointstodetermineoperationintention,insteadofgesturerecognition,whichimprovesthesuccessrateofcontrolidentification

3）Inskeletaltrackingprocess，weaddfilteringalgorithmsandsmoothingparameterstoimprovethefluencyandstabilityofthesystem.

KeyWords：

Kinect;somatosensorycontrol;human-computerinteraction;skeletaltracking

目录

第1章绪论1

1.1课题的研究背景与意义1

1.2国内外研究现状3

1.3课题研究内容4

第2章Kinect体感控制系统开发介绍5

2.1Kinect简介5

2.2Kinect驱动平台7

2.3Kinect工作原理8

第3章设计实现9

3.1总体设计方案9

3.2实验平台搭建10

3.2.1软硬件环境10

3.2.2Kinect的安装10

3.3Kinect数据采集10

3.3.1Kinect彩色图像数据采集10

3.3.2Kinect深度图像数据采集11

3.3.3Kinect骨骼数据采集13

3.4数据处理14

3.4.1深度图像二值化处理14

3.4.2骨路关节点的平滑处理15

3.5Kinect数据合并17

3.6深度图像空间坐标18

3.7骨骼空间坐标18

3.8NUI坐标转换19

3.9系统功能核心代码20

第4章系统测试分析28

第5章总结与展望30

5.1总结30

5.2展望30

参考文献32

致谢34

第1章绪论

1.1课题的研究背景与意义

人机交互的发展过程就是从适应计算机到计算机不断地适应人发展的过程。

人机交互的发展经历了早期的手工制作阶段、作业控制语言及交互命令语言阶段、图形用户界面（GUI）阶段、网络用户界面阶段、多通道与多媒体的智能人机交互阶段。

随着人机交互的发展，人机交互的输入和输出设备也在不断地发展，从鼠标、键盘、手柄到触摸屏，再到现在的体感传感器。

而体感交互技术又是目前人机交互技术中最为前沿和热门的技术之一，这其中基于微软Kinect的应用开发却又最为广泛[1]。

不同阶段的人机交互界面的对比如表1.1所示。

表1.1不同阶段的人机交互界面的对比

命令行界面

WIMP界面

多通道人机交互界面

输入

单通道：

键盘

单通道：

键盘鼠标等

多通道：

手、眼、口、表情等

输出

单通道：

字符

双通道：

字符、图像等

多通道：

字符、图像、语音、触觉等

界面

黑白字符

二维多媒体信息

三维多媒体信息

交互方式

机器语言

点击式输入

并行、非精确输入

优点

完成命令准确

效率提高

自然高效，操作方便，适用范围较广

缺点

效率低，操作不便，普及性不强，使用范围小

要求用户具有一定的操作基础知识

设备要求高，系统较复杂

Kinect的出现可以说是人机交互技术的一个里程碑的跨越，运用了其核心硬件和软件技术和自然用户接口，使人机交互脱离了鼠标、键盘、摇杆等操控器，达到了人机互动的无缝结合，从而使我们更加方便的与机器进行交流。

Kinect上市推广后不久，相继出现了一些其它的人机交互硬件平台，具有代表性的有LeapMotion，LYO，GoogleGlass。

LeapMotion是有面向PC以及MAC的体感控制器制造公司于2013年2月27日发布的。

该设备功能类似Kinect，可以在PC及Mac上通过手势控制电脑，但是它和Kinect的区别是LeapMotion只能识别手，手指或者工具，自带的LeapAPI提供的只有手的信息，所以它是识别不了身体的信息。

MYO是由加拿大创业公司在2013年3月推出的，不像Kinect和LeapMotion的手势互动都要靠摄像头识别，它是一种穿戴式的护腕，通过检测使用者运动时手臂上肌肉产生的变化配合手臂的物理动作来做人机互动，手势控制臂环可以佩戴在任何一条胳膊的肘关节上方，探测用户的肌肉产生的电活动。

它通过低功率的蓝牙设备与其他电子产品进行无线连接，不需要借助相机就可感知用户的动作。

GoogleGlass是由Google公司于2012年4月发布的，它是一款拓展现实的眼镜，具有和智能手机一样的功能，可以通过声音控制拍照，视频通话，辨明方向以及上网处理文字信息和电子邮件等。

如表1.2所示对比了Kinect，LeapMotion，MYO以及GoogleGlass的优缺点：

表1.2人机交互产品对比

硬件平台

Kinect

LeapMotion

MYO

GoogleGlass

佩戴方式

放在被捕捉物体前面，有距离限定

平放桌上，有距离限定

佩戴在手腕上

与普通眼镜一样的佩戴方式

跟踪监测

多人或物体

人的双手，可以精确到手指

手腕肌肉动作

眼前的所有检测物体

捕捉方式

摄像头

摄像头

生物电

摄像头

所测数据

人体骨骼运动数据，深度和彩色图像数据

手指图像数据和手指骨骼运动数据

肌肉运动产生的生物电数据

摄像头拍摄的彩色图像数据

优缺点

可以捕捉人体运动，人脸识别，语音识别，但精度不够。

对手指的捕捉非常精细，单只能检测手的运动

佩戴方便，不需要摄像头来捕捉，数据精度一般。

佩戴方便，可以用于增强现实等多种功能，但价格昂贵。

随着计算机在人们日常生活中的应用越来越普及和深入，基于鼠标和键盘控制等传统的人机交互方式已经难以满足用户个性化的需求，同时也会让用户觉得枯燥和单调。

正是由于这种传输方式的单一性阻碍了人机交互的进一步发展，人机交互中输入输出效率之间的差距变的越来越大。

随着科学技术的高速发展，更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究，目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。

而Kinect体感技术的出现为促进人机交互的发展具有重要意义，Kinect作为新一代的体感设备，可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。

这一特性很好地填补了现有人机交互技术的缺陷，并且促使Kinect体感技术成为人机交互领域中的一个研究热点。

与传统输入设备不同的是，Kinect设备可以实现直接用使用者的身体来控制终端，用这种最自然的方式与终端进行交互的特点贴近了人机交互对自然性的要求，Kinect体感技术对人机交互理念的实现起到了重要的促进作用。

因此研究Kinect体感技术在人机交互领域中的应用对其今后的发展具有很大的必要性。

1.2国内外研究现状

Kinect设计之初只是作为XBOX360的体感周边设备，只是针对游戏领域而开发的，但是在2011年，KinectforWindows的推出和代码的开源，使得开发人员可以选择C#、C++、VB.NET语言，因此吸引来大批的程序开发人员来进行基于Kinect的应用开发。

也正因为如此，使得不在局限于游戏领域，而延伸到工业设计、电子商务、医疗保健、物联网、智能家庭、教育和照顾老人等各个领域[2]。

本文主要研究的就是在游戏领域的应用和推广。

Kinect的核心技术和创新技术就是能够获取目标物体的深度数据和人体的骨骼数据，在2013年3月18日微软发布了最新的软件开发包SDKv1.7，这款SDK的更新被认为是开发包发布史上最重要的一次更新，因为在这款中包含了两项微软开发的最新技术KinectFusion和KinectInteractions。

KinectFusion的功能是实时捕捉和构建实物的3D模型，可以说是就是一台实时的扫描仪；而KinectInteractions为Kinect手势识别添加了按键和抓握手势等功能[3]。

开发人员以此为基础进而可以开展对手势识别、人脸识别、人体识别、运动捕捉等方面的研究。

从Kinect的发布更新推广到现在，国内外无数的研究开发人员己经在各个领域结合Kinect做出了很多杰出的成绩。

2013年9月，热那亚大学的AntonioSgorbissa和DamianoVerda[4]把Kinect应用到移动机器人上，利用Kinect收集三维的点云数据，让机器人能够识别和分类家具等结构物体。

来自意大利都灵理工大学的AndreaSanna和FabrizioLamberti[5]利用Kinect的自然用户接口（NUI）和计算机视觉技术来控制四旋翼飞行器，其中的操控方式就是通过Kinect的手势识别技术。

来自UTAD的VitorFilipe和FilipeFernandes[6]研究室内环境下利用Kinect开发盲人导航系统，通过由Kinect收集的深度数据结合神经网络方法作为输入模式来检测前进道路上的障碍。

瑞士伯尔尼大学的Virtopsy项目也利用Kinect在医疗系统上做了创新，他们通过的Kinect语言识别技术和体感操作来操控尸体检査，代替了传统的方法，实现了无菌和免接触[7]。

除了一些研究课题外，微软也推出一些线上KinectApp产品，比如在2013年4月28日微软和必胜客达成合作协议，推出PizzaHutApp，方便用户通过和语音命令来快速点餐。

如今Kinect主要被用于识别手势、四肢动作、人体检测等方面,如Jagdish使用Kienct研究指尖和掌心追踪技术[8],Thanh等通过骨骼数据计算得到三维形状直方图并使用TF-IDF算法进行行为识别[9],李瑞峰等利用Kinect获取的深度图像,结合手部轮廓特征研究手势识别[10],Sempena等人将骨骼信息转化为四元数来表示人体姿态并使用DTW算法进行针对手臂动作的分析研究[11]，Ross等利用Kinect深度图像分析人体姿态变化[12]，Raptis等人使用Kinect设计实现了实时姿态分类系统并取得了较高的分类效果[13]，Lu等人使用Kinect深度数据进行人体检测实验[14]。

在国内很多大学实验室和一些交互公司也在很多领域做不少Kinect的应用开发和研究。

比如在市场上已经应用的虚拟试衣镜[15]，就是应用了的体感技术和增强现实技术，需要买衣服的顾客不需要实体试穿和换装，只需站在试衣镜前通过手势操作就能看到虚拟的衣服穿在身上的效果，减少了反复脱穿的麻烦。

在教育领域，为了辅助教学激发学生的学习兴趣，上海交通大学利用的手势识别技术和语音识别技术在SCN标准自然教室中做了一系列的研究[16-17]。

华南理工大学的金连文教授也利用的体感技术开发了虚拟手写识别系统，用户只要在空间中用手指自由的移动，系统就能识别出书写的字符[18]。

随着Kinect越来越成熟的发展，加上无数开发者的智慧，在不久的将来Kinect必定会与我们的学习、生活更密切相关，在越来越多的领域也会出现Kinect的身影[19-25]。

1.3课题研究内容

本文主要是研究如何实现实时基于Kinect的体感控制系统，特别是如何利用体感动作进行人机交互，并将识别的成果应用到游戏中，从而带来一种全新的游戏操作体验。

研究具体内容如下:

1）Kinect体感设备硬件结构和工作原理。

2）在Windows7操作系统下，使用C#作为开发语言，使用KinectforWindowsSDK作为开发套件，开发出一套体感控制系统。

3）用体感控制系统实现对鼠标的控制，并根据实验测试结果优化参数。

4）将体感控制系统应用到PC游戏《水果忍者》的控制上，实验利用Kinect体感控制游戏的效果。

第2章Kinect体感控制系统开发介绍

2.1Kinect简介

Kinect是微软在2009年6月2日的E3大展上正式公布的XBOX360体感周边外设，当时的代号为“ProjectNatal”，意味着初生，也是遵循了微软一向以城市为开发代号的传统，因为Natal是巴西城市的名称。

Natal在英语中的意思是初生，也是微软希望Kinect能对XOBOX360带来新生的期望，但从目前的Kinect的发展来看，已经远远超出了它的设计初衷。

2010年6月14日“ProjectNatal”被正式命名为Kinect[26]。

Kinect的推出颠覆了单一的游戏操作，即玩家不再需要键盘，鼠标，手柄和遥感等控制机器，Kinect的理念是人本身就是最理想的传感器，它是一种体感的3D投影机，捕捉玩家的身体动作来控制游戏。

MicrosoftKinect是一种复合传感器。

Kinect包含3个镜头，中间的是RGB彩色图像传感器，图像分辨率为640*480，最大帧率为30Fps；左侧为散斑发射器，发射近红外波段的散斑图案;右侧为三维传感器，图像分辨率为640*480，最大帧率为30Fps，水平视场角为58°，垂直视场角为45°，散斑发射器和三维传感器构成三维深度传感器系统[27]。

相比于普通的彩色摄像机，Kinect在彩色视频流（ColorImageStream）之外，还可以提供用于表现视野中物体到Kinect距离的深度数据流（DepthImageStream），以及由麦克风阵列确定的包含声源位置信息的音频流。

除此之外，Kinect通过对深度数据流进行处理，得到了骨骼数据流（SkeletonStream），将Kinect视野中的人体用主要的20个骨骼节点进行描述。

每个节点数据包括该节点在摄像机视野之中的位置，包含长度、宽度与深度3个分量[28]。

Kinect传感器主要由以下几个部分组成：

麦克风阵列：

声音从4个麦克风采集，采用有效的噪声消除和回声抑制（AcousticEchoCancellation，AEC）算法，能消除20db的环境噪音，同时采用波束成型（BeamForming）技术，可以通过每个独立设备的响应时间确认音源位置。

红外投影机：

主动投射近红外光谱，照射到粗糙物体、或者穿射毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（成为散斑），进而能被红外摄像头读取。

红外摄像头：

分析红外光谱，创建可视范围内的人体、物体的深度图像。

彩色摄像头：

用于拍摄视角范围内的彩色视频图像。

仰角控制马达：

可编程控制仰角的马达，用于获取最佳视角。

Kinect传感器如图2.1所示，主要规格参数如表2.1所示。

图2.1Kinect传感器

表2.1Kinect传感器主要规格参数

传感器特性

规格参数

可视角度

43°垂直方向和57°水平方向有效视野范围

机械化倾斜范围（垂直方向）

±28°

帧率（深度和彩色图像数据流）

30帧每秒（Fps）

深度图像（默认）

QVGA（320*240）

彩色图像（默认）

VGA（640*480）

音频格式

16kHz，16bit单声道（PCM）

音频输入特性

4个带有24bit的ADC和消除处理噪声的麦克风阵列

通过固件升级，KinectforWindows支持“近景模式”（NearMode）。

在该模式下，Kinect可视范围为0.4~3米，与默认模式的差别如图2.2所示。

图2.2Kinect的默认模式和近景模式

2.2Kinect驱动平台

2011年6月随着KinectforWindowsSDKBeta版的推出[29]，在PC上对Kinect的应用开发工作便如火如茶的展开。

2012年9月微软发布了KinectforWindowsSDK1.6版本，1.6版本添加了许多新的功能：

支持Windows8操作系统，支持VisualStudio2012，提供了加速计数据API（AccelerometerDataAPIs），扩展了的深度数据，提供了对彩色摄像头设置的API，对原始数据有更多的解码控制，提供了新的坐标空间转换API，对德语的语音识别包;新增红外发射控制API。

由于微软并没有对Kinect的输出做任何加密，因此开发者可以开发基于Kinect的各种应用，包括游戏应用和非游戏应用等等。

本设计使用的是微软最新更新的SDK1.8版本。

KinectforWindowsSDK主要包括以下几个功能。

骨骼追踪：

对在Kinect视野范围内移动的一个或两个人进行骨骼追踪，可以追踪到人体上的20个节点。

此外，Kinect还支持更精确的人脸识别。

深度摄像头：

利用“光编码”技术，通过深度传感器获取到视野内的环境三维位置信息。

这种深度数据可以简单地理解为一张利用特殊摄像头获取到的图像，但是其每一个像素的数据不是普通彩色图片的像素值，而是这个像素的位置距离Kinect传感器的距离。

由于这种技术是利用Kinect红外发射器发出的红外线对空间进行编码的，因此无论环境光线如何，测量结果都不会受到干扰。

音频处理：

与MicrosoftSpeech的语音识别API集成，使用一组具有消除噪声和回波的四元麦克风阵列，能够捕捉到声源附近有效范围之内的各种信息。

KinectforWindowsSDK目前支持Windows7操作系统和Windows8操作系统，开发环境使用VisualStudio2010Express及以上版本，支持的开发语言包括C++、C#和VB.NET。

通过K