体感技术研究基于kinect的体感控制系统研究与实现论文.docx

1、体感技术研究基于kinect的体感控制系统研究与实现论文武汉理工大学毕业设计（论文）体感技术研究：基于kinect的体感控制系统研究与实现学院（系）： 专业班级： 学生姓名： 指导教师： 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。作者签名： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保障、使用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和

2、借阅。本人授权省级优秀学士论文评选机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密囗，在 年解密后适用本授权书2、不保密囗 。（请在以上相应方框内打“”）作者签名： 年 月 日导师签名： 年 月 日摘 要随着计算机在人们生活中的普及和深入，传统的鼠标和键盘难以满足日益多样化的控制需求。基于视觉的体感控制是实现新一代人机交互所不可缺少的一项关键技术。Kinect 作为一款革命性的产品，正在提供一项全新的人机交互的方式，使人机互动的理念更加彻底的展现出来。它能够捕捉、跟踪以及识别人体的动作，手势以及声音。本文内容涵

3、盖对人机交互技术应用的介绍，Kinect硬件设备构造与原理的分析，Kinect开发技术的介绍，并利用Kinect在Windows 7系统下，使用C#语言设计了一套体感控制系统。本系统通过设置合适的阈值，判断用左手与头部在Kinect空间Y轴的距离是否超过阈值控制鼠标左键的按下与弹起。通过右手在空气中的移动的坐标映射到屏幕坐标控制鼠标移动。最后，在不同光照环境下，利用PC游戏中水果忍者测试了本系统。测试结果表明：本系统在光照变化的条件下鲁棒性较好。本设计与其他同类设计相比，主要创新之处有以下几点：1) 本系统在使用前无需对系统进行训练，提高了体感控制系统的便捷性。2) 本系统使用关节点相对位置判

4、断操作意图，不需要进行手势识别，提高了控制识别的成功率。3) 本系统在骨骼跟踪的过程中加入了滤波算法和平滑参数，提高了系统的流畅性和稳定性。关键词：Kinect；体感控制；人机交互；骨骼跟踪AbstractAs computers spread in peoples lives and deepening, the traditional mouse and keyboard control is difficult to meet the increasingly diverse needs. Vision-based motion control is a key technology t

5、o achieve a new generation of human-computer interaction. As a revolutionary product, Kinect is providing a new way of human-computer interaction, makes the idea of human-computer interaction more thoroughly unfolded. It can capture and track and recognize the movement of the human body, gestures an

6、d voice.This article covers an introduction to human-computer interaction technology, an analysis to Kinect hardware structure and theory, Kinect development technology introduction and use Kinect on Windows systems, using the C# language design a motion control system. By setting an appropriate thr

7、eshold to determine whether the distance between his left hand and head in the Y axis of Kinect space exceeds the threshold, the system control the left mouse button press and bounce. By mapping the coordinates of the air to the screen, the system can control of the mouse movement. Finally, we use t

8、he PC game Fruit Ninja to test the system under different lighting conditions. The test results showed that: the system in the changing light conditions has good robustness.Compared with other similar design, the main innovations of this design are the following: 1) Before using the system, users do

9、nt need any system training, which makes the motion control system more easily to use. 2) In this system, we use the relative position of joints to determine operation intention, instead of gesture recognition, which improves the success rate of control identification3) In skeletal tracking process，

10、we add filtering algorithms and smoothing parameters to improve the fluency and stability of the system.Key Words：Kinect; somatosensory control; human-computer interaction; skeletal tracking目 录第1章 绪论 11.1 课题的研究背景与意义 11.2 国内外研究现状 31.3 课题研究内容 4第2章 Kinect体感控制系统开发介绍 52.1 Kinect简介 52.2 Kinect驱动平台 72.3 Ki

11、nect工作原理 8第3章 设计实现 93.1 总体设计方案 93.2 实验平台搭建 103.2.1 软硬件环境 103.2.2 Kinect的安装 103.3 Kinect数据采集 103.3.1 Kinect彩色图像数据采集 103.3.2 Kinect深度图像数据采集 113.3.3 Kinect骨骼数据采集 133.4 数据处理 143.4.1 深度图像二值化处理 143.4.2 骨路关节点的平滑处理 153.5 Kinect数据合并 173.6 深度图像空间坐标 183.7 骨骼空间坐标 183.8 NUI坐标转换 193.9 系统功能核心代码 20第4章 系统测试分析 28第5章

12、总结与展望 305.1 总结 305.2 展望 30参考文献 32致谢 34第1章 绪论1.1 课题的研究背景与意义人机交互的发展过程就是从适应计算机到计算机不断地适应人发展的过程。人机交互的发展经历了早期的手工制作阶段、作业控制语言及交互命令语言阶段、图形用户界面（GUI）阶段、网络用户界面阶段、多通道与多媒体的智能人机交互阶段。随着人机交互的发展，人机交互的输入和输出设备也在不断地发展，从鼠标、键盘、手柄到触摸屏，再到现在的体感传感器。而体感交互技术又是目前人机交互技术中最为前沿和热门的技术之一，这其中基于微软Kinect的应用开发却又最为广泛1。不同阶段的人机交互界面的对比如表1.1所示

13、。表1.1 不同阶段的人机交互界面的对比命令行界面WIMP界面多通道人机交互界面输入单通道：键盘单通道：键盘鼠标等多通道：手、眼、口、表情等输出单通道：字符双通道：字符、图像等多通道：字符、图像、语音、触觉等界面黑白字符二维多媒体信息三维多媒体信息交互方式机器语言点击式输入并行、非精确输入优点完成命令准确效率提高自然高效，操作方便，适用范围较广缺点效率低，操作不便，普及性不强，使用范围小要求用户具有一定的操作基础知识设备要求高，系统较复杂Kinect的出现可以说是人机交互技术的一个里程碑的跨越，运用了其核心硬件和软件技术和自然用户接口，使人机交互脱离了鼠标、键盘、摇杆等操控器，达到了人机互动的

14、无缝结合，从而使我们更加方便的与机器进行交流。Kinect上市推广后不久，相继出现了一些其它的人机交互硬件平台，具有代表性的有Leap Motion，LYO，Google Glass。Leap Motion是有面向PC以及MAC的体感控制器制造公司于2013年2月27日发布的。该设备功能类似Kinect，可以在PC及Mac上通过手势控制电脑，但是它和Kinect的区别是Leap Motion只能识别手，手指或者工具，自带的Leap API提供的只有手的信息，所以它是识别不了身体的信息。MYO是由加拿大创业公司在2013年3月推出的，不像Kinect和Leap Motion的手势互动都要靠摄像头

15、识别，它是一种穿戴式的护腕，通过检测使用者运动时手臂上肌肉产生的变化配合手臂的物理动作来做人机互动，手势控制臂环可以佩戴在任何一条胳膊的肘关节上方，探测用户的肌肉产生的电活动。它通过低功率的蓝牙设备与其他电子产品进行无线连接，不需要借助相机就可感知用户的动作。Google Glass是由Google公司于2012年4月发布的，它是一款拓展现实的眼镜，具有和智能手机一样的功能，可以通过声音控制拍照，视频通话，辨明方向以及上网处理文字信息和电子邮件等。如表1.2所示对比了Kinect，Leap Motion，MYO以及Google Glass的优缺点：表1.2 人机交互产品对比硬件平台Kinect

16、Leap MotionMYOGoogle Glass佩戴方式放在被捕捉物体前面，有距离限定平放桌上，有距离限定佩戴在手腕上与普通眼镜一样的佩戴方式跟踪监测多人或物体人的双手，可以精确到手指手腕肌肉动作眼前的所有检测物体捕捉方式摄像头摄像头生物电摄像头所测数据人体骨骼运动数据，深度和彩色图像数据手指图像数据和手指骨骼运动数据肌肉运动产生的生物电数据摄像头拍摄的彩色图像数据优缺点可以捕捉人体运动，人脸识别，语音识别，但精度不够。对手指的捕捉非常精细，单只能检测手的运动佩戴方便，不需要摄像头来捕捉，数据精度一般。佩戴方便，可以用于增强现实等多种功能，但价格昂贵。随着计算机在人们日常生活中的应用越来越

17、普及和深入，基于鼠标和键盘控制等传统的人机交互方式已经难以满足用户个性化的需求，同时也会让用户觉得枯燥和单调。正是由于这种传输方式的单一性阻碍了人机交互的进一步发展，人机交互中输入输出效率之间的差距变的越来越大。随着科学技术的高速发展，更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究，目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。而 Kinect体感技术的出现为促进人机交互的发展具有重要意义，Kinect作为新一代的体感设备，可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。这一特性很好地填补了现有人机交互技

18、术的缺陷，并且促使 Kinect体感技术成为人机交互领域中的一个研究热点。与传统输入设备不同的是，Kinect设备可以实现直接用使用者的身体来控制终端，用这种最自然的方式与终端进行交互的特点贴近了人机交互对自然性的要求，Kinect体感技术对人机交互理念的实现起到了重要的促进作用。因此研究 Kinect体感技术在人机交互领域中的应用对其今后的发展具有很大的必要性。1.2 国内外研究现状Kinect设计之初只是作为XBOX360的体感周边设备，只是针对游戏领域而开发的，但是在2011年，Kinect for Windows的推出和代码的开源，使得开发人员可以选择C#、C+、VB.NET语言，因此

19、吸引来大批的程序开发人员来进行基于Kinect的应用开发。也正因为如此，使得不在局限于游戏领域，而延伸到工业设计、电子商务、医疗保健、物联网、智能家庭、教育和照顾老人等各个领域2。本文主要研究的就是在游戏领域的应用和推广。Kinect的核心技术和创新技术就是能够获取目标物体的深度数据和人体的骨骼数据，在2013年3月18日微软发布了最新的软件开发包SDK v1.7，这款SDK的更新被认为是开发包发布史上最重要的一次更新，因为在这款中包含了两项微软开发的最新技术Kinect Fusion和Kinect Interactions。Kinect Fusion的功能是实时捕捉和构建实物的3D模型，可以

20、说是就是一台实时的扫描仪；而Kinect Interactions为Kinect手势识别添加了按键和抓握手势等功能3。开发人员以此为基础进而可以开展对手势识别、人脸识别、人体识别、运动捕捉等方面的研究。从Kinect的发布更新推广到现在，国内外无数的研究开发人员己经在各个领域结合Kinect做出了很多杰出的成绩。2013年9月，热那亚大学的Antonio Sgorbissa和Damiano Verda4把 Kinect应用到移动机器人上，利用Kinect收集三维的点云数据，让机器人能够识别和分类家具等结构物体。来自意大利都灵理工大学的Andrea Sanna和Fabrizio Lamberti

21、5利用Kinect的自然用户接口（NUI）和计算机视觉技术来控制四旋翼飞行器，其中的操控方式就是通过Kinect的手势识别技术。来自UTAD的Vitor Filipe和Filipe Fernandes6研究室内环境下利用Kinect开发盲人导航系统，通过由Kinect收集的深度数据结合神经网络方法作为输入模式来检测前进道路上的障碍。瑞士伯尔尼大学的Virtopsy项目也利用Kinect在医疗系统上做了创新，他们通过的Kinect语言识别技术和体感操作来操控尸体检査，代替了传统的方法，实现了无菌和免接触7。除了一些研究课题外，微软也推出一些线上Kinect App产品，比如在2013年4月28日

22、微软和必胜客达成合作协议，推出Pizza Hut App，方便用户通过和语音命令来快速点餐。如今Kinect主要被用于识别手势、四肢动作、人体检测等方面,如Jagdish使用Kienct研究指尖和掌心追踪技术8,Thanh等通过骨骼数据计算得到三维形状直方图并使用TF-IDF算法进行行为识别9,李瑞峰等利用Kinect获取的深度图像,结合手部轮廓特征研究手势识别10,Sempena等人将骨骼信息转化为四元数来表示人体姿态并使用DTW算法进行针对手臂动作的分析研究11，Ross等利用Kinect深度图像分析人体姿态变化12，Raptis等人使用Kinect设计实现了实时姿态分类系统并取得了较高的

23、分类效果13，Lu等人使用Kinect深度数据进行人体检测实验14。在国内很多大学实验室和一些交互公司也在很多领域做不少Kinect的应用开发和研究。比如在市场上已经应用的虚拟试衣镜15，就是应用了的体感技术和增强现实技术，需要买衣服的顾客不需要实体试穿和换装，只需站在试衣镜前通过手势操作就能看到虚拟的衣服穿在身上的效果，减少了反复脱穿的麻烦。在教育领域，为了辅助教学激发学生的学习兴趣，上海交通大学利用的手势识别技术和语音识别技术在SCN标准自然教室中做了一系列的研究16-17。华南理工大学的金连文教授也利用的体感技术开发了虚拟手写识别系统，用户只要在空间中用手指自由的移动，系统就能识别出书写

24、的字符18。随着Kinect越来越成熟的发展，加上无数开发者的智慧，在不久的将来Kinect必定会与我们的学习、生活更密切相关，在越来越多的领域也会出现Kinect的身影19-25。1.3 课题研究内容本文主要是研究如何实现实时基于Kinect的体感控制系统，特别是如何利用体感动作进行人机交互，并将识别的成果应用到游戏中，从而带来一种全新的游戏操作体验。研究具体内容如下:1) Kinect体感设备硬件结构和工作原理。2) 在Windows 7操作系统下，使用C#作为开发语言，使用Kinect for Windows SDK作为开发套件，开发出一套体感控制系统。3) 用体感控制系统实现对鼠标的控

25、制，并根据实验测试结果优化参数。4) 将体感控制系统应用到PC游戏水果忍者的控制上，实验利用Kinect体感控制游戏的效果。第2章 Kinect体感控制系统开发介绍2.1 Kinect简介Kinect是微软在2009年6月2日的E3大展上正式公布的XBOX360体感周边外设，当时的代号为“Project Natal”，意味着初生，也是遵循了微软一向以城市为开发代号的传统，因为Natal是巴西城市的名称。Natal在英语中的意思是初生，也是微软希望Kinect能对XOBOX360带来新生的期望，但从目前的Kinect的发展来看，已经远远超出了它的设计初衷。2010年6月14日“Project N

26、atal”被正式命名为Kinect26。Kinect的推出颠覆了单一的游戏操作，即玩家不再需要键盘，鼠标，手柄和遥感等控制机器，Kinect的理念是人本身就是最理想的传感器，它是一种体感的3D投影机，捕捉玩家的身体动作来控制游戏。Microsoft Kinect是一种复合传感器。Kinect包含3个镜头，中间的是RGB彩色图像传感器，图像分辨率为640*480，最大帧率为30Fps；左侧为散斑发射器，发射近红外波段的散斑图案;右侧为三维传感器，图像分辨率为640*480，最大帧率为30Fps，水平视场角为58，垂直视场角为45，散斑发射器和三维传感器构成三维深度传感器系统27。相比于普通的彩色

27、摄像机，Kinect在彩色视频流(Color Image Stream)之外，还可以提供用于表现视野中物体到Kinect距离的深度数据流(Depth Image Stream)，以及由麦克风阵列确定的包含声源位置信息的音频流。除此之外，Kinect通过对深度数据流进行处理，得到了骨骼数据流(Skeleton Stream)，将Kinect视野中的人体用主要的20个骨骼节点进行描述。每个节点数据包括该节点在摄像机视野之中的位置，包含长度、宽度与深度3个分量28。Kinect传感器主要由以下几个部分组成：麦克风阵列：声音从4个麦克风采集，采用有效的噪声消除和回声抑制（Acoustic Echo C

28、ancellation，AEC）算法，能消除20db的环境噪音，同时采用波束成型（Beam Forming）技术，可以通过每个独立设备的响应时间确认音源位置。红外投影机：主动投射近红外光谱，照射到粗糙物体、或者穿射毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（成为散斑），进而能被红外摄像头读取。红外摄像头：分析红外光谱，创建可视范围内的人体、物体的深度图像。彩色摄像头：用于拍摄视角范围内的彩色视频图像。仰角控制马达：可编程控制仰角的马达，用于获取最佳视角。Kinect传感器如图2.1所示，主要规格参数如表2.1所示。图2.1 Kinect传感器表2.1 Kinect传感器主要规格参数传感器特性

29、规格参数可视角度43垂直方向和57水平方向有效视野范围机械化倾斜范围（垂直方向）28帧率（深度和彩色图像数据流）30帧每秒（Fps）深度图像（默认）QVGA（320*240）彩色图像（默认）VGA（640*480）音频格式16kHz，16bit单声道（PCM）音频输入特性4个带有24bit的ADC和消除处理噪声的麦克风阵列通过固件升级，Kinect for Windows支持“近景模式”（Near Mode）。在该模式下，Kinect可视范围为0.43米，与默认模式的差别如图2.2所示。图2.2 Kinect的默认模式和近景模式2.2 Kinect驱动平台2011年6月随着Kinect for

30、 Windows SDK Beta版的推出29，在PC上对Kinect的应用开发工作便如火如茶的展开。2012年9月微软发布了Kinect for Windows SDK 1.6版本，1.6版本添加了许多新的功能：支持Windows 8操作系统，支持Visual Studio 2012，提供了加速计数据API(Accelerometer Data APIs)，扩展了的深度数据，提供了对彩色摄像头设置的API，对原始数据有更多的解码控制，提供了新的坐标空间转换API，对德语的语音识别包;新增红外发射控制API。由于微软并没有对Kinect的输出做任何加密，因此开发者可以开发基于Kinect的各种

31、应用，包括游戏应用和非游戏应用等等。本设计使用的是微软最新更新的SDK 1.8版本。Kinect for Windows SDK主要包括以下几个功能。骨骼追踪：对在Kinect视野范围内移动的一个或两个人进行骨骼追踪，可以追踪到人体上的20个节点。此外，Kinect还支持更精确的人脸识别。深度摄像头：利用“光编码”技术，通过深度传感器获取到视野内的环境三维位置信息。这种深度数据可以简单地理解为一张利用特殊摄像头获取到的图像，但是其每一个像素的数据不是普通彩色图片的像素值，而是这个像素的位置距离Kinect传感器的距离。由于这种技术是利用Kinect红外发射器发出的红外线对空间进行编码的，因此无论环境光线如何，测量结果都不会受到干扰。音频处理：与Microsoft Speech的语音识别API集成，使用一组具有消除噪声和回波的四元麦克风阵列，能够捕捉到声源附近有效范围之内的各种信息。Kinect for Windows SDK目前支持Windows 7操作系统和Windows 8操作系统，开发环境使用Visual Studio 2010 Express及以上版本，支持的开发语言包括C+、C#和VB.NET。通过K