中文设计报告.docx

1、中文设计报告2012年英特尔杯大学生电子设计竞赛嵌入式系统专题邀请赛2012 Intel Cup Undergraduate Electronic Design Contest - Embedded System Design Invitational Contest作品设计报告Final Report报告题目：增强现实黑板基于动作识别与图像追踪技术的课堂与远程实验室互动操作系统学生姓名: 王鑫 刘国阳 张嘉男 指导教师: 王建容 参赛学校: 天津大学 2012年英特尔杯大学生电子设计竞赛嵌入式系统专题邀请赛参赛作品原创性声明本人郑重声明：所呈交的参赛作品报告，是本人和队友独立进行研究工作所取

2、得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果，不侵犯任何第三方的知识产权或其他权利。本人完全意识到本声明的法律结果由本人承担。 参赛队员签名： 日期： 年 月 日增强现实黑板基于动作识别与图像追踪技术的课堂与远程实验室互动操作系统摘要在现实课堂中，由于条件限制，教师有时无法将实验室器材带到课堂上，因此虚拟远程控制实验室的概念应运而出。虚拟实验室是一种基于远程操控，虚拟仿真技术构建的开放式虚拟实验教学系统，是现有各种教学实验室的可控化和虚拟化。本文提出了通过摄像头识别，手势识别和图像追踪技术将实体实验室搬到课堂的解决方案。系统中的控制和识别，以基

3、于英特尔凌动处理器的嵌入式平台为核心，配合安装的摄像头，视频输出，投影设备，实现视频的采集，手势的提取，手势的识别，从而控制实验室设备，进而实现人对远程实验室的控制，为课堂虚拟远程控制的实验室提供参考方案。关键词：图像识别，手势，图像追踪，远程控制 Augmented Reality blackboard-classroom based action recognition and image tracking technology with a remote laboratory interactive operating systemABSTRACTIn real classroom co

4、nditions, teachers sometimes fail to laboratory equipment to class, so the concept of virtual remote control laboratory should be shipped out. The virtual laboratory based on remote control of virtual simulation technology to build an open virtual experiment teaching system is controllable and virtu

5、alization of the existing teaching laboratories. In this paper, a solution of a physical laboratory moved to the classroom through camera recognition, gesture recognition and image tracking technology. Using Intel Atom processor embedded platform as the core, the system is able to implement the cont

6、rol of the remote laboratory as a reference scenario for the class of virtual remote control laboratory with the installation of cameras, video output, projection equipment, video capture, extraction of gestures, gesture recognition and control of laboratory equipment.Key words: Image recognition, g

7、esture, image tracking, remote control目 录第一章 设计背景介绍-1第二章 系统方案介绍-12.1 系统模块划分-12.2 系统设备组成-22.3系统总体框架-22.4系统功能与指标-4第三章 系统实现原理-53.1硬件框架-53.2软件框架-63.2.1系统总体软件构架-63.2.2部分软件流程分解-63.3主要功能及其原理-73.3.1手势的采集、识别和映射-73.3.1.1 功能实现框架-73.3.1.2 手势识别模块-73.3.1.3 手图像采集-73.3.1.4对于图像的预处理-73.3.1.5 手图像特征的提取-83.3.1.6 SVM训练模型

8、-83.3.1.7 手势识别-93.3.2 系统开发环境的构建-103.3.2.1 Yocto系统介绍-103.2.2.2 构建开发者所需的Yocto Project Linux系统-113.3.2.3 Opencv在ubuntu 11.10环境中的开发环境搭建-123.3.3 基于飞思卡尔单片机模块的场景控制-133.3.3.1飞思卡尔单片机mc9s12xs128芯片概述-133.3.3.2 飞思卡尔单片机模块的控制- 143.3.3.3 程序固件工作流程-14第四章 实现功能与特色-154.1 实现功能-154.2 系统特色-154.3 关于系统测试-15附录 部分程序代码及参考文献-15

9、5.1 说明-155.2 舵机、试验车控制原理代码-155.3 串口通信原理代码-185.4 基于颜色的跟踪算法camshift的原理程序代码-19参考文献-25-第一章 设计背景介绍近年来，随着计算机性能的逐步提高和各领域对计算机使用的不断深入，人与计算机的交互活动越来越成为人们日常生活中的一个重要组成部分。而手势交互作为一种新的人机交互方式被越来越多地采用，特别是基于视觉的手势交互，由于其简单、自然、直观等特性已成为手势交互的重要方式之一。虽然至今仍是以使用键盘和鼠标为主，但其使用过程中暴露出来的不便捷、不自然，在很大程度上限制了人机交互的进一步发展。所以，为了使计算机朝着高性能、高智能和

10、高可靠性方面发展，我们需要更深度的研究人机交互活动。在现实课堂中，由于条件限制，教师有时无法将实验室器材带到课堂上，因此虚拟远程控制实验室的概念应运而出。虚拟实验室是一种基于远程操控，虚拟仿真技术构建的开放式虚拟实验教学系统，是现有各种教学实验室的可控化和虚拟化。在虚拟远程控制实验室中，老师既可以在课堂上传输理论知识，又可通过实验来让同学们理论联系实际，而且学生也可以在虚拟远程控制实验黑板上动手操作，有利于培养的操作能力、分析诊断能力。在虚拟远程控制实验室中，学生更易获得相关的知识，科学的指导和能力的反馈。 在此背景下，我们在本文中提出了摄像头识别，手势识别和图像追踪技术将实体实验室搬到课堂的

11、解决方案，即基于手势识别与图像追踪技术的课堂虚拟远程操控的实验黑板。本系统是以两个典型的力学实验场景（场景1：动量守恒实验 场景2：惯性实验）进行实验室实体方针。从整体构架来看，系统分为三层：手势采集和识别层、手势映射和控制层、实验场景选择与场景控制层。第二章 系统方案介绍2.1 系统模块划分从整体构架来看，系统分为三层：手势采集和识别层、手势映射和控制层、实验场景选择与场景控制层。“手势采集和识别层”的主体为手势识别模块，通过摄像头采集手势图像，经过傅立叶频率空间的滤波等操作，提取出手势区域，在通过CamShift 和光流算法，识别出手势的轨迹。当摄像头识别到一个开始信号时进入识别状态，不断

12、的提取出手势直到接受到结束手势或者超时时停止识别。摄像头价格低廉，体积小，摄像头和主机通过USB 连接线进行通信。“手势映射和控制层”的主体为手势映射模块，通过第一层获得的手势信息和提前存储的映射表，将手势映射成各种信号（例如：向左移动信号，向右移动信号等）。对于不满意的映射，通过修改其设置程序可以更改映射。“实验场景选择与场景控制层”的主体为一个用飞思卡尔单片机控制的模块控制实验场景的选择，及场景内部各个实验的演示。在这三层中，相邻的两层可以进行通信。第二层中，如需修改手势-信号映射表，可以外接显示器、键盘等外设进行修改。 2.2 系统设备组成表1 系统设备组成主体部分英特尔凌动处理器的嵌入

13、式平台 1个 USB 摄像头 2个1G DDR2 笔记本内存 1个160G SATA 硬盘 1个标配电源 1个串口数据线、USB 数据线及其延长线 若干画面输出部分投影仪 1个 投影幕布 1个 VGA接口线 1条2.3系统总体框架图1 系统总体框图图1所示为系统总体框架，摄像头1捕获手势，将手势信息传给主板，主板将手势“翻译”成信号。将信号转换成实验场景的选择与实验场景的操作，反馈到摄像头2上传回主板，并通过投影仪进行显示。图2场景框架图图2所示为场景框架图，在飞思卡尔单片机收到串口传来的信息后，对舵机控制进行场景1-2的切换，对各个电机的控制，实现各个场景的实验进行。图3 场景1场景1：为动

14、量守恒定律实验，小车A为动力车，小车B为被撞车，在飞思卡尔单片机控制下，小车A启动，撞向小车B。在实验结束后，通过电机A，电机B的引线牵引，将小车复位。图4 场景2场景2：为惯性实验，小车带动木块移动，当小车撞倒挡板的时候，木块由于惯性继续滑动，导致木块向前滑动一段距离，通过距离的计算方可得到一些实验结论；在实验结束后，通过电机C与电机D将小车与木块复位。2.4系统功能与指标2.4.1 手势与采集（1）采集距离1m-2m。（2）视频采集格式为MPEG2，分辨率为1280*720，帧速为30 frame/s。（3）光线充足时，不会产生明显延迟。光线昏暗时，会产生延迟并影响识别效果。2.4.2 手

15、势识别和映射（1）光线充足时，手势识别率可以达到85%90%。（2）光线不充足时，手势识别率可以达到60%左右。2.4.3 实验场景选择与场景控制层（1）接收指令后，摄像头角度是否改变。( 2 ) 场景选择。（3）场景内部实验进行。（4）实验场景恢复。2.4.4 映射表外部维护模块（1）通过外接显示器等外设可视化的维护手势-信号映射表。（2）映射表出现不可逆转错误时，可以手动复位。第三章 系统实现原理3.1硬件框架图5 系统硬件框架3.2软件框架3.2.1系统总体软件构架图6 系统总体软件框架3.2.2部分软件流程分解图7 手势采集流程图8 场景控制流程3.3主要功能及其原理3.3.1手势的采

16、集、识别和映射3.3.1.1 功能实现框架手势的采集、识别和映射功能的实现所采用的体系结构为三层：在最前端由USB 摄像头采集视频，通过USB 线传输到E6x5C主板上；手势识别模块接收到手势后通过一系列算法从视频中提取出手势；手势映射模块在接受到开始手势后（开始手势特殊处理，映射表中没有涉及），对于不同的手势进行查表映射成对应的信号直到接收到结束手势。3.3.1.2 手势识别模块摄像头传输过来的视频有很多噪点，同时HSI 直方图不均衡，不适合提取和识别手势。针对这种情况，本设计对于原始的视频进行了多次预处理后才提取手势。在预处理后，通过HMM 和CamShift 提取出手势模型。手势识别模块

17、框图如下：图9 手势识别模块3.3.1.3 手图像采集手势识别与其他的图像识别不同。而手势也与其他的图像不同，它没有现成的手势图像库可供使用。我们必须首先建立在各种条件下的手势样本库。手势由摄像头获取，样本库主要包括各种手势分割的黑白图像。具体的手势样本采集步骤主要分为以下两步：（1）可以用两种方法完成样本采集：请几位实验者在数字视频摄像头前做每类样本各个角度的数字手势，编写程序在摄像头获取的实时视频中，每隔一定的帧数（比如 10 帧）保存一帧图像，经过预处理后保存作为样本。在这个过程中控制周围光照强度变化，同时实验者改变手势的角度。另一种方法是程序与样本采集者交互，在实验者做好手势后，操作者

18、通过键盘和样本采集程序交互，实现从实时视频中人工选择样本保存。相比较第一种方法，第二种方法采集样本准确、全面，比如各种光照和各个角度下的手势样本，但是效率不如第一种方法高效。在本文中样本统一归一化为200*240像素大小。（2）逐个样本检查，去掉不理想的样本，比如采集样本时候手仅有部分在摄像头视野内，或者分割不理想的情况。为方便 Hu 矩程序提取样本特征，把选中的合格样本按一定规律批量命名后保存到相应文件夹。这样就建立起来了一个手势样本库。由摄像头获取的手势图像会因各种噪声的干扰和影响使图像质量下降。为了抑制噪声和改善图像质量，必要时可对图像进行平滑处理，这可以在空域或频域中进行，在平滑噪声时

19、以不损害图像中边沿和各种细节为准则。对于滤除图像中的噪声，人们已经提出了很多的方法。通常，将数字图像的平滑技术划分为两类：一类是全局处理，即对噪声图像的整体或大的块进行校正以得到平滑的图像，例如在变换域中使用 Wiener 滤波、最小二乘滤波等，使用这些技术需要知道信号和噪声的统计模型，但对于大多数图像而言，人们不知道或不可能用简单的随机过程精确的描述统计模型，而且这些技术计算量也相当大；另一类平滑技术是对噪声图像使用局部算子，当对某一像素进行平滑处理时，仅对它的局部小邻域的一些像素加以运算，其优点是计算效率高，而且可以多个像素并行处理，因此可实现实时或准实时处理。3.3.1.4对于图像的预处

20、理本系统采用用OpenCV 通用视觉库进行图像的运算和预处理操作，OpenCV的全称是：Open Source Computer Vision Library，是Intel公司支持的开源计算机视觉库。它轻量级而且高效由一系列 C 函数和少量 C+ 类构成，实现了图像处理和计算机视觉方面的很多通用算法，功能涵盖图像处理、计算机视觉和模式识别等领域。OpenCV实现了大量通用算法，涉及到图像处理、结构分析、运动检测、摄像机定标、三维重建以及机器学习等方面，并有较高的运行效率。OpenCV作为开放的数字图像处理和计算机视觉软件平台，有以下特点：（1）开放C源码。（2）基于Intel处理器指令集开发的

21、优化代码。（3）统一的结构和功能定义。（4）强大的图像和矩阵运算能力。（5）方便灵活的用户接口。（6）同时支持MSWindows和Linux平台。作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV可以直接应用于很多领域，作为二次开发的理想工具。具体的预处理流程为：首先利用傅里叶频率空间的滤波进行去噪处理，或者用形态学的开操作进行去噪；将RGB 空间转换成HSI 空间后，用近似的不等式筛选出肤色的部分，然后对其进行二值化，筛掉每一帧中的非肤色部分。3.3.1.5 手图像特征的提取一幅图像包含的信息量是巨大的。这样，如何从中提取一些具有代表性的特征信息表征这幅图像就是我们需要解决

22、的问题，而这些提取的特征信息就称为特征向量。我们知道，如果直接用原点矩或中心矩作为图像的特征，不能保证特征同时具有平移、旋转和比例不变性。为此，M.K.Hu首先提出了不变矩，他给出了连续函数矩的定义和关于矩的基本性质，证明了有关矩的平移不变性、旋转不变性以及比例不变性等性质，具体给出了具有平移不变性、旋转不变性和比例不变性的七个不变矩的表达式。七个不变矩是由二阶和三阶中心矩的线性组合构成，通过这些对于变换不敏感的基于区域的矩可以描述图像的形状特征。矩特征有着明显的物理和数学意义，也称Hu矩为几何矩。低阶矩主要描述图像的整体特性，如面积、主轴、方向角等;而高阶矩主要描述图像的细节，如扭曲度、峰态等。矩的一个特性是它是一种全局不变量，而且它对噪声不太敏感；矩的另一个特性是不管目标是否封闭，都能较好地识别目标。在本系统中使用了Hu不变矩特征量作为图像的特征向量来用作SVM的训练样本和预测样本。3.3.1.6 SVM训练模型支持向量机(Support Vector、 Machine)简称SVM。自90年代初提出以