华中科技大学移动机器人项目申请书.docx

1、华中科技大学移动机器人项目申请书OpenHW12开源硬件与嵌入式计算大赛计划书【机器人专题】项目名称： 指导教师：xxx（ 职称 电话 邮箱）项目组成员：xxx、xxx、xxx、xxx Xx大学xx系Xx年xx月xx日目 录1 项目概述 11.1 项目背景 11.2 现有应用平台 21.3 基于Zynq平台的移动机器人应用前景 32 项目技术基础 42.1 飞思卡尔智能车大赛 42.1.1 系统架构 42.1.2 具体实现 52.2 瑞萨智能车大赛 62.2.1 系统架构 72.2.2 具体实现 82.3 第三届OpenHW开源硬件与嵌入式大赛 82.3.1 系统架构软硬件协同设计 92.3.

2、2 具体实现 113 混合实时移动机器人平台的设计 133.1 项目简介 133.2 系统结构 133.3 具体设计效果 164 参赛队人员信息 20附录 项目设计时间节点 211 项目概述1.1 项目背景移动机器人是一种在复杂环境下工作的，具有自行组织、自主运行、自主规划的智能机器人，融合了计算机技术、信息技术、通信技术、微电子技术和机器人技术等，是目前科学技术发展最活跃的领域之一。随着机器人性能不断地完善，移动机器人的应用范围大为扩展。根据应用领域的不同，移动机器人主要可以分为四类：工业机器人、服务机器人、军事机器人、探索机器人。图 1.1 移动机器人的应用工业机器人是自动执行工作的机器装

3、置，是靠自身动力和控制能力来实现各种功能的一种机器。工业机器人在工业生产中能代替人做某些单调、频繁和重复的长时间作业，或是危险、恶劣环境下的作业，例如在冲压、压力铸造、热处理、焊接、涂装、塑料制品成形、机械加工和简单装配等工序上，以及在原子能工业等部门中，完成对人体有害物料的搬运或工艺操作。日本EPSON公司生产的六轴机械手，可以完成高速度、高精度的拼装、搬运、传送等操作，提高了产品的性价比。在激烈的市场竞争中，广泛采用工业机器人实现自动化生产是推动企业发展的有效手段。服务机器人是一种半自主或全自主工作的机器人，它能完成有意于人类健康的服务工作。服务机器人的应用范围很广，主要从事维护保养、修理

4、、运输、清洗、保安、救援、监护等工作。近日，日本NSK公司发布了一款导盲犬机器人，采用微软的Kinect进行探测，掌握周围地形环境之后便指导盲人行走，帮助盲人更有效地避免各种障碍，更好地完成爬楼梯等工作。随着信息网络、传感器、智能控制、仿生材料等高新技术的发展，以及机电工程与生物医学工程等的交叉融合，使得服务机器人技术发展呈现智能化、网络化、生机电一体化的态势。军事机器人是为了军事目的而研制的自动机器人。在海湾战争中，先锋无人机为美军进行空中侦察，拍摄了大量的伊军坦克、指挥中心、及导弹发射阵地的图像，并传送给直升机部队，为战斗提供了决定性的信息。在未来高技术战争的大环境中，军事装备将向无人化与

5、智能化谋求出路。未来战场上，军用机器人的应用将不可避免，它既可使作战部队面临的风险降到最小，又可使作战手段多样化，将大大增强作战能力和战场指挥官的应变能力。探索机器人主要包括行星探测移动机器人、海洋探测机器人、油井故障探恻机器人、井下探测机器人等。1997年美国国家航空航天局发射的火星探路者号宇宙飞船成功地在火星表面着陆。探路者登陆器上带有各种仪器及“索杰纳”火星车团。这是上世纪自动化技术最高成就之一。人类探索的脚步越走越远，在很多人类无法到达或者很难到达的地方，探索机器人都将起到了举足轻重的作用。1.2 现有应用平台移动机器人应用领域的不断扩展和电子技术的日新月异，促使移动机器人软硬件平台逐

6、渐丰富。（1） 主控芯片：根据控制要求可以采用X86、ARM、DSP、PowerPC等架构的CPU；（2） 硬件外设：传感器、控制器、驱动器、执行机构等等，都提供了数不胜数的元器件选择；（3） 操作系统：商业化的WinCE、Vxwork，开源的linux、C/OS等等，都广泛应用在各类移动机器人当中；（4） 开发工具和应用框架：微软的Microsoft Robotics Developer Studio，以及开源的Player、OpenJAUS、ROS等等，都大大加速了移动机器人的开发。1.3 基于Zynq平台的移动机器人应用前景ZED开发系统采用Xilinx Zynq-7000系列处理器。Z

7、ynq-7000系列处理器基于Xilinx可扩展处理平台，单片处理器拥有双核ARM Cortex-A9处理系统和28nm Xilinx可编程逻辑单元。其中ARM Cortex-A9双核可以分别移植实时操作系统和通用操作系统实现系统任务实时管理、人机交互以及高性能扩展等功能，可编程逻辑单元通过动态重配置可以实现不同外设接口的连接。高速片内AXI总线实现信息在Zynq-7000处理单元间的无缝传递，丰富的外部设备接口保证Zynq-7000处理器对系统状态的实时监测。相比数字信号处理器（DSP, digital signal processor）和个人电脑（PC, personal computer

8、），基于可编程逻辑单元的控制器可以发挥其并行处理的优势，用更短的时间消耗实现复杂的算法。这样，采用Zynq平台来实现一套架构完整的移动机器人平台设计，从底层的传感器数据采集、图像处理、运动控制等算法，到系统上层的人机交互、基于模型的计算机辅助调试功能，都能在一块芯片中完成。另外，借助Zynq本身ARM Cortex-A9双核加上可编程逻辑单元的异构架构，以及内部高速总线AXI通信机制，采用嵌入式软/硬件协同设计的方式进行开发，可以力求在开发效率、开发成本和系统性能等方面得到全面的优化。同时，基于Zynq平台的设计与ASIC（application-specific integrated cir

9、cuit）相比，该方案通用性优势明显，且系统成本大幅度降低。2 项目技术基础2.1 飞思卡尔智能车大赛“飞思卡尔杯”全国大学生智能汽车竞赛是受教育部高等教育司委托，由教育部高等学校自动化专业教学指导分委员会的赛事。该竞赛设立光电组、摄像头组、电磁组、创意组等多个赛题组别，吸引了全国30个省市自治区近400所高校广泛参与。大赛要求在规定的模型汽车平台上，使用飞思卡尔半导体公司的16位或32位微控制器作为核心控制模块，通过增加道路传感器、电机驱动电路以及编写相应软件，制作一个能够自主识别道路的模型汽车，按照规定路线行进，以完成时间最短者为优胜。飞思卡尔智能车大赛是华中科技大学瑞萨实验室的传统竞赛项

10、目，在2010到2012年三届智能车比赛中，共获得特等奖一项，一等奖五项，处于国内一流水平。图 2.1 2012年参赛作品2.1.1 系统架构智能汽车是一个完整的系统，既含有硬件也包括软件，属于典型的嵌入式系统。根据智能车的软硬件需求，我们设计了一套三个赛题组通用的系统架构，增强了软硬件的可移植性。图 2.2 系统架构硬件平台包括比赛规定的飞思卡尔车模和基于ARM Cortex-M4的电路平台，经过专业的设计和制作，确保整体硬件平台的可靠性和稳定性。软件平台采用三层结构，自底向上分为设备驱动层、硬件抽象层、应用层。所有代码采用模块化标准模版设计，降低层与层之间、模块与模块之间的耦合。2.1.2

11、 具体实现以获得全国总决赛特等奖的电磁直立智能车为例，智能车采用加速度传感器和陀螺仪作为直立传感器，电磁传感器作为循线传感器，根据赛道导线中的交变电流，进行自主导航，具体的实现效果如下图所示。图 2.3 电磁直立智能车的实现2.2 瑞萨智能车大赛超级MCU模型车大赛是我国规模最大的大学生技能活动“全国大学生IT&AT职业技能大赛”的最重要常规赛事，由教育部管理信息中心主办，赛迪顾问承办。自2007年以来，该项赛事已成功举办了五届，大赛要求参赛队需以瑞萨MCU为核心控制模块，自行设计赛车的机械结构及外围电路，并对控制行车的MCU进行编程，组装制作成具有自动识别功能的MCU汽车模型，最终在赛前未知

12、的赛道上完成自动开闸发车，按照规定路线行进，以完成时间最短者为优胜。瑞萨智能车大赛是华中科技大学瑞萨实验室的传统竞赛项目，迄今为止已获取四连冠的好成绩。图 2.4 2012年参赛作品2.2.1 系统架构智能车系统按照模块划分可以分为机械、电路、程序，前两者也可归结为硬件部分。智能车系统的总体架构如下图示。机械部分主要包括机械建模、模型仿真、材料选择、加工成型、组装、调试等。瑞萨智能车采用中轴式转向结构，类似于摩托车或者拖拉机的转向方式，以maxon电机作为转向的驱动电机。智能车的前进动力来自于四个电机，每个电机驱动一个轮子，以四轮驱动的方式动力更强、反应更迅速。电路部分采用组委会提供的搭载有R

13、8C/38A芯片（16位微控制器）的最小系统板，按照其引脚分配图自行设计驱动电路板。驱动板包括电源管理模块、电机驱动模块、人机交互模块、反馈模块、传感器模块等。软件部分的任务主要是协调硬件资源，对赛道信息进行实时判断并作出最终决策向硬件部分发送行动命令，也就是说，软件部分是智能车系统的指挥部。其主要分为底层驱动、高层算法、调试程序等。图 2.5 系统总体架构2.2.2 具体实现图 2.6 基于光电模拟传感器的智能车实现效果2.3 第三届OpenHW开源硬件与嵌入式大赛参与比赛项目：第三届OpenHW开源硬件与嵌入式大赛，项目名称为“基于软硬件协同处理的小型轮式机器人平台”，项目连接：http:

14、/www.openhw.org/project/index_view_1945.html。图 2.7 项目最终成果展示图该项目中使用Xilinx公司Spartan 6系列FPGA芯片XC6SLX16和ARM7处理器NXP LPC2478基本结构，设计一种层次化的处理平台、三种类型协处理架构以及通用协处理片内结构，并在轮式机器人应用中进行具体设计，完成了数字图像处理、双闭环运动控制、点阵液晶显示、智能手机平台控制。结果显示，软硬件协同处理的架构和设计开发方法不仅大大提升了系统性能，更加快了开发进程。该平台在工业控制领域具有一定广泛意义和推广价值，该架构下的轮式机器人适合研究自动驾驶、自动泊车、图

15、像处理、智能控制算法等机器人应用。2.3.1 系统架构软硬件协同设计该项目提出并设计了一种通用的软硬件协同处理架构，具有良好的综合性能和可扩展性，能满足小型嵌入式系统的诸多需求。系统架构由低到高可概括为三个层次：数据平面层（包含传感器与驱动器）、实时控制层、高性能处理层，具体结构如下图2.2所示：图 2.8 处理平台架构系统采用串行计算的MCU（ARM7）和并行计算的FPGA（Spartan6）这样的AMP架构，处理器间高效的通信将是提升整个系统性能的关键，基于开发经验，该平台采用了EMC与SSP这样串并结合的通信方式，具体内部结构图如下图2.3所示。FPGA相对CPU的特点在于并行计算能力和

16、高速，因此适合于处理批量数据流，在该项目中，FPGA负责数字图像处理、运动控制、图像人机接口等典型应用的底层密集数据流。而CPU相对硬件的特点是复杂函数计算，实时嵌入式操作系统TOPPERS在ARM7上的移植可以丰富系统的应用及加强实时性，同时结合丰富的协议栈及应用支持，系统功能可以得到较大扩展。利用ARM处理复杂控制流并扩展功能、利用FPGA处理密集数据流，正是该平台最显著的特点。图 2.9 内部结构框图2.3.2 具体实现ARM7主控制器方面移植TOPPERS/ASP实时操作系统，并且实现了USB主从协议栈，以太网协议栈，文件系统等组件，ARM通过EMC总线访问FPGA的资源，这样只要定义

17、好访问规则以及含义就像访问一个普通的外设一样方便。 我们在FPGA内部实现了摄像头采集的图像信息的处理，电机的双闭环控制，以及小型黑白字符点阵液晶的控制，数字图像处理部分实现效果如下图示：图 2.10 FPGA完成数字图像处理效果的液晶显示图同时由于ARM控制器内部实现了实时操作系统，在ARM端可以实现FPGA中不好实现的复杂函数计算相关控制算法并且保证算法的实时性，同时通过ARM的以太网接口连接到小型USB供电的路由器上，建立了一个小型的无线局域网，并且已经在上位机中开发了一款基于android系统的应用，可以通过wifi连接到这个无线网络，来和ARM进行网络通信，由于我们自己定义好了一套基

18、于TCP和UDP的 传输协议，其中TCP主要负责可靠的数据传输，用于发送控制命令，UDP主要用于传输大量的数据，这里我们将摄像头采集到的实时图像返回到android客户端，并且可以实时显示。通过定义好的通信协议我们可以通过android客户端做更多更高级的算法处理，将处理结果通过网络传输回去。图 2.11 基于机器视觉的导航控制系统为了验证系统的实时控制能力，我们还实现了小型轮式移动机器人的循线控制，通过摄像头采集赛道上的数据，FPGA进行图像预处理，FPGA通过外部中断的方式通知ARM控制器图像预处理完毕，ARM就从定义好的存储位置获取处理后的图像，将其进行简单的运算，获取路径信息，给出合适

19、的速度和角度，然后通过对FPGA定义好的运动控制寄存器设定每个电机的速度，这样形成一个周期性的控制，就可以实现循线的目标，最终效果图如下图2.6示。图 2.12 移动机器人循迹效果图3 混合实时移动机器人平台的设计3.1 项目简介根据之前介绍的一些项目基础，进行总结分析，目前主要存在的问题是种类繁多，架构不统一，传感器接口不兼容，缺乏网络功能进行分布式协同控制。这些问题主要是由于处理器的性能受限所造成，基本软、硬件设计划分很明显，这样的设计必然会造成处理效率低，资源消耗不合理，虽然上届参加的OpenHW比赛中是采用的ARM7结合FPGA（Spartan6）两片芯片构成AMP架构来实现软硬件协同

20、设计，但是由于两个处理器间的通信使用片外异步总线EMC，数据传输速率受限，致使软硬件协同设计的优势并不能发挥到极致。现在，使用ZED平台（双核ARM Cortex-A9处理系统和28nm Xilinx可编程逻辑单元）进行设计，处理器性能得到了极大的提升，因此上述的问题都可以得到解决，进而设计一种功能更加完善，架构统一，组件化设计的移动机器人平台（这里我们称为混合实时移动机器人平台），另外使用ZED开发平台可以实现片内AMBA AXI总线，大大提高通信速率，对于软硬件协同设计也很有促进。3.2 系统结构系统整体设计架构如下图3.1所示：图 3.1 系统整体架构ROS（机器人操作系统，Robot

21、Operating System），是一个开源的元级操作系统，依托其他计算机群的操作系统提供类似于操作系统的服务，包括硬件抽象描述、底层驱动程序管理、共用功能的执行、程序间消息传递、程序发行包管理，它也提供一些工具和库用于获取、建立、编写和执行多机融合的程序。ROS在分布式处理框架的基础上，可以执行若干种类型的通讯，包括基于服务的同步RPC（远程过程调用）通讯、基于Topic的异步数据流通讯，还有参数服务器上的数据存储。这些过程可以封装到数据包（Packages）和堆栈（Stacks）中，以便于共享和分发，提高了代码的复用率。ROS的加入，可以大大加快移动机器人的分布式设计与控制，增强了系统的

22、扩展性和可靠性。ARM Cortex-A9处理器内核主要负责人机交互、系统通信、任务管理和部分实时控制等任务，其分别移植通用操作系统（GPOS, general purpose operating system）和实时操作系统（RTOS, real-time operating system），通过SafeG进行统一管理。通用操作系统主要用于管理人机交互任务和系统通信，可实现本系统与手持设备或PC机的连接；实时操作系统主要管理系统的实时控制任务，合理分配系统资源。并且可通过内部总线（AXI）与Zynq可编程逻辑进行数据交换，实现系统高速并行处理，具体结构如下图3.2示。图 3.2 PS端系统处

23、理架构Zynq可编程逻辑单元主要是实现密集数据流的信号处理和复杂控制算法，包括数字图像处理算法的实现，双闭环运动控制的实现，通用多传感器信息采集等，这些都可以利用可编程逻辑单元的并行处理结构实现实时处理，具体结构如下图3.3所示。图 3.3 PL端系统处理框架图3.3 具体设计效果本项目利用基于Xilinx Zynq-7000系列处理器的ZED开发系统，完成一种混合实时移动机器人平台的设计，预计设计效果如下：(1) 数字图像处理实现数字图像处理技术分为两大类应用，一类是为了方便人们进行分析而对图像信息进行的改进，另一类是为了应用于机器自动控制而对图像数据进行的处理。在本项目中，主要也是分为两部

24、分，一部分是对于视觉传感器的信号采集以及实时显示，另一部分则是针对特殊应用的有效信息提取，例如特定物品的识别，循迹路线的提取等。具体在ZED平台上的实现架构如下图3.4所示，密集数据流的数字图像处理算法交由PL端完成，充分利用其并行处理特性，加速算法的实现，图像的实时显示以及高层复杂控制算法则交由PS端完成，最终可以完成一定的循迹功能，实时图像回显，特殊物品识别等功能。图 3.4 数字图像处理系统(2) 运动控制算法的实现实际的小型移动机器人平台中，一般供电电源系统都是使用充电电池，在电机猛烈加减速的过程中，电池电压势必降低，如果电池电压波动太大，必然影响数字系统的稳定性。因此为了实现直流电机

25、转速和转矩的精确控制，需要在运动控制系统中引入速度负反馈控制环和电流负反馈控制环，实现小型移动机器人平台上的双闭环控制系统，具体架构如下图所示。图 3.5 电机速度环、电流环双闭环控制框图使用FPGA实现运动控制系统有着相当大的优势，因为使用PI或者PID调节器实现对电机的速度闭环或者速度、电流双闭环计算有着相对固定的计算格式，并且逻辑判断相对较少，同时运动控制系统使用速度、电流双闭环控制时对计算速度要求高，所以在应用ZED平台进行实际设计时，运动控制这一部分（PWM模块，PID控制器，编码器正交解码，AD芯片的SPI接口）主要是放在PL中进行实现。(3) 多传感器信息融合，组件化设计由于机器

26、对环境的不可知性，移动机器人要完成一定的任务则需要借助传感器感知周围环境信息。传感器根据功能的不同分为多种类别，例如视觉传感器、声传感器、加速度传感器、湿度传感器等，进行移动机器人系统设计时，则是根据当前需求进行选取相应的传感器。当然，要求实现复杂功能时就需要选择多种传感器进行协同设计，这时就涉及到了通过一定智能算法实现多传感器信息的融合，从而获取有效信息。本项目中前期主要是考虑通过数字摄像头，陀螺仪，超声波测距传感器等感知周围环境信息，通过一定算法得到移动机器人以及周边特定物体的位置信息，进而完成一定的控制功能。硬件上的设计则充分利用可编程逻辑单元的特性，考虑组件化设计，对多种常用传感器进行

27、接口上的归类统一，这样的设计更显平台化，通用性，在日后特定的应用场合需要特定的传感器时，可以直接更换，无需考虑硬件上的设计，这也为后期项目进行功能上的扩展提供了方便。这种模式就跟市面上的乐高机器人是一样的效果，多种传感器可随意更换。(4) 分布式网络控制分布式网络结构主要由处于分布式框架ROS中的多个节点通过wifi无线网络互连而成。每一个移动机器人作为独立的节点，具有固定的IP地址，在自身高性能扩展层和终端控制节点的Linux系统中装有ROS节点控制程序。多移动机器人根据节点控制程序的信息，通过ROS通信模块实现P2P的松耦合网络连接，不仅可以使每个机器人单独运行，也可以使多机器人协同操作。

28、作为终端节点的智能手机、平板电脑、PC机，也可以作为分布式节点通过无线网络加入系统，实时显示机器人的状态信息，或者向机器人发送操作指令。另外，终端节点通过无线网络或者USB直接连接到机器人的高性能扩展层，可以利用节点的传感器和处理器，构成分布式传感器和处理器阵列，大大提高移动机器人的功能特性和处理性能。图 3.6 分布式网络控制架构(5) 软硬件协同设计方法传统嵌入式系统设计过程中，系统在一开始就被划分为软件和硬件两大部分，软硬件之间的交互受到很大限制，设计修改困难、研发周期不能保障，系统研发成本较大。为了解决这一尖锐矛盾，基于软硬件协同设计（HW/SW Co-design）的平台化方法应运而

29、生。基于软硬件协同设计平台化方法中，设计方法转向软硬件协同的系统级设计，这样就能较好地优化和权衡性能、成本等各种设计指标，并大大提高设计效率。本项目使用ZED开发平台进行开发设计，软硬件协同处理架构的关键是异构处理器间的通信方式，可以采用片内AMBA AXI总线进行通信，大大提高通信速率，对于进行软硬件协同设计很有促进。项目采用软/硬件协同设计方式进行开发，针对系统需求进行软/硬件协同划分，在硬件开发的同时进行软件设计与实现，并及时根据实现性能进行协同和调整，这样能有效降低软件处理负载，开发效率高，并且易于根据用户需求开发定制型服务和扩展功能。4 参赛队人员信息项目主要负责人：胡灿队员姓名单位研究技术领域邮箱手机地址邮编方华启华中科技大学控制系嵌入式系统设计fanghuaqi湖北省武汉市洪山区珞瑜路1037号华中科技大学启明学院905室胡灿华中科技大学控制系嵌入式系统设计hucan7湖北省武汉市洪山区珞瑜路1037号华中科技大学启明学院905室胡春旭华中科技大学控制系嵌入式系统设计huchunxu湖北省武汉市洪山区珞瑜路1037号华中科技大学启明学院905室熊枭华中科技大学控制系嵌入式系统设计xiongxiao湖北省武汉市洪山区珞瑜路1037号华中科技大学启明学院905室附录 项目设计时间节点