22嵌入式多模态智能移动助行器项目可研报告Word文档格式.docx

1、随着我国经济的迅猛发展与人民生活水平的不断提高,预计在不久的将来,我国对高档电动轮椅也将有十分旺盛的需求。因此,为解决人口老龄化等带来的重大社会服务问题,为2025年实现我国“人人享有康复服务”的国家战略目标与社会协调发展提供技术支撑,研究并开发实用的智能轮椅具有非常重要的现实意义。1、2项目的必要性、紧迫性对于残疾程度较轻、肢体能动性较高且意识较好的人群,用户可以选择常规的手动控制模态,通过操作杆与按键来控制轮椅的运动。而对于残疾程度较高、肢体能动性较低的人群,用户可以选择通过语音来控制轮椅的运动。新用户只需花上几分钟的时间进行语音训练便可实现对智能轮椅的语音控制。在日常的生活环境下,用户也

2、可以选择超声波自主导航与图像自主导航模态来完成到目标点的路径规划与移动（如在卧室,客厅,厨房、阳台等地之间的移动）。同时,通过将超声波避障与语音播报技术融合到四种模态当中,轮椅能够自动判断就是否能够安全地执行用户给定的命令,并以语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强,运行更加安全、稳定可靠。因此,设计一种安全系数高、通用性强、小型化、人性化、智能化、成本低的多模态智能轮椅具有很大的实用性与必要性。因此本项目嵌入式多模态智能移动助行器关键技术研究开发与应用示范具有很大的必要性与紧迫性。1、3项目的市场需求智能轮椅将智能机器人技术应用于电动轮椅,也称智能轮椅式移动机器人。智能轮

3、椅融合了多个方向的研究,包括机器视觉、智能控制、机器人导航与定位、多传感器融合及人机交互等,涉及控制、计算机、电子、电气、机械等多学科领域。初期的研究,赋予轮椅的功能一般都就是低级控制,如简单的运动、速度控制及避障等。随着机器人控制技术的发展,移动机器人技术大量用于轮椅,智能轮椅有了更好的交互性、适应性、自主性。自1986 年英国开始研制第一辆智能轮椅以来,许多国家投入较多资金研究智能轮椅。如美国麻省理工大学WHEELESLEY项目、法国VAHM 项目、德国乌尔姆大学MAID 项目、西班牙SIAMO 项目、加拿大AAI 公司TAO 项目、欧盟TIDE 项目、KISS 学院TINMAN 项目、台

4、湾中正大学电机系LUOSON 项目等。我国智能轮椅研究起步较晚,在机构的复杂性与灵活性上与国外相比有一定差距, 但也根据自身特色研制出技术指标接近国外先进水平的智能轮椅。研究单位有中科院自动化所、上海交通大学与第三军医大学等。中国科学院自动化研究所研制了一种具有视觉与口令导航功能并能与人进行语音交互的机器人轮椅。此项研究成果于2000 年11 月通过“863”智能机器人主题专家组的鉴定,并研制出我国第一台多模态交互式智能轮椅样机。此项研究高度重视了智能轮椅人机控制界面的设计,在轮椅的设计中综合运用模式识别实验室有关图像处理、计算机视觉与语音识别等最新成果,使人能通过语音控制轮椅自由行走,轮椅可

5、以实现简单的人机对话功能。上海交通大学开发成功一种声控轮椅,主要就是为四肢全部丧失功能的残疾者设计,使用者只需发出“开”、“前”、“后”、“左”、“右”、“快”、“慢”、“停”等指令,轮椅可在1、2 秒内按指令执行。应用移动机器人技术于智能轮椅取得了一定的成效,基本上满足了行动不便人士要求,但也要瞧到智能轮椅目前主要还停留在实验室,并没有真正产业化,所以仍有很大研究空间。未来的研究将会向以下几个方向发展:1）智能化智能轮椅要走向实际应用,必须综合应用智能算法,优化算法,增强自助导航能力,如实现语音控制、视觉感知。此外,还应结合计算机通信、网络等技术以适应远程控制的需要。2）人性化系统设计者应充

6、分考虑行动不便人士的需求,从细微处出发,设计安全、舒适、合理的智能轮椅。另外可根据实际需要装配人体监测系统,智能轮椅使用者可以实时对自身身体状况进行监控。3）模块化智能轮椅要真正被广大用户接受、实现批量生产,必须降低价格。解决方法就是采用开放式模块化系统结构,整个系统应由基本模块与各个功能模块构成,每个功能模块负责一种功能,用户可以根据需求选择,配置最合适自身的轮椅。同时模块化也能降低成本,提高性价比。随着人工智能、电子技术、控制理论、计算机技术与传感器技术的发展,智能轮椅的功能将更为完善、丰富,也将真正进入老年人与残疾人的生活。发达国家老龄产业已成功地走向市场,老年人的公共支出就是年轻人的三

7、倍,己成为占第三产业比重很大的产业。相比而言,我国的老年人产业尚处于启动阶段,发展的空间与潜力很大;再加上今年来我国的经济快速增长,使老年人与残疾人的购买力明显增强,老年市场的巨大购买力将会充分显示出来。在目前中国智能轮椅市场中,中科院自动化所与香港力劲集团合作研发的智能轮椅,亦采用了多模态的融合技术,由于目前的智能轮椅基本上采用与移动机器人相同的技术方案,因而成本很高,只有一些特殊人群才能够使用而难以进入普通家庭。随着嵌入式技术的飞速发展,基于嵌入式系统的智能轮椅控制器将能很好的解决了基于通用计算机（笔记本电脑或嵌入式工控机）控制器所存在的成本高、功耗大以及续航能力差等问题。而本作品采用的即

8、嵌入式控制系统,除了轮椅本身的机构与动力系统,控制系统的成本、功耗等都就是相对很低的,一台智能轮椅的价格,不会比普通电动轮椅高出多少。我们的智能轮椅就是运用了用佛山市东方医疗设备厂有限公司的FS110A 型电动轮椅,市场售价在7000到10000元不等,即使将嵌入式芯片、传感器、控制器等硬件的价格计算在内,一台智能轮椅的成本价格亦可控制在10000元左右。这对于使用PC机等作为上位机的智能轮椅而言,价格就是十分合理的,易于被普通家庭所接受。而功能上大致相同的智能轮椅,在国外各科研机构的市场推广下,售价均在几万到几十万不等。同样,若就是采用与电动轮椅生产厂商合作的方案,亦能使我国本土的电动轮椅在

9、市场上更有竞争力！二、项目总体目标、主要内容与考核指标2、1项目总体目标本课题研究针对新冠肺炎防疫易感染人群、病残、老年等群体对疫情防控、隔离治疗、康复移动出行的需求,突破多模态新冠肺炎疫情防控智能移动助行辅具的智能感知、控制与交互技术、人机界面舒适性设计、疫情防控体温监测、环境感知与口罩佩戴识别等关键技术;开发具有自主知识产权的疫情防控预警、控制驱动、座椅支撑、姿态调节、环境感知、自主导航及越障、避障、康复训练等系统模块;研制多模态智能轮椅与助行器,达到模块化组装的便利性、多模态人机交互与操控的易用性、姿态调整与智能驾驶的安全性、座椅使用的舒适性、康复护理、疫情防护与宣传的可扩展性等要求;开

10、展智能移动助行器的疫情防控预警与检测方法、装置与标准研究,搭建防控监测平台,并进行应用验证。2、2项目主要内容2、2、1本项目主要内容如下1、智能智能语音与交互控制驱动系统:智能语音与交互控制技术采用凌阳16位单片机SPCE061A作为系统核心,利用语音识别技术提取语音特征参数并导入到智能控制中心构成语音模型库,将待测使用者语音信号与语音模型库中的模型进行相似度比较,通过测量轮椅到障碍物之间的距离识别成功智能轮椅做出运动决策,进行运动控制。2、疫情防控体温测量技术:智能轮椅上安装疫情防控红外测量体温设备,实时数据与智能轮椅机载电脑控制中心进行连接,控制中心结合当前所处疫情环境对轮椅使用者进行语

11、音播报提醒户主佩戴口罩及时到相关疫情防控医院就医,监测数据实时通过5G通信技术、云端服务器传输到新冠肺炎疫情防控中心后台。3、视觉环境感知及口罩佩戴识别技术:智能轮椅视觉感知系统能够自主的感知生活环境、能自主通过人脸识别用户就是否佩戴口罩,通过防控体温自主监测系统,控制中心自主决策来达到新冠肺炎疫情防控预警目的。预警数据通过5G移动通信与云计算技术实现数据推送给疫情防控管理指挥部或者相关医院值班人员。4、自主避障越障技术:机载电脑控制中心发出超声波自主避障越障技术采用超声波传感器作为外界信息感知传感器实现轮椅避障与越障自动控制,通过测量从发射超声波到接收超声波的间隔时间计算出轮椅到障碍物之间的

12、距离,由再采用适当的控制策略来实现轮椅的实时避障。2、2、2项目的具体方案设计智能轮椅由传感器、控制器、执行器与人机交互设备四大部分组成,总体结构如图2、2所示。图2、2 智能轮椅结构图传感器主要包括MIC、超声波传感器与图像传感器。MIC 将语音信号转化为电信号,通过SPCE061A的AD通道进行采集;超声波传感器用来测量轮椅与障碍物之间的距离,实现轮椅自主避障与导航;图像传感器用来对路面信息进行采集,通过AD转换得到数字信号图像,并由SPCE061A单片机完成采集与处理。控制器采用凌阳公司16位单片机SPCE061A,该单片机的资源不仅能够满足本作品的设计要求,而且SPCE061A单片机非

13、常适合语音处理应用领域。控制器实物图见图2、3。图2、3 多模态人机交互智能轮椅控制器执行器为两个24V永磁直流电机,通过差速控制轮椅转向。人机交互设备包括扬声器、LED显示屏及软件控制界面。扬声器用于播放语音提示,实现轮椅与用户之间的语音交互,LCD用于显示当前轮椅自身状态信息,LED则用于指示轮椅当前各种状态。人体温度监测（疫情防控功能）,通过红外体温监测语音提醒,根据新冠疫情肺炎防控预警技术要求测量体温,如体温超过37、5则进行语音播报发热预警信息数据并传输到控制中心,再通过云端服务器传输至疫情防控指挥部或者医护管理中心人员手机上。口罩人脸识别（疫情防控功能）,据新冠疫情肺炎防控预警技术

14、要求发热人群佩戴口罩,如在测量体温的同时视频传感器进行口罩佩戴识别,如不佩戴口罩则进行语音播报未佩戴口罩预警信息数据并传输到控制中心,再通过云端服务器传输至疫情防控指挥部或者医护管理中心人员手机上。语音识别及指令控制（疫情防控功能）,使用者提前录入咳嗽与讲话,前进、后退、停止、左转、右转等语音发声指令,如果使用者一直咳嗽不停,语音控制系统则把数据上传轮椅控制中心,控制中心分析默认有可能就是新冠肺炎疫情防控预警信息并将预警信息数据实时发送至疫情防控指挥部或者医护管理中心人员手机上;控制中心对其她使用者语音指令进行训练学习添加及识别,并进行个性化语音操控智能轮椅。2、3智能轮椅子系统设计2、3、1

15、 语音控制系统硬件设计语音控制系统的硬件主要都已集成在SPCE061A开发板上。MIC 将语音信号转化为电信号,AD 转换由SPCE061A片内AD完成。语音播放由扬声器与SPCE061A片内DA 实现。3、1、1 SPCE061A 开发板SPCE061A开发板不仅仅就是SPCE061A的最小系统板,板上还集成了语音处理的硬件电路,非常适用于数字语音应用领域。（1）专用10位AD通道与集成有AGC 电路的MIC 接口SPCE061A片内有两级OP运放:OPAMP1与OPAMP2。MIC输出电信号经过片内第一级运放OPAMP1放大,放大倍数受AGC（自动增益放大电路）控制,经过带通滤波,然后再经

16、过第二级运放OPAMP2进行放大,而二级放大的信号会与系统内的定义值进行比较,而根据比较的结果来调整OPAMP1的放大10倍数,这就就是SPCE061A片内AGC的原理。SPCE061A 在MIC 输入通道的CMP、AGC电路中需要很多外接的阻容元件。（2）专用10 位DA 通与扬声器接口图3、2 扬声器接口电路图SPCE061A提供了双通道DAC音频输出方式。在此方式下,DAC1、DAC2转换输出的模拟量电流信号分别通过AUD1与AUD2输出,DAC的输出端接一个负载电阻,将DAC输出的电流信号转换为电压信号。硬件电路很简单,如图3、2所示。2、4超声波自主避障模态设计2、4、1避障测距系统

17、的总体设计方案超声波发射多路模拟选通电路5V脉冲信号放大超声波接收信号滤波放大集成电路61A单片机12V脉冲电平信号障碍物图4、1 系统总体结构图系统采用SPCE061A单片机测量障碍物距离。超声波发射与接收的时间差就是超声波的渡越时间T,实际的障碍物距离D=CT/2（C为超声波在空气中的传播速度）。采用分布在不同的方向上的多路超声传感器循环探测障碍物。探测一路需要的时间约为10ms,一个循环（五路）需要50ms。系统的总体结构图如图4、1所示。先由单片机选通模拟开关,单片机的IOB9口发出40KHZ,幅值为5V的矩形脉冲信号,发射时间就是200us,经三极管与反向器升压稳压,再经过超声波换能

18、器发射超声波。当超声波遇到障碍物则返回,超声接收换能器将声波信号变成电信号。电信号经过接收芯片放大、带通滤波与整形触发,引发单片机中断,单片机计算渡越时间,再算出障碍物的距离。然后单片机再经过一系列的避障算法控制轮椅的运动。2、4、2测距系统的发射电路的设计本产品采用共振法来发射超声波,通过产生与超声波传感器固定频率相同的频率来驱动超声压电晶片,使压电晶片产生共振,从而产生超声波。共振法超声波测距由脉冲信号调制电路与脉冲信号放大路组成。利用单片机直接调制出40KHZ的信号,可以减少外部电路造成的干扰。发射电路（图4、2）经过反向器CD4069多次反向使输出的方波波形更加稳定,并且两个反向器的并

19、联能保证换能器有足够的能量发射超声波。图4、2 超声波发射电路图2、4、3超声波接收电路超声波接收电路由以下几个部分组成:前置放大、限幅放大、带通滤波、峰值检波、施密特整形输出电路。接收部分的放大与滤波非常重要,综合考虑,选用专用于红外线接收电路的芯片CX20106处理超声波回波信号。这样既可以减少干扰又可以保证有足够的放大增益,大大简化了电路,而且使得系统更稳定。2、4、4超声波接收电路图超声波的接收电路如图4、3所示,超声波换能器接在CX20106的1脚与地之间,经过CX20106的自动偏置控制电路、前置放大、限幅放大、带通滤波、峰值检波、积分比较与施密特整形电路,最后从7脚输出脉冲波形,

20、输出的波形触发SPCE061A单片机的中断,然后计算渡越时间,最后计算出障碍物的距离。图4、3 超声波接收电路图在超声波接收回路中串入增益调节及自动增益负反馈控制环节。采用AGC电路使放大倍数随测距距离的增大呈指数规律增加的电路,使接收器波形的幅值不随测量距离的变化而大幅度变化。采用电流负反馈环节能使接收波形更加稳定。2、4、5多通道超声波测距系统的设计为了获取足够的障碍物信息,本作品采用多通道测距测量轮椅的外部环境。图4、4 多通道的超声测距电路单片机通过控制多路选择开关决定5路通道分时工作的顺序。多路模拟开关采用CD4097。CD4097的X侧选择发送通道,Y侧选择接收通道。将61A的IO

21、B6、IOB7与IOB5分别与CD4097的A、B与C端相连,按顺序发出选择通道信号,每一路开关通断时间就是10ms,如果10ms没有测到距离信号就表明超时,这时认为该方向没有障碍物。在本产品中只采用5路的超声波传感器与多路模拟开关相接,一方面就是考虑到避障的实时性,传感器多了系统的测距循环时间就会加长,避障的灵敏度与实时性就会下降。同时模拟开关并不能完全地断开与导通。当一路闭合的同时,仍有少量的脉冲信号通过模拟断开的开关流到其它的传感器上,使其它路的传感器也能发射出很弱的超声波,造成干扰,影响测距效果。2、5电路板的制作安全可靠的电路板就是系统稳定工作的必要保证,本作品所制作的电路板,将系统

22、电源、凌阳61A单片机I/O口、驱动控制电路的手柄输入口以及超声波传感连接在一起,其电路图简单直观,安全有序,见下图。图4、5电路板电路图2、6 DA模拟手柄输出电路经过研究,手柄部分共六条线红、黑、黄、褐、蓝、白。输出四路信号黄、褐2路控制轮椅前进后退。蓝、白2路控制轮椅左转右转。（如表4、1所示）每两路的电压加起来等于5V,当黄线的电压高,褐线的电压低时,轮椅前进;反之轮椅后退,同理,蓝线高白线低时右转;白线高蓝线低时左转。本产品的DA模拟电路的B1、A1、A2、B2的电压输出分别代替了黄、褐、蓝、白四条线的电压输出。表4、1控制线电压及其对应的运动电压黄线B1褐线A1蓝线A2白线B2停止

23、2、5V前进2、5V-3、8V2、5V-1、2V后退左转右转所以通过两个DA转换器TLV5618的输出,代替了手柄的控制,其电路图如下图4、6所示图4、6 DA转换电路图TLV5618与凌阳61A单片机的3个I/O口相连,分别就是数据串口DIN、时钟信号SCLK、片选信号CS。MC14063只有3只脚有效,VDD、VSS、及供给DA2、5V的参考电压。2、7 避障算法的设计2、7、1避障策略由多路测距系统获知的数据,必须经过一定的算法处理才能进行正确的决策,所以制定初步的策略。一、左转优先的前进避障策略（1） 由前方3组传感器没有探测到障碍物,轮椅前进;（2） 如前方3组传感器在55厘米内检测

24、到障碍物时,优先判断就是否可以左转,当左边没有转向空间时,再判断就是否可以右方,左右都有障碍物时则轮椅停止前进。轮椅停图4、7左转优先的前进避障二、避开左右方逼近的墙面及设定左右安全距离 当轮椅前进状态下,常会遇到不断逼近的墙面及左右边突出的障碍物。所以制定了策略避开这些障碍物。对于墙面逼近（图4、8）,让单片机比较左右方几次测距的变化情况来调整轮椅运动轨迹,如果测到左方连续三次数据呈线性递减,且三个数都小于40厘米,则判定左方墙面逼近,此时判断右方就是否有足够转向空间,有则向右偏转一定角度后继续前进。考虑到对于突出障碍物,以及很短的墙面（图4、9）,系统可能还来不及判断墙面逼近,于就是对轮椅

25、系统设置了左右最小安全距离（20厘米）,当障碍物突然进到非安全区域时,同样判断另一边就是否有足够转向空间,有则向该方向偏转一定角度后继续前进。图4、8墙面逼近 图4、9凸出障碍物图4、10轮椅在死角及胡同内左右摆动2、7、2后退避障策略经过以上避障策略,能够避开一般的障碍物,但在轮椅的避障实验中,轮椅在遇到一些墙角与胡同,会陷入了避障的死循环,轮椅左转右转交替进行,却无法退出。为了摆脱这种状态,设计了使轮椅走出死角避障的相应策略,并使轮椅能在不同环境下转换相应的避障策略。所以设计了后退避障策略,在程序中,给轮椅设置了两个权值,顺畅度、滞留度。当前进顺畅时滞留度被清空,反之清顺畅度。当遇到死角前

26、进不畅,滞留度不断升高,积累到一定值的时候判断为进入死角,这时通过单片机改变轮椅避障状态,让轮椅后退,使轮椅退出死角。2、7、3后退避障与前进避障相结合在经过多次实验发现仅仅前进避障与后退避障两个状态转换还就是不够的,若轮椅就是右转退出退回到左转优先的前进避障,这时轮椅就会重新转入到死角里面,所以设置了四个状态其状态转移方式如图4、11所示。图4、11避障中的策略（状态）转移程序默认的开始状态就是左转优先的前进避障,进入死角或胡同时,先判断就是否有足够的空间让轮椅退出,如果有则转入退出状态。退出胡同或死角时,前方无障碍物,轮椅转为前进避障状态,其左右优先与转出前的优先相同,这样就不会二次进入原

27、先的胡同或死角。2、8主程序主程序主要就是通过扫描键盘,等候用户指令,而进如避障状态后会根据探测到的环境选择相应的避障策略。在避障过程中若用户按下停止键则退出避障循环。见图4、15。图4、15主程序流程图主程序采用键盘扫描,节约了SPCE061A单片机的中断资源,同时也减小了对测距的干扰,增加了轮椅实时避障的灵敏度。2、9视觉导航模态设计智能轮椅视觉导航系统主要由三个方面组成:检测系统,控制决策系统,动力系统。其中检测系统主要有三个选择:红外反射式传感器、CCD图像传感器与CMOS图像传感器。控制决策系统采用凌阳公司的16位单片机SPCE061A作为主控芯片。动力系统主要就是控制模拟操作杆产生

28、的四路模拟电压信号来控制直流电机的转速。整体的流程为,检测系统采集路径信息,经过控制决策系统分析与判断,由动力系统控制直流电机给出合适的转速,从而控制智能轮椅准确、稳定地行驶。2、10智能轮椅的机构模型图5、1 电动轮椅本产品的初始平台为电动轮椅（见图5、1）,智能轮椅最终要实现的功能就是能在室内有特殊标志的环境下实现视觉自主导航,实现该功能的首要条件就是要正确控制轮椅的运动,为此必须建立起它的机构模型,智能轮椅可以简化为一个矩形刚体模型,如图5、2所示:该刚体的长为60厘米,此长度为前后轮中轴之间的距离;刚体的宽为56厘米,此长度为两个后轮之间的距离。2、11视觉传感器的安装视觉传感器检测到

29、的就是环境的图像,图像中的黑色标识线就是控制决策系统所要得到的重要特征,所以传感器位置的安装非常重要。智能轮椅就是后轮驱动的,驱动轮的直径为27厘米,两个小前轮为万向轮,只起支撑作用,不影响轮椅的转向,传感器必须安装在驱动轮的前方,如果离驱动轮的位置太近,在轮椅快速运动的时候图像的信号会相对滞后,如果离驱动轮太远又会使传感器反馈的信息不能准确反应轮椅目前所处环境位置。所以视觉传感器的安装涉及的问题比较复杂,包括安装角度,安装位置就是否居中,伸出的长度,安装高度。这些都需要经过大量的调试来确定。图5、3 视觉传感器安装位置图将视觉传感器安放在距后轮20厘米的轮椅中轴线上,镜头中心离地18厘米,向下水平倾角115度,如图5、3所示,经过多次实验证明,这种安装位姿的控制效果较好。2、12视觉导航环境本产品采用的就是图像视觉导航中的特征标志匹配导航法,在室内浅色的地板上粘帖宽为1、8厘米的黑色胶带作为导航标志,如图5、4所示。项目中使用特征标志导航有以下几点原因:首先就是特征标志导航安全准确,其次,特征标志导航的处理速度快,系统的反应速度也可以更快,再者,在地面上做标志简单易行。2、13视觉导航系统的硬件设计实验平台的硬件包括OV6620数字摄像头,SPCE061A单片机,USB通讯模块,控制对象四大部分组成。2、14视觉传感器的选择视觉传感器主要