基于运动想象脑电的特征提取在智能轮椅控制方面的应用与研究可行性报告.docx

1、基于运动想象脑电的特征提取在智能轮椅控制方面的应用与研究可行性报告附件1 项目可行性报告基于运动想象脑电的特征提取在智能轮椅控制方面的应用与研究一、立项背景和依据1、项目的研究目的及意义联合国发表报告指出全世界人口老龄化越来越成为关注的焦点，预计在50年内，60岁以上所占人口比例将会翻一番，截止2014年3月，我国老年人口已达到1.94亿，在2051年将达到4.37亿。另外由于各种交通事故、天灾人祸和各种各样的疾病，使得很多人丧失一些能力而成为残疾人。这种社会现象促进了智能化服务机器人在助老、助残方面的巨大应用。同时积极应对人口老龄化和加快残疾人事业发展属于“十二五”的主要内容，构建辅助器具适

2、配体系，推进无障碍建设是“十二五”期间的公关点。因此，加快辅助器具的研发，为残疾人和老龄人等提供高性能低成本的智能化助残器械，可以有效地保障和改善老龄人及残疾人的正常生活。操作普通轮椅需要健全的肢体，行动不方便的人们无法很自由地对轮椅进行操作控制。肢体功能不健全的人的思维与正常人基本上没有差别，操作者本身具有脑电生理信号可以用来控制高性能智能轮椅。研究高新能的脑电信号控制智能轮椅是切实可行的，因此引起了国内外研究者的关注，已经成为康复医学和控制领域的热点课题之一。许多国家对脑电信号控制智能轮椅进行了研究，是为了给老年人以及残障人士提供性能优越的代步工具。智能轮椅是一种服务性机器人，能作为老年人

3、和残疾人代步工具。在一定程度上能解决上述人群的不便问题，极大的方便了肢体残缺和肢体功能缺失的人士，在现实生活中为他们提供了诸多便利。但是，目前市场上普通轮椅的操作操作需要较高的肢体能动性，导致肢体功能缺失人士并不能自主、自由地操作控制轮椅，大部分需要在监护人的协助下才能有效对轮椅进行操作控制。操作者渴望独立自主、有效地控制智能轮椅。操作者本身具有的脑电生理信号为高性能智能轮椅的研究提供了积极的思路。大部分肢体功能缺失人士的思维与正常人无异，因此研究高性能的脑电控制智能轮椅是切实可行的，也是十分迫切的。脑电信号控制智能轮椅的研究，引起了国内外研究者的兴趣和关注，逐渐成为生物医学工程领域的研究热点

4、。以使用者为核心的脑电信号控制智能轮椅的研究，关键是脑机接口（Brain Computer Interface，BCI）技术的研究。随着，BCI 技术研究不断进展，研制基于脑电信号控制的，高性能、低成本、安全可靠的智能轮椅正在成为现实。BCI技术（脑机接口）的研究为残障人员提供了一种新的信息交流和控制手段，很多神经肌肉紊乱都会阻断大脑与外界环境的信息交换及对其的控制通道。随着计算机技术和脑功能研究的不断渗入和发展，脑机接口技术在康复医学和辅助控制领域显示了重要的研究价值和应用前景，它为那些思维正常但有严重障碍的患者提供语言交流和环境控制途径，大大提高了其生活质量。在BCI系统中，通过提取患者头

5、皮表面或颅内大脑皮层的EEG信号，然后对信号提取出能反映使用者意图的脑电特征，再将这些特征转化成可以操作外部设备的命令，以此来实现患者和外部的沟通和交流。研究脑电信号控制智能轮椅，对提高智能轮椅的安全性、可靠性、实用性，缩短我国智能轮椅技术与国外智能轮椅技术的差距，推动我国智能轮椅行业的发展都具有重要的意义。此外，研究脑电信号控制智能轮椅，能为肢体功能缺失人士提供自主控制、高性能的代步工具，提高他们生活自理能力，弥补生理缺陷所引起的肢体功能缺失，帮助他们重新树立生活信心，对维护社会和谐稳定，推动社会又好又快发展等方面具有重要的意义。2、研究现状分析与评价 BCI研究是智能信息处理领域的热点研究

6、领域，到目前为止，已经取得了许多令人瞩目的成果。脑机接口的分类方法有很多，主要有以下几种：根据信号的产生方式可以分为基于诱发电位的脑机接口和基于自发脑电的脑机接口；根据系统的工作方式可以分为同步脑机接口和异步脑机接口；根据脑电信号记录的位置不同，BCI可以分为侵入式BCI和非侵入式BCI。在西方一些发达国家，智能轮椅开始实现了初步的应用。现在有很多研究机构正积极地为脑机接口技术在智能轮椅上应用进行了相关的尝试和研究工作。然而智能轮椅现在还存在诸如控制上的准确性和可靠性不高，实际应用相关的技术手段尚未成熟等问题。国内很多研究者也取得了很多关于智能轮椅的成果，包括中科院自动化所得多模态交互智能轮椅

7、，上海交通大学的多功能智能轮椅等，由于能识别的脑电模式有限，很难提供多个控制信号。华南理工大学设计的电动轮椅实现了左右转向、移动加减速变换的功能，但是需要长久的眼睛注视屏幕，在实际操作中容易疲劳，且P300方法的实时性相对较差。综合国内外的研究发现，实现基于脑电信号控制的电动轮椅系统将是一个十分有意义的研究方法。未来智能轮椅将会向智能化、人性化、模块化发展。本项目针对上述现有问题的缺陷，尝试设计一种基于多模式分层控制的脑机接口智能轮椅，所解决的技术问题是：决策融合的方法是将睁眼和闭眼两种情况分别作为选择是“控制方向”还是“控制速度”的方式，来配合运动想象脑电识别的结果来实现多模式识别分类，进而

8、实现轮椅的控制。本项目将体现人体运动控制意愿的想象左右手和反映选择行为的睁闭眼相结合，提高了控制系统的信息传输率和控制信息的可靠性，达到了电动轮椅前进、左转、右转、后退、停止、加速、减速运动的目的。多模式分层控制的脑机接口智能轮椅能够在一定程度上更加准确、快速、可靠地感知使用者的控制意图，帮助使用者自助有效地操纵康复辅助器具，完成部分肢体替代运动，以此改善老年人和残疾人的生活质量和社会参与能力。二、研究方案1、研究目标、研究内容和拟解决的关键问题研究目标 本项目旨在对左右手运动想象的脑电信号进行研究，利用盲源分析方法对原始脑电信号进行分析和特征提取，尝试设计一种基于多模式分层次控制的脑机接口智

9、能轮椅，可以较为准确的识别受试者的指令，从而完成对轮椅的控制，实现前进、后退、左转、右转、加速、加速等功能。研究内容脑电信号的采集脑电信号的采集分为植入式和非植入式两种。植入式电极需要进行开颅手术，在头骨下皮层处安放电极，可以避免肌电和运动伪迹等的干扰，具有较高的信噪比、时间和空间分辨率，植入式电极主要用于严重脑部损伤患者的BCI研究。本课题中，主要面向脑部正常而身体有残疾的人员，因此，必须采用非植入式电极来进行测量。本课题拟采用合适的脑电采集芯片，构建脑电放大器，采集有用的脑电信号，用于BCI研究。运动想象脑机接口的实验研究运动想象在脑机接口研究中，没有P300识别率高，但避免了P300长期

10、实验容易疲劳的缺点，但运动想象需要前期做简单训练才可以达到较高的识别率，因此，设计出合适的运动想象脑机接口的实验范式，也是本课题研究的一个重要内容。脑电波信号的分析处理经运动想象实验后采集到的脑电信号依然是一种随机性强、幅度微弱的电生理信号，并未有明确的特征来对应相关的一系列指令，因此，需要采用信号处理算法来对原始的脑电信号进行分析处理，找到脑电与指令之间的一一对应关系。本课题中，拟采用多种信号处理算法相结合的方式，研究独立变量分析用于脑电信号预处理、小波变换用于特征提取、神经网络用于模式识别，从而对原始脑电信号进行有效的分类。系统的软硬件设计本课题所研究的硬件系统主要包括前端脑电采集模块的设

11、计、电动轮椅的控制系统的改造、上下位机通讯模块的设计等，主要完成智能轮椅系统硬件的构建。本课题所涉及的软件主要包括上位机软件和下位机软件，上位机软件主要在PC平台运行，用来完成实验方案的设计以及脑电信号的分析处理，下位机软件主要用于脑电信号的采集、上下位机信号通讯以及智能轮椅的控制等。拟解决的关键问题运动想象的脑电信号提取实验范式的确立在基于事件相关电位（ERP）的脑电信号研究中，实验范式的确立成为能否提取特定脑电信号的关键，如利用按键测试提取到CNV、利用汉语句子实验方法提取到N400、利用面孔加工特异性实验方法提取到P300等，那么，运动想象的脑电信号提取实验范式的确立将成为本课题需要解决

12、一个关键问题。脑电信号的特征提取和模式分类运动想象脑电信号中存在很多与运动想象无关的频率信号，因此直接提取的脑电信号并无法直观反映受试者的运动想象状态，在本课题中需要寻求合适的特征提取和模式分类的方法，来提取出有效的脑电特征向量，用于实现模式识别。2、拟采取的研究方法、技术路线、实验方案及可行性分析拟采用的研究方法脑电信号的采集脑电数据采集模块从人的大脑皮层中提取包含人脑活动的生理信号，由于脑电信号本身强度很弱而且信号中参杂了噪声，在采集过程中要对脑电信号进行信号放大，通常采用共模抑制多得方法去除噪声，用滤波器去除高低频和工频干扰，并进行A/D转换。本项目拟采用NeuroSky公司生产的Min

13、dset脑电采集方案。Mindset通过干态电极传感器采集大脑所产生的生物电信号，并将这些采集的信号送入ThinkGearTM ASIC 智能芯片，该芯片将混杂在信号中的噪音以及运动产生的扰动进行滤除，并将有用的信号进行放大，然后通过串行UART将采集到的数据无线发送到电脑、手机等智能设备，实现基于脑电波的人机交互。脑电信号处理方法预处理方法：脑电信号是一种特殊的生理电信号，信号幅度十分微弱。在对其进行特征提取及模式识别前，进行预处理工作是十分必要的。本课题拟采用的方法是盲源分离法，盲源分离是基于源信号和传输系统特性都是未知的情况下对原始混合信号进行分离，将脑电信号和其中包含的伪迹成分分解为不

14、相同的源信号成分，并将伪迹相关的源信号分置为零，从而获得伪迹去除后的脑电信号。脑电信号的特征提取：特征提取是从复杂的特征信号中确定最有效的特征参数并以此为向量组成一堆特征向量，使得从不同的任务重提取的特征向量之间存在明显差异，同时使特征向量与任务之间的相关度又最大。熵作为一种非线性动力学参数用于衡量新信息在时间序列中发生的概率，可以很好的表征时间序列的复杂度，因此，本项目拟采用样本熵作为脑电信号的波形进行分析。模式识别方法：模式分类是脑电信号分析中极其重要的环节，分类的结果直接影响输出部分的正确性和系统的可靠性。由于脑电信号的特殊性和实用性，要求所选取的分类器必须具有较好的实用性和准确性。本课

15、题拟采用人工神经网络来完成运动想象脑电信号的模式识别。智能轮椅的控制智能轮椅是在一台普通的电动轮椅上改装而来的，该电动轮椅上配置有电机、电机驱动器、可输出24V直流电的蓄电池、操作杆等部件，用户通过操纵杆可以控制轮椅做“前进”、“后退”、“左转”、“右转”以及加减速等运动。对电动轮椅原有的控制系统进行改装，将原有手动控制平台改为数字信号控制，并辅助与脑电采集平台相连的通讯模块，脑电采集平台对用户的脑电命令进行特征提取和模式识别后，将命令发送至轮椅控制平台，用以完成对轮椅的智能控制。技术路线技术方案：图1 智能轮椅技术方案结构框图如图1所示，为本项目拟采用的技术方案结构框图，脑电采集装置采集运动

16、想象后的原始脑电，进而经过预处理，去除掉一些干扰信号；通过特征提取出一系列明确有效地特征参数；接下来对特征参数与实验数据对比，进行模式识别，提取出实际控制命令给控制装置，实现对轮椅的智能控制。技术路线：本课题按照上述提出的技术方案进行整个系统的设计，如图2所示为本课题拟采用的项目开发实施流程图。图2 项目开发实施流程图现将本课题的技术路线具体描述如下：A、硬件系统的搭建：如图3所示，为本项目的硬件系统搭建示意图。图3 硬件系统搭建示意图硬件系统的构建主要包含三部分内容，脑电信号采集系统的构建、电动轮椅控制系统的改装、上下位机通讯模块的构建。其中，脑电信号采集系统主要由脑电信号采集模块和PC组成

17、，脑电信号采集模块主要完成原始脑电信号的采集，拟采用NeuroSky公司生产的Mindset脑电采集方案。Mindset通过干态电极传感器采集大脑所产生的生物电信号，并将这些采集的信号送入ThinkGearTM ASIC 智能芯片，该芯片将混杂在信号中的噪音以及运动产生的扰动进行滤除，并将有用的信号进行放大，然后通过串行UART将采集到的数据无线发送到电脑、手机等智能设备，实现基于脑电波的人机交互；PC平台主要完成运动想象实验方案的设计以及脑电信号后期分析与处理。电动轮椅控制系统的改装主要是使用单片机的动作指令来取代现有电动轮椅操作杆的功能，常见的电动轮椅的操作杆是通过角度传感器调节装置来驱动

18、轮椅的，针对这一原理，具体采用步进电机来实现动作的转换，根据步进电机的特点特制的电机底座，通过该底座带动角度传感器调节装置进行角度的偏移控制。上下位机通讯模块主要目的在于构建脑电采集分析系统与智能轮椅之间的连接通道，采集后的脑电信号经预处理、特征提取和模式识别后，得出有效的控制指令，通过通讯模块将指令传输给轮椅控制系统，从而实现轮椅的智能控制。B、实验对象的训练及实验的实施：本课题中选择一定数量的学生作为受试者，男女各半，左右利手各半，且没有任何精神类疾病，在实验具体实施之间对受试者进行简单训练，使其了解实验的规则后开始进行实验实施。本项目中所涉及的实验主要分两部分，一是受试者根据规则进行运动

19、想象训练，并因此记录与“左转”、“右转”、“前进”、“后退”、“加速”、“减速”等对应的脑电波形，作为标准波形进行数据记录；二是在整个轮椅系统建立后，进行智能轮椅有效性的验证。实验一和二的受试者各选取不同的人员参与。C、脑电信号的采集与处理独立分量分析、小波变换以及人工神经网络是本课题信号处理算法的基础。具体描述如下：1、采用独立分量分析对采集的脑电信号进行处理，分离出包括运动想象脑电信号和噪声等几个有效成分的信号（在独立的情况下）。2、利用小波变换对已得到的运动想象脑电波形进行多尺度分析，提取不同频段上的能量特征，同时对这些能量特征进行统计分析，尝试得到运动想象脑电信号的样本熵。3、将得到的

20、样本熵的能量特征作为神经网络的输入，通过神经网络进行学习训练，最终达到波形识别的目的。脑电信号的预处理：ICA以原始信号之间的独立性为前提，基于信号高阶统计特性的分析，旨在分离相互叠加的独立信号。对于淹没在EEG背景中，并混有眼动、工频等干扰的脑电信号而言，则可以利用ICA方法将其与各种干扰信号源分离并单独提取出来。图4为算法流程图。脑电信号的特征提取：利用脑电信号不同成分在某些频段的能量分布不同，可以提取不同频段上的能量作为标志运动想象脑电信号不同成分的特征参数。小波变换是一种多尺度的信号分析方法，具有良好的时频局部化特性，非常适合于分析像脑电信号这样非平稳的瞬态特性和时变特性。本课题尝试通

21、过小波变换对信号进行小波多尺度分解，得到的不同尺度的低频和高频分量，然后在不同频段上抽取能量。各尺度空间内的高频分量和低频分量能提供信号的时频局部信息，对不同频段上的脑电信号离散点的幅度值进行平方和累加就得到每一频段上的能量，对较大的信号能量进行归一化处理，可以得到相关频段的特征参数。脑电信号的模式识别：人工神经网络是接近人类大脑思维方法的一种算法，它通过大量简单的处理单元即神经元广泛地互为连结而形成复杂的网络系统，可以通过训练学习来进行准确的模式识别。神经网络算法拟采用支持向量机学习方法，支持向量机基于统计学习理论和结构风险最小化原则，其基本思想是把输入空间的样本通过非线性变换映射到高维特征

22、空间，然后在特征空间中求取把样本线性分开的最优分类面。将小波变换得到的频域能量特征作为输入，最终达到波形识别的目的。图4 独立变量分析算法流程图D、系统的指令传输与控制对常见的电动轮椅进行改造，将其原有操作杆去掉，改造为两个步进电机来驱动，那么步进电机则可以通过步进电机驱动器来驱动，而步进电机驱动器只需收到单片机控制指令就可以工作。同时，在原有的轮椅上加上串口通讯模块，上位机会将控制指令发送给通讯模块，通讯模块通过下位机单片机给驱动器控制指令，驱动电动轮椅完成动作的执行。实验方案 本实验中的实验对象为在校学生，没有任何神经系统疾病，性别和利手各对半，年龄在20-23之间。在进行实验的前一天，由

23、实验设计者告知受试者实验的内容、规则和目的，并进行相应的运动想象活动训练。为了保质保量的完成实验数据的采集，实验前和实验中还需注意以下几点：实验前，为了保证实验数据的可靠性，要求受试者头脑必须清醒，所以选择在早上进行运动想象的脑电采集，而且需要提前告知受试者实验前天晚上不能喝酒、不能熬夜，保证良好的睡眠。试验中，播放一些节奏平缓，有利于放松心情的音乐，减少受试者的实验压力，保证实验按时保质的进行。除此以外，还要适当的注意实验的时间，保持与受试者的交流，减轻其实验的压力的同时确定受试者在脑电采集时，心理和身体状况良好，避免数据是在疲劳或者厌烦的情况下采集的；若实验过程中出现异常，则立即终止实验。

24、 为了减少训练时间，本实验拟采用一些大家熟知的左右手运动的游戏（如打地鼠）作为运动想象任务。同时考虑到要对采集到的运动想象信号进行分割，所以对运动想象任务时间要严格控制，需严格按照规定步骤进行单次运动想象任务，具体可以分为以下几个步骤： A、运动想象任务开始前2S，这段时间受试者不做任何想象任务，屏幕上也不出现任何东西，持续黑屏，让人自然放松。 B、实验2S后，出现“滴答”的提示音，提示受试者运动想象指令即将出现，集中注意力。 C、实验第3S，屏幕上出现指示图标，根据图标所示进行相应场景的运动想象，如向左箭头表示想象左手打地鼠，对应于智能轮椅上的左转控制命令；向右箭头表示想象右手打地鼠，对应于

25、智能轮椅上的右转控制命令；圆圈表示想象用脚踩地鼠，对应于智能轮椅上停止控制命令；圆点表示想象舌头运动，对应于智能轮椅的前进控制命令；等一系列运动想象，直到出现“嘟嘟”的提示音为止。D、实验第7S时，出现“嘟嘟”提示音，提示受试者结束运动想象任务，屏幕上的指示图标消失，单次运动想象任务结束。E、结束单次运动想象任务后，休息2-3S，然后进行下一次运动想象任务。 单次运动想象任务完成的时间大概为10S，多种不同的运动想象任务随机出现25次，因此每组实验为100次，历时1000S，当运动想象任务完成50个后，休息2-3分钟，防止受试者疲劳注意力不集中，影响实验结果。每名受试者要求进行2组的实验，每类

26、运动想象任务为150次。实验结束后，对采集到的脑电信号进行整理和分析。项目可行性分析项目的选题与国家的科技发展战略吻合，该项目接近于智能机器人领域，技术与其有一些重合性，属于“十二五”期间重要科技发展领域。同时，项目针对老年人和残障人士特点，符合社会现状及发展趋势，可以创造经济价值。从市场前景来看，我国老龄化人口急剧增加，未来将需要大量智能轮椅，因此，项目的研制成功与推广，具有广阔的市场前景。项目技术先进性，对相关领域技术进步的推动作用，主要包含机器人领域、制造业相关技术领域、老年人服务行业等，对上述行业的促进作用，可以为我国一些区域产业升级提供技术支持。本校对于科研项目的开展从政策上有巨大支

27、持，且本项目组有一支技术力量雄厚的科研队伍，并且有相关领域开发经验，相信可以保质保量完成项目的开发工作。3、本项目的创新之处在脑电信号预处理方面，本项目采用的改进后FastICA算法，普遍适用于脑电信号中各种噪声的消除和有用信号的增强，这种普遍性是对传统的平均叠加处理、时频分析方法的重要突破。FastICA算法是独立分量分析算法的一种，有较多优点，我们对其进行改进，加快了迭代速度，同时也增强了提取的效果。在运动想象脑电信号提取方面，设计了较为有效的实验范式，即采用熟知的左右手游戏来完成运动想象，并辅助于睁眼和闭眼，实验效果较为明显，有一定创新性。完成整个系统的调试，采用运动想象脑电信号的提取，

28、与常规的P300方法相比，降低了受试者的疲劳程度，因此，可以在老年人和残疾人群中有效试用。4、研究计划及预期进展第一阶段（2015.07.01 -2015.10.31）：技术方案论证分析，确定总体研究方案查阅相关资料，对本项目的研究方案和方法进行进一步完善。第二阶段（2015.11.01 -2016.03.31）：智能轮椅各硬件模块的研制此阶段内容主要包括脑电采集模块的构建、电动轮椅控制系统的改造、上下位机通讯模块的设计等。第三阶段（2016.04.01 -2016.08.31）：运动想象脑电信号提取实验方法的设计与实施此阶段内容主要包括运动想象脑电信号提取实验方法的设计、实验平台的搭建以及上位机软件的编写。第四阶段（2016.09.01 -2017.01.31）：脑电信号处理算法的设计此阶段内容主要包括脑电信号预处理、特征提取、模式识别算法的设计与程序编写。第五阶段（2017.02.01 -2017.07.01）：系统的测试与联调，专利申请和资料整理此阶段主要包括整机系统的测试与联调，以及项目的整理与结题。5、预期提供的研究成果及形式提供智能轮椅测试样机系统1套；发表相关论文2篇以上；申请专利1项；提供产品标准1份。