面向城区综合环境的无人驾驶车辆关键技术及平台.doc

1、附件： “视听觉信息的认知计算”重大研究计划 2011年度项目指南与人类视听觉感知密切相关的图像、语音和文本（语言）信息在社会、经济和国家安全等领域中扮演着重要角色。这类信息可被人类直接感知和理解，也可用计算机进行处理，但计算机对这类信息的处理与理解能力远逊于人类。如何借鉴人类的认知机理和相关数学的最新研究成果，建立新的计算模型和方法，从而大幅度提高计算机对这类信息的理解能力与处理效率，不仅可有力推动信息科学的快速发展，也将为国民经济和社会发展做出重大贡献。一、科学目标本重大研究计划的总体科学目标是：围绕国家重大需求，充分发挥信息科学、生命科学和数理科学的交叉优势，从人类的视听觉认知机理出发，

2、研究并构建新的计算模型与计算方法，提高计算机对非结构化视听觉感知信息的理解能力和海量异构信息的处理效率，克服图像、语音和文本（语言）信息处理所面临的瓶颈困难，为推动信息服务及相关产业发展以及提高国民生活和健康水平、确保国家安全与公共安全做出重要贡献。具体表现为：在视听觉信息处理的基础理论研究方面取得重要进展；在视听觉信息计算、与视听觉认知相关的脑机接口等关键技术方面取得重大突破；集成上述相关研究成果，研制具有自然环境感知与智能行为决策能力的无人驾驶车辆验证平台，主要性能指标达到世界先进水平，从而提升我国在视听觉信息处理领域的整体研究实力；培养具有国际影响力的优秀人才与团队，为社会发展和国家安全

3、提供相关研究环境与技术支撑。二、核心科学问题本重大研究计划以无人驾驶车辆、脑机接口等为物理载体，围绕“视听觉感知特征提取、表达与整合”、“视听觉感知数据理解的认知机理”和“脑信号提取、脑区定位和功能分析”等核心科学问题，着重组织并实施如下三个主要方面的研究工作。（一）图像与视觉信息计算。在视觉信息处理方面，主要研究图像与视觉信息计算的认知机理，视觉基本特征的提取与选择，复杂场景下物体识别与图像内容理解，跨模态视频信息检索与网络搜索引擎等。提出若干图像与视觉信息处理与理解的高效计算模型。（二）语音与听觉信息计算。在听觉信息和自然语言处理方面，主要研究交通环境下的听觉模型和声音识别与理解技术，复杂

4、场景中的文字与符号信息实时检测、识别与理解，无人驾驶车辆的交通标识图文识别与理解等。提出若干语音、听觉和文本信息的新的计算模型。（三）脑机接口。主要研究与视听觉认知相关的脑信号提取、脑区定位与脑功能网络分析方法和技术，脑机交互中的信号传输、处理与控制技术，视听觉感知信息协同的认知机理与计算模型，基于视听觉信息融合的模式识别与环境交互方法等。研发可用于无人驾驶车辆及其它应用的新型脑机接口系统，提升本领域整体研究实力，为延伸和提高人类行为控制能力提供新技术。通过上述三个主要方面的研究和实施，取得一批在国际上有影响的原创性研究成果，在相关领域国际权威学术刊物上发表一批高水平的论文，培养一批具有国际影

5、响力的优秀人才和研究团队。三、关键技术与集成验证平台在上述研究工作的基础上，本重大研究计划进一步开展与视听觉信息处理相关的关键技术和无人驾驶车辆集成验证平台研究。（一）视听觉信息计算的关键技术。围绕无人驾驶车辆，研究机器视觉新型计算模型及系统实现技术，基于多视点信息融合的模式识别新技术与验证系统，研究交通标识图文识别与理解技术，并在无人驾驶车辆及相关测试环境中得到验证。研究道路交通环境中语音、笛声等诱导信息的理解与应用，以及辅助无人驾驶的环境感知与控制关键技术，并在无人驾驶车辆及相关测试环境中得到验证。（二）与视听觉认知相关的脑机接口关键技术。研究车辆驾驶过程中与视听觉认知相关的脑信号提取、脑

6、区定位与脑功能网络分析方法，脑机交互中的信号传输、处理、控制技术及系统实现，与视听觉认知相关的脑机接口典型应用。所提无创脑机接口信息提取与分析等技术处于同期国际领先水平，并在无人驾驶车辆脑机接口方面得到验证或应用。（三）驾驶行为建模与无人驾驶车辆控制技术。研究人类驾驶行为的建模与分析技术，实时有效的驾驶行为建模与主动学习方法及非完整系统的运动轨迹跟踪技术，无人驾驶车辆的鲁棒机动控制方法及动态学习与智能控制方法。以上研究需在无人驾驶车辆验证平台及相关测试环境中得到验证。（四）无人驾驶车辆集成验证平台。集成上述基础理论与关键技术的相关研究成果，将传统视觉计算模型与新的视觉认知模型相结合，实现环境感

7、知与建模方法新突破；实现多传感器跨模态跨尺度信息融合，生成高质量三维场景认知地图，构建高性能智能车辆无人驾驶验证平台；提供新的基于人车路状态综合分析的智能辅助安全驾驶关键技术；在智能辅助安全驾驶、国防等相关领域得到验证或应用并产生重要影响。四、2011年度拟资助的研究项目本重大研究计划已实施3年有余，现已进入集成升华阶段。为确保总体研究目标按时实现，2011年度本重大研究计划将集中支持围绕无人驾驶车辆和脑机接口所开展的视听觉信息认知计算方面的研究。2011年度本重大研究计划仍设“重点支持项目”和“培育项目”。对创新性强、研究基础好，且对总体研究目标有重要贡献的申请项目，将以“重点支持项目”予以

8、资助。“重点支持项目”的平均资助强度约为300万元。对有较好的创新思路和研究价值，且对总体研究目标有较大贡献、但尚需进一步探索的申请项目，将以“培育项目”予以资助。其中“培育项目”分为两类：力图突破关键技术研究的“培育项目”的资助强度为100120万元，侧重解决基础科学问题的“培育项目”的平均资助强度约为70万元。2011年度拟资助如下研究方向的“重点支持项目”和“培育项目”。（一）视听觉信息处理方面。1重点支持项目。研究方向一：支持无人驾驶车辆的交通标识图文识别与理解研究各种天气和光照条件下，无人驾驶车辆在行驶过程中对道路交通标识和图文信息的实时检测、识别和理解技术，特别是在雨、雪、雾和黑夜

9、等条件下，褪色、变形与污损等交通提示信息（如限高、出口、事故多发路段等）以及车辆行驶目标文字信息等各种交通标识和图文信息的实时检测、识别和语义理解。该技术需具有较高的检测、识别和理解的准确率和实时性、以及较高的鲁棒性，并须在无人驾驶车辆验证平台中得到验证。研究方向二：行车环境听觉模型及声音处理关键技术研究行驶过程中的无人驾驶车辆对来自车内与车外声音的自动检测、实时识别和理解技术，主要包括行驶车流中周围车辆的各种鸣笛的识别、理解和定位，噪声信号分离以及交通信息提示语音的自动检测、识别和理解技术。该技术需具有较高的识别、理解和定位的准确率以及较高的鲁棒性，并须在无人驾驶车辆验证平台中得到验证。2培

10、育项目。基础研究类（1）-（4）和关键技术研究类（5）-（6）“培育项目”的研究方向：（1）动态场景中交通标识快速定位与识别。（2）交通环境视觉感知要素图提取的计算模型与算法实现。（3）交通环境全景数据的时空配准和三维视景生成。（4）交通语音诱导信息的识别与无人驾驶车辅助行驶路径规划。（5）多视点视频数据协同的交通场景感知与实现技术。（6）复杂动态环境中视觉显著性目标检测与分析。（二）脑机接口方面。1重点支持项目。研究方向一：面向脑机接口的视听觉范式与脑机制研究能产生显著脑信号模式的新的视听觉范式及神经机制，发现新的适宜于脑机接口任务的脑活动模式及其信号表达；研究视听觉感知、运动学习和运动控制

11、的深层次脑机制及其脑机接口应用；研究脑机接口条件下大脑皮层可塑性机理、神经生物反馈机理；研究脑信号自我调节的神经机制，发现最佳的训练方式；研究侵入式、半侵入式脑机接口关键技术，大幅度提升脑机接口系统的性能指标。研究方向二：双向多维脑机接口关键技术研究高效脑机接口通讯编码方法与相应的脑信号解码技术，实现不同脑信号范式整合，研发多维脑机接口新系统，满足多功能目标控制，提高脑机接口系统的整体性能；研究具有更强自适应能力的脑机接口实验模式、训练范式和相应的自适应信号分析与处理技术；研究基于ECoG，MRI，MEG和fNIR等脑信号测量手段的脑机接口系统原理，探索可实现双向输入/输出的脑机接口关键技术；

12、研究脑机接口与虚拟现实技术，脑机接口与无人驾驶车辆整合技术等。2培育项目。基础研究类（1）-（4）和关键技术研究类（5）-（6）“培育项目”的研究方向：（1）驾驶行为的脑认知功能定位。（2）驾驶过程中视点凝视与眼动的动态交互机理。（3）运动场景的认知动力学行为。（4）脑机接口中的数学问题与方法。（5）动态环境中基于视觉认知的自学习与导航技术。（6）面向脑机接口的信号采集与处理关键技术。（三）无人驾驶车辆方面。1重点支持项目。研究方向一：基于视听觉信息的多车行为交互与无人协同驾驶研究在城际高速公路和城区道路等正常交通流中，无人驾驶车辆与有人驾驶车辆以及无人驾驶车群之间，基于视听觉信息（行车灯语和

13、笛声等）的多车行为交互及无人驾驶车辆协同驾驶关键技术，实现多辆无人驾驶车混迹于正常城际交通流中行驶。研究方向二：面向城区综合环境的无人驾驶车辆关键技术及平台研究城区较大范围内和复杂交通流条件下的无人驾驶车辆自主行驶技术，包括在遵守交通法规前提下和在可控的真实行车环境中实现基本交通标志的检测与识别，不同交通环境中的车速控制、车道保持、动态超车、静动态障碍物避让以及规定区域的自主停车；研发无人驾驶车辆平台，并在可控的多种城区道路（密集道路，城市环路，绕城公路等）环境下实现十公里以上的自主驾驶。上述考核目标是指该重大研究计划对无人驾驶车辆集成验证平台的最终考核目标，申请2011年度重点支持项目的单位

14、可就上述考核目标进行分解，提出阶段性实现目标。研究方向三：无人驾驶车辆控制方法及系统实现技术研究支持无人驾驶车辆的控制系统，要求能够根据相关传感信息和给定的路径规划产生拟人驾驶行为及相关的控制动作；根据车辆固有参数和地面摩擦系数等生成车辆行驶动力学模型，并能实现车辆的机动控制；研制实现相应控制方法的集成片上系统（SoC）及控制装置，该装置可实现多路（方向、油门、刹车、变档换向等）集成的控制任务，并能应用于本重大研究计划资助的无人驾驶车辆验证平台。2培育项目。该方面只设基础研究类“培育项目”。基础研究类“培育项目”的研究方向：（1）基于交通诱导与移动网络服务的无人驾驶车辆认知导航。（2）多缩微车

15、交互与智能交通模拟：在三维缩微交通道路场景下，利用80辆以上不同比例的缩微车群，形成多路口、多车道与异构车群组成的交通流，模拟局部城市交通流状况，研究多智能车交互行为认知模型及相应的调控方法，为大型无人驾驶车辆多车交互及城市智能交通提供基本理论依据或技术支撑。（3）无人驾驶车辆鲁棒机动控制方法。（4）面向无人驾驶车辆环境感知或控制的数学问题与方法。（四）无人驾驶车辆认知能力测试与评估方面。该方面只设关键技术研究类“培育项目”。关键技术研究类“培育项目”的研究方向：（1）无人驾驶车辆认知能力测试与验证环境设计：建立无人驾驶车辆认知能力测试标准和环境设计标准，该项目获资助后需与已获资助的两个“无人驾驶车辆智能测试标准与环境设计”项目协同实施，共同完成资助期间的年度无人驾驶车辆比赛环境设计与测试标准制定。（2）支持无人驾驶车辆认知能力评估的仿真交通环境生成：该项目需研究和建立一个面向无人驾驶车辆的离线测试和评估系统，为无人驾驶车辆的自主导航、交通标识图文识别、道路地貌感知、路径规划与决策以及运动控制等能力评价提供关键技术。五、遴选项目的基本原则为确保实现总体目标，本重大研究计划鼓励：（一）具有原始创新思路和独具特色的探索性研究。（二）与总体目标紧密相关的关键技术研究。（三）生命、数理和信息等学科的交叉合作研究。（四）吸收海外优秀科学家参与研究。