智能车辆环境感知技术介绍.ppt

1、智能车辆环境感知技术 Environment Perception Technology of Intelligent Vehicle,引言 Introduction当前，从陆地到天空，从海洋到宇宙，人们正在开发各种各样的智能化载运工具为人类的文明发展服务。实现地面车辆的智能化乃至无人驾驶是车辆工程领域追求的最高目标。智能车辆研究在很多领域能够体现一个国家的科学技术水平和综合国力。中国应该在智能车辆研究领域对世界有所发明、有所贡献。车辆工程学科领域的全体师生员工应该努力成为我国智能车辆研究的主力军。,第一章 智能车辆概述 Introduction一、智能车辆定义-Definition基于自身和

2、外部信息，能够确认当前位置、规划目标 路线、控制自身按规划路线行驶、安全准时到达目的 地的机动车辆。自身具有驾驶员的部份、全部或尚不具备的驾驶行为 能力的机动车辆。,二、智能车辆功能-Function 1.能够确认自身的当前位置，根据行驶目标及途中情况，规划、修改行车路线。,2.能够可靠识别行车路线，并可通过自动转向控制使自 身按规定路线准确稳定行驶。,3.行驶过程中，能够可靠实现车速调节、车距保持、换道、超车等各种必要基本操作。,4.能够确保行驶安全，按时到达目的地,5.能够适应不同的行驶环境。,三、智能车辆研究意义-Significans1.减少交通事故 智能车辆是解决因驾驶员人为因素引起

3、的道路交通安全问题的根本途径。2.提高运输效率 智能车辆能缩短行车间距，增加道路容量，防止交通堵塞，提高平均车速，改善燃油经济性，减少环境污染。3.完成特殊作业 智能车辆能够在易燃、易爆、有毒、抢险、宇航等危险环境下替代驾驶员完成特殊作业。4.国防军事应用 智能车辆在侦查、演习、排雷、防化、作战、反恐等军事领域有着潜在的广泛应用前景。,四、智能车辆构成-Construction,1.车辆自检监控系统 该系统通过实时获取和处理车辆状况传感器的输入信息如电压、电流、温度、压力、油耗、转向、制动、加速、停车、排放等，诊断车辆驾驶是否处于危险状态或具有潜在的危险，并将诊断结果信息提供给驾驶员或车辆自动

4、控制系统，以便为做出正确的车辆控制决策提供依据。2.车辆行驶环境信息获取系统 该系统基于车辆自身传感信息获取系统、通用技术平台和通信信息系统，获取车辆外部周边物体状态、公路状态、天气、车流、电子地图、停车场等信息，并将这些信息提供给驾驶员或车辆自动控制系统。,3.车道状态数据处理系统 该过程对所输入的各种车载及道路传感器的数据进行有效处理，为车辆控制过程提供车辆所在车道、车辆在车道上的位置、车辆与车道的距离偏差及方位偏差等信息。4.车辆辅助驾驶接口系统 该系统提供了驾驶员可以用于启动、监视和终止车辆自动控制操作的接口。该接口可接收驾驶员控制请求、车辆行驶环境、车辆自检、车辆控制状态反馈等信息，

5、对车辆控制方式作出选择，并将选择结果提供给车辆控制过程或需要此信息的其它过程。5.车辆控制系统 该系统提供各种水平的车辆控制功能。它通过接收车辆控制方式选择、车辆自检、车辆自身及周边车辆行驶状态、车辆行驶环境等信息，为实现车道跟踪、车距保持、换道、巡航、定位停车等功能提供各种必要的基本操作。,6.智能车辆系统构成示意图,五、智能车辆关健技术-Key technology 环境感知技术（Environment Perception）路径规划技术（Path Plan）导航控制技术（Navigation Control）避障防撞技术（Obstacle Detection&Avoidance）信息通讯

6、技术（Information Communication）乘员安保技术（Passenger Safety）人机交互技术（Human-machine Communication）状态监测技术（Condition Monitoring）调度管理技术（Accommodating&Management）,第二章 智能车辆环境感知技术概述Introduction to E.P.Technology一、环境感知目的-Purpose通过性：基于自身行驶性能和共识规则，能实时、可靠、准确识别并规划出可保证规范、安全、迅速到达目的地 的行驶路径；安全性：在行驶过程中，能够实时、准确识别出行驶路 径周边对行驶安全

7、可能存在安全隐患的物体，为自身采 取必要操作以避免发生交通安全事故；经济性：为提高车辆高效、经济地行驶提供参考依据；平顺性：为车辆平顺行驶提供参考依据；,二、环境感知对象-Target行驶路径：对于结构化道路而言，包括行车线、道路边缘、道路隔离物、恶劣路况的识别。对于非结构化道路而言，包括车辆欲行驶前方路面环境状况的识别和可行驶路径的确认；周边物体：包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体的识别；各种交通标志的识别；驾驶状态：包括驾驶员驾驶精神状态、车辆自身行驶状态的识别；驾驶环境：包括路面状况、道路交通拥堵情况、天气状况的识别。,三、环境感知方法-Method

8、1.视觉传感：基于机器视觉获取车辆周边环境两维或三维 图像信息，通过图像分析识别技术对行驶环境进行感知。,车载单目视觉运动物体检测,优点：信息量丰富、实时性好、体积小、能耗低。缺点：易受光照环境影响、三维信息测量精度较低。,车载双目立体视觉越野环境感知,2.激光传感：基于激光雷达获取车辆周边环境两维或三维 距离信息，通过距离分析识别技术对行驶环境进行感知。,车载线扫描激光雷达检测前方障碍物,车载三维激光雷达环境感知,优点：能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感。缺点：无法感知无距离差异的平面内目标信息、体积 较 大、价格昂贵、不便于车载集成。,3.微波传感：基于微波雷达

9、获取车辆周边环境两维或三维 距离信息，通过距离分析识别技术对行驶环境进行感知。,优点：能够以较高精度直接获取物体三维距离信息、对 光照环境变化不敏感、实时性好、体积较小。缺点：无法感知无距离差异的平面内目标信息、国外成 熟产品对我国禁运而难以获得。,4.通讯传感：基于无线、网络等近、远程通讯技术获取车 辆行驶周边环境信息。,优点：能够获取其它传感手段难以实现的宏观行驶环境 信息、可实现车辆间信息共享、对环境干扰不敏 感。缺点：可用于车辆自主导航控制的信息不够直接、实时 性不高、无法感知周边车辆外其它物体信息。,5.融合传感：运用多种不同传感手段获取车辆周边环境多 种不同形式信息，通过多信息融合

10、对行驶环境进行感知。,优点：能够获取丰富的周边环境信息、具有优良的环境 适应能力、为安全快速自主导航提供可靠保障。缺点：感知系统过于复杂、难于集成、造价昂贵、实用 性差。,第三章 视觉系统概述 Introductionto Vision System一、系统构成-System configuration 一套完整的视觉系统通常包括CCD、镜头、图像卡、计算机等，系统构成如下图所示。,景物,镜头,CCD,计算机,图像卡,计算机视觉系统构成,构成计算机视觉系统的主要部件,二、成像原理-Imaging principle镜头经过聚焦将目标景物根据小孔成像原理投射到CCD电荷耦合靶面器件上；,智能车辆

11、视觉成像原理示意图,CCD电荷耦合靶面由多个阵列式光电耦合元件构成，其能根据光照强弱产生不同强度的电流，然后电流被转换为当量电压；图像采集卡能够逐行逐列地将每个光电耦合元件产生的电压模拟信号经过A/D 转换将其转换成数字信号并传输给计算机；,CCD光电耦合元件及图像采集卡,计算机通过应用软件生成目标景物的数字图像，正是由于景物图像的数字化，才使得计算机能够进行各种图像处理、分析和识别。,目标景物的数字图像,三、主要参数-Key specification 像素点：每个光电耦合元件产生的电压信号经过A/D 转换将其转换成数字信号形成一个像素，由于光电耦合元件按行列依次排列，其信号的数字转换也按相

12、同顺序依次进行，转换结果数据被计算机按两维数组（x,y)形式加以存储，数组下标值 x 代表该像素所在行位置，y 代表该像素所在列位置，因此一对数组（x,y)对应一个像素点；灰度值：景物明暗程度经光电耦合元件产生电压模拟信号并经过A/D 转换生成当量数字信号，通常CCD采用的是 8 bit A/D转换，因此各像素点明暗程度分为0-225 共 256个等级，0 代表该像素点最暗，255 代表该像素点最 亮，因此像素点（x,y)的具体数值大小也称为该像素点 的灰度值或灰度级；,像素点及灰度值概念示意图,分辨率：显然，CCD电荷耦合靶面光电耦合元件构成的行列多少直接影响对景物成像的精细程度，通常将光电

13、耦合元件构成的行列多少称为其成像分辨率。对相应的数字图像而言，图像分辨率体现为在两维数组（x,y)的大小。例如，1024(H)1024(V)CCD的分辨率显然要高于512(H)584(V)CCD的分辨率。高分辨率CCD虽然可以获取更为精细的图像，但由于像素点的大量增加，也会严重降低图像处理的实时性。对于智能车辆环境感知而言，通常640(H)480(V)的分辨率已能满足要求。帧频：CCD 在1s时间内连续获取数字图像的帧数，其直接表示出 CCD 获取图像的速度，是影响视觉环境感知动态响应能力的主要因素。高速 CCD 能够有效提高图像处理实时性，但其价格较高。对于能车辆环境感知应用而言，通常30-

14、100帧/秒速度的CCD性价比较高。,物理光圈：光圈机构设置在镜头上，通过手动或电动控制其开闭程度，进而控制外界光照投射到CCD电荷耦合镜面的强度大小，显然光圈设定的大小直接影响景物成像的明暗程度。镜头上设置的机械式光圈可称之为物理光圈。通常物理光圈参数在1-16 之间，该值越小，代表光圈开度越大，通常称之为大光圈，反之亦然。因此当景物光照很强时，应选择数值大的小光圈；当景物光照很暗时，应选择数值小的大光圈。光圈选择应有利于增强目标与背景的灰度对比度。,光圈适中 光圈过大 光圈过小,电子光圈：在CCD内部，通过电路可以控制外界光照投射到CCD电荷耦合镜面的时间长短，进而达到光照强度大小的控制目

15、的，通常也称其为电子快门。电子光圈参数需经过程序设定调节。电子光圈对于变光照条件下实现在线实时视觉环境感知具有重要应用价值。需要提及的是，电子光圈的大小影响CCD图像获取速度。,物理光圈相同、外界光照不同时电子光圈调节效果,焦距：焦距是指镜头景物聚焦点到成像平面即透镜中心 的距离，通常用 f 表示，单位为mm，如8mm、12mm、16mm、25mm等。焦距长短与景物成像大小成正比，对 同一物体，焦距越长，其成像越大，焦距越短，成像越小。镜头焦距与视场角成反比，焦距越长，视场角越 小，焦距越短，视场角越大。镜头通常标有焦距值，此 外，许多CCD 用镜头也具有通过手动微调焦距的功能。,不同焦距功能

16、示意图,视场角：视场角决定CCD成像视野范围，其大小与镜头焦距和CCD成像靶面尺寸大小有关，如前图所示。通常成像靶面为长宽比为4:3的矩形，所以可用该矩形对角 线长度为底边、镜头焦距为高组成一等腰三角形，计算其顶角就是视场角，如前图所示。如果分别用矩形的两个边计算该角，则有水平视场角和垂直视场角之分。镜头焦距和视场角是一一对应的，而且是相互矛盾的。焦距小，则视场角大，视野范围大，但距离远的物体成像不清晰；反之，焦距大，则视场角小，视野范围小，但距离远的物体成像清晰。因此，应根据环境感知目标具体情况进行折中估算选择合适焦距和视场角的镜头。,俯仰角：智能车辆视觉系统性能除与前面所述各内部参数相关外，还与其在车辆上安装的俯仰角度、离地高度及相对车体位置等外部参数有关。俯仰角不仅使目标图像产生透视畸变，且影响视觉视野。俯仰角越大、图像透视畸变越严重，视野越小；反之亦然，如下图所示。,俯仰角产生透视畸变示意图,实际车道线状态,象平面中车道线状态,透视畸变使物体成像产生形变，有时需要通过比较繁琐的重建方法才能恢复目标真实形态，往往会降低识别目标的实时性，如下图所示。,安装高度：智能车辆为保证行驶安