1、车型识别研究报告综述基于视频图像处理的车型识别研究文献综述1、车型识别技术研究背景与意义随着中国特色社会主义现代化建设和城市化建设的快速发展,越来越多的家庭以及企业拥有机动车,有些家庭甚至拥有多辆机动车。据中国公安部统计,截至2012年6月底,中国机动车保有量达2.33亿辆,其中汽车1.14亿辆,摩托车1.03亿辆。另据中国社科院发布的中国汽车社会发展报告2012-2013预计,2013年中国私人汽车拥有量将破亿,中国汽车大国的地位得到进一步的确立。然而,汽车普及率的提高导致了城市交通拥挤堵塞日益加剧,交通事故频繁发生,交通环境逐渐恶化。与此同时,随着车辆的增多,车辆失窃,肇事逃逸,以及利用车
2、辆进行犯罪活动等事件也日益增多,从而对公安部门的警力资源提出了严峻的要求。为从根本上解决上述的问题,人们开始运用各种新技术,并结合利用现有的交通资源设施,将人、车、路紧密联系起来,不仅有效地缓解了交通阻塞问题,而且对交通事故的应急处理、环境的保护、能源的节约都有了显著的效果。智能交通系统正是在此背景下应运而生。智能交通系统(Intelligent Transportation System, ITS)是一个广泛包含多种技术的统称,指的是人们将先进的信息技术、数据通信传输技术、电子控制技术、传感器技术以及计算机处理技术等有效地综合运用于整个交通体系,从而建立起的一种在大围、全方位发挥作用的实时、
3、准确、高效的交通综合管理系统1。智能交通系统是目前世界各国交通领域竞相研究和开发的前沿研究课题和热点。目前智能交通系统在世界上应用最为广泛的地区是日本(VICS系统),其次是美国、欧洲等国家和地区也得到普遍应用。中国在这方面也开始了快速的发展,在、等地也开始了广泛的应用。智能交通系统的核心功能是对过往车辆的准确检测和正确的车型识别。当前对车辆检测技术的研究主要有两个技术流派,分别为车辆自动识别(Auto Vehicle Identification)和车辆自动分类(Auto Vehicle Classification)。前者是利用车载设备与地面基站设备互识进行,该技术主要用于收费系统中,在发
4、达国家使用围较广,如美国的AE-PASS系统、日本的ETC系统,全球卫星GPS定位等。后者是通过检测车辆本身固有的参数,在一定车辆分类标准下运用适当的分类识别算法,主动地对车辆进行分型,这一类技术应用比较广泛,己经有很多成熟的系统应用在实际生活中,该类技术可以通过射频微波、红光、激光、声表面波等方式来自动识别车辆信息,也可以使用视频图像处理的方式来识别车牌、车型等车辆信息。比较成熟技术有环形线圈检测、激为红外线检测、超声波/微波检测、地磁检测等2,但这几种方法各有优劣,优点是识别精确比较高,但缺点也很明显,主要缺点有施工和安装过程十分复杂,影响正常交通秩序,维护困难,主要设备易损坏,花费较大等
5、。近年来随着计算机多媒体技术和图像处理技术的发展,基于视频的车辆自动分类识别技术在现代交通控制系统中占的分量也越来越大,社会各界投入的研究力量也越来越多。该类技术可以适应动态交通状况的变化,通过实时采集大量的交通流量数据并将其传输到交通管理中心,中心通过系统提供的数据可以迅速做出控制决策,解决交通拥堵等问题。同时,利用该技术可以分析道路的车流量信息,有利于公路网的总体规划及道路建设。但上述功能的实现依赖于交通数据的采集和处理,传统的数据采集器方法,不能大围覆盖检测区域,缺乏灵活性且功能单一。因此,随着当前交通系统中视频设备的大量引入,越来越多地采用视频检测方法作为交通数据采集的手段,为智能交通
6、系统提供所需的路面运动车辆信息。由于我国对道路监控的日益重视,视频检测技术己成为智能交通领域最重要的信息采集手段,综合评比,将视频检测技术应用于高速公路和城市道路具有很大的可行性,基于视频车型识别系统,将全面提高公路和信息采集和安全管理的水平,在智能交通系统中一定会发挥越来越重要的作用。基于视频的车型识别系统是利用计算机分析通过摄像头和图像采集卡获取视频图像,通过对特定区域的视频图像处理分析,完成车辆检测和车辆分类识别。该技术绿色、环保,使用简洁,维护方便,只需在路面上方架设一部或几部摄像机,或利用交通部门现有的电视监控设备,将路面实时视频图像输入系统中,可以立刻进行分析,提取出需要的交通流信
7、息。因此,与其他技术相比,视频检测技术的优越性体现在:(1)采用非接触检测方式,安装维护不必破开路面,不影响路面寿命,不影响交通;(2)可以检测更大围的交通流信息,从而减少设备数量,节约资金;(3)可以在采集交通流信息的同时提供交通的实时视频图像,便于监察;(4)对于某些应用,比如交通量调查等,可以把视频图像采集存储后,离线进行分析处理;(5)当环境发生变化,或系统移动到他处使用时,只需简单设置,系统即可重新投入使用。(6)可以综合提供交通数据信息和视频图像,便于对现场的全面、直观检测。可以提供流量、速度、占有率、车长度分类、车头时距与车头间距、排队长度等丰富的交通数据监控信息;而且借助视频图
8、像的参考,可以极大的提高监控质量。综上所述,开展基于视频图像的车型识别研究意义重大,其研究成果不仅具有广阔的应用前景,而且对于解决拥堵的交通环境、规划城市交通系统和尽快发展我国的智能交通系统等具有重要的战略意义。2、国外研究现状2.1 车型识别技术的研究现状当前已有的车型识别分类方法主要是以电子标签、感应线圈、压力传感、CCD(Charge CoupledDevice,电荷耦合器件)摄录机以及各种光波为手段的车型识别法3等。(1)射频识别法:目前该方法多被应用于国外车辆收费系统ETC中,目前我国的部分省市道路收费站也开始应用该系统。此类方法包括以下几个单元:在机动车上用于装置的发射器或 lC
9、卡、利用天线进行接收的接收器以及用来控制与处理信号的计算机。当该方法工作时,装置于车辆上的发射器用于发送具有代表经过车辆的特征代码,带有天线的接收器处理接收,计算终端利用互联网环境收集处理车辆信息,最终利用该方法整个体系中目标车辆的综合信息与车辆拥有者进行清算17。但是由于需要设置另外的监控装置以避免车辆拥有者更换标签,同时这种方法需要装置的发射器,这些都增加了该方法的资本投入,因此这种方法在我国应用不多。(2)环形感应线圈识别法:环形感应线圈识别法属于触碰式被迫检测分类技术,该方法利用埋入装置在道面下的电磁线圈,对通过线圈的机动车所具有的特征频率进行扩大,由于组成不同机动车的金属材质是不同的
10、,其引起的电磁感应变化也都不一眼,因此该方法就是根据感应数据的不同对不同的机动车进行分类。虽然该方法的资金投入量不多,鲁棒性好以及受环境干扰较小,但是在具体应用时,多数道面下的线圈由于各种外界因素而被破坏,因此修护需要投入的资源较多。(3)压力传感器识别法:压力传感器识别法属于触碰式被迫检测分类技术,按照利用的测试装置该方法可分为应变测试器、压力测试器和电容器测试器,当机动车通过埋设在道面下的测试器时,测试器接收压力会形成微小变化,该方法利用这变化而产生的返回信号分别得到目标机动车的整体重量、平均速度、轴间距等重要的数据,从而完成对不同类型机动车的分类22 23。压力传感器识别法识别速度高而且
11、识别结果页较好,但其设施安置过程技术性较强,各种外界因素也会在很大程度上干扰该方法的分类精度。(4)激光识别法:激光识别技术属于非触碰式自动检测分类技术,该方法利用安装于机动车上或信息收集站的激光发射器,收集不同类型机动车产生的不同光波感应,从而利用测量光波感应结果得到机动车的非二维外形,从而完成对不同类型机动车的分类25。虽然该方法已被应用在一些发达国家的高速公路收费站26,但这种方法中的激光设备之间不仅容易产生光波误差,识别率不高,而且设施资金投入量较大,同时光波频射污染也是值得考虑的投入因素。(5)雷达识别法:雷达识别法属于非触碰式自动检测分类技术,该方法利用安装于机动车上或信息收集站的
12、雷达测试器发射雷达信号,同时目标车辆反馈回雷达信号,系统测试器利用多普勒原理,检测出运动中机动车的频率移动,产生感应反馈信息,从而利用不同类型的机动车得到的感应反馈信息不同,该方法完成对不同类型机动车的分类28 29。雷达识别法之所以被应用较少的主要原因是由于多普勒效应的局限性,当机动车群停住运动或运动速度较慢时,该系统都将会停止工作。(6)红外线识别法:红外线识别法可基本分为自动式和被迫式31。当有机动车通过检测区域时,被迫式测试器检测到机动车具有的热辐射能量,并利用中枢系统向控制处理中心发送车辆信息,从而完成车型分类。自动式测试器自动发射红外光波,不同的机动车型将红外光波反馈会测试器,系统
13、从而利用不同的反馈信息来识别不同类型的机动车型32。红外线识别法虽然识别速度快、识别效率较高且其设施后续修护投入不高,但该方法鲁棒性差,各种外界因素容易使识别正确率大大降低。(7)CCD视频识别法:基于CCD视频图像的车型识别技术属于非触碰式被迫检测分类技术,视频摄录机将通过目标区域的目标车辆摄录入数据库,并利用各种数字图像处理技术34对于提取的目标图像进行分析、处理与理解,同时也完成了对目标图像中不同类型机动车的分析与理解,并使识别系统获得目标机动车型的各种车型容,从而完成对不同类型机动车的分类,该方法具有如下特点4:1、由于直接对 CCD 摄录设备得到目标图像进行分析,不需要在目标公路区域
14、安装另外的感应设备,降低了系统的资本投入量,而且 CCD 摄录机不需要技术性的拆装过程,后续的修护资本投入很少;2、CCD摄录设备实时有效的收集摄录了目标公路区域的机动车图像,图像容包含的机动车信息完整、丰富,最大程度的利用了安装设施的效用;3、可提供公路现场信息的视频图像录像,重现现场的环境与容,为相关部门研究现场原因与行为、提高路网系统的管理效率提供了充分的条件;4、不同的CCD视频摄像机之间不会产生干扰,而且设备对自然外界也不会产生影响,具有环保的特点。上述特点使基于CCD视频图像的车型识别方法已然成为车型分类技术的主要发展方向,并已引起了各国专家的深入研究,该方法的研发困难之处在于车型
15、分类系统对于高速运动的机动车识别的可行性要求高,在容丰富的视频图像中对车型进行分类的有效性是否可以达到路网信息处理的指标,但随着计算机视觉、图像分析与理解等技术的不断革新,基于视频的车型识别关键技术也在不断的进步,其识别分类的实时性与有效性正被逐渐的改善,因此,这一技术必定会在 ITS 中获得全面的发展与应用,并会成为车型分类技术的主流趋势。2.2 基于视频图像处理的车型识别研究现状车型识别技术是道路交通视频监控系统的一个重要研究领域,是智能交通管理系统的一个重要应用基础。它以计算机视觉、数字信号处理、模式识别等技术为基础,通过视频监控或高速拍照等方式取样,以工控机或嵌入式处理器为处理平台,完
16、成对小汽车、载货车、载客车等车型的分类和识别。其识别的结果信息可以全面应用于道路交通视频监控系统,如车流检测与统计、超速检测与处罚、移动车辆稽查等,也可以用于不停车收费系统。该技术可有效配合智能交通信息管理中心完成规划路网、管理通流、高效收费等智能化应用,可最终有效改善道路拥堵,提高路网通流效率,优化交通运输环境。车型识别根据研究人员各自研究的不同应用目的,出现了多种不同的解决方案,一般有以下几种研究方向:(1)判断车的类型,即身份识别。“身份识别”方式需要识别出车辆属于已知模式类中的哪一类,常有的模式类有:(a)规格模式类,以一定标准判断目标车辆规格。如工程用车、大型车、中型车、公共汽车、小
17、汽车等,关于这类模式的研究主要应用在公路收费、车流分析等需求中。(b)系列模式类,按车标区分车辆厂家系列。如大众、别克、东风、三菱等,主要应用于市场统计、交通管理、公安稽查等。(c)品牌模式类,按车系固有品牌特征来区分具体车辆品牌。如桑塔纳、马自达、别克君威等,用于更高级的公安稽查系统、市场统计等场合。(2)判断车辆对象是否属于某己知库,即身份鉴定。“身份鉴定”方式通常利用图片处理技术即可实现大多数该类型应用,如比较两车辆图片是否属于同一辆车,查找车辆图片库中与已知车辆相同者等,通常应用于公安稽查、图像检索、出入管理等场合。车型识别技术的诸多研究领域和应用场合中,识别对象来源主要有两种:(1)
18、物理测量通过物理手段,如声音捕捉装贸、金属传感器、衡器等获得车辆的各种物理参数(声音、重量、宽度、高度等),利用这些车辆的画有特征进行分类以达到车型识别的目的。优点:物理测量信息可靠性强,由于车辆载重、车高等物理参数与车辆规格密切相关,所以通过物理测量到的信息和简洁的算法即可以区分车辆类型。缺点:施工复杂,路面辅助设施的添设也同时提高了系统的不稳定性,而且这种方式只能判断车辆大小规格,无法进一步获取更多信息。(2)图像处理静态图片分析是通过对单一拍摄的含有车辆的图片进行处理,并与离线获取的图片库进行比对,实现车型识别。在实时条件下的图片分析即为视频处理,通过摄像头采集车辆动态视频图像,来分析现
19、场环境、获取光照立体信息、自学习背景提取运动车辆,从而进一步识别车辆类型。优点:设备架设简单环保,嵌入式视频解决方案即可以满足大多数场合,而且采集信息的可挖掘性强,能充分抽取车辆图像中的信息,以完成更多高级分类识别应用。缺点:可靠性有待提高,图像传感器受光照、天气等自然因素影响较大,合适的拍摄角度不易选择,且算法难度较大,难以满足实时应用需求。这是这一技术迟迟未大量应用于实际系统中的原因。在基于图像(视频)处理的车型识别研究中,不少研究人员提出了有针对性的思路:(1)根据车牌颜色进行分类和识别根据我国车牌发放标准规定,大型车辆发放黄底黑字车牌,普通小型车辆发放蓝底白字车牌,涉外车辆发放黑底白字
20、车牌,军警及武警车辆发放白底黑字车牌,军车前汉字为红色。由此,通过对车牌颜色的判断即可以初步识别出车型,简单易行,识别结果可以应用于公路收费系统。但这种方法与我国车牌发放规定有关,若相关规定更改,则系统将不再适用,通用性不强。所以这种“关联判断”式的识别方法无法大规模使用。(2)通过车标进行识别定位并分离出车标区域,与已有的模板进行比对,即可以识别出车辆品牌。由于车标模板获取较容易,所以这种方法实现不困难,可以应用于市场调查等应用场合。但该方法依赖于淸晰的照片,或车标拍摄完整的照片,实际应用场合本辆遮挡或移物掩盖导致无法获得完整车标,山此限制了应用环境。(3)根据车辆轮廓信息进行识别以图像预处
21、理技术和图像分割技术为基础完成车辆与环境的分离,以边缘检测技术和滤波算法为核心抽取出车辆的轮廓,计算其几何特征如顶长比、顶宽比、前后比、面积等作为车辆分类特征元素,最后以此为依据进行模糊判别完成车型分类和识别。这类方案算法简洁、效率较高,但实际应用时拍摄角度、光照阴影、车辆遮挡等因素将影响车辆轮廓提取,对算法性能产生重大影响。(4)以车辆纹理信息为核心进行识别通过背景建模技术学习现场环境,使用图像分割技术分离出车辆区域作为感兴趣区,通过特征抽取方法提取该区域纹理特征,并统计大量样本特征训练生成分类器,使用分类器对未知目标纹理特征进行识别。该方法从理论上来说可以对车辆进行准确分类,可以较为细致地
22、判别出具体车型。但特征选择困难,对图像质量要求较高,而且模板库数据量大,算法也非常复杂,实时性能较弱。2.2.1国外的研究现状国外专家较早地对基于图像的车型识别技术开展了较为深入的研究。上世纪70年代初,德国西门子公司开始研究自动车辆识别,但由于受当时的整体技术、工艺水平的限制,未能获得满意的效果。Collins等5创建了一个路上移动目标的检测、跟踪、识别系统,用训练过的神经网络来识别运动目标是人、人群、车辆还是干扰,网络的输入特性量有目标的分散性度量、目标大小目标表面大小与摄影机监视区域大小的相对值。车辆又进一步区分为不同类型和颜色。Tan和Baker 6描述了一种车辆定位和识别(小型公共汽
23、车、轿车、卡车等)的方法,在一个小窗口,该方法依据图像梯度进行。利用地面约束以及大部分车辆外形受两条直线约束的事实,可得到车辆的姿态。Fung等7用高精度摄像机观察车辆的运动来估计车辆形状,通过估计特征点(车体拐角处)得到车辆轮廓。基本思想是高特征点的移动速度大于低特征点的移动速度,因为高特征点离摄像机近,车辆轮廓可用与车辆识别。加州大学伯克莱分校D.Koller和他的研究小组提出了在同一时刻检测和跟踪多辆车,得到车辆形状信息的方法,并采用图像帧差技术进行运动分割,背景图像用Kallman滤波进行更新。G.LForesti等开发了一个车辆跟踪系统,其中包括一个多级识别模块实现车辆识别。J.Fe
24、rryman等8建立了一个参数化的可变形三维模板,该模板通过演变,可适用于各种车辆。G.D.Sulhvan等采用三个一维模板检测是否有某类型车辆,当检测存在时,再用该类型车辆对应的二维模板进行跟踪,即车辆识别的验证过程,该方法采用了多模板的思想,有一定的创新作用。Jolly等9用变形模板来研究车辆识别,首先,建立目标车辆车头部分的侧视图以及正视图的变形模板。通过直方图交集,车辆的RGB直方图也必须比较,合适的车型模板边的点集也通过点集间的Hausdorff距离与其他车辆模板进行比较。华达大学的Sun Zehang等10使用Gabor滤波和支持向量机的方法完成车辆检测。Gabor滤波提供了获得灰
25、度不变性特征的维数,可以适用于光照变化和尺度变化的条件下,车辆具有较强的边缘和水平线信息,它们具有方向性和尺度。Gabor滤波能够对这些特征有更强的鲁棒性。在车辆检测阶段利用SVM进行验证。同时也使用进化Gabor滤波优化来完成特征抽取。此外,Sun Zehang还使用量化Haar小波特征和支持向量机的特征选择和分类的车辆检测方法。文中指出,小波特征由于其压缩性表示而非常适合车辆检测。它编码边缘信息,产生多比例信息并能够被有效计算。此外,通过对于小波系数的量化来实现重要信息的编码。车辆检测系统的训练和测试的数据集是采自于Michigan的Dearbom的3232图像数据集。Wisconsin大
26、学的Ran Bin等人11提出的基于视觉的检测算法通过计算车辆运动参数,跟踪多个车辆目标。该系统主要由四个模块组成:对象检测模块,对象识别模块,对象信息模块,对象跟踪模块。为了检测路上潜在的对象,包括对称性形状,车辆纵横比等特征在这一过程中被使用。两层的神经元网络用以训练识别不同车型。上世纪80年代后期,随着现代技术的发展,一系列关键技术如低功耗处理器、高性电池和微波集成电路等的突破,使自动车辆识别技术获得了突破性的进展,为交通管理自动化开辟了一个新纪元。近些年来,也有许多国外专家和学者相继提出了一些新的研究成果。G. Fung 等人12用具有较大分辨率的摄录机来获得机动车的移动形态,并利用移
27、动中出现的各种角点,估量出机动车的具体形态,得到形象的车型信息,最后利用得到的车型信息来进行车型识别,其缺点是对摄录机的精度要求过高,而且容易漏掉车型轮廓信息,不利于实际应用。G.S. sullivan 等人13首先利用3个一维模型来确定机动车的出现位置,然后利用1个二维模型对机动车进行跟踪,并利用模型跟踪中与目标车型对应的二维信息对机动车型进行分类, 虽然该方法开创性的利用了不同量与不同维的模型思想,但不足之处就是模板的数据存储量大,不利于达到实时性的指标。D. R. Lim 等14利用 Gabor 滤波器对机动车视频图像进行了均匀滤波,利用 Gabor 轮廓特征进行匹配识别车型,虽然减少了
28、 Gabor 数据量,提高了实时性,但同时也降低了车型识别的准确率。W. Sinatra 等15利用了 PCA 方法和加权 LDA 方法对机动车视频图像进行特征处理,PCA和LDA方法把图像高维空间变换到低维空间中,然后该文献利用复PCA方法将这些数据处理为统一的车型特征,并在最后利用支持向量机对车型进行识别,达到了较高的车型识别精度,但实时性较差,不适宜在实际中应用。Kazemi 等人16利用快速傅里叶变换、离散 Curvelet变换以及离散小波变换提取车型特征。Rahti 等人17在上述基础上利用 Contourlet 变换替代离散Curvelet 变换来提取特征,而2009年,Zafar
29、等人18通过提取不同子带的特征来提高识别率,在2010年,Iqbal 等人19结合Sobel与Sift算法对车型提取特征,但提取的用于识别的车型特征维数较高,车型分类的正确率低,而且识别的车型种类少。2.2.2国研究现状国专家对基于视频图像的车型识别技术的研究处于初级阶段,研究重点主要在如何提取有效的车型特征。2009 年,周爱军,杜宇人20首先利用边缘检测算法尽可能提取车辆的完整边缘信息,然后利用 Harris 角点检测方法得到车型的角点信息,其不足之处是由于噪声和阴影的缘故,导致得到的车型边缘信息不全面、边缘位置错位或产生变化,从而出现车型特征失效,降低车型识别准确率。图1 基于视频图像H
30、arris角点检测的车辆识别流程2009 年,克胜等人21首先利用图像局部匹配方法定位出目标车辆在图像中的位置,该方法主要应用于图像只包括车辆侧面的情况,在这种情况下,车身可近似为梯形,车轮近似为圆形,通过 Hough 变换算法将梯形和两个圆形检测出来,并将这三个特征和车辆位置关系与整幅图像匹配识别,其不足之处是受各种外界环境的干扰较大,存在提取特征不唯一或不完整情况,车型识别率低。图2 基于图像处理的车型识别技术研究流程图2010 年,马蓓,乐等人22提取目标车辆的纹理特征,同时计算灰度纹理特征在空间位置上的相互关系,以及相同位置上成对像素的灰度相关性,将这些数据作为车型的特征量,其明显缺点
31、是当图像分辨率发生变化时,计算得到的纹理特征会产生较大误差,从而降低识别率,而且实时性较差。图3 基于纹理特征的汽车车型识别流程图2010 年,黄灿23利用具有 130 维的 Sift 局部特征算子检测目标车辆图像在尺度空间的特征点,并精确定位每个特征点的主方向,最后生成 Sift 描述特征子,并通过对影响Sift 特征识别的各种因素进行了分析,提出了基于位置约束关系的改进匹配算法,但其缺点是车型识别的算法复杂,识别速度低,实时性不好。图4 基于局部特征的车辆识别流程图2012年,康维新等24提出一种复合的图像匹配模型与识别方法,首先应用Harris角点对车型初分类,再应用SIFT特征进行细分
32、类,该方法与只利用SIFT特征进行识别的方法相比,在保证识别准确性基本不变的情况下,减少约2/3的处理时间,使得实时性得到较大改善。其主要方法流程为:图5 Harris特征与SIFT特征相结合进行车型识别流程总体来看,目前国关于车型识别研究的主要方法为:(1)基于神经网络的方法:神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整部大量节点之间相互连接的关系,从而达到处理信息的目的。在车型识别方面,主要是利用神经网络进行车型识别,也可采用神经网络与其它技术结合,如神经网络与模糊技术结合、神经网络与分形技术结合等等。以下是神经网络结合其它知识的车型识别方法示例:(a)利用Canny算子检测车辆区域的边缘,提取车辆轮廓,直接计算车辆轮廓的矩不变量,将其作为车型分类的特征量,然后建立具有3层结构的BP神经网络,将不变矩特征量作为神经网络的输入,根据神经网络的输出实现车型
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1