第3章车型识别doc.docx

1、第3章车型识别doc3 视频图像序列中车型识别方法研究目前的车型识别方法大致可以分为两类：基于模式识别的方法和基于图像匹配的方法。前者是根据车辆目标的某特征参数在具体的空间或时间的分布，用模式识别理论将其归类识别，而后者则是通过待识别车辆与车型模板相匹配来完成车型识别的。本文选取车辆的Harris角点作为车辆特征，hasdorff距离作为决策理论判断车辆类型。3.1特征提取 角点特正视图像的重要特征，在各种特征中角点具有旋转不变性和不随光照条件变化而变化的优点。由于角点能够在减少参与计算的数据量，同时又不损失图像的重要灰度信息。而且在图像匹配中，利用角点特征匹配可以大大提高匹配速度。所以研究一

2、种快速、有效角点提取方法对于提高图像匹配的速度和匹配率有着重要的意义，从而提高车型识别的速度。3.1.1角点提取 现有角点提取方法大致分为两类：一类是基于模板的方法；另一类是基于几何特征的提取方法。前一种方法可归纳为:首先设计一系列角点模板，然后计算模板与所有图像子窗口的相似性，以相似性判断位于子窗口中心的像元是否为角点。由于该算法计算耗时大，而且模板定义复杂，在实践中较少使用。基于几何特征的提取算法，依赖角点不同几何特性进行提取，计算简便，因而得到广泛使用。基于几何特征的角点提取，又分为两种方法。第一种方法也是最早提出的基于几何形状的方法之一，这种方法可以描述如下：对于一幅数字图像，首先对其

3、进行图像分割，提取边界构成链码，然后找出边界上转折较大的点作为角点。这种方法在算法和处理步骤上过于复杂，且在分割时所产生的误差将导致提取角点的结果偏差很大。此类算法计算步骤多，耗时较大，在实时匹配中较少使用。另外一种基于几何特征的角点提取方法直接依据图像的灰度信息进行提取。Kitchen发现以局部梯度乘以梯度方向的变化可以很好的提取角点10。Harri，和Stephens (1988 )采用了相同的思想对Moravec算子进行改进，提出了著名的plessey角点提取算子,即Harris角点I11。Smith和Brady (1997 )提出了一种完全不同的角点提取方法，即“SUSAN ( Sma

4、llest Univalue Segment Assimilating Nucleus )”提取算子。(1) Moravec算子检测Moravec于1977年提出利用灰度方差提取点特征的算子，其在主要四个方向上，选择具有最大一最小灰度方差的点作为特征点。步骤为: （1）计算各像元的兴趣值IV (interest value )，在以像素( C,r)为中心的wXw的影像窗口中(如5X5的窗口)，计算图3.1所示四个方向相邻像素灰度差的平方和: （3.1）其中k=INT(w/2)。取其中最小者作为该像素(c,r)的兴趣值: (3.2)图3.1moravec算子原理图(2)给定一个经验阈值，将兴趣值

5、大于该值的点(即兴趣值计算窗口的中心点)作为候选点。阈值的选择应以候选点中包括所需要的特征点，而又不含过多的非特征点为原则。（3）选择候选点中的极值点作为特征点。在一定窗口内(可以不同于兴趣值计算窗口，如5X5, 7X7或9X9像元)，将候选点中兴趣值不是最大者均去掉，仅留下最大者，该像素即为一个特征点，这一步骤可称为“抑制局部非最大”。通过以上步骤获得车辆Moravec角点如图3.2。 a待检测车辆 b Moravec角点检测图3.2 Moravec角点检测(2) SUSAN角点检测SUSAN (Smallest Univalue Segment Assimilating Nucleus)1

6、2是一种与以往方法完全不同的灰度图像处理方法，它提供的角点提取和边缘提取方法一样，有很强的抗噪声能力，因此不需要进行去噪声处理(滤波)。SUSAN准则的原理如图3.3，用一个圆形模板遍历图像,若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为USAN ( U nivalue Segment Assimilating Nucleus)区域。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基础。 图3.3 SYSAN原理Fig 3.3 The principle of SUSAN

7、algorithom式(1)定义了模板内属于USAN区域的像素的判别函数： （3.3）式中，是核的灰度值，为模板内其他任意像素的灰度值，t是灰度差门限，决定了检测出的特征的最小对比度和可忽略的噪声的最大量。图像中某一点r0对应的USAN区域的大小由使式(2)决定： （3.4）USAN区的大小反映了图像局部特征的强度，当模板完全处于背景或目标中时，USAN区域最大(如图2中a)，当模板移向目标边缘时，USAN区域逐渐变小(如图2中c, d, e) ,当模板中心处于角点位置时，USAN区域很小(如图2中b)。得到每个像素对应的USAN区域大小后，利用下式产生初始角点响应 （3.5）式中，g为几何门

8、限，g越小，检测到的角点越尖锐。利用SUSAN算法检测的车辆角点图如图3.4。 a待检测车辆 b SUSAN角点检测图 3.4 车辆 SUSAN角点检测(3) Harris角点检测 Harris算子是C. Harrish和M. Stephens 提出的一种点特征提取算子，我们可以总结到它的工作原理为下面的矩阵： （3.6）其中I(x,y)是图像灰度。如果在一个点的矩阵M的两个特征向量都较大，那么在任何方向有微小变化都会引起很大的灰度变化。这表明这个点是一个兴趣点。角响应函数为: （3.7）其中k是一个参数，可设为0. 04 ( Harr i s建议值)。角点被定义为角点响应函数局部最大地方。通

9、过临近像元的二次逼近可以获得子像元精度，当某点的Harris算子R 大于设定阈值T时，该点为角点。为了消除角点受噪声的影响，可以对图像进行Gaussian滤波，这应该对图像求导数的平方后进行滤波，而不是在原图像（输入图像）上滤波。用以上算法获得的Harris角点如图3.5。 a待检测车辆图 b Harris角点检测 图3.5 车辆Harris角点检测 在实际图像中噪声影响很大，所以在提取角点之前，对要处理的图像进行gaussian滤波处理，我们对图像进行滤波前和滤波后提取结果如图3.6所示。提取点数分别为和23和25，从图中可看出没有经过滤波的图像可能把一些噪声点作为角点,如图3.6d所示。

10、a待检测车辆 b经过gaussian滤波角点提取 c待检测车辆 d未经gaussian滤波角点提取 图3.6 gaussian滤波对Harris角点检测影响角点提取过程中阈值T的选择决定了之后的计算中是否对该点进行处理，是相当关键的一个指标。取大了，候选点减少，但是正确的角点被去除的概率也增大;如果取得太小，候选点太多，那么进行初选的意义就丧失了。当T增大时对初选的要求越高，选到的点变少，反之选到的点增加，但是没有理论上的正确值来判断一个点的差分值为多少才是角点，只能以经验值进行划分。下面是两幅阂值分别为100和150的初提结果，如图3.7。分别得到37点和23点，本实验中选择阈值150，虽然

11、T=100时检测的角点更多，但同时必然在匹配过程中耗时较大，影响车型识别的速度；T=100时提取角点尽管较少，但能减少匹配时的耗时，且能正确识别出车型。 a T=100角点提取 b T=150角点提取 图3.7 不同阈值时Harris角点检测结果以上介绍了常见的三种角点检测原理并通过实验提取了车辆的三种角点，对于结果归纳如表3.1。表3.1 三种角点检测算法比较 角点检测算法检测角点数检测耗时检测准确率Moravec角点230.85s86.9% Susan角点 24 0.153s91.7%Harris角点 220.207s 100%从表中可以看出Harris角点检测耗时大约是Moravec角点

12、检测的四分之一，虽然Susan角点算法耗时比较小，但检测到车外的点，影响识别的准确率。C. Schmid等13报道，Harris角点提取方法是目前效果最好的, 其特点有：a.计算简单。Harris算子中只用到灰度的一阶差分，操作简单。b.提取的点特征均匀而且合理。Harris算子对图像中的每个点都计算其兴趣值，然后在邻域中选择最优点。实验表明，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少。c.可定量的提取特征角点。d.即使存在有图像的旋转、灰度的变化、噪音影响和视点的变换，它也是最稳定的一种点特征提取算法。鉴于以上比较，本文选取Ha

13、rris角点作为角点提取算法。3.2Hasdorff距离原理Hausdorff距离14是一种定义于两个点集上的最大-最小距离，它主要用于测量两个点集的匹配程度。设有两组有限点集A=a1,ap，B=b1,bq，则两者之间的Hausdorff距离定义为 其中h(A,B)为从点集A到点集B的有向Hausdorff距离，h(B,A)可作类推。 |为点集A、B上的范数，采用L2范数，即欧氏距离，若定义一个点到一个有限集合的距离为该点与这个集合所有点的距离的最小值，则h(A,B)为点集A中的每个点到点集B的距离的最大值。Hausdorff距离取h(A,B)和h(B,A)的最大值，通过计算两者的最大值就可以

14、获得两个点集之间的匹配程度，该距离用Hi，i=1,2,3表示。两个车辆目标轮廓A，B之间的Hausdorff距离可以通过如下计算获得： 定义和则 这样可以通过分别计算所有aA的d(a)和bB的d(b)得到H(A,B)。分别计算待识别车辆目标轮廓点集与保留的两类车型样本轮廓点集之间的Hausdorff距离，则Hausdorff距离相对较小的两个点集代表的车型应具有相同的类型。3.3基于Harris角点的车型识别各种不同的车辆目标具有较为明显的角点差异，基于此，首先可以利用安装在路侧的CCD摄像机获取运动车辆的视频侧面图像，然后将视频提取成帧序列并基于背景差分方法获得运动目标，最后对目标进行Har

15、ris角点检测并计算目标角点与三类标准样本Harris角点的Haudorff距离识别车辆，其中距离最小的样本即为识别的车型。图3.8分别是经过背景差分检测出运动目标后轿车、客车、货车的Harris角点检测结果,并分别作为样本1、样本2、样本3。 a背景 b含轿车运动序列 c 轿车角点检测 d背景 e含客车运动序列 f客车角点检测 g背景 h含货车运动序列 i货车角点检测 图3.8 轿车、客车、货车Harris角点检测结果基于车辆Harris角点检测的车型识别步骤如下：由于车型种类众多，本文按其使用功能分，将车型分为：轿车、客车及货车三种类型，分别选取该三种类型车辆的标准Harris角点图像作为

16、三类车型的标准样本图像。基于背景减法检测定位当前运动车辆目标，并对其进行Harris角点检测。分别将待识别目标和标准样本的harris角点行列信息存为A和Bi(i=0,1,2,分别代表标准轿车、客车、货车)。分别计算A与Bi的Hausdorff距离H0、H1、H2，将与待识别车型Harris角点距离最小的那类样本的车型，作为当前待识别车辆的类型。由于视频序列中车辆目标是运动的，因此需将车辆的harris角点统一归为图像的左上角才能作为特征对车辆识别。图3.9a、b、c分别对应于轿车、客车及货车的Harris角点归为左上角的样本图像。 a样本1轿车 b样本2客车 c样本3货车图3.9 三种类型车

17、辆的标准样本按以上方法，对基于车辆Harris角点Hausdorff距离的车型识别过程进行仿真，得到以下结果。表3.2给出了待识别车辆与三个标准样本Harris角点之间匹配计算的的值，表3.3给出了车辆分类识别结果。从表中可看出本识别方法有效且实时性较好。表3.2：待识别车辆与三个标准样本Harris角点之间Hausdorff距离待识别车型匹配H0H1H2轿车样本15（车型）样本224（去除）样本320（去除）客车样本128（去除）样本21（车型）样本33（去除）货车样本116（去除）样本214（去除）样本310（车型）注：其中样本1为轿车，样本2为客车，样本3为货车。表3.3：车辆分类识别结

18、果车型总数错误识别率平均每辆仿真耗时（秒）轿车10101000.247货车54394.44%0.286客车35197.14%0.2633.4利用harris角点测速3.4.1视频测速基本原理视频测速一般采用特征点匹配的方法来计算车速，基本过程是：在一帧图像中选择一组在运动中形状不变的特征点，与相邻下一帧中的同类特征点作匹配，根据相邻两帧图像中的特征点移动的位移量求得车辆运动距离，根据相邻两帧图像之间的时间间隔得到车辆运动的时间，根据位移量和时间计算出车速。具体算法是把分割出的目标图像的角点中心(x,y)作为特征点,求出相邻两帧图像目标区域中心坐标值后，就可以求出目标中心移动的像素点距离，再乘以

19、系统初始化时设定的像素距离与实际路长的比例系数，从而得到实际移动的距离，最后用两幅图像之间的时间间隔去除实际距离就得到了速度。本实验中，系统的中心点可用图3.10表示，设最左、最右角点横坐标为x1、x2，最下、最上角点纵坐标为y1、y2，则中心点坐标为x=(x1+x2)/2 y=(y1+y2)/2 (3.8)图3.10 角点中心点作为精确定位点单独用车头角点和车尾角点作为精确定位点的误差比较大，也就是当利用角点中心点作为精确定位点时，其可能发生的最大误差也仅仅接近或等于以车头点或车尾点作为精确定位点时的误差，且在检测精度较高的条件下，发生大误差的概率较小。在下列几种情况下，将角点中心点作为精确

20、定位点，可以有效减小定位偏差当只有车头角点或只有车尾角点发生检测偏差时；当车头角点与车尾角点发生相反方向的偏差时；当车头角点与车尾角点发生相同方向的偏差时，该情况发生的概率较小。以角点中心点作为精确定位点的优点就是使“车尾角点”与“车头角点”互相具有一个“牵制”作用，能较好的减小定位误差。设角点中心点行驶距离为S，所需时间为t，则车速可用S/t形式表示。这里利用两条检测线A、B来测量车速，假设两条检测线距离为S,当车辆触发A检测线，记录下此时视频文件的帧(N1)，然后当车辆触发B检测线时，再记录下视频文件的帧(N2)。本系统MPEG视频每秒播放视频文件30帧。这样车辆运行的时间为（N2-N1）

21、/30s。因此车辆的速度近似为S*30/（N2-N1）像素/s。因为两条检测线之间距离很近，所以得到的为车辆的近似瞬时速度。可以根据实际来判断视频图像上的像素和实际距离的对应关系，这样就得到实际的瞬时速度。这一过程示意图如图3.11所示。图3.11 视频测速基本原理图上述过程中s为角点中心点在图像中移动的像素，可通过如下方法算出每一像素实际中所代表的距离。如图3.12所示,设摄像机的扫描线数目为N(如分辨率为768576的图像,N为576), w1,w2,w3,wN为实际中不相等的距离,但经摄像机成像后,它们分别对应数字图像中的每一行像素,即有相等的“图像距离”。因此,对图像中的每行像素,不能

22、平等对待,须根据实际情况将每行像素映射为所代表的实际距离。图3.12 摄像机安装位置和成像示意图摄像机距地面的高度为H,为能被拍摄到的路面最前方(相对于车辆行进方向)到摄像机的垂直距离,由于摄像机安装位置固定,H和都能直接测出。设第1条扫描线与垂直方向的夹角为,则 （3.9）每相邻两条扫描线之间的角度为。因此,第2条扫描线与垂直方向的夹角为,第3条扫描线与垂直方向的夹角为,依此类推,第条扫描线与垂直方向的夹角是。通过式(3)可计算w1,w2,w3,wN的值,利用车辆在视频图像中的位移,可计算出车辆行驶的实际距离。 （3.10）3.4.2实验结果为了检验上述方法的有效性，按本文设定的摄像机安装方

23、法以30bps的速率拍摄了包含运动目标车辆的视频序列图像，基于Matlab仿真平台，通过对视频序列图像进行基于背景减法的精确的目标检测及定位，而表3.4给出了实验中测得的目标车辆的实际运动速度及其与正确速度的误差。表3.4 目标车辆速度测定结果（单位“千米/小时”）目标车辆测量速度实际平均速度误差1（轿车）63.36622.19%2（货车）43.2466%3（客车）62.1631.75%由表3.4给出的车辆速度测量结果可见，利用本文方法能够较为精确的测量出目标车辆的行驶速度，且误差较小。3.5本章小结 本章在总结了现有的两种车型识别方法基础上，选取特征匹配作为车型识别方法。特征可以是目标的区域

24、、边缘或者点特征，由于点特征可以大大减少匹配的耗时，本文选取车辆角点作为特征。首先研究了三种常见角点提取算法原理及它们各自提取车辆角点的结果，从仿真耗时以及提取准确率可以看出Harris角点比较合适。求出待检测车辆与货车、客车、轿车三类标准样本角点的hasdorff距离，距离最小的即为识别车型，实验证明该方法实时性好，识别准确率高。最后通过harris角点对车辆进行了测速。10L.Kitchen, A. Rosenfeld. Grey-level corner detectionJ，Pattern Recog. Lett. 1, 1982,95-102.11 Harris C, Stephen

25、s M, A combined coener and edge detector A. Matthews M M. Proceedings of the Fourth Alvey Vision ConferenceC. Manchester: the University of Sheffield Printing Unit, 1988. 147-15112Smith S M, Bradv .J M. SUSAN-a new approach to low level image processing. Int Jaurual Computer Vision,1997,23(1):45-7813Schimid C, Mohr R, Bauckhage C, Comparing and evaluating interest points. Ahuja N, de Sai U. Proceedings of the sixth International Conference on Computer VisionC. Washington: IEEE Computer Society, 1998. 230-235