第3章车型识别doc.docx
《第3章车型识别doc.docx》由会员分享，可在线阅读，更多相关《第3章车型识别doc.docx（17页珍藏版）》请在冰豆网上搜索。
第3章车型识别doc
3视频图像序列中车型识别方法研究
目前的车型识别方法大致可以分为两类：
基于模式识别的方法和基于图像匹配的方法。
前者是根据车辆目标的某特征参数在具体的空间或时间的分布，用模式识别理论将其归类识别，而后者则是通过待识别车辆与车型模板相匹配来完成车型识别的。
本文选取车辆的Harris角点作为车辆特征，hasdorff距离作为决策理论判断车辆类型。
3.1特征提取
角点特正视图像的重要特征，在各种特征中角点具有旋转不变性和不随光照条件变化而变化的优点。
由于角点能够在减少参与计算的数据量，同时又不
损失图像的重要灰度信息。
而且在图像匹配中，利用角点特征匹配可以大大提高匹配速度。
所以研究一种快速、有效角点提取方法对于提高图像匹配的速度和匹配率有着重要的意义，从而提高车型识别的速度。
3.1.1角点提取
现有角点提取方法大致分为两类：
一类是基于模板的方法；另一类是基于几何特征的提取方法。
前一种方法可归纳为:
首先设计一系列角点模板，然后计算模板与所有图像子窗口的相似性，以相似性判断位于子窗口中心的像元是否为角点。
由于该算法计算耗时大，而且模板定义复杂，在实践中较少使用。
基于几何特征的提取算法，依赖角点不同几何特性进行提取，计算简便，因而得到广泛使用。
基于几何特征的角点提取，又分为两种方法。
第一种方法也是最早提出的基于几何形状的方法之一，这种方法可以描述如下：
对于一幅数字图像，首先对其进行图像分割，提取边界构成链码，然后找出边界上转折较大的点作为角点。
这种方法在算法和处理步骤上过于复杂，且在分割时所产生的误差将导致提取角点的结果偏差很大。
此类算法计算步骤多，耗时较大，在实时匹配中较少使用。
另外一种基于几何特征的角点提取方法直接依据图像的灰度信息进行提取。
Kitchen发现以局部梯度乘以梯度方向的变化可以很好的提取角点[10]。
Harri，和Stephens（1988）采用了相同的思想对Moravec算子进行改进，提出了著名的plessey角点提取算子,即Harris角点I11]。
Smith和Brady（1997）提出了一种完全不同的角点提取方法，即“SUSAN（SmallestUnivalueSegmentAssimilatingNucleus）”提取算子。
（1）Moravec算子检测
Moravec于1977年提出利用灰度方差提取点特征的算子，其在主要四个方向上，选择具有最大一最小灰度方差的点作为特征点。
步骤为:
（1）计算各像元的兴趣值IV（interestvalue），在以像素（（C,r）为中心的wXw的影像窗口中（如5X5的窗口），计算图3.1所示四个方向相邻像素灰度差的平方和:
（3.1）
其中k=INT（w/2）。
取其中最小者作为该像素（c,r）的兴趣值:
（3.2）
图3.1moravec算子原理图
（2）给定一个经验阈值，将兴趣值大于该值的点（即兴趣值计算窗口的中心点）作为候选点。
阈值的选择应以候选点中包括所需要的特征点，而又不含过多的非特征点为原则。
（3）选择候选点中的极值点作为特征点。
在一定窗口内（可以不同于兴趣值计算窗口，如5X5,7X7或9X9像元），将候选点中兴趣值不是最大者均去掉，仅留下最大者，该像素即为一个特征点，这一步骤可称为“抑制局部非最大”。
通过以上步骤获得车辆Moravec角点如图3.2。
a待检测车辆bMoravec角点检测
图3.2Moravec角点检测
（2）SUSAN角点检测
SUSAN（SmallestUnivalueSegmentAssimilatingNucleus）[12]是一种与以往方法完全不同的灰度图像处理方法，它提供的角点提取和边缘提取方法一样，有很强的抗噪声能力，因此不需要进行去噪声处理（滤波）。
SUSAN准则的原理如图3.3，用一个圆形模板遍历图像,若模板内其他任意像素的灰度值与模板中心像素（核）的灰度值的差小于一定阈值，就认为该点与核具有相同（或相近）的灰度值，满足这样条件的像素组成的区域称为USAN（UnivalueSegmentAssimilatingNucleus）区域。
把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基础。
图3.3SYSAN原理
Fig3.3TheprincipleofSUSANalgorithom
式
（1）定义了模板内属于USAN区域的像素的判别函数：
（3.3）
式中，
是核的灰度值，
为模板内其他任意像素的灰度值，t是灰度差门限，决定了检测出的特征的最小对比度和可忽略的噪声的最大量。
图像中某一点r0对应的USAN区域的大小由使式
（2）决定：
（3.4）
USAN区的大小反映了图像局部特征的强度，当模板完全处于背景或目标中时，USAN区域最大（如图2中a），当模板移向目标边缘时，USAN区域逐渐变小（如图2中c,d,e）,当模板中心处于角点位置时，USAN区域很小（如图2中b）。
得到每个像素对应的USAN区域大小后，利用下式产生初始角点响应
（3.5）
式中，g为几何门限，g越小，检测到的角点越尖锐。
利用SUSAN算法检测的车辆角点图如图3.4。
a待检测车辆bSUSAN角点检测
图3.4车辆SUSAN角点检测
（3）Harris角点检测
Harris算子是C.Harrish和M.Stephens提出的一种点特征提取算子，我们可以总结到它的工作原理为下面的矩阵：
（3.6）
其中I（x,y）是图像灰度。
如果在一个点的矩阵M的两个特征向量都较大，那么在任何方向有微小变化都会引起很大的灰度变化。
这表明这个点是一个兴趣点。
角响应函数为:
（3.7）
其中k是一个参数，可设为0.04（Harris建议值）。
角点被定义为角点响应函数局部最大地方。
通过临近像元的二次逼近可以获得子像元精度，当某点的Harris算子R大于设定阈值T时，该点为角点。
为了消除角点受噪声的影响，可以对图像进行Gaussian滤波，这应该对图像求导数的平方后进行滤波，而不是在原图像（输入图像）上滤波。
用以上算法获得的Harris角点如图3.5。
a待检测车辆图bHarris角点检测
图3.5车辆Harris角点检测
在实际图像中噪声影响很大，所以在提取角点之前，对要处理的图像进行gaussian滤波处理，我们对图像进行滤波前和滤波后提取结果如图3.6所示。
提取点数分别为和23和25，从图中可看出没有经过滤波的图像可能把一些噪声点作为角点,如图3.6d所示。
a待检测车辆b经过gaussian滤波角点提取
c待检测车辆d未经gaussian滤波角点提取
图3.6gaussian滤波对Harris角点检测影响
角点提取过程中阈值T的选择决定了之后的计算中是否对该点进行处理，是相当关键的一个指标。
取大了，候选点减少，但是正确的角点被去除的概率也增大;如果取得太小，候选点太多，那么进行初选的意义就丧失了。
当T增大时对初选的要求越高，选到的点变少，反之选到的点增加，但是没有理论上的正确值来判断一个点的差分值为多少才是角点，只能以经验值进行划分。
下面是两幅阂值分别为100和150的初提结果，如图3.7。
分别得到37点和23点，本实验中选择阈值150，虽然T=100时检测的角点更多，但同时必然在匹配过程中耗时较大，影响车型识别的速度；T=100时提取角点尽管较少，但能减少匹配时的耗时，且能正确识别出车型。
aT=100角点提取bT=150角点提取
图3.7不同阈值时Harris角点检测结果
以上介绍了常见的三种角点检测原理并通过实验提取了车辆的三种角点，对于结果归纳如表3.1。
表3.1三种角点检测算法比较
角点检测算法
检测角点数
检测耗时
检测准确率
Moravec角点
23
0.85s
86.9%
Susan角点
24
0.153s
91.7%
Harris角点
22
0.207s
100%
从表中可以看出Harris角点检测耗时大约是Moravec角点检测的四分之一，虽然Susan角点算法耗时比较小，但检测到车外的点，影响识别的准确率。
C.Schmid等[13]报道，Harris角点提取方法是目前效果最好的,其特点有：
a.计算简单。
Harris算子中只用到灰度的一阶差分，操作简单。
b.提取的点特征均匀而且合理。
Harris算子对图像中的每个点都计算其兴趣值，然后在邻域中选择最优点。
实验表明，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少。
c.可定量的提取特征角点。
d.即使存在有图像的旋转、灰度的变化、噪音影响和视点的变换，它也是最稳定的一种点特征提取算法。
鉴于以上比较，本文选取Harris角点作为角点提取算法。
3.2Hasdorff距离原理
Hausdorff距离[14]是一种定义于两个点集上的最大-最小距离，它主要用于测量两个点集的匹配程度。
设有两组有限点集A={a1,…,ap}，B={b1,…,bq}，则两者之间的Hausdorff距离定义为
其中h（A,B）为从点集A到点集B的有向Hausdorff距离，h（B,A）可作类推。
||·||为点集A、B上的范数，采用L2范数，即欧氏距离，若定义一个点到一个有限集合的距离为该点与这个集合所有点的距离的最小值，则h（A,B）为点集A中的每个点到点集B的距离的最大值。
Hausdorff距离取h（A,B）和h（B,A）的最大值，通过计算两者的最大值就可以获得两个点集之间的匹配程度，该距离用Hi，i=1,2,3表示。
两个车辆目标轮廓A，B之间的Hausdorff距离可以通过如下计算获得：
定义
和
则
这样可以通过分别计算所有a∈A的d（a）和b∈B的d’（b）得到H（A,B）。
分别计算待识别车辆目标轮廓点集与保留的两类车型样本轮廓点集之间的Hausdorff距离，则Hausdorff距离相对较小的两个点集代表的车型应具有相同的类型。
3.3基于Harris角点的车型识别
各种不同的车辆目标具有较为明显的角点差异，基于此，首先可以利用安装在路侧的CCD摄像机获取运动车辆的视频侧面图像，然后将视频提取成帧序列并基于背景差分方法获得运动目标，最后对目标进行Harris角点检测并计算目标角点与三类标准样本Harris角点的Haudorff距离识别车辆，其中距离最小的样本即为识别的车型。
图3.8分别是经过背景差分检测出运动目标后轿车、客车、货车的Harris角点检测结果,并分别作为样本1、样本2、样本3。
a背景b含轿车运动序列c轿车角点检测
d背景e含客车运动序列f客车角点检测
g背景h含货车运动序列i货车角点检测
图3.8轿车、客车、货车Harris角点检测结果
基于车辆Harris角点检测的车型识别步骤如下：
①由于车型种类众多，本文按其使用功能分，将车型分为：
轿车、客车及货车三种类型，分别选取该三种类型车辆的标准Harris角点图像作为三类车型的标准样本图像。
②基于背景减法检测定位当前运动车辆目标，并对其进行Harris角点检测。
③分别将待识别目标和标准样本的harris角点行列信息存为A和Bi（i=0,1,2,分别代表标准轿车、客车、货车）。
④分别计算A与Bi的Hausdorff距离H0、H1、H2，将与待识别车型Harris角点距离最小的那类样本的车型，作为当前待识别车辆的类型。
由于视频序列中车辆目标是运动的，因此需将车辆的harris角点统一归为图像的左上角才能作为特征对车辆识别。
图3.9a、b、c分别对应于轿车、客车及货车的Harris角点归为左上角的样本图像。
a样本1—轿车b样本2—客车c样本3—货车
图3.9三种类型车辆的标准样本
按以上方法，对基于车辆Harris角点Hausdorff距离的车型识别过程进行仿真，得到以下结果。
表3.2给出了待识别车辆与三个标准样本Harris角点之间匹配计算的的值，表3.3给出了车辆分类识别结果。
从表中可看出本识别方法有效且实时性较好。
表3.2：
待识别车辆与三个标准样本Harris角点之间Hausdorff距离
待识别车型
匹配
H0
H1
H2
轿车
样本1
5（车型）
样本2
24（去除）
样本3
20（去除）
客车
样本1
28（去除）
样本2
1（车型）
样本3
3（去除）
货车
样本1
16（去除）
样本2
14（去除）
样本3
10（车型）
注：
其中样本1为轿车，样本2为客车，样本3为货车。
表3.3：
车辆分类识别结果
车型
总数
错误
识别率
平均每辆仿真耗时（秒）
轿车
101
0
100％
0.247
货车
54
3
94.44%
0.286
客车
35
1
97.14%
0.263
3.4利用harris角点测速
3.4.1视频测速基本原理
视频测速一般采用特征点匹配的方法来计算车速，基本过程是：
在一帧图像中选择一组在运动中形状不变的特征点，与相邻下一帧中的同类特征点作匹配，根据相邻两帧图像中的特征点移动的位移量求得车辆运动距离，根据相邻两帧图像之间的时间间隔得到车辆运动的时间，根据位移量和时间计算出车速。
具体算法是把分割出的目标图像的角点中心（x,y）作为特征点,求出相邻两帧图像目标区域中心坐标值后，就可以求出目标中心移动的像素点距离，再乘以系统初始化时设定的像素距离与实际路长的比例系数，从而得到实际移动的距离，最后用两幅图像之间的时间间隔去除实际距离就得到了速度。
本实验中，系统的中心点可用图3.10表示，设最左、最右角点横坐标为x1、x2，最下、最上角点纵坐标为y1、y2，则中心点坐标为
x=（x1+x2）/2y=（y1+y2）/2（3.8）
图3.10角点中心点作为精确定位点
单独用车头角点和车尾角点作为精确定位点的误差比较大，也就是当利用角点中心点作为精确定位点时，其可能发生的最大误差也仅仅接近或等于以车头点或车尾点作为精确定位点时的误差，且在检测精度较高的条件下，发生大误差的概率较小。
在下列几种情况下，将角点中心点作为精确定位点，可以有效减小定位偏差①当只有车头角点或只有车尾角点发生检测偏差时；②当车头角点与车尾角点发生相反方向的偏差时；③当车头角点与车尾角点发生相同方向的偏差时，该情况发生的概率较小。
以角点中心点作为精确定位点的优点就是使“车尾角点”与“车头角点”互相具有一个“牵制”作用，能较好的减小定位误差。
设角点中心点行驶距离为S，所需时间为t，则车速可用S/t形式表示。
这里利用两条检测线A、B来测量车速，假设两条检测线距离为S,当车辆触发A检测线，记录下此时视频文件的帧（N1），然后当车辆触发B检测线时，再记录下视频文件的帧（N2）。
本系统MPEG视频每秒播放视频文件30帧。
这样车辆运行的时间为（N2-N1）/30s。
因此车辆的速度近似为S*30/（N2-N1）像素/s。
因为两条检测线之间距离很近，所以得到的为车辆的近似瞬时速度。
可以根据实际来判断视频图像上的像素和实际距离的对应关系，这样就得到实际的瞬时速度。
这一过程示意图如图3.11所示。
图3.11视频测速基本原理图
上述过程中s为角点中心点在图像中移动的像素，可通过如下方法算出每一像素实际中所代表的距离。
如图3.12所示,设摄像机的扫描线数目为N（如分辨率为768×576的图像,N为576）,w1,w2,w3,…,wN为实际中不相等的距离,但经摄像机成像后,它们分别对应数字图像中的每一行像素,即有相等的“图像距离”。
因此,对图像中的每行像素,不能平等对待,须根据实际情况将每行像素映射为所代表的实际距离。
图3.12摄像机安装位置和成像示意图
摄像机距地面的高度为H,
为能被拍摄到的路面最前方（相对于车辆行进方向）到摄像机的垂直距离,由于摄像机安装位置固定,H和
都能直接测出。
设第1条扫描线与垂直方向的夹角为
则
（3.9）
每相邻两条扫描线之间的角度为
。
因此,第2条扫描线与垂直方向的夹角为
第3条扫描线与垂直方向的夹角为
依此类推,第
条扫描线与垂直方向的夹角是
。
通过式（3）可计算w1,w2,w3,…,wN的值,利用车辆在视频图像中的位移,可计算出车辆行驶的实际距离。
（3.10）
3.4.2实验结果
为了检验上述方法的有效性，按本文设定的摄像机安装方法以30bps的速率拍摄了包含运动目标车辆的视频序列图像，基于Matlab仿真平台，通过对视频序列图像进行基于背景减法的精确的目标检测及定位，而表3.4给出了实验中测得的目标车辆的实际运动速度及其与正确速度的误差。
表3.4目标车辆速度测定结果（单位“千米/小时”）
目标车辆
测量速度
实际平均速度
误差
1（轿车）
63.36
62
2.19%
2（货车）
43.2
46
6%
3（客车）
62.1
63
1.75%
由表3.4给出的车辆速度测量结果可见，利用本文方法能够较为精确的测量出目标车辆的行驶速度，且误差较小。
3.5本章小结
本章在总结了现有的两种车型识别方法基础上，选取特征匹配作为车型识别方法。
特征可以是目标的区域、边缘或者点特征，由于点特征可以大大减少匹配的耗时，本文选取车辆角点作为特征。
首先研究了三种常见角点提取算法原理及它们各自提取车辆角点的结果，从仿真耗时以及提取准确率可以看出Harris角点比较合适。
求出待检测车辆与货车、客车、轿车三类标准样本角点的hasdorff距离，距离最小的即为识别车型，实验证明该方法实时性好，识别准确率高。
最后通过harris角点对车辆进行了测速。
[10]L.Kitchen,A.Rosenfeld.Grey-levelcornerdetection[J]，PatternRecog.Lett.1,1982,95-102.
[11]HarrisC,StephensM,Acombinedcoenerandedgedetector[A].MatthewsMM.ProceedingsoftheFourthAlveyVisionConference[C].Manchester:
theUniversityofSheffieldPrintingUnit,1988.147-151
[12]SmithSM,Bradv.JM.SUSAN-anewapproachtolowlevelimageprocessing.IntJaurualComputerVision,1997,23
（1）:
45-78
[13]SchimidC,MohrR,BauckhageC,Comparingandevaluatinginterestpoints.AhujaN,deSaiU.ProceedingsofthesixthInternationalConferenceonComputerVision[C].Washington:
IEEEComputerSociety,1998.230-235
升级会员 