车牌识别中倾斜牌照的快速矫正算法概要.docx
《车牌识别中倾斜牌照的快速矫正算法概要.docx》由会员分享，可在线阅读，更多相关《车牌识别中倾斜牌照的快速矫正算法概要.docx（12页珍藏版）》请在冰豆网上搜索。
车牌识别中倾斜牌照的快速矫正算法概要
车牌矫正是车牌定位和字符分割间的一个重要处理过程。
经过车牌定位后所获取的车牌图像不可避免地存在某种程度的倾斜。
这种倾斜不仅会给下一步字符分割带来困难，最终也将对车牌识别的正确率造成直接地影响。
因此要找到一种方法能够检测车牌图像是否水平以及它倾斜的精确角度。
车辆牌照都有上下边框，因此通过检测车牌边框直线的倾斜角度以获得车牌的倾斜角度是一种可行的方法。
变换在数字图像处理技术中是一种检测直线以Hough及其他几何形状的有效算法，变换检测几何形状的过Hough程实际上是一个参数猜想过程，它先把直角坐标系中的目标点映射到一个参数坐标系，即先把直角坐标系平面上几何形状上的所有点积累到极坐标系平面的同一点集中去，然后通过寻找极坐标系中点集的峰值来寻找几何特征。
由于这种点集是通过积累统计得到的，因此它具有较强的鲁棒性。
文献中提出中倾斜矫正的方法，文献中提出[4,5]OCR[6]利用车牌边缘特征进行变换矫正车牌倾斜的方法。
但Hough变换的计算量很大，如果要获得足够精度的倾斜角Hough度，采用此方法耗时较长，不能适应车辆牌照自动识别的实时要求。
因此变换进行车牌矫正的瓶颈在于速度。
在Hough车牌矫正的过程中真正有用的信息只有边框，车牌其它部分都是无效的冗余信息，只会增加运算量并可能对倾斜角度的检测带来不利影响。
为此本文提出采用轮廓跟踪和变Hough换分级检测两种方法共同来提高车牌矫正的快速性。
车牌边框的轮廓提取
1车牌矫正是在完成车牌定位和车牌图像的二值化后进行的。
为了加快矫正速度，最大程度地减少运算时的冗余数据，本文提出采用轮廓跟踪以获取车牌图像的外围轮廓特征。
要获得车牌完整的轮廓要求车牌边框的外围应当是封闭的，但由于拍摄条件和环境的影响，车牌二值图中边框部分可能出现间断，因此首先要对车牌图像进行处理。
数学形态学处理
1.1数学形态学是由一组形态学的代数运算子组成，其中最基本的是腐蚀算子和膨胀算子，运用这些算子及其组合可以对图像结构和形状进行分析和处理。
对于一个给定的目标图像X和一个结构元素S，如果XxS⊆][xX，即的全体构成了与图像最大相关点集，则
称这个点集为结构元素S对X的腐蚀，记为XYS，用集合表示为XYS}][|{XxSx⊆；腐蚀可以看作是将图像=X中的每一个与结构元素S][xSx全等的子集收缩为构成的集合，反之将X][xSSX⊕中的每一个点扩大为就是膨胀运算记为用,
}][|{φ≠∩=⊕xxSxSX集合表示为。
目标图像X关于结构元素S的形态开和形态闭运算分别定义为
XSX（=oSS⊕开运算（SXSX⊕=•S
闭运算XX对于目标图像，用形态开或形态闭对的一次以上的
X运算将不再改变，表明形态开或形态闭是单边算子，因
此在使用中将开、闭运算交替进行达到双边滤波的目的。
在对图像进行数学形态处理时，通过选择适当的结构元素，采
XX用形态开运算对进行平滑，清除的边缘毛刺和孤立的
XX噪声点；采用形态闭运算对进行滤波，填补的裂缝和空洞。
轮廓跟踪算法
1.2轮廓跟踪的基本原则是：
先根据某种“探测准则”找出
车牌识别中倾斜牌照的快速矫正算法芮挺1,2，沈春林2，张金林1
（解放军理工大学工程兵工程学院，南京；南京航空航天大学自动化学院，南京）
1.2100072.210016摘要：
在车辆牌照自动识别（）过程中，车牌图像的倾斜会给下一步字符切分和识别带来困难。
利用传统变换进行矫正的运算
LPRHough量很大，文中提出采用轮廓跟踪方法去除牌照图像中和矫正无关的所有冗余信息并采用分级检测的策略，在最大程度上减少矫正过程的运算
量。
实验结果表明，该方法可以准确地检测出车牌的倾斜角度，同时矫正速度比传统变换方法提高倍左右。
Hough10关键词：
牌照矫正；轮廓跟踪；变换；分级检测；
HoughAFastAlgorithmforLicensePlateOrientationCorrection
RUITing,SHENChunlin,ZHANGJinlin
（1.CollegeofAutomationEngineering,NanjingUniversityofAeronautics&Astronautics,Nanjing210016;
2.EngineeringInstituteofEngineeringCorps,PLAUniv.ofSci.&Tech.,Nanjing210007
【Abstract】Inreal-worldLicensePlateRecognition（LPR,theplatetiltnotonlyresultsindifficultiesincharactersegmentationbutalsocausesadverseimpacttothefinalrecognitionrate.AdirectuseoftheHoughtransformiscomputationallyveryexpensive.Toovercomethisdifficulty,Thispaperpresentstwonovelmethods:
oneistousethecontourtracingalgorithmtogetridofunrelatedimageregionstosavecomputation;andtheotheristouseahierarchicalsearchingstrategyintheHoughtransformtogainfurtherspeedup.Todemonstratetheeffectivenessoftheproposedalgorithm,itconductsextensiveexperimentsoveralargenumberofreal-worldvehiclelicenseplates.Itreportsa10-timespeedimprovement.【Keywords】License-plateorientationcorrection;Contourtracing;Houghtransform;Hierarchicalsearch
第30卷 第13期Vol.30№13
计 算 机 工 程ComputerEngineering2004年7月
July2004
・人工智能及识别技术・
中图分类号：
TN941.1
文章编号：
1000—3428（200413—0122—03
文献标识码：
A
—122—
图像轮廓上的某一点，然后根据该点的特征采用一定的“跟踪准则”找出相邻的轮廓点，并直到找到所有的轮廓点。
找到第一个轮廓点的“探测准则”可采用不同的方法定义，本文中定义为：
按照从左到右，从下到上的顺序在图像中搜索，找到的第一个目标点必定是图像最左下方的轮廓点，记为O。
简单的“跟踪准则”描述为：
由于O是最左下方的轮廓点，因此其右、右上、上、左上四个邻点中必有一点为轮廓点，记为N；在N的邻域内寻找目标点
8M，如果M的邻域点4不都是目标点，则M是轮廓点，否则不是轮廓点；如果M和O重合，则轮廓跟踪结束，否则继续寻找下一点。
这种算法要对每个轮廓点邻域内的所有点的邻域点进行判别，计算量84比较大，为此本文采用一种改进算法。
对于当前点P，其邻8域内各点的定义如图所示。
10
x7x6
x1xP5x2
x3
x4
x图当前轮廓点及其邻域
18算法过程如下：
按照与前述相同的“探测准则”找到图像最左下方的轮廓点（1O；
设（2O0x为当前点，定义初始搜索方向为左上方即方向若
（,0x0x1x2x是目标点则是轮廓点，否则搜索
…直到搜索到目标
点，并记为当前轮廓点P；
对于当前轮廓点（3Pix在当前搜索方向的基础上更新搜索方,2+ix2+ix向为（所有下标的模为），若是目标点则是轮廓点，否712++ix则搜索…直到搜索到目标点并记为当前轮廓点,P；若（4P与O
否则返回。
3图2近，可以看出该算法一般2~4即可确定一个轮廓点，比对8搜索的速度有显著地提高。
车牌倾斜角检测
2变换
2.1Hough变换是从平面坐标空间到参数空间的变换。
直线Houghbmxy+=θθsincosyxr+=可以用极坐标的形式表示为：
θ,r其中定义了从原点到线上最近点的向量。
考虑一个以（
rθyx,参数和定义的二维空间，平面的任意一直线对应yx,于该空间的一个点，变换就是将平面的任意一Hough
θ,ryx,1
p条直线映射为空间的一个点。
对于平面的一点11,yxθ,r过该点的直线可有很多，每一条都对应了空
（,
11,yx间中的一点，这些点必然满足以为常量的等式。
在参yx,
数空间中与空间中所有这些直线对应的点的轨迹是一条
yx,θ,r正弦曲线，而平面上的任一点对应了空间的一条
正弦曲线。
00,θr如果有一组位于参数决定的直线上的点，则直线
θ,r上的每一点对应了空间的一条正弦曲线所有这些曲线,
00,θr必交于点，因为它们共享这条直线的参数。
为了找出（
这些点所构成的直线，可以将变换的算法设计为：
Houghθ,r在适当的最大值和最小值之间建立一个离散的参数空（1
间；
θ,r建立一个累加器并置累加器各元素为；
（2A（,0'
'
yxθ扫描图像中的每一个目标像素点，对每一个的离
（3（'θ'
''cosθxr='
'
sinθy散取值计算，并在相应累加器元素
+A'
'
θr上加；（
1θ,rhhrθ,hhrθ,在累加器中搜索峰值，则就是图像（4
A（A（中直线的参数；
变换的倾斜角分级检测
2.2Hough从上面的分析可以看出，如果车牌图像中存在直线，那
θ,r么在累加器中必有相应的一个单元为局部最大，其A（
θ,r参数对应于该直线的参数。
车牌边框在车牌图像中表现为直线特性，并且上下边框应为图像中的最长直线段。
因
此在车牌倾斜角检测中就是利用车牌的边框的为最长直线段maxmax,θr的特性，通过来搜索累加器峰值
，则HoughA（maxθ就描述了车牌的倾斜角度。
轮廓跟踪将车牌图像中冗余的信息全部去除，只保留了
反映倾斜角度的边框部分，有效地减低了变换的计算Hough量，但这还不够，采用分级检测的方法可以进一步地提高计算效率。
从上面的分析可以看出变换的计算量大的原Houghθ'θ因是对每一个的离散取值都要求对图像目标点扫描一
'θ遍。
因此检测的精度越高，即的取值越紧密，变Hough°，°，为了达到良好的分割[-1010]°，°，如果
[-0.10.1]'
θ变换，则离散的取值为×Hough210/0.1+1采用分级变换，设第一级的精度为
Hough'
θ°°，则第一级变换离散的取值为×[-1,1]Hough210/1+1'
θ个，第二级的精度仍为°，°，此时的取值范=21[-0.10.1]'
θ
围为第一级的精度°°，则第二级变换离散[-1,1]Hough'
θ的取值为×个，两级离散的取值之和只有21/0.1+1=2121+
个，因此在相同精度下，采用分级检测的方法，可以大
21=42幅度地减少变换的计算量。
Hough在完成车牌定位和图像预处理后，车牌倾斜矫正的算法
如下：
图像分割，得到车牌二值图；
（1通过图像形态运算、轮廓跟踪将图像冗余信息去除；（2设定一级变换取值范围和精度；（3Hough
maxmax,θrmax
θ搜索累加器峰值，并根据旋转图像；
（4A（根据一级变换精度设定二级变换取值范围和精（5Hough
Hough度；
—123—
图2轮廓跟踪算法示意图
maxmax,θrmaxθ搜索累加器峰值，并根据旋转图像；（6A（结束。
（7变换有效性检测
2.3Hough在实际应用中，有少数车牌边框由于锈蚀等原因会变的非常模糊，以至于在二值图中的边框部分出现大范围的间断甚至完全消失，此时基于变换的矫正方法可能失效。
Hough此时如果仍按变换算法来检测倾角，会得出错误结Hough果，按此错误结果矫正可能使字符的可分割性和识别率反而下降。
为了防止在变换失效的情况下对车牌得出错误的Hough检测结果，可根据拍摄装置的分辨率和所获得车牌图像的宽度为累加器峰值设置一个阈值。
如果边框信息完整，作为贯穿图像的最长线段，累加器峰值的累加次数不应小于这个阈值，否则表明未能从图像中获得有效的边框信息，变
Hough换矫正失效。
实验结果及分析
3在对车牌矫正的实验中，首先采用自组织神经网络聚类的方法完成对车牌的图像分割，然后对二值图作形态学预处理和轮廓跟踪。
图中是根据以上方法对目前两种典型车牌进3
行处理得到的各步结果。
（）原始车牌图像（）分割后的二值图提取的边缘
12
（3Kirsch
（）未经形态运算（）形态运算后的二值图（）形态运算后的456的轮廓跟踪结果轮廓跟踪结果
（a
原始车牌图像分割后的二值图提取的边缘
（1（2（3Kirsch
未经形态处理的形态运算后的二值图形态处理后的（4（5（6轮廓跟踪结果轮廓跟踪结
（b
图车牌图像纠偏中间结果
3图中的车牌是目前较常见的形式，车牌固定在一个有3（a较宽边框的底板上，为轮廓跟踪提供了有利的条件，但由于边框上小字符的干扰，在这部分还是会出现间断，图中3（a-4未进行形态预处理，轮廓跟踪未得到理想的结果；经过形态预处理后的图中的轮廓跟踪结果比较理想。
图中的3（a-63（b车牌边框本身较窄，在图像分割后边框部分出现了间断，通过形态预处理将图像中的裂缝和空洞在滤波后进行了填补，最终的轮廓跟踪结果也很理想。
图两幅图像在分别采3（a（b用边缘检测和轮廓跟踪两种不同处理方法后目标点的统（3（6计值分别为和，可以看出通过轮廓跟踪，2119/4022140/393图像目标点的数量只有边缘检测方法的左右，大大地降20%低了变换时的运算量。
Hough在分级检测中，一级变换角度的搜索范围设定为Hough
[-maxθ°，°，搜索步长为，共个值，根据旋转图1010]1o21
像；二级变换的角度搜索范围设定为°°，搜索
Hough
[-1,1]maxθ步长为°，共个值，根据旋转图像，获得最终图0.121像。
实验中算法在下实现，所用机器配置为VC++6.0AMD
，。
表是矫正速度实验的比较。
Athlon-800CPU128MRAM1表矫正速度实验对比
1倾角矫正时间（ms
未经改进的Hough变换
228~246
本文快速矫正方法
23~27实验结果表明采用本文的快速矫正方法可以大幅度地降低车牌矫正所用的时间。
实验中对多幅具有不同倾斜角的100车牌进行了人工测量和变换自动矫正的对比，除了个Hough别车牌由于边框锈蚀严重导致变换失效外，其他车牌
Hough±均得到正确矫正，并且和人工测量结果的偏差在°以0.3
内。
对于这样的偏差在图像的水平和垂直投影图中几乎没有差别。
车牌矫正对于车牌字符正确切分和识别都具有重要的作用。
图中显示的是图中车牌矫正前和矫正后垂直投影43-（a
从图对比中可以看出，倾斜矫正前投影的峰谷的边缘有
4很多毛刺，表明在垂直方向上图像中字符切分的边界不清楚，以谷作为切分依据很可能导致错误的结果，矫正后投影的峰谷边缘非常清晰，使矫正后图像的可切分性有了明显地改善。
更重要的是通过矫正改善了各字符模式的特征向量信息，对提高最终字符识别的正确率有显著的作用。
结论
4车牌自动识别过程中，车牌的倾斜对字符切分和识别模式的提取及最终识别结果有显著的影响。
文中通过轮廓跟踪和分级检测两种方法来减少变换运算量，并提出采用Hough设置阈值的方法来检验变换方法是否失效，防止失效Hough的变换作出错误的倾斜检测结果。
Hough实验证明采用轮廓跟踪和分级检测两种方法可以将矫正过程的运算速度提高倍，满足了实时性的要求。
10LPR参考文献
张炜王庆赵荣椿汽车牌照的实时识别信号处理，1,,.[J].
2000,16（4:
373-375
2ComelliP,FerraginaP.OpticalRecognitionofMotorVehicleLicensePlates[J].IEEETransactiononVehicleTechnology,1993,11（44:
7903TanabeK,MarubayashiE.PC-BasedCarLicensePlateReading[J].SPIE,1994,2182:
220-230潘武模变换在中文名片图像倾斜矫正中的应用中文信4.Hough[J].息学报,15（3:
50-57
李存华基于轮廓投影法的文本图像倾斜纠正中国图像图形学5.[J].
报,2001,.6A（10:
984-987
张兴会基于神经网络的车辆牌照自动识别系统仪器仪表学报6.[J].,2001（6:
209-210
—124—
升级会员 