基于图像信息的汽车牌照定位技术研究.docx

1、基于图像信息的汽车牌照定位技术研究 基于图像信息的汽车牌照定位技术研究摘要：汽车牌照的定位是牌照识别的第一步,定位的准确与否将对后续操作起关键性的作用.在模式识别领域中,希望通过一种方法就完成一项实际工作是不可能的,必须要考虑多种方法融合的策略.提出了一种基于多方法的车牌定位策略.首先利用颜色信息对输入图像进行彩色粗分割,得到了颜色为车牌照的一些区域.然后将分割结果中的伪目标区域(即除了车牌照区域外的其他区域)分为两类(一类是与汽车牌照颜色相近的背景,一类是可能和牌照颜色相近的汽车外壳),分别进行处理,最终利用投影法得到准确的车牌位置.实验结果表明该方法效果较好.关键词：汽车牌照；定位；车牌提

2、取；字符分割；字符识别；彩色分割 Comprehensive Review of License Plate Location Technology Based on ImageAbstract:Car-plate locating is the first step of the recognition of car-plate.The accuracy of locating plays an important role in the next steps.An approach of car-plate locating based on col-or segmentation is

3、presented.Firstly,the input picture in roughly segmented based on the color information,and some regions with the color of car-plate are obtained.Then the false regions in the result image is eliminated.At last,projection metod is used to get the accurate position of the plate.The experimental resul

4、t show that the proposed method is quite effective.Key words:Car plate;Location; license plate extraction;Character segmentation，Character recognition; Segmentation based on colorful picture 目 录1. 绪论 11.1 研究背景及意义 11.2 车牌定位技术国内外发展现状 11.3 研究的难点 22 车牌定位的一些方法 22.1 彩色汽车牌照定位方法 22.1.1 基于颜色模型的粗分割 22.1.2 区域融

5、合 32.1.3 非牌照区域的去除 42.1.4 车牌最终定位 52.1.5 实验结果 62.2 基于边缘检测与垂直投影相结合的车牌定位方法 62.2.1 边缘检测 62.2.2 结合垂直投影的车牌定位 82.2.3 实验结果与分析 92.3 一种复杂车辆图像中的多车牌定位方法 102.3.1 预处理 102.3.2 车牌定位与倾斜矫正 122.3.3 实验结果 153 结语 164 参考文献 175 致谢 17前言 车牌自动识别技术可以应用于道路收费系统、交通管理系统等广泛的领域。随着我国汽车数量的迅速增加，车牌自动识别技术的应用具有重要的现实意义。车牌自动识别技术通常可分为3个步骤：车牌区

6、域的定位、字符的分割和字符的识别。而车牌区域定位的准确与甭，直接影响到后续步骤的运作。1绪论 1.1研究背景及意义 随着世界经济的高速发展，汽车数量与日俱增，交通状况同时受到人们的重视。交通问题的解决是一项复杂的工程，单靠一方面的措施难以解决，必须从道路基础设施的供给、交通规则、交通管理和交通需求管理等多方面协调进行系统治理。但是受到资源、财力、环境等因素的限制，基础设施的建设是不可能无限度的增加，所以利用科学的管理方式和先进的技术手段来改造现有的道路运输系统，以充分发挥道路网的效率，就显得尤为重要。ITS智能运输系统(Intelligent Transport System)将先进的信息技术

7、、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理系统。LPR车牌照识别技术(License plate recognition)是一个以特定目标为对象的专用计算机视觉系统，该系统能从一幅图像中自动提取车牌照图像，能自动分割字符，进而再对字符进行识别。LPR作为ITS的重要组成部分，主要由三部分组成：汽车牌照定位、汽车牌照字符分割、汽车牌照字符识别。汽车牌照的定位直接影响着汽车牌照的识别的准确性，所以研究汽车牌照定位技术也就有了很大的意义。1.1 车牌定位技术国内外

8、发展现状随着科学技术与经济的发展，人们对于交通状况的要求也越来越高，在交通硬件取得了很大成就的同时，交通类软件的发展也引起了人们的广泛重视。一些发达国家近年来有不少这方面的理论研究成果和软件产品，我国在这方面的研究也具备一定的规模。但由于多种原因，该技术还没有被广泛的掌握和应用，还需要不断完善，以促使我国的交通管理事业迈上一个新的台阶。车牌定位的研究国外起步比较早，现有比较好的牌照定位方法主要有JBarroso等提出的基于水平线搜寻的定位方法；RParisi等提出的基于DFT变换的频域分析法：Charl Coetzee提出的基于Niblack二值化算法及自适应边界搜索算法的定位方法；JBula

9、sCruz等人曾提出基于扫描行的车牌提取方法。上述这些方法，尽管在一定的条件下能够分割出车牌，但车牌识别系统大多是利用摄像机室外拍摄汽车图像，存在许多客观的干扰，如天气、背景、车牌磨损、图像倾刳等因素。因此这些定位方法并不太理想，而且对于我们国家的车牌并不能很好地识别，经常产生误识和拒识现象。1.2 研究的难点车牌定位是车牌自动识别系统的关键技术之一。尽管目前这方面的研究已经日渐成熟，但也存在一些问题尚待解决，例如：很多系统缺乏对光照条件的适应性、对牌照的底色存在一定的歧视(即对不同底色车牌的识别率有明显差异)等。典型的车牌定位算法可分为两大类：基于车牌区域纹理复杂性和基于车牌特征颜色。单一的

10、定位算法能满足特定场合的需求，但在复杂环境下性能下降。另一方面，在利用纹理或者颜色信息定位过程中，都要面临阈值或范围的确定，一般根据经验和统计选择固定值，这样算法的鲁棒性会降低。本文将提出一些比较好的方法对这些问题进行解决2 车牌定位的一些方法2.1 彩色汽车牌照定位方法2.1.1 基于颜色模型的粗分割 根据人眼的结构，所有的颜色都可看作是3个基本颜色，也就是RGB三基色的不同组合,一般彩色图像常采用RGB模型,但是单纯地利用RGB模型,很难进行彩色图像处理,因为RGB 三原色空间中两点间的欧氏距离与颜色距离不成线性比例。因此，要对彩色车牌照进行分割，需要将这个模型转化到另外空间中去：HSI模

11、型。H表示色调,S表示饱和度,I表示密度。对应图像灰度，由RGB模型到该模型的变换公式为: 该模型有两个特点:一是I分量与图像的彩色信息无关,二是H分量抽出了色调而忽略了亮度信息,这对分割车牌照十分有利。例如蓝色的色调一般都处在通过对这个量进行过滤，就可以将输入图像中的蓝色部分全部滤出来，当然包括蓝色车牌部分，在这个分割基础上可以进行下一步的工作。下面以蓝底白字车牌为例。2.1.2 区域融合上一步只是一个粗分割。自然图像中属于蓝色的区域可能会有很多，因此粗分割结果只是得到包括车牌区域在内的很多杂乱区域,对于包含车牌的区域，由于字符部分为白色，所以这片区域中会包含许多的残洞（如图2.2所示）。这

12、一步的目的就是去掉这些残洞，得到比较连续的区域。现在引入下面的结构元：式中，M,N-结构元的长和宽。 图2.1 结构元 图2.2 空洞情况让这个结构元在得到的分割结果图像中滑动，如果本结构元所覆盖的区域中有一定百分比数目的蓝点，则将此结构元下面的像素点认为是目标点，将空洞部分予以填充，即在分割后的输入图像f(x,y)的当前点(x=i,y=j)处，若， 则令 这样就可以保证车牌部分为一片连通的区域，而不受非蓝色字符的影响。2.1.3 非牌照区域的去除 经过上述的区域处理之后，得到了一个包含牌照区域的很多杂乱的蓝色区域。将非牌照的那些伪区域进行如下分类：一类是颜色与牌照颜色相近的小噪声区域；另一类

13、是颜色与牌照颜色相近的汽车外壳。对于每一类都给出了不同的处理策略。 第一类的小噪声区域的特点是面积比较小，可以设置一个面积门限来将这些小的区域滤掉。首先对上述所有处理之后的结果图像扫描一遍，找出所有的区域，如果区域q(r,s)的总像素点数小于给定的阈值,那么令q(r,s)=0,r、s属于本区域。第二类的处理较为复杂，再通过面积来做是不可能的，还要考虑采用输入图像的梯度信息。先求出原图像f(x,y）的梯度图像h(x,y)。由于光滑的汽车外壳部分的平均梯度较小，而车牌照区域经过上面的处理已经包含了非牌照颜色的字符，所以该区域的梯度值较大。但是牌照区域又可能会由于上面设置的门限不够准确而粘连上了一些

14、大的区域，从而使该处区域的平均梯度值也较小。这里就需要做预处理，采用如图1所示的结构元，并用它来扫描当前结果图像。 若 并且 则令 也就是说当结构元覆盖了足够的蓝色区域且该区域的平均梯度值小于门限t时,则将该结构元覆盖下的部分清除掉。 现在大区域应该都被去除或主要部分被去除，只留下大区域的边缘部分及牌照区。接着，对整个图像再进行一次扫描，标记出所有剩余的区域。对每一个区域q(r,s)，判断：，是否成立，若成立，则将该区域删除，否则保留。对每一个区域的上述检测完毕之后，就可得到车牌区域的图像了（非车牌区域的值为零）。2.1.4 车牌最终定位 根据车牌底色及长宽比的先验知识，可采用投影法分割出合理

15、的车牌区域，下面以分割蓝底白字的车牌区域为例说明投影分割的方法。把经过颜色分割后的输出结果按行（列）计算蓝色像素的总和，即为该行（列）对蓝色的投影值，把所有像素行（列）的投影值都统计出来，即得到整个图像对蓝色的水平（垂直）投影。投影操作实际上是把二维图像的像素分布特征简化为x轴和y轴的两个一维函数,通过对两个投影图像的分析,即可提取出车牌区域。这样就得到了准确的车牌位置信息，可以据此进行下一步的角度检测以及字符提取工作。2.1.5 实验结果 对一些车牌图像进行了实验，所有图像来自于一个车牌识别演示系统“车牌通”的图像库，实验中选择了蓝色的车牌照，并特意选用了车身也是蓝色的图像来说明本方法的有效

16、性，如图2.3所示。实验取得了良好的效果。 （a）输入图像 （b）输出图像 图2.3 实验结果2.2 基于边缘检测与垂直投影相结合的车牌定位方法2.2.1 边缘检测边缘是图像最基本的特征。边缘检测在计算机视觉、图像分析等应用中起着重要的作用,是图像分析与识别的重要环节,这是因为子图像的边缘包含了用于识别的有用信息。所以边缘检测是图像分析和模式识别的主要特征提取手段。经典的、最简单的边缘检测方法是对原始图像按像素的某邻域构造边缘算子。边缘检测的实质是采用某种算法来提取出图像中对象与背景间的交界线。我们将边缘定义为图像中灰度发生急剧变化的区域边界。图像灰度的变化情况可以用图像灰度分布的梯度来反映,

17、因此可以用局部图像微分技术来获得边缘检测算子。经典的边缘检测方法,是对原始图像中像素的某小邻域来构造边缘检测算子。经典的边缘提取方法是考察图像的每个像素在某个邻域内灰度的变化,利用边缘邻近一阶或二阶方向导数变化规律,用简单的方法检测边缘,这种方法称为边缘检测局部算子法。边缘检测的基本思想是通过检测每个像元和其邻域的状态,以决定该像元是否位于一个物体的边界上。如果每一个像元位于一个物体的边界上,则其邻域像元灰度值的变化就比较大。假如可以应用某种算法检测出这种变化并进行量化表示,就可以确定物体的边界。常用的边缘检测算子主要有:罗伯特(Roberts)边缘算子、索贝尔( Sobel)边缘算子、Pre

18、witt边缘算子、拉普拉斯(Lap lacian)边缘算子、高斯- 拉普拉斯(Lap lacian of Gaussian)边缘算子和坎尼(Canny)边缘算子。（a）罗伯特(Roberts)边缘算子 罗伯特(Roberts)边缘算子采用对角线方向相邻两像素之差近似梯度幅值检测边缘。检测水平和垂直边缘的效果好于斜向边缘,定位精度高,对噪声敏感。（b）索贝尔( Sobel)边缘算子 索贝尔算子是一组方向算子,从不同的方向检测边缘。索贝尔算子不是简单求平均再差分,而是加强了中心像素上下左右四个方向像素的权重,运算结果是一幅边缘图像。 索贝尔( Sobel)算子对噪声具有平滑作用,提供较为精确的边缘

19、方向信息,边缘定位精度不够高。当对精度要求不是很高时,是一种较为常用的边缘检测方法,通常对灰度渐变和噪声较多的图像处理得较好。（c）Prewitt边缘算子 Prewitt边缘算子Prewitt算子利用像素点上下、左右邻点灰度差,在边缘处达到极值检测边缘。Prewitt算子不仅能检测边缘点,而且对噪声具有平滑作用,因此对灰度和噪声较多的图像处理得较好。（d）拉普拉斯(Laplacian)边缘算子 拉普拉斯算子是一个二阶导数算子,利用边缘点处二阶导函数出现零交叉原理检测边缘。该算子是一个与方向无关的各向同性(旋转轴对称)边缘检测算子。若只关心边缘点的位置而不顾其周围的实际灰度差时,一般选择该算子进

20、行检测。由于拉普拉斯算子为二阶差分,其方向信息丢失,常产生双像素,对噪声有双倍加强作用,因此它很少直接用于边缘检测。（e）坎尼(Canny)边缘算子 坎尼算子是一类最优边缘检测算子,它在许多图像处理领域得到了广泛应用。 Canny方法也使用拉普拉斯算子,该方法与其它边缘检测方法的不同之处在于,它使用两种不同的阈值分别检测强边缘和弱边缘,并且仅当弱边缘与强边缘相连时才将弱边缘包含在输出图像中,因此这种方法较其它方法而言不容易被噪声“填充”,更容易检查出真正的弱边缘。2.2.2 结合垂直投影的车牌定位 车牌定位就是从复杂的车辆背景图像中准确的提取出车牌区域。在对车牌进行定位前,先将汽车图像通过灰度

21、变换、直方图均衡化等增强预处理,再经二值化,最后利用上述各边缘检测算子之一对图像进行边缘检测。检测到边缘后在进行区域膨胀,腐蚀去无关的小物件,这时图像呈现出多个连通的判断区域。要进行车辆牌照的提取和分割,必须了解车辆牌照的特征。我们国家现有车辆牌照可分为4类:蓝底白字,黄底黑字,黑底白字和白底黑字,所以颜色组合比较丰富。经过大量实验数据发现,所有车辆牌照具有以下特征:1)由于目前车辆牌照是由一个省份汉字( 军警牌除外) 后跟字母或阿拉伯数字组成的7 个字序列。除第1个汉字外,字母和数字的笔画在竖直方向都是连通的。2)车辆牌照区域牌底与牌字颜色对照大,边缘丰富。3)在某个相对固定的牌照位置拍得的

22、图像上车辆牌照子图像区域高度和长度一定,并且长高比例一定,一般约为4.51。找出所有连通域中最可能是车牌的那一个。判断的标准是:测得该车牌的长宽比约为4.5 1,其面积和周长存在关系: ( 4.5 L L) / 2 ( 4.5 +1) L 21/27,以此为特征,取metric = 273 area /perimeter2作为连通域的匹配度,它越接近1,说明对应的连通域越有可能是4.51的矩形。但一般的车牌都是在野外拍摄的,受时间和气候的影响较大,背景的复杂性使车牌图像中含有多个与车牌信息类似的边缘区域,符合上述的车牌长高比,会被误认为是车牌区域。下面根据车牌特点的先验知识和伪车牌区域图像颜色

23、复杂、纹理信息不明显等自身特点,提出了结合垂直投影伪判别车牌的方法。 从车牌字符的特点可以预见,车牌区域的垂直投影图将呈现多锯齿状,连续字符之间将在水平方向上出现有规律的明暗交替。根据这一特点,可以使用一条水平直线与投影图相交,统计交点的最大个数,以此判断真伪车牌。由于车牌的字符数为7,交点的最大个数不能小于14,否则认为是伪车牌。该方法的步骤如下:1)作该区域的垂直投影图；2)考虑到投影图会有尖峰噪声,从而影响后续统计,所以将投影图进行一次高斯滤波；3)从投影图底部开始,用一条水平线穿过投影图,统计水平线与投影图的交点个数；4)将水平线依次上移,直到到达投影图的顶部,并找到水平线交点的最大个

24、数N；5)如果N 小于一个阈值T,则认为是伪车牌区域。图2.4为实际投影图统计水平交点的示意图。图2.4( a)是与车牌区域有着相似的边缘信息的伪车牌区域；( b)是该图像的真实车牌区域。对两幅图进行垂直投影,图中的水平线是交点个数最大的水平线示意。从图中可以看到真实车牌的投影更加有规律,字符与字符之间有明显的间隔。 图2.4 投影图统计水平交点的示意图2.2.3 实验结果与分析 在matlab7.0 环境下对上述提出的算法进行了测试, 通过对150幅背景复杂的车辆图像进行了测试,车牌类型包括不同省市的汽车牌照,用单一的Sobel算子检测定位成功率为93.3%,而结合垂直投影定位成功率为97.

25、3%。实验结果表明该算法具有较好的鲁棒性和准确性。 图2.5 一幅实例的识别过程2.3 一种复杂车辆图像中的多车牌定位方法2.3.1 预处理 由于拍摄条件的差异,常常拍摄到的图像曝光不足,图像较模糊1。为了便于后续的处理,首先对图像进行预处理,预处理部分分为灰度化、直方图均衡化以及全局三值化。（a）灰度化 一般摄像头拍摄到的图像为彩色图,为了简化处理,需要转换成灰度图。采用现行标准的平均值法, g 表示灰度化后灰度值, R , G, B 分别表示原彩色图中的红、绿、蓝分量,有 2-8由此可得到灰度图像。（b）灰度拉伸 若成像时光照不足或光照过强,整幅图像便会偏暗或偏亮,这时图像对比度低。灰度拉

26、伸就是把感兴趣的灰度范围拉开,使得该范围内的像素,亮的越亮,暗的越暗,从而增强对比度。这里通过对灰度化的图像进行直方图均衡化,消除了光照引起的图像差异,使得图像上明暗对比显著,牌照区域的笔画特征明显。（c）全局三值化 因为对于拍摄到的不同车辆图像存在着不同的问题,比如车牌有污迹,车身颜色比较鲜亮等等,很难用一般的全局二值化方法来处理图像。利用车牌字符与背景的灰度差别较大这个特征,来全局处理图像,这个过程相当于边缘检测,求得图像的边缘。该方法对图像中所有的像素点进行如下处理:设原图为P ,三值图为Q1) 对像素点P( x0 , y0 ) , 查找其邻域中最大与最小的灰度值,分别用max ( x0

27、 , y0 ) 和min ( x0 , y0 )表示;2) 计算t (x0 , y0 ) = max (x0 ,y0 ) - min ( x0 , y0 ) ;3) 设阈值为T ,如果t ( x0 , y0 ) T ,且max ( x0 , y0 ) - P( x0 , y0 ) T ,且max ( x0 , y0 ) - P( x0 , y0 ) P( x0 , y0 ) - min (x0 , y0 ) , 则Q( x0 , y0 ) = 01 则Q 为此方法得到的新的三值图， 图6为三值化原图及结果图。 图2.6 三值化图从图中可看出,大部分区域由于灰度变化较缓,显示为灰色;而车牌边框和

28、字符为白色;车牌内除边框和字符之外的区域为黑色1 车牌内亮暗区域的对比由于相对固定,即使在光线明暗变化较大时,仍然是显而易见的. 因此,对于光照,阴晴等环境的变化具有较广泛的适应性。根据车牌特征,计算可得阈值T 的值, T 应略小于车牌内背景的像素值与车牌中字符的像素值之间的像素差。通常车辆的该像素差的值(小车约164260 ,大车约1192178) 约为601001 在实验中阈值T 的值为50。2.3.2 车牌定位与倾斜矫正车牌定位与倾斜矫正是整个算法的核心部分。首先使用一个阈值T1 来分割连通域, 然后对每一个连通域进行区域填充,对填充的区域使用惯量椭圆进行倾斜矫正,判断该连通域是否为矩形

29、,直到处理完所有的连通域, 然后对得到的车牌候选区进行筛选剔除伪区域。（a）连通域分割与区域填充 对三值图进行形态闭操作, 以消除小的间隙。分割以上得到的三值图中的四连通域。 对每个连通域,首先求出该连通域的外接矩形,去除外接矩形的宽度或者高度太小( 5 个像素) 的区域,以减少后续处理的计算量。然后运用形态学方法对连通域内部进行区域填充。此算法以集合的膨胀、求补和交集为基础。A表示一个包含子集的集合, 其子集的元素均是区域的连通点, B 为对称结构元素,下列过程将对四连通区域用255进行填充 2-9如果Xk = Xk - 1 ,则算法在迭代的第k 步结束。（b）惯量椭圆倾斜矫正为了将倾斜的车

30、牌矫正,以便判断该连通域是否为矩形,这里采用惯量椭圆的方法测量倾斜角。在此之前对得到的候选区进行仿射矫正,把拍摄视角不同引起的变形候选区矫正为矩形。刚体动力学中,对于每一个刚体可求得其惯量椭圆 (3)式中分别是刚体绕，X,Y,Z坐标轴的转动惯量,称作惯积量。 每幅2D 图像可看作一个面状刚体,对这个面上的每个区域都可求得一个对应的惯量椭圆, 它反映了区域上的各点的分布情况。对于一个实心的矩形区域,其惯量椭圆的长轴与其水平中轴线重合, 可由其长轴的斜率来求得矩形的倾斜角。对每一个填充后的区域计算其惯量椭圆,其两个轴的斜率分别为k , l。从而可以求得候选车牌区的倾斜角为 然后根据倾斜角对候选车牌

31、区进行倾斜矫正。与利用Hough 变换求得倾斜角的方法相比,采用惯量椭圆的方法,由于是利用了整个区域的像素,抗干扰性较强,特别在复杂背景及车牌上钉有铆钉的时候,该方法效果明显优于Hough 变换。图2.7为倾斜矫正前后的图像。 图2.7 倾斜矫正（c）提取矩形对于倾斜矫正后的连通域,通过计算该连通域外接矩形的面积与值为255 的像素个数比,可以很容易的判断出该连通域是否为矩形1 若接近于矩形(可通过为比值设置阈值来判断) ,即将该区域判定为候选区域。（d）去除伪区域 对于每一个候选区域,可以充分利用矩形以及车牌的特征,使用以下的规则来剔除伪区域11) 面积比:对于普通车牌而言,车牌内的字符区域与车牌底色区域之间的面积比通常是在一个范围内的。可计算如下的两种极端情况:“川L 11111”和“赣B 88888”,将这两种情况作为比值大小的范围边界。计算结果为最小比值为0.43135 ,最大比值为3.581111 故可先将未填充的图像依据得到的该连通域倾斜角进行倾斜校正,再计算该面积比,通过为该值设置阈值(0.43.6) 来判断该区