车牌的定位与字符分割 论文.docx
《车牌的定位与字符分割 论文.docx》由会员分享，可在线阅读，更多相关《车牌的定位与字符分割 论文.docx（31页珍藏版）》请在冰豆网上搜索。
车牌的定位与字符分割论文
课程设计
论文题目车牌的定位与字符分割
第一章绪论
1.1车牌自动识别技术
智能交通系统（ITS）是21世纪世界道路交通管理体系的模式和发展方向。
智能交通系统应用人工智能技术、GPS和网络通信技术、检测技术、电子收费技术等革新道路交通，试图有效地调整交通需求，提高道路通行能力，改善服务水平，减少环境污染和油料损耗，增加通行安全。
而在ITS中，车牌自动识别系统是一个非常重要的发展方向。
在经济全球化的今天，高速度、高效率的生活节奏，使车辆普及成为必然的趋势，交通管理自动化越来越成为亟待解决的题。
车辆牌照识别（LicensePlateRecognition,LPR）技术作为交通管理自动化的重要手段，其任务是分析、处理汽车图象，自动识别汽车牌号。
LPR系统可以广泛用于电子收费、出入控制、公路流量监控、失窃车辆查询和停车场车辆管理等需要车牌认证的重要场合尤其在高速公路收费系统中，实现不停车收费提高公路系统的运行效率，系统更具有不可替代的作用，因而从事技术的研究具有极其重要的现实意义。
车牌自动识别技术大体可分为四个步骤：
图像预处理、车牌定位与分割、车牌字符的分割和车牌字符识别。
而这四个步骤又可归结为两大部分：
车牌分割和车牌字符识别。
其一般流程图如图1-1所示。
图1-1车牌识别系统流程图
1.2车牌自动识别技术的研究现状
我国车牌识别系统技术需求和难度相较国外更高，这主要是因为以下五个方面的原因:
1.我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别与字
母和数字的识别有很大的不同，从而增加了识别的难度;
2.国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜（例如韩国，其车牌底色为红色，车牌上的字符为白色），而我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、红、白等若干种颜色;
3.其他国家的汽车牌照格式（如汽车牌照的尺寸大小，牌照上字符的排列等）通
常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式（例
如分为军车、警车、普通车等）;
4.我国汽车牌照的规范悬挂位置不唯一;
5.由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下国外发达国
家不允许上路，而在我国仍可上路行驶。
近年来，车牌识别系统发展很快，就其识别基础而言，主要可以分为间接法和直接法：
1.间接法是将车牌的信息存储于IC卡或条码中。
尽管IC卡技术识别准确度高，运行可靠，可以全天候作业，但它整套装置价格昂贵，硬件设施十分复杂，不适用与异地作业。
条形码技术虽然具有识别速度快、准确度高、可靠性强以及成本较低等优点，但对于扫描器要求很高。
2.基于图像的车牌识别技术属于直接法。
直接法一般有图像处理技术、传统模式识别技术及人工神经网络技术。
它是一种无源型汽车牌照智能识别方法，能够在无任何专用发送车牌信号的车载发射设备情况下，对运动或禁止状态车辆的车牌号码进行非接触性信息采集，并实时智能识别。
与间接法识别系统相比，①直接法系统节省了设备安置及大量资金，从而提高了经济效益。
②由于采用了先进的计算机应用技术，可调高识别速度，较好地解决实时性问题。
③它是根据图像进行识别，所以通过人的参与可以解决系统中的识别错误。
1.3车牌自动识别技术的发展
车牌自动识别的过程一般分成车牌定位、字符分割、字符识别三个环节，每个环节都有不同的实现方法。
1车牌定位
目前主要有下列几种定位方法：
（1）直接法利用车牌的特征来提取车牌。
常用的特征有：
车牌的边缘特性、投影特性、形状特性以及颜色特性等。
（2）人工神经网络方法：
首先进行神经网络的训练，从而得到一个对牌照敏感的人工神经网络，然后利用训练好的神经网络检测汽车图像、定位车牌。
（3）数学形态学的方法使用一定的结构元素，利用数学形态学中的开运算与闭运算来对图像进行处理，得到多个车牌可能区域，然后在处理后的图像中用多区域判别法在图像的多个车牌可能区域中找到车牌的正确的位置。
（4）基于分形盒子维的方法：
由于车牌内的字符笔划几乎是随机分布，但又有明显的笔划特征，因此可以采用分形维数来对其进行分析从而达到分割车牌的目的。
2字符分割
主要有基于车牌字符特征的投影法和基于聚类分析的车牌字符分割方法。
投影法首先计算牌照字符的垂直投影，利用投影直方图得到一个闭值，根据该值再结合车牌字符固定宽度、间距的比例关系等先验知识来分割字符。
基于聚类分析的车牌字符分割方法按照属于同一个字符的像素构成了一个连通域的原则，再结合牌照的先验知识来进行字符分割。
3字符识别
（1）统计决策法
在字符识别中，不是只把字符的特征向量和字典内标准的特征向量逐一进行比较，完全相同才能分类识别，而是根据某种判别准则尺度，当两者相似到一定程度而且彼此又能区分时就可以分类识别。
（2）句法结构方法
句法模式识别也称为结构模式识别。
句法识别技术将对象分解为若干个基本单元，这些基本单元称为基元，用这些基元以及它们的结构关系可以描述对象，基元以及它们的结构关系可以用一个字符串或一个图来表示，然后运用形式语言理论进行句法分析，根据其是否符合某类的文法而决定其类别。
（3）人工智能方法
人工智能是研究如何使机器具有人脑功能的理论和方法，模式识别从本质上讲就是如何根据对象的特征进行类别的判断，因此，人工智能方法就是将人工智能中有关学习、知识表示、推理等技术用于模式识别，并由此对车牌字符进行识别。
（4）人工神经元网络法
人工神经元网络是由大量简单的基本单元相互联接而成的非线性动态系统，每个神经元的结构和功能都比较简单，但由其组成的系统却可能非常复杂，它具有人脑的某些特性，能用于联想、识别和决策。
神经元具有非线性映射的能力，它们之间通过权系数相连结。
这种大规模并行结构具有很高的计算速度，完全不同于传统机器。
模式识别中往往存在噪声干扰或输入模式的部分损失，而人工神经元网络将信息分布存储于连结的权系数中，使网络具有很高的容错性和鲁棒性。
另外，人工神经元网络的自组织、自适应学习功能，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出了极大的优越性。
因此人们正在深入探讨人工神经元网络用于模式识别的潜力。
（5）模板匹配法
模板匹配法又分为简单模板匹配法、外围轮廓匹配法、穿线法以及基于
距离的模板匹配算法。
简单模板匹配法不经过粗分类直接进行模板与字符图像的逐点匹配，匹配时选择海明距离。
1.4本文研究内容
本论文各章的内容如下：
第一章简述了论文研究的目的和意义，介绍车牌识别技术的概念，概述车牌识别技术的研究现状和发展过程。
第二章是车牌的预处理部分，包括对模糊图像的去噪、复原和增强。
第三章是车牌分割的理论基础，基于纹理和基于颜色两种方法结合来分割车牌的设计。
第四章介绍了车牌分割后的倾斜校正以及字符分割的实现，本文运用Radon法进行倾斜矫正，然后用垂直投影法分割字符。
第五章先介绍了字符识别的原理，然后详细阐述了运用神经网络算法进行字符识别。
（该部分由另一位组员完成）
第六章是识别系统的总结和进一步研究的展望。
第二章预处理
2.1图像退化的成因和模型
图像在形成、传输或变换过程中，受多种因素的影响，如：
光学系统失真、系统噪声、曝光不足或过量、相对运动等，往往会与原始景物之间或图像与原始图像之间产生某种差异，这种差异称为降质或退化。
因此在图像处理之前必须进行预处理，包括去噪、复原和增强等。
在实际应用中,通常假定传输系统是线性系统,图像退化过程可用卷积模型表示为：
g（x,y）=f（x,y）*h（x,y）+n（x,y）
式中f（x,y）是原始图像，h（x,y）反映综合所有退化因素得到的系统函数，称为成像系统的冲激响应或点散布函数（PointSpreadFunction,PSF），g（x,y）为实际得到的退化图像，n（x,y）为噪声模型，*表示卷积运算。
图2-1所示就是一个基本的退化模型。
图2-1图像退化模型
2.2图像去噪
通常得到的汽车图像会有一些污点，为了保证识别的效果，需要对图像进行去噪。
因为噪声主要是一些含高频的突变成分，所以可以通过一个低通滤波器来消除图像中包含的噪声，并使低频成分得到增强。
滤波的方式有两种：
一种是空间域滤波，一种是频率域滤波。
在空间域，常见的滤波方式有两种方式，均值滤波和中值滤波。
频率域滤波主要有巴特沃斯滤波器。
图2-2分别演示了这些滤波器处理椒盐噪声的效果。
ab
cd
a．被椒盐噪声污染的图片b.均值滤波的效果图c.中值滤波的效果图d.BLPF的效果图
图2-2各滤波器的仿真
可见，中值滤波对椒盐噪声的处理效果极好，而一般所拍摄的图片上最多的便是孤立的污点，所以此处以中值滤波为主进行去噪。
2.3图像复原
数字图像在获取的过程中，由于光学系统的像差、光学成像衍射、成像系统的非线性畸变、摄影胶片的感光的非线性、成像过程的相对运动、大气的湍流效应、环境随机噪声等原因，图像会产生一定程度的退化.因此，必须采取一定
的方法尽可能地减少或消除图像质量的下降，恢复图像的本来面目，这就是图像复原，也称为图像恢复。
MATLAB的图像处理工具箱提供了4个图像恢复函数，用于实现图像的恢复操作，按照其复杂程度列举如下：
·deconvwnr函数：
使用维纳滤波恢复；
·deconvreg函数：
使用波约束最小二乘滤波恢复；
·deconvlucy函数：
使用Lucy-Richardson恢复；
·deconvblind函数：
使用盲解卷积恢复。
前面几种图像恢复方法都是在知道模糊图像的点扩展函数的情况下进行的，而在实际应用中，通常都要在不知道点扩展函数的情况下进行图像恢复。
盲解卷积恢复就是在这种应用背景下提出的。
盲解卷积恢复是利用原始模糊图像，同时估计PSF和清晰图像的一种图像恢复方法。
MATLAB提供了deconvblind函数用于实现盲解卷积。
盲解卷积算法一个很好的优点就是，在对失真情况毫无先验知识的情况下，仍然能够实现对模糊图像的恢复操作。
deconvblind函数的调用格式：
[J，PSF]=deconvblind（I,INITPSF,NUMIT,DAMPAR,WEIGHT,READOUT）其中，I表示输入图像，INITPSF表示PSF的估计值，NUMIT表示算法重复次数，DAMPAR表示偏差阈值，WEIGHT用来屏蔽坏像素，READOUT表示噪声矩阵，J表示恢复后的图像。
图2-3~2-7图是函数进行盲解卷积的实验结果，其中图2-3是图像cameraman的模糊图像。
图2-3模糊图像
在盲解卷积处理中，选择适当大小的矩阵对恢复图像的效果很重要。
PSF的大小比PSF的值更重要，所以首先指定一个有代表性的全1矩阵作为初始PSF。
恢复的图像如图2-4所示，初始PSF如图2-5所示。
图2-4初步恢复图像图2-5初始PSF
复原的图像呈现出由算法中使用的离散傅里叶变换所引入的振铃，则我们在调用函数deconvblind之前要使用函数edgetaper。
语法为：
J=edgetaper（I,PSF）;
该函数利用PSF模糊了输入图像I的边缘。
消除振铃后的图像如图2-6所示，新重建的PSF如图2-7所示。
图2-6消除振铃后的图像图2-7新重建的PSF
由图可以看出，恢复后的图像消除了振铃的存在，但是，恢复结果仍有一
定的失真。
2.4图像增强
由于车牌识别系统需要全天候工作，自然光照度的昼夜变化会引起汽车图像对比度的严重不足，所以增强图像是很必要的。
而直方图均衡化能很明显的增强图像对比度，且直方图均衡化可由函数histep实现，该函数语法为：
g=histep（f,nlev）
式中，f为输入图像，nlev为输出图像指定的灰度级数。
图2-8为原始图像，图2-9为直方图均衡化后的效果图。
图2-8原始图像图2-9为直方图均衡化后的效果图
第三章车牌的定位与分割
3.1分析
在自然环境下，汽车图像背景复杂，光照不均匀，在自然背景中准确地确定牌照区域是整个图像识别过程中的关键。
我们首先应对采集到的图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳区域作为牌照区域。
将其从图像中分割出来，同时要考虑车牌倾斜问题。
3.2基于车牌纹理特征的车牌定位
从车牌定位的角度来看，车牌区域的主要纹理特征是：
车牌有一个连续或由于磨损而不连续的边框，车牌内的7个字符基本呈水平排列且有一定的间隔，在
矩形区域内存在较丰富的垂直边缘，而其他区域往往水平边缘丰富。
由此可见，
车牌字符含有丰富的线条纹理，尤其是直线纹理，是区别车牌与背景的一个重要特征。
所以，我们利用车牌字符垂直纹理相对集中且不受车牌倾斜的影响的特性，提出一种结合字符纹理特征的垂直边缘检测方法，对含有车牌的灰度图像进行处理以获得垂直边缘图。
3.2.1垂直边缘检测算法
算法包括如下步骤：
（1）应用一阶差分运算获取垂直纹理图：
（2）计算垂直纹理图整体均值avg：
（3）以象素（i，j）力为中心的（2n+1）*（2n+1）大小的模板，计算每点的阈值和均值avg：
（4）逐点二值化垂直边缘图：
根据实验，k值的选取范围在1-3之间，在实际应用中，可根据背景的复杂程度及所选取的模板大小确定k值。
模板的大小可以根据图像中车牌字符的大小确定，可略小于字符，当模板较大时k值应选较大的值，模板较小时可以适当减小k值。
在本文的样本实验中k值均取2.3。
图3-1给出了本文算法与Sobel算法、Prewitt算法的应用结果比较。
图3-1（a）为原始图像，图（b）为其灰度图像，图（c）为用sobel垂直算子获得的垂直边缘图，图（d）用prewitt垂直算子获得的垂直边缘图，图（e）为用canny算子获得的边缘图,图（f）为使用本文算法获得的垂直边缘图，模板参数取m=2，n=12。
a.原始图像b.灰度图像
c.Sobel算子处理的结果d.Prewitt算子处理的结果
e.Canny算子处理的结果f.本文算法处理结果
图3-1本文算法和经典算法的比较
由图可见，运用本文算法且选择适当的系数k，可去除大量非字符的垂直边缘，定位效果也较好。
3.2.2形态学处理--车牌的初定位
形态学基本思想是利用一个称作结构元素的“探针”收集图像的信息。
当探针在图像中不断移动时，利用一个结构元素去探测被处理图像，看是否能够将结构元素很好地填放在图像的内部，同时验证填放结构元素的方法是否有效。
数学形态学的基本运算有：
膨胀、腐蚀、开运算和闭运算：
1膨胀（Dialation）
一般膨胀定义为：
也就是说，S对B膨胀产生的二值图像D是由这样的点（x,y）组成的集合，如果S的原点位移到（x,y），那么它与B的交集非空。
膨胀的特点：
平滑了图像中微小的低灰度值区域，膨胀结果是图像局部区域与给定灰度值的模板和的极大值。
2腐蚀（Erosion）
一般腐蚀定义为：
也就是说，由结构元素S对B腐蚀所产生的二值图像E是这些点（x,y）的集合，如果S的原点位移到（x,y），那么S将完全包含于B中。
腐蚀的特点：
平滑了图像中微小的高灰度值区域，腐蚀结果是图像局部区域与给定灰度值的模板差的极小值。
依据这个特点，我们可以对包含汽车牌照的二值图像中存在的颗粒状噪声采用腐蚀操作。
由于汽车牌照具有较大的面积，腐蚀操作不会对其带来太大的影响，而颗粒状噪声等细小物体会被去除。
3开运算和闭运算
开运算就是对先图像进行腐蚀，然后对腐蚀的结果做膨胀运算。
闭运算是对图像做膨胀运算，然后对膨胀运算的结果做腐蚀运算。
这两种运算是数学形态学中的重要运算。
4算法描述
（1）运用bwareaopen（BW,P）函数去除上述垂直边缘图中的小于P像素的孤立物；
（2）创建结构元素。
结构元素必须具有适当的大小，既可以删除一定的疑似车牌，又不足以删除真车牌。
其大小可根据车牌在实际拍摄图像中的比例进行确定。
（3）使用结构元素腐蚀图像。
这一步操作将删除一部分疑似车牌，但是也会缩减车牌。
（4）再次调用
（1）取出腐蚀后生成的较小孤立物。
（5）使用相同的结构元素对腐蚀后的图像进行膨胀，恢复车牌为原有大小。
一次形态学处理后的结果如若不理想，可进行第二次形态学处理，且结构元素大小可根据实际情况进行调整。
图3-2是运用该算法对图3-1（f）的垂直纹理图进行两次形态学处理的结果。
a.一次形态中腐蚀的结果b.一次形态中膨胀的结果
c.二次形态中腐蚀的结果d.二次形态中膨胀的结果
图3-2运用该算法对图3-1（f）的垂直纹理图进行两次形态学处理的结果
其中，由图d可看出除了目标车牌外，还有三个疑似车牌区，只实现了车牌的粗定位，因此还需要后续处理。
3.2.3基于车牌恒定宽高比的后续处理--精确定位
运用数学形态学对该图进行处理后，得到多个车牌可能区域。
然后合并邻近区域，再根据车牌的长宽比k固定等特征，提取出车牌区域。
其中，k值与许多实际因素有关，比如摄像机的物距、拍摄的角度等。
此处，我们采用标注连接分量法，即将一幅图像中不同的区域标注上不同的数值，并依次取出计算其宽高比是否符合要求。
MTALAB为我们提供了函数bwlabel用于计算一幅二值图像中的所有连接分量，调用语法为：
[L,num]=bwlabel（f,conn）
其中，f是一幅输入二值图像，conn用于指定期望的连接，输出L为标记矩阵，参数num为所找到的连接分量的总数。
1算法描述
（1）根据实际情况确定宽高比。
对于上述图像的车牌，确定k值范围为4~5
（2）运用bwlabel函数对上述结果进行标注连接分量。
（3）依次取出各分量，并将其转换为稀疏矩阵（sparse函数），据此算出各分量够的宽高比，判断其是否符合确定的k值范围。
图3-3是运用该算法所得到的车牌的精确定位和分割结果。
a.左侧车牌定位b.右侧车牌定位
c.定位的左侧车牌d.定位的右侧车牌
e.分割出的左侧车牌f.分割出的右侧车牌
图3-3运用该算法所得到的车牌的精确定位和分割结果
（1）算法缺点
图3-4是运用该算法对另一幅图的处理结果。
a.原始图像b.一次形态后的粗定位
c.运用该算法所得的精确定位d.分割出的车牌
图3-4对图a车牌的精确定位
由图中可以看出，由于车牌字符最后三个字符为111，在形态学处理后所得的相应区域与前面的四个字符断开了，从而被当做疑似车牌被该算法舍去了。
（2）改进方法
1合并邻近区域。
即在形态处理时，根据字符间最大间距等先验知识对心态处理所得个疑似区域进行必要的合并。
图3-5显示合并邻近区域的结果。
a.改进后的粗定位b.改进后的精确定位
c.定位的车牌d.分割出的车牌
图3-5合并邻近区域的结果
2即在该法的基础上结合下面将要讲到的基于车牌颜色的车牌定位
3.3基于车牌颜色的车牌定位
（3）概述
基于颜色的图像处理经常用到RGB和HSV两种颜色模型。
RGB模型中各像素值由红色（R）、绿色（G）和蓝色（B）3种颜色的亮度值叠加来表示，各颜色的亮度值随光照强度的不同而改变，而汽车图像的光照条件是不定的，所以在RGB空间中进行车牌识别问题较多。
HSV模型用色度（H）、饱和度（S）和亮度（V）3个分量表示每一个像素的颜色特性，分量V表示亮度信息，即光照条件方面的信息，H和S两个分量包含了图像的色彩信息。
如果只考虑H和S分量,就排除了光照条件的影响,这对于光照条件不确定的彩色汽车图像分割具有重要的意义。
在该模型下,仅用H和S两个分量就可以将蓝色和黄色两种颜色区域找出来，同时只用V分量就能将白色和黑色两种颜色识别出来,因此HSV模型特别适合于车牌区域的分割。
图3-6是HSV彩色空间模型。
图3-6HSV彩色空间模型
（4）算法描述
下面对蓝底白字的车牌图像（图3-4.a）进行颜色分割。
基于颜色的车牌定位的算法如下：
（1）将RGB颜色模型转换为HSV颜色模型。
（2）H、S分量表示的是色彩信息，所以根据二者的值来判断各像素的色彩，先设定该蓝色的H、S阈值范围（归一化后），把落在该区域内的点设为白色，其余区域设为黑色。
（3）形态学处理上述结果，必要时也可进行二次形态处理。
图3-7显示了该算法的结果。
a.基于颜色的车牌辨识b.初定位
c.精确定位d.定位的车牌
图3-7基于颜色的车牌定位
（5）缺点及改进
由图d可知该法只定位了车牌颜色较明显的后面五个字符，而舍去了颜色不明显的首个字符。
所以基于颜色的算法存在以下缺点：
车牌有蓝底白字、黄底黑字、黑底白字等多种颜色格式，其中蓝底黑字牌照中的蓝色在各个省之间还有所不同。
而受天气、光照等影响，即便是同种颜色也容易幻化成各种不同的颜色。
因此，彩色信息可靠性较差，如作为主要的定位手段会导致车牌识别系统容易受外界干扰，稳定性较差。
不过，一些地方还可以结合上述基于车牌纹理的定位法达到更好的效果。
比如此处，图3-4.d与图3-7.d相或就可得到完整的车牌。
（6）多车牌定位及其意义
由3.2可知本文设计的车牌定位算法同样可以用来定位多车牌图像，但要对真伪车牌区域作更为细致的判别。
有时摄像机拍摄下的图像不止一辆汽车，虽然这种情况不多，因为有些场合
摄像机只对准一个车道或是摄像机只对车辆行驶到某个位置才进行拍摄。
但一次
只拍摄一幅车牌图像首先会造成资源的浪费，在城市道路这种复杂的行车环境下
也有可能会漏拍某些黑名单车，所以研究多车牌图像的识别问题是很有意义的。
第四章字符分割
4.1车牌的预处理
（7）对比度的提升
对于光照很强或很弱的时候拍摄的照片,牌照中字符串边界与背景差别不大,为了加强图像中的对比度,凸显文字信息，从而提高分割的成功率，可采用2.4所讲的直方图均衡化。
4.1.2倾斜校正
将所分割车牌归一化，二值化后，为提高边缘的准确性以及抗干扰能力，采用最优的动态阈值canny边缘检测算子。
其边缘检测速度很快，不会影响到系统的实时性。
结果如图4-1所示。
a.原始图像b.分割的车牌
c.二值化d.采用canny所得的边缘图像
图4-1车牌的二值化及边缘检测
1基于Hough变换的倾斜校正
该法可以准确地检测出二值图像中的直线，而字符的上下边沿一般是在同一直线上，根据其所得角度可算得车牌偏离水平线的角度，再调用imrotate函数进行倾斜校正。
其结果如图4-2所示。
图4-2基于Hough的倾斜校正
发现，Hough变换过分依赖于二值图像中存在直线，且计算量较大。
由于经边缘检测得到的二值牌照图像不一定存在明显的边沿线，有的甚至没有，此时牌照二值图像并不存在明显直线，所以变换法将无法满足应用的要求。
2基于rad
升级会员 