基于神经网络的车牌识别系统.docx

基于神经网络的车牌识别系统.docx

《基于神经网络的车牌识别系统.docx》由会员分享，可在线阅读，更多相关《基于神经网络的车牌识别系统.docx（71页珍藏版）》请在冰豆网上搜索。

基于神经网络的车牌识别系统

第一章绪论

1.1问题概述

随着我国汽车产业的飞速发展，大量在公共场合的汽车需要得到监管，为了更好地进行管理，必须对车辆进行一种确认，而车牌识别就是其中最有效的确认方法，车牌识别LPR是LicensePlateRecognition的简称，他是智能交通系统（IntelligentTransportationSystems，ITS）的一个重要组成部分。

车牌识别技术的运用使得“大输入小输出”成为了可能——输入一幅很大存储量的图像，输出时仅仅是很小存储量的数字，这必然使得其在大量存储和管理数据库相连等方面有无可替代的优越性。

车牌识别技术在高速公路收费站、路口监测（电子警察）、大型停车场等场所具有广阔的发展前景。

1.1.1问题的来源

近几年，我国道路交通迅猛发展，随之也带来了对交通管理自动化的迫切需求。

车牌自动识别的研究与开发一直是现代化交通发展中倍受关注的问题，也是制约交通系统智能化、现代化的重要因素。

智能交通系统己成为当前交通管理发展的主要方向，而车牌识别技术作为智能交通系统的核心，起着举足轻重的作用。

车牌自动识别系统具有广泛的应用范围，主要应用于:

（1）高速公路收费、监控管理;

（2）小区、停车场管理;（3）城市道路监控、违章管理;（4）车牌登录、验证;（5）车流统计、安全管理等。

车牌自动识别系统应用于这些系统，可以解决通缉车辆的自动稽查问题，可以解决车流高峰期因出入口车流瓶颈造成的路桥卡口、停车场交通堵塞问题，可以解决因工作人员作弊造成的路桥卡口、高速公路、停车场应收款流失的问题，还可以以最简单的方式完成交通部门的车辆信息联网，解决数据统计自动化，模糊查询的问题。

车牌自动识别系统可安装于公路收费站、停车场、十字路口等交通关卡处，其具体应用可概括为:

（l）交通监控利用车牌识别系统的摄像设备，可以直接监视相应路段的交通状况，获得车辆密度、队长、排队规模等交通信息，防范和观察交通事故。

它还可以同雷达测速器或其他的检测器配合使用，以检测违犯限速值的车辆。

当发现车辆超速时，摄像机获取该车的图像，并得到该车的牌照号码，然后给该车超速的警告信号。

（2）交通流控制指标参量的测量，为达到交通流控制的目标，一些交通流指标的测量相当重要。

该系统能够测量和统计很多交通流指标参数，如总的服务流率，总行程时间，总的流入量流出量，车型及车流组成，日车流量，小时/分钟车流量，车流高峰时间段，平均车速，车辆密度等。

这也为交通诱导系统提供必要的交通流信息。

（3）高速公路上的事故自动测报这是由于该系统能够监视道路情况和测量交通流量指标，能及时发现超速、堵车、排队、事故等交通异常现象。

（4）对养路费交纳、安全检查、运营管理实行不停车检查根据识别出的车牌号码从数据库中调出该车档案材料，可发现没及时交纳养路费的车辆。

另外，该系系统还可发现无车牌的车辆。

若同车型检测器联用，可迅速发现所挂车牌与车型不符的车辆。

（5）车辆定位由于能自动识别车牌号码，因而极易发现被盗车辆，以及定位出车辆在道路上的行驶位置。

这为防范、发现和追踪涉及车辆的犯罪，保护重要车辆（如运钞车）的安全有重大作用，从而对城市治安及交通安全有重要的保障作用。

车牌自动识别系统拥有广阔的应用前景，但若在每个街口都装配一套全新的车辆探测器的硬件系统则投资巨大，所以急需一个纯软件实行的车牌自动识别系统来最大限度的减少费用，而纯软件的设计，不仅投资小而且灵活性高，适合我国的国情。

1.1.2目的和意义

车牌识别LPR是智能交通系统（ITS）的一个重要组成部分。

在社会生活，治安管理等方面有很大的作用。

车牌识别技术的运用使得“大输入小输出”成为了可能——输入一幅很大存储量的图像，输出时仅仅是很小存储量的数字，这必然使得其在大量存储和管理数据库相连等方面有无可替代的优越性。

1.1.3国内外研究现状

从20世纪90年代初，国外就已经开始了对汽车牌照自动识别的研究，其主要途径就是对车牌的图像进行分析，自动提取车牌信息，确定汽车牌号。

在各种应用中，有使用模糊数学理论也有用神经元网络的算法来识别车牌中的字符，但由于外界环境光线变化、光路中有灰尘、季节环境变化及车牌本身比较模糊等条件的影响，给车牌的识别带来较大的困难。

国外的相关研究有:

（1）JBarroso提出的基于扫描行高频分析的方法;

（2）I.T.Lancaster提出的类字符分析方法等.为了解决图像恶化的问题，目前国内外采用主动红外照明摄像或使用特殊的传感器来提高图像的质量，继而提高识别率，但系统的投资成本过大，不适合普遍的推广.

车牌识别系统中的两个关键子系统是车牌定位系统和车牌字符识别系统。

关于车牌定位系统的研究，国内外学者已经作了大量的工作，但实际效果并不是很理想，比如车牌图像的倾斜、车牌表面的污秽和磨损、光线的干扰等都是影响定位准确度的潜在因素。

为此，近年来不少学者针对车牌本身的特点，车辆拍摄的不良现象及背景的复杂状况，先后提出了许多有针对性的定位方法，使车牌定位在技术和方法上都有了很大的改善.然而现代化交通系统不断提高的快节奏，将对车牌定位的准确率和实时性提出更高的要求。

因而进一步加深车牌定位的研究是非常必要的。

车牌字符识别是在车牌准确定位的基础上，对车牌上的汉字、字母、数字进行有效确认的过程，其中汉字识别是一个难点，许多国外的LPR系统也往往是因为汉字难以识别而无法打入中国市场，因而探寻好的方法解决字符的识别也是至关重要的.目前己有的方法很多，但其效果与实际的要求相差很远，难以适应现代化交通系统高速度、快节奏的要求。

因而对字符识别的进一步研究也同样具有紧迫性和必要性。

从实用产品来看，如以色列的Hi-Tech公司研制的多种See/Carsystem，适应于几个不同国家的车牌识别，就针对中国格式车牌的See/Carsyste而言，它不能识别汉字，且识别率有待提高。

新加坡Optasia公司的VLPRS产品，适合于新加坡的车牌，另外日本、加拿大、德国、意大利、英国等西方发达国家都有适合于本国车牌的识别系统。

我国的实际情况有所不同，国外的实际拍摄条件比较理想，车牌比较规范统一，而我国车牌规范不够，不同汽车类型有不同的规格、大小和颜色，所以车牌的颜色多，且位数不统一，对处理造成了一定的困难。

在待处理的车牌图像中就有小功率汽车使用的蓝底白字牌照，大功率汽车所用的黄底黑字牌照，军车和警车的白底黑字，红字牌照，还有国外驻华机构的黑底白字牌照等。

就位数而言，有七位数字的，有武警车九位数字的，有军车、前两位字符上下排列的等，所以也造成了处理的难度。

国内做得较好的产品主要是中科院自动化研究所汉王公司的“汉王眼”，此外国内的亚洲视觉科技有限公司、深圳市吉通电子有限公司、中智交通电子系统有限公司等都有自己的产品，另外西安交通大学的图像处理与识别研究室、上海交通大学的计算机科学与工程系、清华大学、浙江大学等都做过类似的研究。

通常处理时为了提高系统的识别率，都采用了一些硬件的探测器和其他的辅助设备如红外照明等，其中“汉王眼”就

是采用主动红外照明和光学滤波器来减弱可见光的不可控制影响，减少恶劣气候和汽车大小灯光的影响，另外还要求在高速公路管理窗口到“汉王眼”识别点埋设两条线路管

道，一条管道铺设220伏50赫兹1安培的交流供电线路:

另一条管道铺设触发信号线路和汉王眼与管理计算机的通讯线路，投资巨大，不适合于大面积的推广。

另外，还有两种专门的技术被用于车牌的识别中，条形码识别技术和无线射频技术。

条形码识别要求预先在车身上印刷条形码，在系统的某一固定位置上安装扫描设备，通过扫描来读取条形码，以达到识别车辆的目的。

无线射频技术要求在车内安装标示卡，在系统某一位置安装收发器等装置，通过收发器来接受标示卡的信号，从而识别出经过的车辆。

显然，这两种技术更难以推广。

从目前一些产品的性能指标可以看出，车牌识别系统的识别率和识别速度有待提高。

现代交通的飞速发展以及车牌识别系统应用范围的日益拓宽给车牌识别系统提出了更高的要求。

因此，研究高速、准确的定位与识别算法是当前的主要任务，而图像处理技术的发展与摄像设备、计算机性能的提高都会促进车牌识别技术的发展，提高车牌识别系统的性能。

1.2问题剖析

车牌识别系统是一个比较复杂的系统，在下面将做详细介绍。

东方宫

1.2.1主要问题

由于光照、气候引起的车牌图像上字符光照不均，车牌本身污损造成的字符笔画不清和字符间粘连，汽车行驶速度较快，使拍摄出的车牌字符产生变形、模糊不清，因此图像需要增强。

另外又由于拍摄角度及拍摄点的高度、路面的倾斜等情况造成了车牌图像的倾斜，从而需要对车牌进行校正。

另外字符的识别也是一个重点问题，我们这里采用基于神经网络的字符识别，提高了车牌字符的识别率。

1.2.2难点和关键

把彩色的256BMP图进行灰度转换是问题的基础，采用基于空域的图像增强，图像得到增强，在增强的基础上对图像二值化是图像倾斜校正的关键，在二值图像的基础上运用Hough变换求出图像的倾斜角度，图像进行旋转，继而对车牌图像进行边框切除和字符切割，最后利用训练好的神经网络对切割出来的字符图像进行识别。

整个系统的难点在于神经网络的识别部分，在这一块需要大量的样本对神经网络进行训练。

图在

1.2.3思路和方法

借助数字图像处理技术，我们对车牌图像依次进行以下处理：

彩色的256色的BMP图进行灰度转换－>灰度变换（图像增强）－>中值滤波－>图像二值化－>倾斜校正（Hough变换）->边框切除->字符切割->神经网络的字符识别，最后得出车牌字符。

1.3本文的结构

第一章：

绪论

介绍本系统要解决的问题。

第二章：

系统运用到的相关知识和工具

介绍了开发本系统所用到的基础知识和开发本系统所需要的工具。

第三章：

系统的总体设计

对本系统的总体结构进行概括的描述。

第四章：

系统的详细设计

对本系统的功能模块进行详细的解释说明。

第五章:

系统模块程序编码

对本系统各主要模块代码进行说明。

第六章：

问题和展望

对设计的系统进行整体的评价。

第七章：

结束语

第二章相关的知识和工具

2.1解决问题的知识

2.1.1VC开发平台简介

VisualC++（简称VC）是微软公司推出的一个面向对象的、功能丰富的可视化重量级开发工具。

利用VisualC++提供的高效Windows编程环境，我们可以编写与其它软件开发工具相比，VisualC++的强大功能表现在：

第一，它是C和C++混合编译器，使得VisualC++的开发程序具备了C和C++的高效简洁的特点。

第二，VisualC++是一个面向对象的语言，使得软件能够在源码级、类级、控件级等多个级别上重用，软件的开发效率大为加快。

第三，VisualC++借助于微软公司的MFC类库和应用程序框架，能够轻易开发出Windows标准界面的应用程序。

2.1.2数字图像处理

数字图像处理一般是指通过数字计算机处理二维图像。

更广义地讲，它包括对任何二维数据的数字处理。

计算机图像处理按其输入、输出形式可以分为下述几种类型：

（1）从图像到图像，输入和输出均为图像。

这种处理技术主要有图像增强、图像复原和图像编码。

图像增强是增强图像中的某些特征，使处理后的图像更适合于人眼观察和机器分析。

例如：

对图像的灰度值进行修正，可以增强图像的对比度；对图像进行平滑，可以抑制混入图像的噪声；利用锐化技术可以增强图像的边缘轮廓；利用几何校正技术可以校正遥感图像的几何畸变；将灰度值表示转换为伪彩色表示，可以使人眼分辨出更多的图像细节。

图像复原是根据图像退化的原因，建立退化“模型”，按逆过程进行处理，使处理后的图像更逼近原始真实图像。

图像复原与图像增强均能提高图像的质量，但它们有一重要的区别，即图像复原要求提高图像的逼真度，而图像增强只是改善图像的视觉效果，并不要求逼近原始图像。

一副原始真实图像不能再复原一次，但可以用锐化技术进一步增强。

图像压宿编码是在保持一定图像质量的条件下，以尽可能少的比特来表示图像。

（2）从数据到图像

其输入为数据、公式、计算结果和曲线，输出为图像。

这类图像处理技术包括图像分割、特征提取、图像识别等。

人们将这这类处理称为图像分析或图像理解。

（3）从图像的数据到图像

这种类型的图像处理主要用于图像传输。

要求把图像信息压缩成为便于传输的数据而不能丢掉信息，传到远端后再形成保真实度高的图像以供观看。

这种类型的处理方法称为图像压缩，以广泛应用于因特网上的传输和遥感图像的传输。

2.1.3BP神经网络

目前，常用的神经网络主要有BP神经网络、Hopfield网络、Kohonen网络等，由于神经网络自身的复杂性，选用哪种类型的网络并没有最优化的方式，主要是针对神经网络进行分类的样本类型、数量决定．出于对机动车号牌自身特点的考虑，采用BP神经网络对机动车号牌进行训练和识别．BP神经网络采用误差反向传播学习算法，该网络可将一组样本的I／O问题转化为一个非线性优化问题，并可近似实现从输入到输出的

任意连续的非线性映射．BP神经网络不仅有输入节点、输出节点，而且有隐含层节点（可以是一层或多层，本文采用含一个隐含层的网络），如图所示。

该算法分为两个阶段，第一阶段是正向传播，第二阶段是反向传播．在正向传播过程中，对号于输入信，要先向前传播到隐节点，经过作用函数后，再把隐节点的输出信息传播到输出节点，最后给出输出结果，其中每一层神经元的状态只影响下一层神经元的状态。

如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差达到最小。

（X1,X2...Xn）输入向量组，（Y1,Y2....Yn）输出向量组。

最下面一层为输入层，中间一层为隐含层，最上面一层为输出层。

2.2开发平台

开发平台包括硬件平台和软件平台。

硬件平台指开发与运行所需要的硬件环境，主要包括计算机机型和硬件配置。

本系统是一个车牌识别系统，只要配置有P3处理器、64内存、20G硬盘（或以上）的普通微机就可以顺利运行。

软件平台指开发与运行所需要的软件环境。

本系统是在WindowsXP环境下开发，兼容当前主流操作系统Windows95/98/NT/Me/2000/XP,前台开发环境：

VisualC++6.0。

第三章总体设计

3.1总体设计的框架

3.1.1车牌识别系统流程图

输入车牌图片

读出识别出的车牌号码

图3-1系统流程图

基于神经网络的车牌识别系统主要分为三个子模块：

1，车牌图片的预处理；2，车牌边框的切除和字符分割；3，神经网络的字符识别。

车牌图片的预处理包括图像灰度化，图像增强，二值化，中值滤波和图像的倾斜校正五个部分；车牌边框切除和字符分割包括车牌边框的切除和字符的分割两个部分；神经网络的字符识别包括神经网络的训练和神经网络字符的识别两个过程。

其中车牌图片的预处理由我完成，车牌边框的切除和字符分割由肖穴祯完成，最后神经网络的字符识别这个模块由尹维完成。

3.1.2车牌识别系统结构图

图3-2车牌识别结构图

从图3-2可以看出，本文的车牌识别系统主要由七个部分组成，即:

灰度化、图像增强、二值化、中值滤波、倾斜校正、边框切除、字符分割和字符识别。

从总体看，这其中的每一部分是车牌识别过程的一个步骤，但从局部而言，它们其中任何一部分都可以作为一类方法来研究.

3.2模块功能概述

3.2.1图像灰度化

灰度化是将彩色图像转化为灰度图像。

由于彩色图像的信息量很大，有必要将它转化为灰度图，这样有利于后期的特征提取和识别。

在实验中，对于所摄取的每一幅汽车图像进行格式转换。

3.2.2图像增强

图像增强：

由于白天和夜晚、晴天和阴天的光线强度有很大差异，在某些情况下拍摄的牌照出现对比度不足的现象，使图像的细节分辨不清，严重干扰字符的识别。

因此对于这类牌照必须进行图像增强，而这种图像增强处理应尽量避免对正常的牌照产生干扰，为此可采用基于点运算的图像增强方法，即对图像的灰度级进行变换。

使图像对比度得到调整，从而达到图像增强的目的。

3.2.3二值化

二值化是将灰度图像转换为只有黑和白两种色彩的图像，白色像素点（灰度值255）取1.黑色像素点（灰度值0）取0。

由于在后期提取字符图像的特征时，需要进行大量的计算，因此为了减少计算量和便于特征的提取，需要进一步将灰度图转化为二值图像。

3.2.4中值滤波

中值滤波，由于牌照受干扰而降低了图像质量，因此需要进行图像滤波去噪，我们采用中值滤波除噪滤波，取得了较明显的效果。

3.2.5倾斜校正

倾斜校正针对拍摄角度不正等因素所引起的车牌图像倾斜进行校正.车牌图像如果不能校正将严重影响到后面的车牌边框切除和字符的分割，这里我们采用Hough变换求车牌的倾斜角度，然后对车牌图像进行旋转，进而实现对车牌的校正。

3.2.6边框切除

由于车牌上下边框的干扰对车牌的分割非常不利，因此，必须去除车牌的上下边框。

在这里我们采用首先对车牌图像的所有行点象素灰度值为0的点进行统计，求出其每行黑点数目的分布，再进行排序，让每行黑点个数低于常数C的所有行全部切除。

同理对列采用相同的方法进行处理。

3.2.7字符分割

字符分割是把车辆的牌照切割成单一字符，这样有利于对每一个字符进行特征的提取和识别。

3.2.8字符识别

字符识别对车牌字符进行识别通常采用模板法和神经网络。

本系统采用神经网络的车牌字符识别。

3.3关键算法

3.3.1灰度化处理

由彩色转换为灰度的过程叫做灰度化处理。

灰度图像就是只有强度信息，而没有颜色信息的图像，存储灰度图像只需要一个数据矩阵，矩阵的每个元素表示对应位置的像素的灰度值。

彩色图像的象素色为RGB（R,G,B），灰度图像的象素色为RGB（r,r,r）,R,G,B可由彩色图像的颜色分解获得.而R,G,B的取值范围是0-255,所以灰度的级别只有256级。

灰度化的处理方法主要有如下三种:

（1）最大值法:

使R.G,B的值等于三值中最大的一个，即

R＝G＝B=max（R,G,B）（3-1）

（2）平均值法:

使R,G,B·的值值等于三值和的平均值，即

R＝G＝B=R+G+B（3-2）

3

（3）加权平均值法:

根据重要性或其它指标给R,G,B赋予不同的权值，并使R,G,B等于它们的值的加权和平均，即

R=G=B=WrR十WcG十WaB（3-3）

3

其中WrWc,Wa，分别为R,G,B的权值。

由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，当Wr=0.30,Wa=0.59,Wc=0.11时，能得到最合理的灰度图像。

这里我们采用的是加权平均值法，在程序里面我们取Wr=0.299，Wa=0.587,Wc=0.114来更新调色板信息：

bMap[i]=（BYTE）（0.299*lpbmc->bmciColors[i].rgbtRed+0.587*lpbmc->bmciColors[i].rgbtGreen+0.114*lpbmc->bmciColors[i].rgbtBlue+0.5），然后更新每个像素的颜色索引，最后实现对整幅彩色图像的灰度化处理。

3.3.2空域图像增强

空域图像增强是直接对图像中的像素进行处理，基本上是以灰度映射为基础的，映射变换的类型取决于增强的目的。

空域图像增强的方法主要有：

对比度增强、直方图修正、图像平滑、图像锐化等。

在这里我们对车牌图像进行处理目的就是突出显示其车牌字符，增大车牌背景与字符的对比度，所以我们采用对比度增强的方法。

对比度增强是一种比较简便但又十分重要的空域法。

这种处理只是逐点修改输入图像每一个像素的灰度，图像个像素的位置并不改变，是一种输入与输出像素间一对一的运算。

对比度增强又叫点运算。

对比度增强一般用来扩大图像的灰度范围。

设输入图像的灰度记为f（x,y），输出图像灰度记为g（x,y），那么对比度增强数学上可表达成

g（x,y）=T[f（x,y）]（3-4）

图像输出与输入灰度之间的映射关系完全由函数T确定。

本系统采用的是对比度增强中的分段线性变换法。

分段线性变换法通常都是分成3段，如图3-3所示。

这种变换的数学表示如下：

（c/a）f（x,y）0<=f（xy）<=a

g（x,y）=[（b-c）/（b-a）][f（x,y）-a]+ca<=f（xy）<=b

[（Mg-d）/（Mf-b）][f（x,y）-b]+bb<=f（xy）<=Mf（3-5）

g（x,y）

Mg

d

c

f（x,y）

0abMf

图3-3分段线性变换

3.3.3滤波

刚获得的图像有很多噪音。

这主要由于平时的工作和环境引起的，图像增强是减弱噪音，增强对比度。

想得到比较干净清晰的图像并不是容易的事情。

为这个目标而为处理图像所涉及的操作是设计一个适合、匹配的滤波器和恰当的阈值。

常用的有高斯滤波、均值滤波、中值滤波、最小均方差滤波、Gabor滤波。

由于高斯函数的傅立叶变换仍是高斯函数,因此高斯函数能构成一个在频域具有平滑性能的低通滤波器。

可以通过在频域做乘积来实现高斯滤波。

均值滤波是对是对信号进行局部平均,以平均值来代表该像素点的灰度值。

矩形滤波器（AveragingBoxFilter）对这个二维矢量的每一个分量进行独立的平滑处理。

通过计算和转化,得到一幅单位矢量图。

这个512×512的矢量图被划分成一个8×8的小区域,再在每一个小区域中,统计这个区域内的主要方向,亦即将对该区域内点方向数进行统计,最多的方向作为区域的主方向。

于是就得到了一个新的64×64的矢量图。

这个新的矢量图还可以采用一个3×3模板进行进一步的平滑。

本系统采用的是中值滤波。

中值滤波是常用的非线性滤波方法,也是图像处理技术中最常用的预处理技术。

它在平滑脉冲噪声方面非常有效,同时它可以保护图像尖锐的边缘。

加权中值滤波能够改进中值滤波的边缘信号保持效果。

中值滤波步骤如下：

1，将模板（一般含有奇数个点的滑动窗口）在图像范围内漫游，并将模板中心与图中某个象素位置重合；

2，读取模板中各对应象素的灰度值；

3，将这些灰度值从小到大排列；

4，找到这些值中排在中间的一个值；

5，将这个中间值赋给对应模板中心位置的象素。

中值滤波器的主要功能就是使与周围象素灰度值相差比较大的象素取与周围象素灰度值接近的值，从而消除孤立的噪声点。

由于这种方法不是简单地取平均值，所以产生的模糊度较小。

3.3.3Hough变换

Hough变换是变换域提取直线的方法，将直线上点的坐标变换到过点的直线的系数域，巧妙利用了共线与直线相交的关系，使直线的提取问题变换为计数问题，主要优点是受直线中的间隙和噪音影响较小。

使用Hough变换提取出边缘直线后，就可以提取出牌照的倾斜度了。

对于Oxy平面上给定的一条直线Y=ux+v，（其中U和V分别为直线的斜率和直线的截距），对应于一个数对（u,v），反之，给定一个数对（u,v）则对应于一条直线y=ux+v，即：

如Oxy平面上有一条直线Y=ux+v，那就和Ouv平面上的一个点（x,y）一一对应，同理，Ouv平面上的一条直线v=-xu+y和Oxy平面上有一个点（x，y）也是一一对应的。

如果Oxy平面上有一条直线y=ux+v，那上面的每个点都对应于Ouv平面上的一条直线，这些直线相交于一点，利用这个重要性