我们之后就可以用这个神经网络来判断事务的分类了。
神经网络是通过对人脑的基本单元——神经元的建模和联接,探索模拟人脑神经系统功能的模型,并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。
神经网络的一个重要特性是它能够从环境中学习,并把学习的结果分布存储于网络的突触连接中。
神经网络的学习是一个过程,在其所处环境的激励下,相继给网络输入一些样本模式,并按照一定的规则<学习算法)调整网络各层的权值矩阵,待网络各层权值都收敛到一定值,学习过程结束。
然后我们就可以用生成的神经网络来对真实数据做分类。
3.RBF神经网络模型
径向基神经网络的神经元结构如图所示。
径向基神经网络的激活函数采用径向基函数,同城定义为空间任一点待某一中心之间的欧式距离的单调函数。
由图中神经网络的神经元结构可以看出,径向基神经网络的激活函数是输入向量和权值相量之间的距离作为自变量的。
径向基神经网络的激活函数一般表达式:
随着权值和输入向量之间距离的减少,网络输出是递增的,当输入向量和权值向量一致时,神经元输出1.图中b为域值,用于调整神经元的灵敏度。
利用径向基神经元和线性神经元可以建立广义回归神经网络,该中神经网络适用于函数逼近方面的应用;径向基神经元和竞争神经元可以组建概率神经网络,此种神经网络适用于解决分类问题。
由输入层、隐含层和输出层构成一般径向基神经网络结构如下图所示。
在RBF网络中,输入层仅仅起到传输信号的作用与前面做讲诉的神经网络相比较,输入层和隐含层之间可以看做连接权值为1的连接。
输出层和隐含层所完成的任务是不同的,因而它们的学习策略也是不同的。
输出层是对闲心权进行调整,采用的是线性优化策略。
因而学习效率比较快。
而隐含层是对激活函数的参数进行调整,采用的是非线性优化策略,因而学习速度较慢。
尽管RBF网络的输出是隐单元输出的线性加权和,学习速度加快,但病不等于径向基神经网络就可以取代其它前馈网络。
这是应为进行基神经网络很可能需要比BP网络多的多的隐含层神经元来完成工作。
BP网络使用sigmoid<)函数,这样的神经元有很大的输入课件区域,而径向基神经网络使用的径向基函数,输入空间区域很小。
这就不可避免第导致了在输入空间较大时,需要更多的径向基神经元。
4。
RBF神经网络的思想方法
RBF神经网络学习算法需要求解的参数有3个:
基函数的中心、方差以及隐含层到输出层的权值。
根据径向基函数中心选取方法的不同,RBF网络有多种学习方法,如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等。
径向基神经网络中常用的径向基函数是高斯函数,使用高斯函数作为隐层的激活函数,具备以下优点:
1,径向对称性好
2,由于该基函数表示简单且解读性好,因而便于进行理论分析。
3,表示形式简单,即使对于多变量输入也不增加太多的复杂性;
4,光滑性好,任意阶倒数存在;
4.1隐含层的学习
RBF神经网络中隐含层的学习过程是无监督的。
在数据的训练过程中是针对数据库的因而只有输入而没有输出。
数据训练是RBF神经网络会本能的将数据库中所有数据的特征提取出来并且逐一分类。
分类完成之后该网络就能识别不同的输入数据。
但是解决这一过程并不容易,关键在于如何选好隐含层节点的个数,降低网络的复杂层度。
4.2输出层的学习
相比于隐含层,输出层的学习则是有监督的。
在输出成的学习过程中,等待分类样本的属性是知道的,因此对于每一个输入样本都有一个输出和它相匹配,基于网络输出端监督信号与实际输出的各种目标函数准则,网络据此调整权重,直至精度达到最佳要求。
径向基神经网络的输出层学习,目的是为了找到合适的由隐含层至输出层的权值。
5.针对本课题的RBF神经网络设计
5.1网络的设计matlab实现
设计主要包含隐含层和输出层,其中隐含层的传递函数为radbas(>,输出层的传递函数为纯线性函数purelin(>。
设隐含层神经元数目为S1个,输出层有S2个神经元。
神经网络工具箱中用于创建RBF网络的函数为newrbe(>,在设计过程中,最重要的参数是径向基函数的分布常数。
5.1.1神经网络创建函数
1)newrb<)
设计一个径向基网络。
newrb<)创建网络的过程是一个不断尝试隐藏层神经元个数的过程,在创建过程中,会根据误差不断向隐藏层添加神经元,直到误差满足要求为止。
调用格式为
Net=newrb
[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF>
该函数设计的径向基网络net可用于函数逼近。
径向基函数的扩展速度SPREAD越大,函数的拟合就越平滑。
但是,过大的SPREAD意味着需要非常多的神经元以适应函数的快速变化。
如果SPREAD设定的过小,则意味着需要许多神经元来适应函数的缓慢变化,这样一来,设计的网络性能就不会很好。
因此,在网络设计过程中,需要用不同的SPREAD值进行尝试,以确定一个最优值。
2)newrbe<)
调用格式为
Net=newrbe
Net=newrbe(P,T,SPREAD>
和newrb<)功能差不多,用于创建一个精确地神经网络,能够基于设计向量快速的无误差的设计一个径向基网络。
该函数在创建RBF网络的时候,自动选择隐含层数目,隐藏层的数目等于样本输入向量的数目,使得误差为0。
在样本输入向量非常多的情况下,用rbe就不大合适。
5.2具体步骤
该系统分为输入待识别数字,对输入数字的预处理,提取特征,通过网络分类器进行分类,最后得出分类结果。
图5-2手写体数字RBF神经网络框图
5.1对待识别的数字的处理
处理方法:
输入的字符样本有别于我们的训练样本和测试样本,因此就必须对输入字符图像进行处理使之与训练样本测试样本相符合。
再者,输入图像本身大小与数据库中所给数据又出入,所以处理时必要的。
图4-2分割的字符和样本字符
处理方法:
1.扩边
设处理前图像宽高分别是Wa、Ha,令Ma为宽高的较大者:
Ma=max(Wa,Ha>,那么扩边后的图像大小Na=1.4Ma*1.4Ma,然后把原来的图像放在这个尺寸的中间。
(a>处理之前(b>处理之后
设图像处理前后的像素灰度值分别是:
f(>,g(>。
则新图
(4-4>
其中,i=0,1,2,…wa。
j=0,1,2,…ha。
2.归一化处理
1.当用RBF网络解决非线性映射问题时,可用函数逼近与内插的观点来解释,对于其中存在的不适定问题,可用正则化理论来解决。
2.当用RBF网络解决复杂的模式分类任务时,用模式可分性观点来理解比较方便,其潜在性便是基于COVER关于模式可分的定理。
3.建立在密度估计概念上的核回归估计理论。
用插值的方法对输入字符图像进行处理。
在一个物理过程的输入与输出之间,客观上存在着一个固定但未知的映射关系,神经网络的学习过程相当于输入-输出映射重建过程,训练的目的是使其能过拟合成一个超曲面。
根据该超曲面对输入模式给出相应的输出模式。
插值则是对悉数数据点的超曲面重建。
f(x,y>表示原图点(x,y>的像素值。
原图的高宽分别是SH、SW目标图像的高宽分别是DH、DW.原图的点慨(Sx,Sy>满足
(4-5>
(4-6>
目标图的点(Dx,Dy>的像素值
(4-7>
进行尺度变换,最终大小为29*29,如图4-8所示。
处理前处理后
图示为图像尺寸变换前后
5.3数字识别
归一化的输入通过神经网络识别,就可得出识别结果。
将数据库中的任意一个数字输入RBF神经网络分类器中得到输出,对比输入数字和输出结果,我们取输出数据中最大的一个与输入进行比较不难发现,该过程是正确的。
过程见下图:
图4-9识别的显示结果
5.4对实验结果的分析
5.总结和展望
5.1总结
本文主要内容是基于RBF神经网络的手写体数字识别的设计,在matlab环境下针对mnistall数据库所给的数据进行识别。
本文的主要过程可以分为数据的预处理、特征提取、数据库的训练与测试。
经过对实验结果的分析,表明了本实验所采用的RBF神经网络针对mnistall数据库中手写体数字的识别率在百分之九十以上,说明此次实验是成功的。
5.2展望
手写体数字识别是整个识别中最基本也是最简单的问题,但是至今识别率不高仍是一个令许多学者头疼的问题。
围绕识别率不高的原因依照个人观点具体归纳一下几点:
1.对所给单个数字图像的处理有明显的不足;
2.无论是基于RBF还是BP又或者是模板匹配,这些网络都具有不可忽视的缺点;
3.数据库的不完善,对整个数据训练所花费的时间过长;
6.致谢
论文的完成也标志着四年大学生涯的结束,这四年里有太多太多让我回忆的东西,而这些都将是我即将进入社会宝贵的财富。
在此我首先要感谢我的指导老师马勇,在论文完成的过程中马勇老师牺牲了很多自己本该休息的时间来帮助我,再一次诚心的感谢马勇老师!
接着我要感谢我的父母,四年来是父母不断的在背后支持我鼓励我,没有父母的滴滴汗水何来我这四年衣食无忧的大学生活。
最后我要感谢四年与我相处的同学朋友以及所有在我完成论文过程中指导我的朋友,没有你们,我不可能顺利的完成这篇论文。
在致谢最后我还想感谢一下我的大学,我未来的母校,是您为我提供这么美好的大学!
7.参考文献
[1]刘东泽,蔡建立.基于神经网络的手写体数字识别[J].2009,38(11>:
264-269
[2]丛爽。
面向MATLAB工具箱的神经网络理论与应用[M].合肥:
中国科学技术大学出版社,2000.244-270
[3]李冬梅,王正欧。
基于RBF神经网络的混沌神经序列预测[J].模式识别与人工智能,2001,14<2):
231-234
[4]王学雷,邵惠鹤,李亚芬。
一种径向基函数神经网络在线训练算法及其在非线性控制中的应用[J].信息与控制,2001,30<3):
249-253.
[5]彭淑敏.神经网络数字识别技术研究与应用[D].硕士学位论文.西安电子科技大学,2005
[6]RafaelC.Gonzalez,RichardE.Woods著,阮秋琦,阮字智译.数字处理<第二版)[M].北京:
电子工业出版社,2003:
276-278
[7]宋敏.基于神经网络的目标识别技术研究[D].硕士学位论文.南京理工大学,2005
[8]汪勇旭.I蛩像目标识别方法研究【D】.硕士学位论文.西北工业大学,2003
[9]MatsuylaAerialandT.Knowledge-basedImageUnderstandingSystemsExpertSystemsforTransactiononGeoscienceandRemoteImageProcessing.IEEESensing,1987,GE-25(3>:
305-316
[10]边肇祺,张学工等.模式识别[M]-清华大学出版社,1988
[11]李金宗.模式识别导论[M].高等教育出版社,199
[12]杨治明.人工神经网络及其在数字识别中的应用研究[D].硕士学位论文.重庆大学,2003
[13]李长吾,李维,王忠雅.基于神经网络的模式识别与信息处理【J】.大连轻工业学院学报,1999,18<2):
116-119
[14]王健,靳奉祥,史玉峰.模式识别中特征选择与聚类分析【J】.测绘工程.2002,11<2):
21-24
[15]王炜,吴耿锋,张博锋,王媛.径向基函数19-25
[16]齐峰,谭建荣,张树有.基于径向基函数神经网络的特征识别技术研究[J].计算机辅助设计与图形学学报,2002,14<6):
562-565
[17]赵清林,郭艳兵,梅强,齐占庆.确定RBF神经网络中心点的方法综述[J].燕山大学.广东自动化与信息工程,2002,2:
13-27