BP和RBF神经网络的实现及其性能比较.pdf

BP和RBF神经网络的实现及其性能比较.pdf

《BP和RBF神经网络的实现及其性能比较.pdf》由会员分享，可在线阅读，更多相关《BP和RBF神经网络的实现及其性能比较.pdf（6页珍藏版）》请在冰豆网上搜索。

研究设计电子测量技术ELECTRONICMEASUREMENTTECHNOLOGY第30卷第4期2007年4月BP和RBF神经网络的实现及其性能比较*刘永张立毅（IJ理工大学IJ030024）摘!

要：

本文介绍了2种应用+为广泛的神经网络模型，BP及RBF神经网络的基本理论，并从数学角度阐述了2种算法的学,过程，其后简要地阐述了MATLAB神经网络工具箱设计BP和RBF网络的主要函数。

为了比较2种网络的性能差异，最后在MATLAB环境下设计了具体的网络来对指定的非线性函数进行函数-近。

仿真结果表明，RBF的泛化能力在多个方面都优于BP网络，但是在解决具有相同精度要求的问题时，BP网络的结构要比RBF网络简单，因此在实际应用中可以此来指导神经网络的设计。

关键词：

人工神经网络；反向传播算法；径向基网络；./；函数-近*基金项目：

山西省自然科学基金（2005l038）资助项目中图分类号：

TN9ll.72文献标识码：

AImplementationofBPandRBFneuralnetworkandtheirperformancecomparisonLiuYongZhangLiyi（TaiYuanUniversityofTechnology，Taiyuan030024）Abstract：

ThepaperintroducedthebasictheoryoftwopopularANNmodules，whichwereBPandRBFnetworks.Itdemonstratedthelearningprocedureofeachalgorithmfrommathematicalaspect，andthenbrieflydescribedmainfunctionsoftheirdesigninMATLABneuralnetworktoolbox.Inordertocomparetheirperformance，thearticledesignedacoupleofnetworks，andutilizedthemtorealizetheapproximationofaparticularnon-linearfunction.ThesimulationresultindicatesthatthegeneralizationcapabilityofRBFissuperiortothatofBP.However，insettlementofthesameproblems，thestructureofthelatterismuchsimpler，sotheresearchcanbeusedforreferenceinselectingneuralnetworkmodelsinpracticalapplication.Keywords：

artificialneuralnetwork；back-propagationalgorithm；RBFnetwork；training；functionapproximation0人工神经网络概述人工神经网络是一门模拟人脑生物过程的人工智能技术。

近年来，借助于认知心理学的发展及满足神经网络的并行互联需求的超大规模集成技术的迅猛前进，神经网络进入了一个前所未有的高度。

人工神经网络是根据大脑神经元电化学活动抽象出来的一种多层网络结构，它是由大量的神经元互联形成的复杂的非线性系统。

神经元结构如图l所示。

图l人工神经元模型所有输入p通过一个权重w进行加权求和后加上阈值J，再经传递函数f的作用后即为该神经元的输出a，且有：

a=f（Wp+J）（l）神经元不同的连接方式构成了不同的ANN模型。

常用的有多层前向网络模型、Kohonen自组织N照模型、Hopfield模型、Adline模型、反向传播模型、自适应共振理论（ART）等，它们具有一些共同的特点：

并行处理性、强容错性和抗噪性、整体性和系统性、具有很强的学,功能。

这些特点使得它在处理非线性动态系统上有着广泛的应用。

1BP网络及其训练神经网络的形式多种多样，误差反传算法网络模型（back-propagation，BP）应用最广，它是一种单向传播的多77第30卷电子测量技术层前向神经网络，其典型结构如图2所示。

图2BP网络基本拓扑结构BP具有一层或多层隐含节点，由于同层节点上无任何耦合，每层节点的输出只影响下一层节点的输出。

可见BP网络为从输入到输出的高度非线性映射，即：

f：

RmRI，它是建立在梯度下降法的基础上的。

BP网络的学习分解为正向和反向学习2个过程：

第I阶段（正向传播过程），给出输入信息，通过输入层经隐含层逐层计算每个单元的实际输出值，如若输出层未能得出期望输出，即转入反向传播；第2阶段（反向传播过程），逐层递归地计算实际输出与期望输出之差，并依据此差值来调节权值。

反复使用上述2个过程，直至误差调整至误差容限时停止学习。

无论在函数逼近还是模式识别中，都必须对神经网络进行训练。

训练之前首先需要样本，包括输入向量!

以及相应的期望输出向量，训练过程中应不断调整权值和阈值，使得神经网络的误差函数达到最小。

BP神经网络误差函数默认为期望输出向量与网络输出#的均方差MSE。

隐层输出为：

yj=fZiwjixi-9（）j=f（Ietj）

（2）输出层实际输出：

zI=fZjwIjyj-9（）l=f（IetI）（3）式中：

xi、yj、zI分别为输入节点、隐含层节点、输出节点；wji为输入节点与隐层节点的网络权值；wjI为隐层节点与输出节点的网络权值。

若期望输出为tI，则误差为：

E=I2ZI（tI-zI）2=I2ZItI-fZjwIjfZiwjixi-9（）j-9（）（）I2（4）下面需要实现的是对权值和阈值的修正，E分别对隐层和输出层权值求导：

aEawIj=ZIl=IaEazlazlawIj=aEazIazIawIjaEawji=ZlZjaEazlazlayjayjawji（5）由于权值的修正!

wIj、!

wji正比于误差函数沿梯度下降，则有：

!

wjI=-naEawIj!

wji=-naEawji（6）式中：

n是学习速率，则可得权值修正公式为：

wIj（I+I）=wIj（I）+!

wjIwji（I+I）=wji（I）+!

wji（7）上述学习过程无不体现其指导思想：

对网络权值和阈值的修正要沿着表现函数下降最快的方向负梯度方向。

!

径向基神经网络理论及其学习RBF神经网络以径向基函数（RBF）作为隐层单元的基，构成隐含层空间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。

类似地，RBF神经网络的基本组成部分为径向基函数神经元模型，其神经元结构如图3所示。

图3径向基神经元模型径向基函数（radicaIbasisfunction）神经网络RBF网络是一种具有3层单向传播的前馈网络，是20世纪80年代末由J.Moody和C.Darken提出的网络模型，它模拟了人脑中局部调整、相互覆盖感受野（receptivefieId），因此是一种局部逼近网络，科学界已经证明它能以任意精度逼近任意函数，其拓扑结构如图4所示。

图4RBF网络结构图径向基神经网络与BP网络在结构上基本相同，区别在于RBF网络隐含层节点传输函数为径向基函数，即隐含层节点对输入产生局部响应，为此RBF常被称为局部感受野网络。

径向基函数表现为多种形式，常见的为高斯函数，如式（8）所示：

pi（x）=exp-pi-ci2O2（）i（8）式中：

ci为第i个节点的中心；Oi为控制接收域大小的参数；为欧式范数。

网络的第I个输出节点完成对隐含层节点输出的线性组合。

ZI=ZiwI，ipi-6I（9）87刘永等：

BP和RBF神经网络的实现及其性能比较第3期式中：

bI为第I个输出节点的域值；!

I，为i到ZI的输出权值。

通常，RBF的学习分2阶段进行，即隐层的学习和输出层的学习2步。

（l）隐层学习隐层学习表现在基函数参数即中心及宽度的确定上，通常是无监督学习，本文参照输入序列选择中心向量ci和标准化参数#i。

（2）输出层学习输出层学习体现在权值的学习上，属于有监督学习，一般采用LMS和RLS等方法。

3网络性能比较由上述内容可知，神经网络广泛应用于函数逼近以及模式识别等领域，本文在MATLAB环境下举例实现函数的逼近。

3.1问题的提出若实现一非线性函数的逼近，比如令函数关系式为：

y=l2（x2l+2x22-3x23+4x24）+2xlx2-2cOS（0.5x3x4）（l0）3.2MATLAB神经网络函数（l）BP工具箱函数!

newff（创建）函数指令格式为：

net=newff（PR，Nl，N2，Nm，tfl，tf2，tfm，bptf）式中：

PR为输入向量的取值范围；Ni为各层神经元数；tfi为对应层传递函数。

traingd（BP神经网络训练）函数格式为：

netl.trainParam.epochs=要求值与函数traingd有关的训练参数有：

epochs、goal、lr等，分别表示最大训练次数、训练要求精度、学习速率等。

#sim（仿真）函数指令格式为：

a=sim（netl，p）式中：

netl为创建或训练后的网络。

（2）RBF工具箱函数!

radbas（径向基传递）函数指令格式为：

T=radbas（w-pb）式中：

p为输入向量；w为权值矩阵；b为偏置；函数实现神经元输出的求解。

newrb（径向基网络设计）函数命令格式：

net=newrb（P，T，SPREAD）式中：

P为输入向量；T为期望输出向量；SPREAD为径向基散布常数，默认为l。

3.3仿直结果若目标精度为0.0005，图5和图6分别是BP和RBF神经网络在相等的训练样本下收敛速度的示意图，BP网络经过79个周期才达到所需精度，而RBF神经网络只需要29个周期，易见后者的收敛速度远远高于前者。

图5神经网络收敛性能图图6RBF神经网络收敛性能图下面分别实现2种网络对上述的非线性函数的逼近，BP网络的隐层神经元数目设定为25，两网络逼近曲线如图7与图8所示。

图7BP神经网络函数逼近性能图图8RBF神经网络函数逼近性能图97第30卷电子测量技术显然，RBF网络的逼近效果明显优于BP网络，它几乎实现了完全逼近。

还可以从另外一角度来比较，即2种网络的MSE逼近效果，它们的MSE图的比较如图9所示。

图92种神经网络逼近MSE图可见RBF网络的逼近性能也高于传统BP网络，但是由程序运行的结果发现，RBF神经网络的隐层单元数为50。

表1记录了采用不同的训练样本数，设计的逼近性能的BP和RBF网络。

表!

#种网络隐层神经元记录样本数精度要求BP神经元RBF神经元350.00052436650.00053364850.00053588由表1可见，相同的样本数和精度要求下，RBF神经网络的隐层神经元数要大大多于BP网络，这体现在网络的复杂度要高于BP网络。

$结论综上所述，RBF网络的逼近精度要明显高于BP网络，它几乎能实现完全逼近，而且设计起来极其方便，网络可以自动增加神经元直到满足精度要求为止。

但是在训练样本增多时，RBF网络的隐层神经元数远远高于前者，使得RBF网络的复杂度大大增加，结构过于庞大，从而运算