BP和RBF神经网络的实现及其性能比较.pdf

1、研究设计 电 子 测 量 技 术 ELECTRONICMEASUREMENTTECHNOLOGY第 30 卷 第 4 期2007 年 4 月 BP 和 RBF 神经网络的实现及其性能比较*刘 永 张立毅（IJ理工大学 IJ 030024）摘!要：本文介绍了 2 种应用+为广泛的神经网络模型，BP 及 RBF 神经网络的基本理论，并从数学角度阐述了 2 种算法的学,过程，其后简要地阐述了 MATLAB 神经网络工具箱设计 BP 和 RBF 网络的主要函数。为了比较 2 种网络的性能差异，最后在 MATLAB 环境下设计了具体的网络来对指定的非线性函数进行函数-近。仿真结果表明，RBF的泛化能力在

2、多个方面都优于 BP 网络，但是在解决具有相同精度要求的问题时，BP 网络的结构要比 RBF 网络简单，因此在实际应用中可以此来指导神经网络的设计。关键词：人工神经网络；反向传播算法；径向基网络；./；函数-近*基金项目：山西省自然科学基金（2005l038）资助项目中图分类号：TN9ll.72 文献标识码：AImplementation of BP and RBF neural network andtheir performance comparisonLiu Yong Zhang Liyi（Tai Yuan University of Technology，Taiyuan 030024）

3、Abstract：The paper introduced the basic theory of two popular ANN modules，which were BP and RBF networks.Itdemonstrated the learning procedure of each algorithm from mathematical aspect，and then briefly described main functions oftheir design in MATLAB neural network toolbox.In order to compare thei

4、r performance，the article designed a couple ofnetworks，and utilized them to realize the approximation of a particular non-linear function.The simulation result indicates thatthe generalization capability of RBF is superior to that of BP.However，in settlement of the same problems，the structure ofthe

5、latter is much simpler，so the research can be used for reference in selecting neural network models in practicalapplication.Keywords：artificial neural network；back-propagation algorithm；RBF network；training；function approximation0 人工神经网络概述人工神经网络是一门模拟人脑生物过程的人工智能技术。近年来，借助于认知心理学的发展及满足神经网络的并行互联需求的超大规模集成

6、技术的迅猛前进，神经网络进入了一个前所未有的高度。人工神经网络是根据大脑神经元电化学活动抽象出来的一种多层网络结构，它是由大量的神经元互联形成的复杂的非线性系统。神经元结构如图 l 所示。图 l 人工神经元模型所有输入 p 通过一个权重 w 进行加权求和后加上阈值 J，再经传递函数 f 的作用后即为该神经元的输出 a，且有：a=f（Wp+J）（l）神经元不同的连接方式构成了不同的 ANN 模型。常用的有多层前向网络模型、Kohonen 自组织N照模型、Hopfield 模型、Adline 模型、反向传播模型、自适应共振理论（ART）等，它们具有一些共同的特点：并行处理性、强容错性和抗噪性、整体

7、性和系统性、具有很强的学,功能。这些特点使得它在处理非线性动态系统上有着广泛的应用。1 BP 网络及其训练神经网络的形式多种多样，误差反传算法网络模型（back-propagation，BP）应用最广，它是一种单向传播的多77 第 30 卷电 子 测 量 技 术层前向神经网络，其典型结构如图 2 所示。图 2 BP 网络基本拓扑结构BP 具有一层或多层隐含节点，由于同层节点上无任何耦合，每层节点的输出只影响下一层节点的输出。可见 BP网络为从输入到输出的高度非线性映射，即：f：Rm RI，它是建立在梯度下降法的基础上的。BP 网络的学习分解为正向和反向学习 2 个过程：第 I阶段（正向传播过程

8、），给出输入信息，通过输入层经隐含层逐层计算每个单元的实际输出值，如若输出层未能得出期望输出，即转入反向传播；第 2 阶段（反向传播过程），逐层递归地计算实际输出与期望输出之差，并依据此差值来调节权值。反复使用上述 2 个过程，直至误差调整至误差容限时停止学习。无论在函数逼近还是模式识别中，都必须对神经网络进行训练。训练之前首先需要样本，包括输入向量!以及相应的期望输出向量，训练过程中应不断调整权值和阈值，使得神经网络的误差函数达到最小。BP 神经网络误差函数默认为期望输出向量 与网络输出#的均方差 MSE。隐层输出为：yj=fZiwjixi-9()j=f（Ietj）（2）输出层实际输出：zI

9、=fZjwIjyj-9()l=f（IetI）（3）式中：xi、yj、zI分别为输入节点、隐含层节点、输出节点；wji为输入节点与隐层节点的网络权值；wjI为隐层节点与输出节点的网络权值。若期望输出为 tI，则误差为：E=I2ZI（tI-zI）2=I2ZItI-fZjwIjfZiwjixi-9()j-9()()I2（4）下面需要实现的是对权值和阈值的修正，E 分别对隐层和输出层权值求导：aEawIj=ZIl=IaEazlazlawIj=aEazIazIawIj aEawji=ZlZjaEazlazlayjayjawji（5）由于权值的修正!wIj、!wji正比于误差函数沿梯度下降，则有：!wjI

10、=-naEawIj!wji=-naEawji（6）式中：n 是学习速率，则可得权值修正公式为：wIj（I+I）=wIj（I）+!wjI wji（I+I）=wji（I）+!wji（7）上述学习过程无不体现其指导思想：对网络权值和阈值的修正要沿着表现函数下降最快的方向 负梯度方向。!径向基神经网络理论及其学习RBF 神经网络以径向基函数（RBF）作为隐层单元的基，构成隐含层空间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。类似地，RBF 神经网络的基本组成部分为径向基函数神经元模型，其神经元结构如图 3 所示。图 3 径向基神

11、经元模型径向基函数（radicaI basis function）神经网络 RBF 网络是一种具有 3 层单向传播的前馈网络，是 20 世纪 80 年代末由 J.Moody 和 C.Darken 提出的网络模型，它模拟了人脑中局部调整、相互覆盖感受野（receptive fieId），因此是一种局部逼近网络，科学界已经证明它能以任意精度逼近任意函数，其拓扑结构如图 4 所示。图 4 RBF 网络结构图径向基神经网络与 BP 网络在结构上基本相同，区别在于 RBF 网络隐含层节点传输函数为径向基函数，即隐含层节点对输入产生局部响应，为此 RBF 常被称为局部感受野网络。径向基函数表现为多种形式，

12、常见的为高斯函数，如式（8）所示：pi（x）=exp-pi-ci 2O2()i（8）式中：ci为第 i 个节点的中心；Oi为控制接收域大小的参数；为欧式范数。网络的第 I 个输出节点完成对隐含层节点输出的线性组合。ZI=ZiwI，ipi-6I（9）87 刘 永 等：BP 和 RBF 神经网络的实现及其性能比较第 3 期式中：bI为第 I 个输出节点的域值；!I，为 i到 ZI的输出权值。通常，RBF 的学习分 2 阶段进行，即隐层的学习和输出层的学习 2 步。（l）隐层学习隐层学习表现在基函数参数即中心及宽度的确定上，通常是无监督学习，本文参照输入序列选择中心向量 ci和标准化参数#i。（2）

13、输出层学习输出层学习体现在权值的学习上，属于有监督学习，一般采用 LMS 和 RLS 等方法。3 网络性能比较由上述内容可知，神经网络广泛应用于函数逼近以及模式识别等领域，本文在 MATLAB 环境下举例实现函数的逼近。3.1 问题的提出若实现一非线性函数的逼近，比如令函数关系式为：y=l2（x2l+2x22-3x23+4x24）+2xlx2-2cOS（0.5x3x4）（l0）3.2 MATLAB 神经网络函数（l）BP 工具箱函数!newff（创建）函数指令格式为：net=newff（PR，Nl，N2，Nm，tfl，tf2，tfm，bptf）式中：PR 为输入向量的取值范围；Ni 为各层神经

14、元数；tfi为对应层传递函数。traingd（BP 神经网络训练）函数格式为：netl.trainParam.epochs=要求值与函数 traingd 有关的训练参数有：epochs、goal、lr 等，分别表示最大训练次数、训练要求精度、学习速率等。#sim（仿真）函数指令格式为：a=sim（netl，p）式中：netl 为创建或训练后的网络。（2）RBF 工具箱函数!radbas（径向基传递）函数指令格式为：T=radbas（w-p b）式中：p 为输入向量；w 为权值矩阵；b 为偏置；函数实现神经元输出的求解。newrb（径向基网络设计）函数命令格式：net=newrb（P，T，SPR

15、EAD）式中：P 为输入向量；T 为期望输出向量；SPREAD 为径向基散布常数，默认为 l。3.3 仿直结果若目标精度为 0.000 5，图5 和图 6 分别是 BP 和 RBF神经网络在相等的训练样本下收敛速度的示意图，BP 网络经过 79 个周期才达到所需精度，而 RBF 神经网络只需要29 个周期，易见后者的收敛速度远远高于前者。图 5 神经网络收敛性能图图 6 RBF 神经网络收敛性能图下面分别实现 2 种网络对上述的非线性函数的逼近，BP 网络的隐层神经元数目设定为 25，两网络逼近曲线如图 7 与图 8 所示。图 7 BP 神经网络函数逼近性能图图 8 RBF 神经网络函数逼近性

16、能图97 第 30 卷电 子 测 量 技 术显然，RBF 网络的逼近效果明显优于 BP 网络，它几乎实现了完全逼近。还可以从另外一角度来比较，即 2 种网络的 MSE 逼近效果，它们的 MSE 图的比较如图 9 所示。图 9 2 种神经网络逼近 MSE 图可见 RBF 网络的逼近性能也高于传统 BP 网络，但是由程序运行的结果发现，RBF 神经网络的隐层单元数为50。表 1 记录了采用不同的训练样本数，设计的逼近性能的 BP 和 RBF 网络。表!#种网络隐层神经元记录样本数精度要求BP 神经元RBF 神经元350.000 52436650.000 53364850.000 53588由表 1 可见，相同的样本数和精度要求下，RBF 神经网络的隐层神经元数要大大多于 BP 网络，这体现在网络的复杂度要高于 BP 网络。$结 论综上所述，RBF 网络的逼近精度要明显高于 BP 网络，它几乎能实现完全逼近，而且设计起来极其方便，网络可以自动增加神经元直到满足精度要求为止。但是在训练样本增多时，RBF 网络的隐层神经元数远远高于前者，使得 RBF 网络的复杂度大大增加，结构过于庞大，从而运算