基于RBF网络的非线性函数回归的研究.docx

1、基于RBF网络的非线性函数回归的研究 基于RBF网络的非线性函数回归的研究一、RBF网络的发展和特性1.1、发展历程1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart和McClelland出版了Parallel distribution processing: explorations in the micr

2、ostructures of cognition。迄今，BP算法已被用于解决大量实际问题。1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。1.2、RBF网络的自身优点RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析

3、的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。1)它是一种前向网络。网络隐层节点的非线性变换把线性不可分问题转化为线性可分问题。2)隐单元的激活函数通常为具有局部接受域的函数，即仅当输入落在输入空间中一个很小的指定区域中时，隐单元才作出有意义的非零响应。因此，RBF网络有时也称为局部接受域网络。3)RBF网络的局部接受特性使得其决策时隐含了距离的概念，即只有当输入接近RBF网络的接受域时，网络才会对之作出响应。这就避免了BP网络超平面分割所带来的任意划分特性。4)在RBF网络中

4、，输入层至输出层之间的所有权重固定为1，隐层RBF单元的中心及半径通常也预先确定，仅隐层至输出层之间的权重可调。RBF网络的隐层执行一种固定不变的非线性变换，将输入空间Rn映射到一个新的隐层空间Rh，输出层在该新的空间中实现线性组合。显然由于输出单元的线性特性，其参数调节极为简单，且不存在局部极小问题。5)一般RBF网络所利用的非线性激活函数形式对网络性能的影响并非至关重要，关键因素是基函数中心的选取。RBF神经网络除了具有一般神经网络的优点，如多维非线性映射能力，泛化能力，并行信息处理能力等，还具有很强的聚类分析能力，学习算法简单方便等优点；径向基函数(RBF) 神经网络是一种性能良好的前向

5、网络L利用在多维空间中插值的传统技术, 可以对几乎所有的系统进行辩识和建模L它不仅在理论上有着任意逼近性能和最佳逼近性能, 而且在应用中具有很多优势1 L 如和Sigmoid 函数作为激活函数的神经网络相比, 算法速度大大高于一般的BP 算法。1.3、RBF网络的基本思想 RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接（即不需要通过权连接）映射到隐空间。基于神经网络的非线性回归系统,就是应用神经网络能逼近任意非线性函数这一特性而设计的。用于非线性函数逼近的前向神经网络主要有两种:BP 网络和RBF 网络。基于BP 网络的非线性函数逼近虽然在理论上是可行的,但是其学习效率低、收

6、敛速度慢、易陷于局部极小状态;网络的泛化及适应能力较差等缺点,限制了其在实际中的应用效果2。而RBF 网络既有生物背景又符合逼近理论,当中心值选择适当时,很少的神经元就可获得很好的逼近效果,它还具有唯一最佳逼近点的优点;其网络的隐层与输出层的连接权与输出成线性关系,可以采用保证全局收敛的线性优化算法3。由于RBF 网络在逼近能力、学习速度等方面均优于BP 网络。因此，本文提出了基于RBF 神经网络的非线性回归的实现方法。二、RBF神经网络原理2.1、RBF神经网络结构RBF 神经网络即径向基函数神经网络（Radical Basis Function）。径向基函数神经网络是一种高效的前馈式神经网

7、络，它的设计思想和BP网络完全不一样。将复杂的模式分类问题非线性的投射到高维空间将比投射到低维空间更可能是线性可分的。也就是说这个问题在低维空间不一定是线性可分的，但如果把它映射到高纬度的空间去，在那里就可能是线性可分的。这就是RBF网络的原理。RBF将问题转换为线性可分之后便没有了BP网络的局部极小值问题。但是RBF需要比BP网络更多的隐含层神经元。它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。同时，它也是一种可以广泛应用于模式识别、非线性函数逼近等领域的神经网络模型。径向基函数(RBF)神经网络是一种局部逼近的神经网络，它模拟了人脑中局部调整，相互覆盖接

8、受域的神经网络结构。现已证明它能以任意精度逼近任意连续函数。最基本的RBF 神经网络如图1 所示，是具有单隐层的3 层前馈网络，其中每1层都有着完全不同的作用。输入层由感知单元组成，它将网络与外界环境连接起来；第2层神经网络的作用是完成输入空间到隐层之间的非线性变换，大多数情况下隐层空间有较高的维数；第3 层为输出层，它为作用于输入层的激活模式提供响应。图1其中，R代表输入层并指出输入维数；代表由径向基神经元构成的隐层并指出神经元数目；是线性输出层。当RBF的中心点确定以后，这种映射的关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可

9、调参数。由此可见，从总体上看，网络由输入到输出的映射也是非线性的，而网络输出对可调参数而言又是线性的。这样的网络的权就可以由线性方程直接解出，从而大大加快学习速度并避免局部极小问题。RBF神经网络学习算法需要求解的参数有3个：基函数的中心，方差以及隐含层到输出层的权值。根据径向基函数中心选取方法的不同，RBF网络有多种学习方法，如随机选取中心法，自组织选取法，有监督选取中心法和正交最小二乘法等。2.2、RBF网络学习算法RBF学习算法需要确定的网络参数为基函数的中心和方差，隐层到输出层的权值。1.自组织选取中心法a) 第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差。b) 第

10、二步，有导师学习阶段(仿逆或LMS方法)求解隐含层到输出层之间的权值。采用高斯函数作为径向基函数，如下：网络的输出为：，j=1,2,3.设d是样本的期望输出值，那么基函数的方差可表示为：自组织选取中心法的步骤:第一步：采用K-均值聚类方法求取基函数中心网络的初始化，随机选取h个训练样本作为聚类中心(i=1,2,3.,h) 将输入的训练样本集合按最近邻规则分组,按照与中心为 之间的欧氏距离将 (p=1,2,3.p) 分配到输入样本 的各个聚类集合(p=1,2,3.p) 中。重新调整聚类中心,计算各个聚类集合中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的 即为RBF

11、神经网络最终的基函数中心，否则返回，进入下一轮的中心求解。第二步，求解方差。RBF神经网络的基函数为高斯函数时，方差可由下式求解。 h=1,2,3.h式中 Cmax为中所选取中心之间的最大距离。第三步，确定隐层到输出层之间的权值。隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，公式如下：,p=1,2,3,.p,h=1,2,3,.h2.随机选取中心法3.有监督选取中心法4.正交最小二乘法三、 RBF神经网络的非线性回归模型回归分析法，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。回归分析中，当研究的因果关系只涉及因变量和

12、一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理。处理非线性回归的基本方法是，通过变量变换，将非线性回归化为线性回归，然后用线性回归方法处理。假定根据理论或经验，已获得输出变量与输入变量之间的非线性表达式，但表达式的系数是未知的，要根据输入输出的n次观察结果来确定系数的值。按最小二乘法原理来求出系数值，所得到的模型为非线性回归模型

13、(nonlinear regression model)。其函数形式为模型：也可表示为：其非线性坐标模式表示如下RBF网络的实质：就是把输入的数据转换到另外的空间，表示如下图所示： 图2 RBF网络的空间转换模式四、MATLAB实现RBF神经网络实例设计 RBF神经网络和两种类型，一种是Exact翻译叫正好，意思是有几组输入额数据，就有几个，它比较适合数据较少的网络，另一种是Approximate，翻译过来叫接近，意思是如果数据很多，需要先对数据进行分类，先放一个看能不能满足要求，通过最优化发现一个不能满足要求，再加一个，一直这样下去，直到网络满足要求为止。其中是高斯函数。Exact的方法是：

14、通常取1，l是输入数据的数量。Approximate的方法是：程序执行过程中的流程图3图3首先采用Approximate方法，建立学习数据，在0-1 区间取100阶随机数ld=100; %学习的数据个数x=rand(2,ld); %0-1在-1.5 到1.5 数组区间内以数据x=(x-0.5)*1.5*2; %-1.5, 1.5x1=x(1,:);x2=x(2,:);原始函数为F=20+x1.2-10*cos(2*pi*x1)+x2.2-10*cos(2*pi*x2) 建立一个Approximate径向基RBF 神经网络net=newrb(x,F);同时，在数组区间内生成三维图形，返回数组每一

15、维的大小，生成测试数据interval=0.1;i, j=meshgrid(-1.5:interval:1.5);row=size(i);tx1=i(:);tx1=tx1;tx2=j(:);tx2=tx2;tx=tx1;tx2;对以上数据进行测试，建立一个sim 仿真动态系统，返回sim 的元素到新建矩阵中ty=sim(net,tx);创建三维显示图形。v=reshape(ty,row);figuresubplot(1,3,2)mesh(i,j,v);zlim(0,60)画出原始图像interval=0.1;x1, x2=meshgrid(-1.5:interval:1.5);F = 20+x

16、1.2-10*cos(2*pi*x1)+x2.2-10*cos(2*pi*x2);subplot(1,3,1)mesh(x1,x2,F);zlim(0,60)画出误差图像subplot(1,3,3)mesh(x1,x2,F-v);zlim(0,60)最后将原始函数图形和建立的非线性回归模型。算出0个，50个，100个的学习数据如图3图4误差曲线如下图4图5以及原始图形与非线性回归模型的误差比较图形输出在图5 上。经过Matlab 计算输出得到图5 中的第一幅图，就是原函数的输出结果图，经过建立的径向基RBF 神经网络非线性回归模型输出得到图5中的第二幅图，此图为模型训练的仿真结果，再对原函数和

17、经过径向基RBF 神经网络非线性回归模型训练的结果进行比对，得到图5中第三幅图的比较结果，从中可以清楚的看出本次非线性回归模型的输出结果与原始函数的比较误差很小，符合设计要求，非线性回归模型的精确程度高并且模型模拟的运算速度很快。图6接着才采用Exact方法生成在-1.5 到1.5 数组区间内以数据interval=0.01;x1=-1.5:interval:1.5;x2=-1.5:interval:1.5;原始函数为F = 20+x1.2-10*cos(2*pi*x1)+x2.2-10*cos(2*pi*x2);建立一个Exact径向基RBF 神经网络net=newrbe(x1;x2,F)对

18、以上数据进行测试，建立一个sim 仿真动态系统，返回sim 的元素到新建矩阵中ty=sim(net,x1;x2);画出建模图像和原始图像ty=sim(net,x1;x2);figureplot3(x1,x2,F,g);figureplot3(x1,x2,ty,b);生成原图像如图6图7生成径向基RBF 神经网络非线性回归模型输出得到图7图8五、结论本文主要利用径向基RBF 神经网络的理论知识初步研究非线性回归模型的建立,对已有函数的仿真结果进行实验研究。采用Matlab 软件进行径向基RBF 神经网络的设计实现对非线性回归模型的建立。采用Exact和Approximate两种类别的方法进行测试

19、，通过对比发现他们各自的优缺点，综合上Exacts适合小数据，而Approximate适合大数据。测试结果显示, 径向基RBF 神经网络可以根据输入函数与非线性回归模型仿真函数输出结果的比对，实现对原函数功能的仿真，且仿真精度高，速度快，误差小。由此可见, 利用径向基RBF 神经网络建立的非线性回归模型能够有效的解决非线性的处理问题。参考文献1 施彦，韩力群，廉小亲. 神经网络设计方法与实例分析M.北京：北京邮电大学出版社,2009.2 Fredic M.Ham Ivica Kostanic. 神经计算原理M. 北京：机械工业出版社20073 张良均，曹晶，蒋世忠神经网络实用教程M北京：机械工

20、业出版社，2008.4 陈静，葛超，安光晨. RBF 神经网络在非线性系统辨识中的应用J . 陶瓷研究与职业教 育,2007 (4)5 王钰，郭其一. 基于改进BP 神经网络的预测模型及其应用J . 计算机测量与控制,2005 (1) :3942.6 柴杰，江青茵，曹志凯. RBF 神经网络的函数逼近能力及其算法J. 长江科学院院报,2002 (3) :310316.7 石修松，王路君，程展林. 基于RBF 神经网络的加筋粘土本构模型J. 模式识别与人工 智能,2010 (7).8 Douglas M. Bates, Donald G. Watts. Nonlinear Regression Analysis and Its ApplicationsM.Wiley，1997