BP神经网络详细讲解Word下载.docx
《BP神经网络详细讲解Word下载.docx》由会员分享，可在线阅读，更多相关《BP神经网络详细讲解Word下载.docx（10页珍藏版）》请在冰豆网上搜索。
1.2.1神经网络的学习机理和机构
在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；
对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。
神经网络在学习中，一般分为有教师和无教师学习两种。
感知器采用有教师信号进行学习，而认
知器则采用无教师信号学习的。
在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；
BP网络和Hopfield网络是需要教师信号才能进行学习的；
而ART网络和Kohonen网络
则无需教师信号就可以学习。
所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。
一、感知器的学习结构
感知器的学习是神经网络最典型的学习。
目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师
学习算法。
一个有教师的学习系统可以用图1—7表示。
这种学习系统分成三个部分：
输入部，训练部和输
出部。
训练部
載师信号（期望输出信号）
图1-7神经网络学习系统框图
输入部接收外来的输入样本X,由训练部进行网络的权系数W调整，然后由输岀部输岀结果。
在
这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生
的误差去控制修改权系数W
学习机构可用图1—8所示的结构表示。
在图中，X，X2，…，Xn，是输入样本信号，W，W，…，W是权系数。
输入样本信号X可以
取离散值0”或1”输入样本信号通过权系数作用，在u产生输岀结果口WX，即有：
u=B/VX=WXi+WX2+…+WXn
再把期望输岀信号丫（t）和u进行比较，从而产生误差信号e。
即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实
际输出值u和期望输出值丫（t）完全一样，则学习过程结束。
期望辑出y
图学可机构
神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。
则这时才会使输
岀与期望一致。
故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万
次级。
原因在于神经网络的权系数W有很多分量W，W，----Wn；
也即是一个多参数修改系统。
系统的参数的调整就必定耗时耗量。
目前，提高神经网络的学习速度，减少学习重复次数是十分
重要的研究课题，也是实时控制中的关键问题。
、感知器的学习算法
f[swiX£
-O]
1-9所示。
感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。
感知器如图
感知器的数学模型:
v=f[加讯-e]（1-12）
其中：
f[.]是阶跃函数，并且有
pl
2二主W凶-0工0
1—1
>
u=SWiX^-0<
O
“1
（1-13）
9是阀值。
感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下:
卩，A类
Y=*
—B类
（1-14）
即是，当感知器的输出为知感知器的分类边界是：
1时，输入样本称为A类；
输岀为-1时，输入样本称为B类。
从上可
（1-15）
i=1
在输入样本只有两个分量X1,X2时，则有分类边界条件:
Zw.x.-O-O（1-16）
W1X1+WX2-6=0（1-17）
这时的分类情况如固1—10所示。
也可写成
感知器的学习算法目的在于找寻恰当的权系数w=（w1.w2,…，Wn），使系统对一个特定的样
本x=（xt，x2，…，xn）熊产生期望值do当x分类为A类时，期望值d=1;
X为B类时，d=-1<
为了方便说明感知器学习算法，把阀值6并人权系数w中，同时，样本x也相应增加一个分量Xn+1o故令：
Wn+1=-6，X+1=1（1-19）
则感知器的输出可表示为：
n11
（1-20）
i三1
感知器学习算法步骤如下：
1•对权系数w置初值
对权系数w=（W•W2,…，W,W+1）的各个分量置一个较小的零随机值，但W+1=-0O
并记为W（0）,W（0）,…，W/（0），同时有Wn+1（0）=-0。
这里W（t）为t时刻从第i个输入上的权系数，i=1，2，…，n°
W+1（t）为t时刻时的阀值。
2•输入一样本X=（Xi,X2,…，Xn+1）以及它的期望输岀do
期望输岀值d在样本的类属不同时取值不同。
如果x是A类，则取d=1,如果x是B类，则取-1
期望输岀d也即是教师信号。
3•计算实际输岀值丫
［二1
4•根据实际输出求误差e
e=d—Y（t）（1-21）
5•用误差e去修改权系数
Wi（t*1J=Wi（t）+7j-e*Xi
i=1,2,…，n,n+1（1-22）
其中，n称为权重变化率，0＜耳在
在式（1—22）中，n的取值不能太大•如果1取值太大则会影响w（t）的稳定；
的取值也不能太
小，太小则会使W/（t）的求取过程收敛速度太慢。
当实际输岀和期望值d相同时有：
W（t+1）=Wi（t）
6•转到第2点，一直执行到一切样本均稳定为止。
从上面式（1—14）可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。
因此，感知器可以用于实现逻辑函数。
下面对感知器实现逻辑函数的情况作一些介绍。
例：
用感知器实现逻辑函数XVX的真值：
X
0011
X2
0101
XVX2
0111
以X1VX2=1为A类，以X1VX2=0为B类，则有方程组
（1-23）
rwro+w2-o-e<
oW1-0+w2*i-e^oWrl+W2'
O-0^O^wri+w2-i-e^o
即有：
6>
W品
（1-24）
iwL-t
从式（1—24）有：
W>
„W2>
令Wi=1,W2=2
则有：
e<
i
取e=0.5
X1+X2-0.5=0,分类情况如图1—11所示。
前面的感知器的传递函数是阶跃函数，所以，它可以用作分类器。
前面一节所讲的感知器学习算
法因其传递函数的简单而存在局限性。
设误差e采用下式表示:
其中，Y=f〔WXi］是对应第i个样本X的实时输岀Y是对应第i个样本X的期望输岀。
要使误差e最小，可先求取e的梯度：
（对每一个样本的期望与输出值求导）
（1-28）
迪如3吐％3Yk
aw~3ukaw_舄aukAt
c?
Ib
兌二-血一&
"
血7（1-29）
最后有按负梯度方向修改权系数W的修改规则：
（VW+1=W+aw
W"
二卩£
（Yi—玄）咁（UJ区
i=L
（1-30）
也可写成:
%1锐"
/1（-需）—耳（1-31）
在上式（1—30），式（1—31）中，卩是权重变化率，它视情况不同而取值不同，一般取0-1之间的
小数。
很明显，梯度法比原来感知器的学习算法进了一大步。
其关键在于两点：
1•神经元的传递函数采用连续的s型函数，而不是阶跃函数；
2•对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。
故而有更好的动态特能，即加强了收敛进程。
但是梯度法对于实际学习来说，仍然是感觉太慢；
所以，这种算法仍然是不理想的。
1•2•3反向传播学习的BP算法
反向传播算法也称BP算法。
由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。
BP算法是为了解决多层前向神经网络的权系数优化而提岀来的；
所以，BP算法也通常暗示着神
经网络的拓扑结构是一种无反馈的多层前向网络。
故而•有时也称无反馈多层前向网络为BP模
型。
在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。
感知机学习算法是一种单
层网络的学习算法。
在多层网络中•它只能改变最后权系数。
因此，感知机学习算法不能用于
多层神经网络的学习。
1986年，Rumelhart提岀了反向传播学习算法，即BP（backpropagation）
算法。
这种算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习。
BP算法是目
前最广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。
一、BP算法的原理
BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图1—12所示
升级会员 