BP神经网络基本原理与应用PPT格式课件下载.pptx

1、是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。,BP神经网络核心思想,BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。,BP网络常用传递函数:,BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络

2、的输出可以取任意值。,BP网络的传递函数：,输入层和输出层可以根据实际问题确定，但权值和阈值初始化，却没有严格的理论基础。而BP神经网络可以通过误差最速下降法，从而调整权值与阈值。,权值和阈值如何确定、学习？,BP神经网络的学习,学习过程：神经网络在外界输入样本的刺激下不断改变网络连接的权值，阈值。以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值、阈值的动态调整学习规则：权值、阈值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则,BP神经网络的学习,网络结构输入层有n个神经元，隐含层有q个神经元,输出层有m个神经元,BP神经网络的学习,输入层与中间层的连接权

3、值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:,BP神经网络的学习,（一）误差函数的确定网络学习误差函数分为两类：（t为预期值，y为输出值）A、网络对样本逐个的顺序输入而不断学习，是基于单个样本误差e的最小值进行。B、第二是待样本全部输入后，基于E的最小值来完成权值空间的梯度搜索，即批处理过程。,BP神经网络的学习,（二）误差梯度下降法梯度下降的基本原理：梯度下降法又称最速下降法。函数J（a）在某点ak的梯度是一个向量，其方向是J（a）增长最快的方向。显然，负梯度方向是J（a）减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，

4、可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。,BP神经网络的学习,（二）误差梯度下降法,求函数J（a）极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J（a）下降最快。s（0）：点a0的搜索方向。,BP神经网络的学习,（三）BP算法调整，输出层的权值调整,直观解释,当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。,BP神经网络的学习,（三）BP算法调整，输出层的

5、权值调整,式中：学习率,最终形式为：,BP神经网络的学习,（三）BP算法调整，隐藏层的权值调整,隐层各神经元的权值调整公式为：,同理，输出层、隐藏层的阈值调整就是误差函数对阈值的偏导函数。,BP学习算法的步骤:,Step1,选定学习的数据,p=1,P,随机确定初始权矩阵W（0）,Step2,用（10）式反向修正,直到用完所有学习数据.,用学习数据计算网络输出,Step3,BP网络设计：,1.输入层和输出层的设计 输入层和输出层节点点数的选择由应用要求决定。输入层节点数一般等于要训练的样本矢量维数，可以是原始数据的维数或提取的特征维数；输出层节点数在分类网络中去类别数m或lbm，在拟合网络中取要

6、拟合的函数输出空间维数。2.隐含层结构设计（1）隐含层数设计 1989年，Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近。因而，一个3层的BP网络可以完成任意的n维到m维的映射。,BP网络设计：,（2）隐含层节点数设计隐含层节点数对神经网络的性能有一定的影响。隐含层节点数与求解问题的要求、输入输出节点数多少都有直接的关系。隐含层节点数的选择是一个十分复杂的问题。根据经验可以参照以下公式进行设计：=+式中，l为隐含层节点数；n为输入节点数；m为输出节点数；a为1-10之间的调节常数。,BP神经网络与分类（应用）,4,人工神经网络（A

7、rtificial Neuron Nets=ANN）,例,1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子（或飞蠓midges）他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：,翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96

8、1.30 Apf1.74 1.36 Af,问：如果抓到三只新的蚊子，它们的触角长和翼长分别为（l.24,1.80）;（l.28，1.84）；（1.40，2.04）问它们应分别属于哪一个种类？,如果如下图那么直观的分清，则问题将会很容易解决,新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。,但是，如果图是下面这样的话：,输入数据有15个，即,p=1,15;j=1,2;对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个？）建立神经网络,规定目标为：当t（1）=0.9 时表示属于Apf类，t（2）=0.1表示属于Af类。设两个权重系数矩阵为

9、：,（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：,令p=0,具体算法如下：,=rand（2,3）;,=rand（1,3）;,（2）根据输入数据利用公式算出网络的输出,=,取,（3）计算,（4）取,（或其他正数，可调整大小）,j=1,2,3,i=1,2,3,j=1,2,3,（6）p=p+1，转（2）,注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：,即网络模型的解为：,=,BP网络的局限性:,隐含层节点个数没有理论依据激活函数一般使用S型函数没有理论依据最速下降法只是针对局部而言，对整体来说却不一定最速下降方向学习速率采用确定值，一旦太大可能导致学习过程振荡，太小会造成学习的周期过长存在学习迭代次数初试权值的选取较为敏感网络结构选择不能统一,BP算法的改进:,利用动量法改进BP算法 将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整量自适应调整学习速率 动态的学习速率动量-自适应学习速率调整算法L-M学习规则 速度更快，但需要存贮空间巨大,谢谢,Thanks,