BP神经网络详解-最好的版本_精品文档.ppt

BP神经网络详解-最好的版本_精品文档.ppt

《BP神经网络详解-最好的版本_精品文档.ppt》由会员分享，可在线阅读，更多相关《BP神经网络详解-最好的版本_精品文档.ppt（29页珍藏版）》请在冰豆网上搜索。

BPBP神经网络模型与学习算法神经网络模型与学习算法概述概述pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反网络的误差反向后传向后传BP（BackBP（BackPropagation）Propagation）学习算法学习算法pBPBP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。

J.McClellandDavidRumelhartBPBP神经网络模型神经网络模型p三层三层BPBP网络网络BPBP神经网络模型神经网络模型p激活函数激活函数必须处处可导一般都使用一般都使用SS型函数型函数p使用使用SS型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出关系输入输出BPBP神经网络模型神经网络模型输出的导数根据根据SS型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽的值尽量控制在收敛比较快的范围内量控制在收敛比较快的范围内BPBP网络的标准学习算法网络的标准学习算法p学习的过程：

学习的过程：

神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。

p学习的本质：

学习的本质：

对各连接权值的动态调整p学习规则：

学习规则：

权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。

BPBP网络的标准学习算法网络的标准学习算法-算法思想算法思想p学习的类型：

有导师学习学习的类型：

有导师学习p核心思想：

核心思想：

将输出误差以某种形式通过隐层向输入层逐层反传p学习的过程：

学习的过程：

信号的正向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值BPBP网络的标准学习算法网络的标准学习算法-学习过程学习过程p正向传播：

正向传播：

输入样本输入层各隐层输出层p判断是否转入反向传播阶段：

判断是否转入反向传播阶段：

若输出层的实际输出与期望的输出（教师信号）不符p误差反传误差反传误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止BPBP网络的标准学习算法网络的标准学习算法p网络结构网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元p变量定义变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;BPBP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:

隐含层与输出层的连接权值:

隐含层各神经元的阈值:

输出层各神经元的阈值:

样本数据个数:

激活函数:

误差函数：

BPBP网络的标准学习算法网络的标准学习算法p第一步，网络初始化第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。

p第二步第二步,随机选取第随机选取第个输入样本及对应个输入样本及对应期望输出期望输出BPBP网络的标准学习算法网络的标准学习算法p第三步，计算隐含层各神经元的输入和第三步，计算隐含层各神经元的输入和输出输出BPBP网络的标准学习算法网络的标准学习算法p第四步，利用网络期望输出和实际输出，第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的偏导数数。

BPBP网络的标准学习算法网络的标准学习算法p第五步，利用隐含层到输出层的连接权第五步，利用隐含层到输出层的连接权值、输出层的值、输出层的和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数。

BPBP网络的标准学习算法网络的标准学习算法BPBP网络的标准学习算法网络的标准学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的和和隐含层各神经元的输出来修正连接权值隐含层各神经元的输出来修正连接权值。

BPBP网络的标准学习算法网络的标准学习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的和和输入层各神经元的输入修正连接权。

输入层各神经元的输入修正连接权。

BPBP网络的标准学习算法网络的标准学习算法p第八步，计算全局误差第八步，计算全局误差p第九步，判断网络误差是否满足要求。

当误差第九步，判断网络误差是否满足要求。

当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。

否则，选取下一个学习样本及对则结束算法。

否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学习。

习。

BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释情况一直观表达当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。

输出的差减少。

whoe0，此时此时who0BPBP网络的标准学习算法网络的标准学习算法pBPBP算法直观解释算法直观解释情况二直观表达当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方向望输出，权值向增大方向调整，使得实际输出与期调整，使得实际输出与期望输出的差减少。

望输出的差减少。

e0whoBPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和基本神经网络的重要函数和基本功能功能函函数数名名功功能能newff（）生成一个前生成一个前馈BP网网络tansig（）双曲正切双曲正切S型型（Tan-Sigmoid）传输函数函数logsig（）对数数S型型（Log-Sigmoid）传输函数函数traingd（）梯度下降梯度下降BP训练函数函数BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能newff（）功能功能建立一个前向建立一个前向BPBP网络网络格式格式net=net=newff（PRnewff（PR，S1S2.SN1S1S2.SN1，TF1TF1TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF）PF）说明说明netnet为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入为网络输入取向量取值范围的矩阵；取向量取值范围的矩阵；S1S2S1S2SNlSNl表示网络隐表示网络隐含层和输出层神经元的个数；含层和输出层神经元的个数；TFlTFlTF2TFN1TF2TFN1表表示网络隐含层和输出层的传输函数，默认为示网络隐含层和输出层的传输函数，默认为tansigtansig；BTFBTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlmtrainlm；BLFBLF表示网络的权值学习函数，默认表示网络的权值学习函数，默认为为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为msemse。

BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能tansig（）功能功能正切正切sigmoidsigmoid激活函数激活函数格式格式a=a=tansig（ntansig（n）说明说明双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从（-（-，+）+）映射到映射到（-1（-1，1）1）。

它是可导函数，适用于。

它是可导函数，适用于BPBP训练的神经元。

训练的神经元。

logsig（）功能功能对数对数SigmoidSigmoid激活函数激活函数格式格式a=a=logsig（Nlogsig（N）说明对数说明对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从（-（-，+）+）映射映射到到（0（0，1）1）。

它是可导函数，适用于。

它是可导函数，适用于BPBP训练的神经元。

训练的神经元。

BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p例例2-32-3，下表为某药品的销售情况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层BPBP神经神经网络对药品的销售进行预测：

输入层有三个结点，隐含层结点数为网络对药品的销售进行预测：

输入层有三个结点，隐含层结点数为55，隐含层的激活函数为，隐含层的激活函数为tansigtansig；输出层结点数为；输出层结点数为11个，输出层的激个，输出层的激活函数为活函数为logsiglogsig，并利用此网络对药品的销售量进行预测，预测方，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用售量，如用11、22、33月的销售量为输入预测第月的销售量为输入预测第44个月的销售量，用个月的销售量，用22、33、44月的销售量为输入预测第月的销售量为输入预测第55个月的销售量个月的销售量.如此反复直至满足预如此反复直至满足预测精度要求为止。

测精度要求为止。

月份月份123456销量量205623952600229816341600月份月份789101112销量量187314781900150020461556BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现%以每三个月的销售量经归一化处理后作为输入pP=0.5152P=0.51520.81730.81731.0000;1.0000;0.81730.81731.00001.00000.7308;0.7308;1.00001.00000.73080.73080.1390;0.1390;0.73080.73080.13900.13900.1087;0.1087;0.13900.13900.10870.10870.3520;0.3520;0.10870.10870.35200.35200.0000;0.0000;%以第四个月的销售量归一化处理后作为目标向量pT=0.73080.13900.10870.35200.00000.3761;T=0.73080.13900.10870.35200.00000.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法pnet=newff（01;0net=newff（01;01;01;01,5,1,tansig,logsig,traingd）;1,5,1,tansig,logsig,traingd）;pnet.trainParam.epochsnet.trainParam.epochs=15000;=15000;pnet.trainParam.goalnet.trainParam.goal=0.01;=0.01;%设置学习速率为0.1pLP.lrLP.lr=0.1;=0.1;pnet=net=train（net,P,Ttrain（net,P,T）;）;BPBP神经网络学习算法的神经网络学