神经网络ppt课件.ppt

1、第2章 神经网络,Contents,神经网络简介,1,2.1 神经网络简介,什么是神经网络？,神经网络（Neural Network，NN）一般也称为人工神经网络（Artificial Neural Network，ANN），是科学家们在对生物的神经元、神经系统等生理学的研究取得了突破性进展以及对人脑的结构、组成和基本工作单元有了进一步认识的基础上，通过借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽象后建立的简化模型。,2.1.1 基本原理,生物神经元基本结构示意图,2.1.1 基本原理,2.1.1 基本原理,模拟神经元的树突接收输入信号,输入层,加权和,阈值函数,输出层,模拟神经元

2、的细胞体加工和处理信号,模拟神经元的轴突控制信号的输出,模拟神经元的突触对结果进行输出,人工神经元结构功能示意图,2.1.2 研究进展,启蒙萌芽时期1940s至1960s,低潮反思时期1960s至1970s,2.1.2 研究进展,复兴发展时期1980s至1990s,新的发展时期1990s中后期之后,2.1.2 研究进展,重要学术期刊IEEE Transactions on Neural NetworksIEEE Transactions on Systems,Man and CyberneticsJournal of Artificial Neural NetworksJournal of N

3、eural SystemsNeural NetworksNeural ComputationNetworks Computation in Neural SystemsMachine Learning,2.1.2 研究进展,重要学术会议International Joint Conference on Neural NetworksIEEE International Conference on Systems,Man,and CyberneticsWorld Congress on Computational Intelligence,2.2 神经网络的典型结构,按网络的结构区分前向网络反馈

4、网络按学习方式区分有教师（监督）学习网络无教师（监督）学习网络按网络的性能区分连续型和离散型网络随机型和确定型网络,2.2 神经网络的典型结构,按突触性质区分一阶线性关联网络高阶非线性关联网络按对生物神经系统的层次模拟区分神经元层次模型组合式模型网络层次模型神经系统层次模型智能型模型通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍,2.2.1 单层感知器网络,单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成由于这种网络结构相对简单，因此能力也非常的有限，一般比较少用,单网层络感示知意器图,2.2.2 前馈型网

5、络,前馈型网络的信号由输入层到输出层单向传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求,2.2.3 前馈内层互联网络,这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连,2.2.4 反馈型网络,这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身还是前馈型的这种神经网络的输入层不仅接受外界的输入信号，同时接受网络

6、自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合,2.2.5 全互联网络,全互联网络是网络中所有的神经元之间都有相互间的连接如Hopfiled和Boltgmann网络都是这种类型,全互联网络,2.3 神经网络的学习算法,2.3.1 学习方法,在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。,在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则

7、）自动调整权重，使网络最终具有模式分类等功能。,再励学习是介于上述两者之间的一种学习方法,2.3.2 学习规则,Hebb学习规则这个规则是由Donald Hebb在1949年提出的他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强Hebb学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此这种方法又称为相关学习或并联学习Delta（）学习规则 Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差这个规则也叫Widrow-Hoff学习

8、规则，首先在Adaline模型中应用，也可称为最小均方差规则BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习,2.3.2 学习规则,梯度下降学习规则梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 Kohonen学习规则该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络后向传播学习规则后向传播（Back Propagation，BP）学习，是目前应用最为广泛的神经网络学习规则,2.3.2 学习规则

9、,概率式学习规则从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习神经网络处于某一状态的概率主要取决于此状态下的能量，能量越低的状态，出现概率越大；此概率还取决于温度T，T越大，不同状态出现概率的差异越小，较容易跳出能量的局部极小点而到全局极小点，T越小时，正好相反。竞争式学习规则竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别,2.4 BP神经网络,2.

10、4.1 基本思想,BP神经网络也称：后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network，BPFNN/BPNN），是一种应用最为广泛的神经网络在BPNN中，后向传播是一种学习算法，体现为BPNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小BPNN是一种典型的神经网络，广泛应用于各种分类系统，它也包括了训练和使用两个阶段。由于训练阶段是BPNN能够投入使用的基础和前提，而使用阶段本身是一个非常简

11、单的过程，也就是给出输入，BPNN会根据已经训练好的参数进行运算，得到输出结果,2.4.2 算法流程,2.4.2 算法流程,1.初始化网络权值,每两个神经元的网络连接权重 被初始化为一个很小的随机数（如-1.01.0或-0.50.5等）；每个神经元有一偏置i，初始化为一随机数。,2.向前传播输入,将训练样本输入到网络输入层，计算每个神经元的输出。上一层单元i到本单元j的网络权重；上一层单元i的输出 本单元偏置，充当阈值。激活函数，logistic函数，sigmoid函数,3.反向误差传播,比较预期输出和实际输出，计算输出层误差。Tj输出单元j的预期输出将得到的误差从后向前传播，前一层单元j的误

12、差通过和它连接的后一层所有单元k的误差计算得到。,4.网络权值与神经元偏置调整,可以一边后向传播误差，一边调整网络权重和神经元的阈值，也可以先计算得到所有神经元的误差，再统一调整网络权重和神经元阈值。调整权重：从输入层与第一隐含层的连接权重开始，依次向后进行调整。l学习率，通常取01之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。,4.网络权值与神经元偏置调整,调整偏置：对每个神经元j进行如下更新：l学习率，通常取01之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。,5.

13、判断结束,对每个样本，若最终输出误差小于可接受范围，或迭代次数到一定的阈值，则选取下一样本，转步骤2继续执行；否则迭代次数加1，转步骤2继续使用当前样本训练。,2.4.3 应用举例,例2.1已知一个前馈型神经网络例子如下图所示。设学习率l为0.9，当前的训练样本为x=1,0,1，而且预期分类标号为1，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程。,例 10.3 BPNN分类系统训练过程,2.5 进化神经网络,对于某一具体问题，人工神经网络的设计是极其复杂的工作，至今仍没有系统的规律可以遵循目前，一般凭设计者主观经验与反复实验挑选ANN 设计所需的工具

14、这样不仅使得设计工作的效率很低，而且还不能保证设计出的网络结构和权重等参数是最优的，从而造成资源的大量浪费和网络的性能低下,人工神经网络存在的问题,2.5 进化神经网络,使用进化算法去优化神经网络，通过进化算法和人工神经网络的结合使得神经网络能够在进化的过程中自适应地调整其连接权重、网络结构、学习规则等这些在使用神经网络的时候难以确定的参数，从而形成了进化神经网络（Evolutionary Neural Networks，ENN/EANN）进化算法和神经网络的结合给神经网络指明了新的发展方向，对突破神经网络结构复杂、参数难调等问题起到了重大的作用,进化神经网络的优势,2.6 神经网络的应用,民

15、用应用领域语言识别、图像识别与理解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等军用应用领域语音、图像信息的录取与处理、雷达、声纳的多目标识别与跟踪、战场管理和决策支持系统、军用机器人控制、各种情况、信息的快速录取、分类与查询、导弹的智能引导、保密通讯、航天器的姿态控制等等,2.6 神经网络的应用,识别与聚类应用模式识别和分类是指通过使用一系列的训练数据对神经网络进行训练，在有教师指导的学习方法下，让神经网络在训练数据的训练下调整网络的结构和权重，以达到正确识别的目的,2.6 神经网络

16、的应用,计算与优化应用神经计算是人工神经网络的一个重要应用手段，也为各种优化问题提供了解决的方案。优化问题就是需要在问题的解空间里面寻找一个最优的解在满足一定约束条件下使得目标函数最大化或者最小化。由于神经网络具有并行搜索处理信息、联想记忆等特点，在搜索系统的全局最优或局部最优解方面，具有很好的优势，因此在优化问题上得到了广泛的研究和应用,2.6 神经网络的应用,建模与预测应用人工神经网络应用在非线性系统建模上的时候，实质上就是通过训练神经网络，让其在训练数据中获取知识，并且完成从输入到输出的非线性映射过程所谓神经网络预测就是根据一定数量的历史样本数据（一般为表征某一种现象时间序列的数据，例如

17、交通流量，外汇走势等等）对神经网络进行训练，然后用来对当前的，或者未来的时刻情景进行预测,若已获得时间序列数据样本t(1),t(2)t(n)以及对应的输出y(1),y(2)y(n)，如果想预测t(n+1)时刻的输出y(n+1)，则需要先训练网络后使用网络。训练网络：先设定一时间长度L的历史数据作为一输入，第一个训练样本假设为t(i-L+1),t(i-L+2)t(i)，其中i=L，作为网络的输入，y(i)为输出，第二个训练样本为t(i-L+2),t(i-L+3),t(i+1)和输出y(i+1)，等等，训练后得到良好的权重。使用网络：输入为t(n-L+2),t(n-L+3),t(n+1)，通过训练好的神经网络可得输出y(n+1)。,2.6 神经网络的应用,控制与处理应用神经网络已经在自动控制和信息处理等各个领域取得了相当成功的应用。在自动控制领域，主要的应用包括系统建模和辨识、参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、滤波与预测容错控制等 在各种信息、信号处理领域，神经网络也有重要的突破。例如在图像处理方面，神经网络能够很好地对图像进行边缘监测、图像分割、图像压缩和图像恢复等操作。此外，神经网络被广泛使用于信号处理方面，例如目标检测、多目标跟踪、杂波去噪、畸形波恢复、雷达回波多目标分类、运动目标速度估计、多探测信号融合等等,Thank You!,