第7章-反馈神经网络PPT文件格式下载.ppt

1、,反馈网络分类：如果激活函数f（）是一个二值型的硬函数，则称此网络为离散型反馈网络；如果f（）为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络。,1 反馈神经网络,1.1.1 网络的结构与工作方式,1.1离散型Hopfield神经网络,1.1.1 网络的结构与工作方式,离散型反馈网络的拓扑结构,1.1离散型Hopfield神经网络,1.1.1 网络的结构与工作方式,1.1离散型Hopfield神经网络,DHNN其输出类似于MP神经元，可表示为：,在上式中，取阈值0，权矩阵中有wijwji，且取wii0。即DHNN采用对称联接。因此，其网络结构可以用一个加权元向量图表示。,1.1.1

2、网络的结构与工作方式,1.1离散型Hopfield神经网络,1.1.2 网络的联想记忆,1.1离散型Hopfield神经网络,联想记忆功能是DHNN的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个基本条件：网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。,1.1.2 网络的联想记忆,1.1离散型Hopfield神经网络,DHNN实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记忆阶段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。联想回忆阶段则是网络的工作过程。,（1）网络

3、的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。,j=1,2,n,所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT,反馈网络的输入就是网络的状态初始值，表示为X（0）=x1（0）,x2（0）,xn（0）T,反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为,j=1,2,n（1）,DHNN网的转移函数常采用符号函数,式中净输入为,j=1,2,n（2）,对于DHNN网，一般有wii=0，wij=wji。,反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为,（2）网络的异步工作方式,（3）,（3）网络的同步工作方

4、式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即,j=1,2,n（4）,网络运行时每次只有一个神经元 j 进行状态的调整计算，其它神经元的状态均保持不变，即,1.1离散型Hopfield神经网络,在状态更新过程中，包括三种情况：由-1变为1；由1变为-1及状态保持不变。,1.1离散型Hopfield神经网络,在任一时刻，网络中只有一个神经元被选择进行状态更新或保持，所以异步状态更新的网络从某一初态开始需经过多次更新状态后才可以达到某种稳态。这种更新方式的特点是：实现上容易，每个神经元有自己的状态更新时刻，不需要同步机制；功能上的串行状态更新可以限制网络的输出状态，避免不同稳态等

5、概率的出现；异步状态更新更接近实际的生物神经系统的表现。,1.1.2.1 网络的稳定性,DHNN网实质上是一个离散的非线性动力学系统。网络从初态X（0）开始，若能经有限次递归后，其状态不再发生变化，即X（t+1）X（t），则称该网络是稳定的。,如果网络是稳定的，它可以从任一初态收敛到一个稳态：,1.1.2 网络的稳定性与吸引子,若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。,如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混

6、沌。,网络达到稳定时的状态X，称为网络的 吸引子。,如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。,若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。,定义1 若网络的状态X 满足X=f（WX-T）则称X为网络的吸引子。,1.1.2.2 吸引子与能量函数,定理5.1 对于DHNN 网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。,定理5.1证明：,定义网络的能量函数为：,（5）,令网络的能量改变量为E，状态改变量为X，有,（6

7、）,（7）,1.1.2.2 吸引子与能量函数,将式（4）、（6）代入（5），则网络能量可进一步展开为,（8）,将 代入上式，并考虑到W为对称矩阵，有,（9）,上式中可能出现的情况：,情况a：xj（t）=-1,xj（t+1）=1,由式（7）得xj（t）=2,由式（1）知，netj（t）0，代入式（9），得E（t）0。,情况b：xj（t）=1,xj（t+1）=-1,所以xj（t）=-2,由式（1）知，netj（t）0，代入式（9），得E（t）0。,情况c：xj（t）=xj（t+1）,所以xj（t）=0,代入式（9），从而有E（t）=0。,由此可知在任何情况下均有E（t）0。,由于网络中各节点的状态

8、只能取1 或 1，能量函数E（t）作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时E（t）=0。综上所述，当网络工作方式和权矩阵均满足定理1的条件时，网络最终将收敛到一个吸引子。,综上所述，当网络工作方式和权矩阵均满足定理1的条件时，网络最终将收敛到一个吸引子。,定理2 对于DHNN网，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。,证明：由式（8）得,前已证明，对于任何神经元 j，有,因此上式第一项不大于0，只要W为非负定阵，第二项也不大于0，于是有E（t）0，也就是说E（t）最终将收敛到一个常数值，对应的稳定状态是网

9、络的一个吸引子。,以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。,1.1.2.2 吸引子与能量函数,性质：若X 是网络的一个吸引子，且阈值T=0，在sgn（0）处，xj（t+1）=xj（t），则 X 也一定是该网络的吸引子。X 是吸引子，即X=f（WX），从而有 f W（X）=f WX=f WX=X X 也是该网络的吸引子。,1.1.2.3 吸引子的性质,能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。,定义2 若Xa是吸引子，对于异

10、步方式，若存在一个调整次序，使网络可以从状态X 演变到Xa，则称 X 弱吸引到Xa；若对于任意调整次序，网络都可以从状态X 演变到Xa，则称X强吸引到Xa。,定义3 若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。,1.1.2.4 吸引子的吸引域,例1 设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。,x1-0.1-0.5 0.2 x2 0.0 0.0 x3 0.6,解：设各节点状态取值为1 或0，3 节点DHNN 网络应有23=8种状态。不妨将X=（x1,x2

11、,x3）T=（0,0,0）T 作为网络初态，按123的次序更新状态。,第1步：更新x1，x1=sgn（-0.5）0+0.20（-0.1）=sgn（0.1）=1其它节点状态不变，网络状态由（0,0,0）T变成（1,0,0）T。如果先更新 x2 或 x3，网络状态将仍为（0,0,0）T，因此初态保持不变的概率为2/3，而变为（1,0,0）T的概率为1/3。,x1-0.1-0.5 0.2 x2 0.0 0.0 x3 0.6,第2步：此时网络状态为（1,0,0）T，更新x2后，得 x2=sgn（-0.5）1+0.600=sgn（-0.5）=0其它节点状态不变，网络状态仍为（1,0,0）T。如果本步先更

12、新 x1 或 x3，网络相应状态将为（1,0,0）T和（1,0,1）T，因此本状态保持不变的概率为2/3，而变为（1,0,1）T 的概率为1/3。,第3步：此时网络状态为（1,0,0）T，更新x3得 x3=sgn0.21+0.600=sgn（0.2）=1,同理可算出其它状态之间的演变历程和状态转移概率。,DHNN网络状态演变示意图,为了使所设计的权值满足要求，权值矩阵应符合以下要求：,为保证异步方式工作时网络收敛，W 应为对称阵；为保证同步方式工作时网络收敛，W 应为非负定对称阵；保证给定样本是网络的吸引子，并且要有一定的吸引域。,1.1.3.2外积和法,设给定P个模式样本Xp，p=1,2,P，x-1,1n，并设样本两两正交，且nP，则权值矩阵为记忆样本的外积和,（16）,1.1.3 网络的权值设计,若取wjj=0，上式应写为,（17）,式中I为单位矩阵。上式写成分量元素形式，有,（18）,下面检验所给样本能否称为吸引子。,因为P个样本Xp，p=1,2,P，x-1,1n 是两两正交的，有,因为n P，所以有,可见给定样本 Xp，p=1,2,P 是吸引子。,