第5章 Hopfield神经网络与联想记忆教材.docx

1、第5章 Hopfield神经网络与联想记忆教材第5章 Hopfield神经网络与联想记忆前面介绍了前向网络及其学习算法，对于所介绍的前向网络，从学习的观点来看，它是一个强有力的学习系统，系统结构简单、易于编程；从系统的观点来看，它是一个静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力；从计算的观点来看，它并不是一强有力系统，缺乏丰富的动力学行为。反馈神经网络是一个反馈动力学系统，具有更强的计算能力。1982年美国物理学家J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。Hopfield 用能量函数的思想形成了一种新的计算方法，

2、阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的Hopfield网络，称之为离散Hopfield网络。而且Hopfield还将该反馈网络同统计物理中的Ising模型相类比，把磁旋的向上和向下方向看成神经元的激活和抑制两种状态，把磁旋的的相互作用看成神经元的突触权值。这种类推为大量的物理学理论和许多的物理学家进入神经网络领域铺平了道路。1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续H

3、opfield网络。用该电路Hopfield成功的解决了旅行商（TSP）计算难题（优化问题）。Hopfield网络是神经网络发展历史上的一个重要的里程碑。把神经网络看作一种非线性的动力学系统，并特别注意其稳定性研究的学科，被称为神经动力学（Neurodynamics）。Hopfield神经网络可看作一种非线性的动力学系统，所以为了方便介绍Hopfield神经网络，本章首先简单介绍神经动力学。前面介绍的单层前向网络和多层前向网络，其思路均是先介绍网络模型再介绍相应的学习算法。本章的思路有所不同，因为Hopfield网络的权值严格来说不是通过学习来得到的，而是根据网络的用途设计出来的，当然可采用某

4、些学习规则对权值进行微调。Hopfield网络最著名的用途就是联想记忆和最优化计算。本章首先介绍神经动力学的基本概念，接着讨论离散Hopfield网络和连续Hopfield网络模型，再通过联想记忆问题介绍Hopfield网络权值的设计方法，而Hopfield网络用于最优化计算将通过仿真实例加以介绍。5.1神经动力学1989年Hirsch把神经网络看作一种非线性的动力学系统，称为神经动力学。神经动力学分为确定性神经动力学和统计性神经动力学。确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。统计性神经动力学将神经网络看成被噪声所扰动，在数学

5、上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。动力学系统是状态随时间变化的系统。令v1(t), v2(t), , vN(t)表示非线性动力学系统的状态变量，其中t是独立的连续时间变量，N为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微分方程表示： （5.1）其中，函数是包含自变量的非线性函数。为了表述方便，可将这些状态变量表示为一个维的向量，称为系统的状态向量。（5.1）式可用向量表示为： （5.2）N维向量所处的空间中称为状态空间，状态空间通常指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。如果一个非线性动力系统的向

6、量函数隐含地依赖于时间t，则此系统称为自治系统，否则不是自治的。考虑（5.2）式状态空间描述的动力系统，如果下列等式成立： （5.3）则称矢量为系统的稳态或平衡态。在包含平衡态的自治非线性动力学系统中，稳定性和收敛性的定义如下（Cook,1986）： 定义1 平衡态在满足下列条件时是一致稳定的，对任意的正数，存在正数，当时，对所有的，均有。定义2 若平衡态是收敛的，存在正数满足，则当时，。定义3 若平衡态是稳定的、收敛的，则该平衡态被称为渐进稳定。定义4 若平衡态是稳定的，且当时间趋向于无穷大时，所有的系统轨线均收敛于，则此平衡态是渐进稳定的或全局渐进稳定的。定义了动力稳定系统中平衡态的稳定性

7、和渐进稳定性，下一步就是证明稳定性。1892年Lyapunov提出了由关于稳定性概念的基本理论，被称为Lyapunov直接方法。该方法被广泛应用于非线性、线性系统和时变、时不变系统的稳定性研究。在含有状态向量V和平衡态的非线性自治动力系统中，Lyapunov定理描述了状态空间等式（5.2）的稳定性和渐进稳定性，其定理如下：定理1 若在平衡态的小邻域内存在有界正函数E(V)，该函数对时间的导数在区域中是有界非正函数，则是稳定的。定理2 若在平衡态的小邻域内存在有界正函数E(V)，该函数对时间的导数在区域中是有界负函数，则是渐进稳定的。满足上述条件的标量函数E(V)称为平衡态的Lyapunov函数

8、。这些定理要求Lyapunov函数E(V)是有界正函数，这样的函数定义如下：函数E(V)在状态空间中是有界正函数，则对所有的满足下列条件：（1）函数E(V)关于状态向量V中的每个元素是连续偏导的；（2）（3） if 若E(V)是Lyapunov函数，由定理1可知，如果（5.4）式成立，则平衡态是稳定的： for （5.4）其中是的小邻域。而且根据定理2可知，如果（5.5）式成立，则平衡态是渐进稳定的， for （5.5）以上简单介绍了有关神经动力学的基本概念，详细内容请见参文的相关章节。5.2离散Hopfield神经网络1982年Hopfield提出离散的Hopfield网络同前向神经网络相比

9、，在网络结构、学习算法和运行规则上都有很大的不同。5.2.1离散Hopfield网络模型离散Hopfield网络是单层全互连的，其表现形式可为图5.1所示的两种形式。图5.1 Hopfield神经网络结构 神经元可取二值0/1或-1/1，其中的任意神经元i与j间的突触权值为Wij，神经元之间联接是对称的，即Wij= Wji，神经元自身无联接,即Wii=0。虽然神经元自身无联接，但每个神经元都同其它的神经元相连，即每个神经元都将其输出通过突触权值传递给其它的神经元，同时每个神经元又都接收其它神经元传来的信息，这样对于每个神经元来说，其输出信号经过其它神经元后又有可能反馈给自己，所以Hopfiel

10、d网络是一种反馈神经网络。Hopfield网络中有个n神经元，其中任意神经元i的输入用ui表示，输出用vi表示，它们都是时间的函数，其中vi(t)也称为神经元i在t时刻的状态。 （5.6）式（5.6）中的bi表示神经元i的阈值或偏差。相应神经元i的输出或状态为： （5.7）其中的激励函数f ()可取阶跃函数u(t)或符号函数Sgn(t)。如取符号函数，则Hopfield网络的神经元的输出vi(t+1)取离散值1或-1，即： （5.8）5.2.2离散Hopfield网络的运行规则Hopfield网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按“能量”（Lyapunov函数）减小的

11、方向进行演化，直到达到稳定状态，稳定状态即为网络的输出。Hopfield网络的工作方式主要有两种形式：（1）串行（异步）工作方式：在任一时刻t，只有某一神经元i（随机的或确定的选择）依上式变化，而其他神经元的状态不变。（2）并行（同步）工作方式：在任一时刻t，部分神经元或全部神经元的状态同时改变。下面以串行（异步）工作方式为例说明Hopfield网络的运行步骤：第一步：对网络进行初始化；第二步：从网络中随机选取一个神经元i；第三步：按公式（5.6）求出该神经元i的输入ui(t)；第四步：按公式（5.7）求出该神经元i的输出vi(t+1)，此时网络中的其它神经元的输出保持不变；第五步：判断网络是

12、否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转到第二步继续运行。这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态。 （5.9）Hopfield网络存在稳定状态，则要求Hopfield网络模型满足如下条件：网络为对称连接，即wij= wji；神经元自身无联接即wii=0。这样Hopfield网络的突触权值矩阵W为零对角对称矩阵。在满足以上参数条件下，Hopfield网络“能量函数” （Lyapunov函数）的“能量”在网络运行过程中应不断地降低，最后达到稳定的平衡状态。Hopfield网络的“能量函数” 定义为： （5.10）Hopfield反

13、馈网络是一个非线性动力学系统，Hopfield网络按动力学方式运行，即按“能量函数”减小的方向进行演化，直到达到稳定状态。因而式（5.10）所定义的“能量函数”值应单调减小。为说明这一问题，可考虑网络中的任意神经元i，其能量函数为： （5.11）从t时刻至t+1时刻的能量变化量为： 由（5.8）式可得： 因为神经元i为网络中的任意神经元，而网络中的所有神经元都按同一规则进行状态更新，所以网络的能量变化量应小于等于零，即： （5.12）所以在满足参数条件下，Hopfield网络状态是向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态，该稳定状态即为Hopfield网络的输出

14、。能量函数的变化曲线如图5.2所示，曲线含有全局最小点和局部最小点。将这些极值点作为记忆状态，可将Hopfield网络用于联想记忆；将能量函数作为代价函数，全局最小点看成最优解，则Hopfield网络可用于最优化计算。图5.2 能量函数局部极小值图示5.3 连续Hopfield神经网络 1984年Hopfield采用模拟电子线路实现了Hopfield网络，该网络中神经元的激励函数为连续函数，所以该网络也被称为连续Hopfield网络。在连续Hopfield网络中，网络的输入、输出均为模拟量，各神经元采用并行（同步）工作方式。利用这一特征Hopfield将该网络应用于优化问题的求解上，并成功地解

15、决了TSP问题。 5.3.1连续Hopfield网络模型连续Hopfield神经网络结构如图5.3所示。图5.3 连续Hopfield神经网络模型从图5.3可见Hopfield神经网络中的每个神经元都是由运算放大器及其相关的电路组成，其中任意一个运算放大器i（或神经元i）都有两组输入：第一组是恒定的外部输入，用Ii表示，这相当于放大器的电流输入；第二组是来自其它运算放大器的反馈连接，如：其中的另一任意运算放大器j（或神经元j），用wij表示，这相当于神经元i与神经元j之间的联接权值。ui表示运算放大器i的输入电压，vi表示运算放大器i的输出电压，它们之间的关系为： （5.13）其中的激励函数f ()常取Sigmoid型函数中双曲线正切函数，即： （5.14）其中的为曲线在原点的斜率，即： （5.15）因此，称为运算放大器i（或神经元i）的增益。激励函数f ()的反函数为f -1 () 为： （5.16）连续Hopfield网络的激励函数及反函数，或连续Hopfield网络中运算放大器的输入/输出关系如图5.4所示。图5.4 激励函数及反函数波形对于图5.3所示的连续Hopf