人工神经网络与数学建模Word文档下载推荐.docx

1、1949 年美国心理学家Hebb根据心理学中条件反射的机理，提出了神经元之间连接变化的规则，即Hebb规则。50年代Rosenblatt提出的感知器模型、60年代Widrow 提出的自适应线性神经网络，以及80年代Hopfield,、Rumelharth等人富有开创性的研究工作，有力地推动了人工神经网络研究的迅速发展。大脑是由大量的神经细胞和神经元组成的，每个神经元可以当成是一个小的信息处理单元，这些神经元按照某种方式互相连接起来构成一个复杂的大脑神经网络。人工神经网络方法企图模拟人类的形象直觉思维，通过由大量的简单模拟神经元实现一种非线性网络，用神经网络本身结构表达输入与输出关联知识的隐函数

2、编码，并通过学习或自适应使网络利用非线性映射的思想对信息能够并行处理。人工神经网络从数据中挖掘知识的主要特点是：1. 在信息处理机制上，它具有大规模并行模拟处理，网络全局作用， 信息分布存储，存储区和操作区合二为一等特点。2. 神经网络可以通过训练、学习，对输入空间产生一个非线性映射； 也可以自适应地、 自组织地对输入数据产生聚类。3. 神经网络具有较强的鲁棒性和容错能力，它不仅能处理不准确、不完整、不确定信息，而且能够克服网络本身的不精确性，甚至网络具有自身修复缺陷的能力。首先让我们了解一下人的大脑的神经网络基本特性。人工神经元基本特性模拟如图8.3所示： Skip Record If. .

3、 图 1 人工神经元基本特性示意图 在人工神经网络中, 突触输入信息为矢量 = , , . , 通过突触的联接强度 的加权, 进行线性求和后, 通过非线性输入输出函数得到输出其中输入输出函数一般为S 型函数。虚线框内代表一个神经元，在网络中我们常用一个神经元节点表示。一般输入输出S 型函数有下列几种形式：（1）线性函数：（2）对数函数：（3）双曲正切函数：这里是一个常量。（4）高斯函数：确定函数的中心，确定函数的宽度。（5）柯西函数：（6）符号函数：（7）阶跃函数：线性函数常用于线性神经元网络；对数函数、双曲正切函数常用于多层或反馈连接非线性神经元网络；高斯函数、柯西函数常用于非线性径向基函数

4、神经元网络；符号函数、阶跃函数是对数函数、双曲正切函数的极限情况，因此，利用它们可把连续神经网络变成为离散神经网络。根据人脑神经元之间联接的多样性，模拟人脑神经网络的人工神经网络的联接也具有各式各样的结构，但它们大体可以分为两大类，即具有反馈互联的神经网络和无反馈的前向互联神经网络。（1）反馈互联网络 这种网络的神经元与神经元之间通过广泛联接，传递、反馈交换信息，网络结构十分复杂，由于网络由输出端反馈到输入端，所以动态特性丰富，存在网络的全局稳定性问题。在广泛互联反馈网络中，有把输入信号分别输入到每一个神经元，每一个神经元的输出反馈到其它所有神经元的输入端，这种结构是全互联反馈网络，典型的代表

5、网络就是Hopfield 神经网络40 （HNN，Hopfield neural network）。如图1所示： . .图2 全互联反馈网络由于该网络是全互联反馈网络，存在输出反馈，需要考虑网络的全局稳定性问题。对于非线性网络，需要定义一个动力系统的Lyapunov函数，即能量函数。若能量函数是率减的且为有限值，则网络是全局稳定的。定理1： 若单调递增且有界，对于所有的，当时，那么上述网络稳定收敛至其能量函数的极小值。且稳定平衡点可由下式求出：Hopfield全互联反馈网络的综合需要考虑下列因素：1）输入-输出函数只要保证单调递增且有界；联接权满足的要求。2）如果该网络设计来实现优化计算，就需

6、要定义优化计算的目标函数与该网络的能量函数一致，从而确定网络的联接权；当设计的网络运行到能量函数最小时，系统求出优化解。网络联接权的调整方法：1）上述电路网络的联接权可通过调整，来满足2）对于无导师学习，即没有训练样本，可按 Hebb 学习规则，即按，对进行调整。对于有导师学习，即有训练样本，可按最陡下降法对进行调整51 ，即误差反向传输在线学习算法。（2）前向互联网络 多层感知器这种网络的神经元与神经元之间通过前向联接的，是一种典型的前馈式多层神经网络，每一层有若干个神经元，每一层内的神经元不互相联接，每一个神经元的输出联到下一层的输入。即把输入信号分别送到第一层的每一个输入节点，第一层的每

7、一个节点的输出加权传送到第二层的神经元的输入端，从第二层开始称为隐元层，隐元层的输出通过加权送到下一层的神经元，等等，这种结构是多层网络相联接的，网络没有输出端反馈到输入端的带来的全局稳定性问题。从隐元层到输出层的神经元一般都采用非线性的输入-输出函数，由于多次非线性函数作用，因此，整个网络能够实现任意非线性映射。同样，这种网络在学习过程中，首先定义了一组输出要求的模式（一般是用一个输出神经元输出为1，其它输出为0来定义一种模式，这种模式也叫导师），根据输出层的神经元的输出与一个要求的输出之间的误差，确定对隐元层的联接权的修改。通过这种有导师的误差反向传输学习算法，针对整个训练集（每一个输入对应有输出要求的模式，当然可以不同的输入对应相同的结果，即满足前面我们曾在本书的第一部分里讲过的输入数据的协调性），不断自动地调整隐元层的神经元的联接权，通过反复修改联接权，直到整个网络达到要求的响应为止。这里输入端是个神经元，输出端是个神经元，从输入到输出有多层（下图为4层）互联，如图3所示. . . . 图 3 感知器多层互联网络多层感知器误差反向传输学习算法归纳如下：1）以一个小的随机数（一般选取（/是连接到该神经元的突触数目）初始化各神经元的突触联接强度2）从训练集中随机选取一个学习的样本作为网络的输入，并根据现有的神经元的突