人工神经网络与数学建模.docx
《人工神经网络与数学建模.docx》由会员分享，可在线阅读，更多相关《人工神经网络与数学建模.docx（8页珍藏版）》请在冰豆网上搜索。
人工神经网络与数学建模
人工神经网络与数学建模
曾黄麟
随着人们从研究内容到研究方法经历的发展与变化，在对于高层次智能行为的研究中，大多数研究不仅集中于知识表示和符号推理，而是更加重视知识与大量观察和实验数据的处理、归纳、分类相联系，这就是数据挖掘。
数学建模就是从大量数据中利用某些方法，寻找该系统或事件的内在规律，建立该系统或事件的数据之间的联系，并用一种数学描述其输入与输出之间的关系，这种关系就是数学模型。
一个系统的内在联系是通过数据、图表、图像、图形、公式、方程、网络结构等形式来体现的，所以，在某种程度上可以说，数据、图表、图像、图形、公式、方程、网络结构等都是该系统的模型表达，这种表达就是相似系统的概念。
因此，数学建模就是由一种系统的模型表达转换为系统的另一种模型表达。
人工神经网络数学建模就是用人工神经网络的结构形式来代替实际物理系统模型。
人工神经网络是以工程技术手段模拟人脑神经系统的结构和功能为特征，通过大量的非线性并行处理器来模拟人脑中众多的神经元之间的突触行为，企图在一定程度上实现人脑形象思维、分布式记忆、自学习自组织的功能。
人工神经网络理论（ANN，artificialneuralnetworks）的概念早在40年代就由美国心理学家McCulloch和数理逻辑学家Pitts提出了M-P模型。
1949年美国心理学家Hebb根据心理学中条件反射的机理，提出了神经元之间连接变化的规则，即Hebb规则。
50年代Rosenblatt提出的感知器模型、60年代Widrow提出的自适应线性神经网络，以及80年代Hopfield,、Rumelharth等人富有开创性的研究工作，有力地推动了人工神经网络研究的迅速发展。
大脑是由大量的神经细胞和神经元组成的，每个神经元可以当成是一个小的信息处理单元，这些神经元按照某种方式互相连接起来构成一个复杂的大脑神经网络。
人工神经网络方法企图模拟人类的形象直觉思维，通过由大量的简单模拟神经元实现一种非线性网络，用神经网络本身结构表达输入与输出关联知识的隐函数编码，并通过学习或自适应使网络利用非线性映射的思想对信息能够并行处理。
人工神经网络从数据中挖掘知识的主要特点是：
1.在信息处理机制上，它具有大规模并行模拟处理，网络全局作用，信息分布存储，存储区和操作区合二为一等特点。
2.神经网络可以通过训练、学习，对输入空间产生一个非线性映射；也可以自适应地、自组织地对输入数据产生聚类。
3.神经网络具有较强的鲁棒性和容错能力，它不仅能处理不准确、不完整、不确定信息，而且能够克服网络本身的不精确性，甚至网络具有自身修复缺陷的能力。
首先让我们了解一下人的大脑的神经网络基本特性。
人工神经元基本特性模拟如图8.3所示：
«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»...«SkipRecordIf...»
«SkipRecordIf...»
图1人工神经元基本特性示意图
在人工神经网络中,突触输入信息为矢量«SkipRecordIf...»={«SkipRecordIf...»,«SkipRecordIf...»,...,«SkipRecordIf...»},通过突触的联接强度«SkipRecordIf...»={«SkipRecordIf...»,«SkipRecordIf...»,...,«SkipRecordIf...»}的加权,进行线性求和后,通过非线性输入─输出函数得到输出
«SkipRecordIf...»
其中输入─输出函数一般为S型函数。
虚线框内代表一个神经元，在网络中我们常用一个神经元节点表示。
一般输入─输出S型函数有下列几种形式：
（1）线性函数：
«SkipRecordIf...»
（2）对数函数：
«SkipRecordIf...»
（3）双曲正切函数：
«SkipRecordIf...»
这里«SkipRecordIf...»是一个常量。
（4）高斯函数：
«SkipRecordIf...»«SkipRecordIf...»
这里«SkipRecordIf...»确定函数的中心，«SkipRecordIf...»确定函数的宽度。
（5）柯西函数：
«SkipRecordIf...»«SkipRecordIf...»
这里«SkipRecordIf...»确定函数的中心，«SkipRecordIf...»确定函数的宽度。
（6）符号函数：
«SkipRecordIf...»
（7）阶跃函数：
«SkipRecordIf...»
线性函数常用于线性神经元网络；对数函数、双曲正切函数常用于多层或反馈连接非线性神经元网络；高斯函数、柯西函数常用于非线性径向基函数神经元网络；符号函数、阶跃函数是对数函数、双曲正切函数的极限情况，因此，利用它们可把连续神经网络变成为离散神经网络。
根据人脑神经元之间联接的多样性，模拟人脑神经网络的人工神经网络的联接也具有各式各样的结构，但它们大体可以分为两大类，即具有反馈互联的神经网络和无反馈的前向互联神经网络。
（1）反馈互联网络
这种网络的神经元与神经元之间通过广泛联接，传递、反馈交换信息，网络结构十分复杂，由于网络由输出端反馈到输入端，所以动态特性丰富，存在网络的全局稳定性问题。
在广泛互联反馈网络中，有把输入信号分别输入到每一个神经元，每一个神经元的输出反馈到其它所有神经元的输入端，这种结构是全互联反馈网络，典型的代表网络就是Hopfield神经网络[40]（HNN，Hopfieldneuralnetwork）。
如图1所示：
«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
......
«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
图2全互联反馈网络
由于该网络是全互联反馈网络，存在输出反馈，需要考虑网络的全局稳定性问题。
对于非线性网络，需要定义一个动力系统的Lyapunov函数，即能量函数«SkipRecordIf...»。
若能量函数«SkipRecordIf...»是率减的且为有限值，则网络是全局稳定的。
定理1：
若«SkipRecordIf...»单调递增且有界，对于所有的«SkipRecordIf...»，当«SkipRecordIf...»时，那么上述网络稳定收敛至其能量函数«SkipRecordIf...»的极小值。
且稳定平衡点可由下式求出：
«SkipRecordIf...»«SkipRecordIf...»
Hopfield全互联反馈网络的综合需要考虑下列因素：
1）输入-输出函数«SkipRecordIf...»只要保证单调递增且有界；联接权满足«SkipRecordIf...»的要求。
2）如果该网络设计来实现优化计算，就需要定义优化计算的目标函数与该网络的能量函数一致，从而确定网络的联接权«SkipRecordIf...»；当设计的网络运行到能量函数最小时，系统求出优化解。
网络联接权的调整方法：
1）上述电路网络的联接权可通过«SkipRecordIf...»调整«SkipRecordIf...»，来满足«SkipRecordIf...»的要求。
2）对于无导师学习，即没有训练样本，可按Hebb学习规则，即按«SkipRecordIf...»，«SkipRecordIf...»对«SkipRecordIf...»进行调整。
对于有导师学习，即有训练样本，可按最陡下降法对«SkipRecordIf...»进行调整[51]，即误差反向传输在线学习算法。
（2）前向互联网络
多层感知器这种网络的神经元与神经元之间通过前向联接的，是一种典型的前馈式多层神经网络，每一层有若干个神经元，每一层内的神经元不互相联接，每一个神经元的输出联到下一层的输入。
即把输入信号分别送到第一层的每一个输入节点，第一层的每一个节点的输出加权传送到第二层的神经元的输入端，从第二层开始称为隐元层，隐元层的输出通过加权送到下一层的神经元，等等，这种结构是多层网络相联接的，网络没有输出端反馈到输入端的带来的全局稳定性问题。
从隐元层到输出层的神经元一般都采用非线性的输入-输出函数，由于多次非线性函数作用，因此，整个网络能够实现任意非线性映射。
同样，这种网络在学习过程中，首先定义了一组输出要求的模式（一般是用一个输出神经元输出为1，其它输出为0来定义一种模式，这种模式也叫导师），根据输出层的神经元的输出与一个要求的输出之间的误差，确定对隐元层的联接权的修改。
通过这种有导师的误差反向传输学习算法，针对整个训练集（每一个输入对应有输出要求的模式，当然可以不同的输入对应相同的结果，即满足前面我们曾在本书的第一部分里讲过的输入数据的协调性），不断自动地调整隐元层的神经元的联接权，通过反复修改联接权，直到整个网络达到要求的响应为止。
这里输入端是«SkipRecordIf...»个神经元，输出端是«SkipRecordIf...»个神经元，从输入到输出有多层（下图为4层）互联，如图3所示.
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»
...
«SkipRecordIf...»
.........
«SkipRecordIf...»
«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»«SkipRecordIf...»
图3感知器多层互联网络
多层感知器误差反向传输学习算法归纳如下：
1）以一个小的随机数（一般选取（«SkipRecordIf...»/«SkipRecordIf...»，«SkipRecordIf...»是连接到该神经元的突触数目）初始化各神经元的突触联接强度«SkipRecordIf...»。
2）从训练集中随机选取一个学习的样本作为网络的输入，并根据现有的神经元的突
升级会员 