人工神经网络模型及仿真.docx

1、人工神经网络模型及仿真 机器学习论文题 目： 人工神经网络模型及仿真 学 院： 电子工程学院 专 业： 电路与系统 姓 名： 学 号： 摘要人工神经网络（artificial neural network，ANN）通常被认为是基于生物学产生的很复杂的分析技术，能够拟合极其复杂的非线性函数。它是一项发展十分迅速、应用领域十分广泛的技术，已在人工智能、自动控制、模式识别等许多应用领域中取得广泛成功。ANN是一种重要的机器学习工具。本文首先简要讲述了一些相关的生物神经网络知识，在此基础上，引出了人工神经网络。然后概述了ANN的发展历史及现状并总结了ANN的特点。在第二部分，对ANN发展过程中具有标志

2、性的几种ANN的模型及其结构进行了讲解，如：感知器、线性神经网络、BP网络、反馈网络等，并给出了相应的简单应用事例，而且使用功能强大的仿真软件MATLAB对它们的性能进行了仿真分析。在论文最后，给出了本文的总结以及作者的一些体会。ABSTRACTArtificial neural network(ANN) is commonly known as biologically inspired, highly sophisticated analytical technique, capable of capturing highly complex non-linear functions. A

3、NN is a kind of widely applied technique developed highly,and it has been applied sucessfully in the domains, such as artificial intelligence, autocontrol, pattern recognition and so on. In addition, ANN is a significant means of machine learning.In this paper,the author firstly show some basic biol

4、ogical neural networks, on which the introduction of artificial neural network is based. Then, the author dispicts simplily the history of ANN and the present condition of ANN, and concludes the characters of ANN. In the second part of the paper, the models and structures of ANNs which representive

5、the ANNs development are emphasized, such as perceptron,linear neural network,BP neural network,recurrent network and so on, and some examples based on those networks are illustrated. In addition, the author simulate the performance of the ANNs by a powerful software, MATLAB. At last, the author put

6、s forward the conclutions of this paper and his thoughts.目录第一章 神经网络1 1.1 生物学神经网络.1 1.2 人工神经网络.2 1.2.1 人工神经网络的产生.2 1.2.2 人工神经网络的发展.3 1.2.3 人工神经网络的现状.5 1.3 人工神经网络的特点.5第二章 人工神经网络模型及仿真.6 2.1 人工神经元建模.6 2.1.1 人工神经元的基本构成.6 2.1.2 激活函数.7 2.2 感知器.8 2.2.1 感知器模型8 2.2.2 感知器网络设计实例9 2.3 线性神经网络.10 2.3.1线性神经网络模型.10

7、2.3.2线性神经网络设计实例.10 2.4 BP网络112.4.1 BP网络模型.11 2.4.2 BP网络设计实例.12 2.5 径向基函数网络.15 2.5.1径向基函数网络模型.15 2.5.2径向基函数网络设计实例.16 2.6 竞争型网络.18 2.6.1竞争型网络模型.18 2.6.2竞争型网络设计实例.18 2.7 反馈型网络.20 2.7.1 Elman网络20 2.7.2 Hopfield网络.23第三章 本文总结.26参考文献.28第一章 神经网络人工神经网络（artificial neural network，ANN）是通过对生物神经网络进行抽象，并综合运用信息处理技术

8、、数学手段等建立简化模型而发展起来的一门交叉学科。1.1 生物学神经网络生物学神经网络的基本单位是神经元（也叫神经细胞），它是处理人体内各部分之间信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有个神经元。如图1.11所示，每个神经元都由一个细胞体和细胞突起构成。细胞体由细胞核、细胞质与细胞膜等组成，它是神经元的新陈代谢中心，同时还用于接收并处理对其它神经元传递过来的信息。细胞突起是由细胞体延伸出来的细长部分，又可分为树突和轴突。每个神经元可以有一或多个树突，它们的功能是接受来自其它神经元的兴奋。每个神经元只有一个轴突，它的功能是将本神经元的输出信号（或称为兴奋）传递给别的神经元

9、，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。神经元细胞体将接受到的所有信号进行简单地处理（如：加权求和，即根据各个信号的重要性综合考虑）后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。化学突触或电突触均由突触前、后膜以及两膜间的窄缝突触间隙所构成。图1.1 生物神经元神经元有抑制和兴奋两种状态，每一个神经元都是在与之相连的兴奋性突触和抑制性突触的综合作用下活动的。它的兴奋和抑制状态又影响其它神经元。当大量的兴奋性突触进行活动时，神经元的膜电位升高，当超过一定的阈值后，神经元就被激励，细胞体产生信息输出，此状态相当于计算机中的1，当大量的抑制性突触影响超过兴奋性

10、突触影响时，神经元膜电位降低，使神经元受到抑制而不发生冲动，从而无信息输出，此状态相当于计算机中的0。由于脑神经系统按大量神经元连成网络（生物神经网络）的形式，所产生的连接主义机制呈现出下面几方面的特征：处理信息的高度并行性；信息处理和信息存储合二为一；能接受和处理模拟的、模糊的和随机的信息；求满意解而不是求精确解；具有自组织自学习能力我们平时的一切活动都会用到这个网络，它通过人体所固有的一些生物传感器，如眼睛、耳朵等，来感知外界信号，这些信号经该网络一系列的复杂处理就得到了一些指令，指挥我们的一切思维活动和实际的肢体活动。生物神经网络可以看做是一个包含很多单元（神经元）的复杂处理和指挥系统。

11、1.2 人工神经网络 人工神经网络（ANN）是以计算机网络系统模拟生物神经网络的智能计算系统。网络上的每个节点相当于一个神经元，都可以存储和处理一定的信息，并与其它结点并行工作。 利用ANN处理问题就是先向ANN的某些神经元（输入层节点）输入信息，各节点处理（如：加权求和）后向其它节点输出，其它节点接受并处理后再输出，直到整个神经网工作完毕，输出最后结果。另外，每次并非所有神经元都一样地工作，与生物的神经网络类似，当有声音时，处理声音的听觉神经元就要积极工作，视觉、触觉等神经元基本不工作，主管思维的神经元部分参与工作。在人工神经网络中以加权值控制节点参与工作的程度。正权值相当于神经元突触受到刺

12、激而兴奋，负权值相当于受到抑制而使神经元麻痹直到完全不工作。1.2.1 人工神经网络的产生人们对人工神经网络的研究最早可追溯到20世纪40年代人类开始研究自己的智能的时期。1943年，心理学家W.McCulloch和数学家W.Pitts从数理逻辑的角度，提出了人工神经网络最早的数学模型，即著名的阈值加权和模型，简称为M-P模型。这标志着ANN的研究的开始。多个MP神经元可以组成MP神经网络，可以完成一些简单的逻辑功能。1.2.2 人工神经网络的发展虽然MP模型功能简单，但是对后来的许多神经元模型有很大的启发作用。在此之后，ANN的发展经历了两次高潮期和一次低谷期。1949年，心理学家D.O.H

13、ebb从条件反射的研究中提出神经元之间突触的联系是可变的假说Hebb学习规则，该规则至今仍对ANN理论有着重要影响。之后的20年是ANN发展的一个关键时期。随着Frank Rosenblatt 在1958年模拟人脑感知和学习能力的感知器概念的提出，人们对ANN的研究产生了极大的兴趣。感知器由简单的阈值性神经元构成，初步具有了如学习、并行处理、分布存储等一些基本特征，确定了ANN研究的基础。1960年，B.Widrow 和M.Hoff 提出了自适应线性元件（ADAptive LINear Neuron，ADALINE）网络模型，这是第一个真正意义上的神经网络，采用了比感知器复杂的LMS学习方法，

14、对分段线性网络的训练有一定作用，是自适应控制的理论基础。从此ANN的发展进入了第一次高潮。当人们乐观地认为几乎已经找到了智能的关键，并且许多部门都开始大批地投入此项研究，希望尽快占领制高点时，人工智能的创始人之一M.Minsky和S.Papert 从数学上对以感知器为代表的网络系统的功能及局限性做了深入研究，于 1969 年出版了轰动一时Perceptron一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现 “异或” 的逻辑关系，以及多次感知器还不能找到有效的计算方法等。另外人们在以逻辑推理为基础的人工智能和数字计算机方面取得了辉煌

15、的成就，而且由于M.Minsky和S.Papert在学术界的地位和影响，这一论断给当时人工神经元网络的研究带来沉重打击，大大降低了人们研究ANN的热情，以致美国及前苏联的一些科研机构纷纷停止对此类项目提供资助，而使得这个领域的许多学者不得不转向其他课题的研究，由此出现了神经网络发展史上长达10年的低潮期。尽管人们的积极性受到很大的打击，但是还有一些学者坚持ANN的研究，也取得了不小的成就。1974年，P.Werbos提出了第一个适合于多层网络的学习算法。1976年，S.Grossberg和G.A. Carpenter提出了著名的自适应共振理论 (Adaptive Resonance Theor

16、y，简称ART) ，其学习过程具有自组织和自稳定的特征。其后的若干年中发展了ART1 、ART2和ART3 这3中ANN模型，这为ANN的发展奠定了理论基础。在20世纪80年代，对ANN的研究由复兴转入新的热潮，因为以逻辑推理为基础的人工智能理论和数字计算机在诸如听觉、视觉、形象思维、联想记忆等方面受到很大挫折，而且ANN有并行分布处理的优势。具有标志性的ANN成就是在1982年，J. Hopfield提出循环网络，建立ANN稳定性的判别依据；阐明了ANN与动力学的关系；用非线性动力学的方法来研究ANN的特性；指出信息被存放在网络中神经元的联接上；开拓了ANN用于联想记忆和优化计算的新途径。1

17、983年，K.Fukushima等提出神经认知机网络理论；1985年，G.E.Hinton 、T.J.Sejnowski和D.H.Ackley提出了大规模并行网络学习机（也称为Boltzmann 机）和隐单元的概念，并把模拟退火概念移植到Boltzmann 机模型的学习中，使网络能够收敛到全局最小值；1986年，由D.Rumelhart 和J.McCkekkand等建立了并行分布处理（Parallel Distributed Processing，简称PDP）理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播（Error Back Propagation，

18、简称BP）算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了Perceptron中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力；1988 年，Chua 和Y ang提出了细胞神经网络(Cellular Neural Network，简称CNN)模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。20世纪90年代中后期，神经网络研究步入了一个新的发展时期，一方面已有理论在不断深化和得到进一步推广，另一方面，新的理论和方法也从未停止过其不断开拓的步伐。Edelman提出的Darwinism模型在20世纪90年代初产生

19、了很大的影响；1991年，Haken把协同学引入神经网络；另一些新的发展方向也非常的引人关注。以光学方法来实现神经网络，即光学神经网络，由于能充分发挥光学强大的互连能力和并行处理能力，因而受到重视。Wunsch在1990 年OSA年会上提出一种光电 ART，它的主要计算强度由光学硬件完成。1995年，Jenkins 等人研究了光学神经网络(PNN) ，建立了光学二维并行互连与电子学混合的光学神经网络系统等。随着ANN的发展，相应的一些学术组织和学术杂志也应运而生，如：1987年成立的国际神经网络学会及Neural Networks期刊等。我国于1990年12月在北京举行了国内首届神经网络大会。

20、1.2.3 人工神经网络的现状尽管ANN已经取得了很大的进步，但是仍旧还有一些不尽人意的地方，表现在以下几个方面：存在应用面还不够宽、结果不够精确；现有ANN模型算法的训练速度不高；算法的集成度不高；希望在理论上寻找新的突破，建立新的专用或通用模型和算法；需要进一步对生物神经系统进行研究，不断地丰富对人脑的认识。目前ANN的发展还存在着一些问题，概括起来有：（1）应用研究多，理论、实现研究少；（2）模型原理、学习算法突破性进展少；（3）应用多属于验证性应用，独特型少；（4）重视神经网络视的并行互联结构以及自适应处理能力，忽视神经网络作为智能体系结构方案的发展方向。1.3 人工神经网络的特点AN

21、N与真正的生物神经网络是有差别的，不但汲取了生物神经网络的一些优点，而且还有自己的一些特性。ANN的特点主要表现在以下几个方面：（1） 分布式存储信息，提高网络的容错性和鲁棒性；（2） 并行协同处理信息，有很强的实时性；（3） 信息处理与存储合二为一；（4） 对信息的处理具有自组织、自学习的特点，便于联想、综合和推广；（5） 在结构上与数字计算机有本质的不同；第二章 人工神经网络模型及仿真从对人工神经网络研究开始，到目前的短短几十年中，虽然ANN的发展经历了几次跌伏，但人们对ANN的研究始终没有中断过，而且取得了很大的成就。ANN不论从结构还是功能上，都有了质的飞跃。在此过程中，比较经典的AN

22、N有感知器、线性神经网络、BP网络、径向基函数网络、竞争型网络、自组织网络、反馈型网络、学习矢量量化网络和关联学习算法等。本章主要概述了常用的激活函数，以及分析比较了6种基本的ANN模型的应用领域、优缺点，并用事例进行了仿真说明。这6种网络分别是感知器、线性神经网络、BP网络、径向基函数网络、竞争型网络和反馈型网络。2.1 人工神经元建模人工神经元是ANN的基本单元，相当于一个多输入单输出的非线性阈值器件。人工神经元模型如图2.1。图2.1 人工神经元模型在上图中，是神经元的输入，即是来自前级r个神经元的轴突的信息；是i神经元的阀值；，分别是i神经元对，的权系数，也即突触的传递效率；是i神经元

23、的输出；是激活函数（也叫传递函数），它决定i神经元受到输人，的共同刺激达到阀值时以何种方式输出。上述的神经元模型，其数学模型表达式：(2-1)其中，为诱导局部域。激活函数通过诱导局部域定义神经元的输出。常用的激活函数有阀值函数、线性函数、S型函数、双曲函数、竞争函数等。2.1.2 激活函数激活函数，也称为传递函数，与信号处理中的传递函数类似，用于输入到输出按照一定规则进行转换，从而确定对应的输出。下面介绍常用的十种常用激活函数，分别给出了各自的输入输出关系、图形以及相应的MATLAB仿真命令2。表2.1 常用的激活函数名称图形输入输出关系MATLAB命令线性函数Pureline正线性函数Pos

24、lin饱和线性函数Satlin对称饱和线性函数Satlins硬极限函数Hardlim对称硬极限函数Hardlims对数S型函数Logsig双曲正切S型函数Tansig竞争函数输入：Compet输出：径向基函数Radbas2.2 感知器 1958年，Frank Rosenblatt模拟人脑感知和学习能力提出了感知器的概念。感知器由简单的阈值性神经元（激活函数为硬极限函数）构成，初步具有了如学习、并行处理、分布存储等一些基本特征，确定了ANN研究的基础。2.2.1 感知器模型 感知器是基本的神经元模型，图2.2给出了一个感知器神经元模型，其中X1，X2，Xn为输入，w1，w2，wn为对应权值，b为

25、阈值，SUM为求和运算，hardlim表示传递函数为硬极限函数，Y为神经元输出。通过该模型可以组合成多种单层或多层感知器神经网络。图2.2 感知器神经元模型2.2.2 感知器网络设计实例 本节给出两个简单的单层感知器分类的事例以及仿真结果，分别用来说明单层感知器网络只对线性可分问题有效，而对线性不可分问题无能为力。（1）使用单层感知器把4个输入矢量分为两类，输入矢量为（-0.5，-0.5）、（-0.5，0.5）、（0.1，-0.5）、（-0.2，0.8），对应输出分别为1、1、0、0 ，并验证分类结果。仿真分类结果如图2.3。图2.3 分类结果图中“+”表示1，“o”表示0 。从仿真结果可以看

26、出单层感知器对线性可分问题有效。通过simup函数进行验证，结果为，与实际相符。（2）使用单层感知器把4个输入矢量分为两类，输入矢量为（-0.5，-0.5）、（-0.5，0.5）、（0.1，-0.5）、（-0.2，0.8），对应输出分别为1、0、0、1 ，并验证分类结果。仿真分类结果如图2.4。图2.4 分类结果图中“+”表示1，“o”表示0 。从仿真结果可以看出单层感知器对线性不可分问题无效。通过simup函数进行验证，结果为，与实际不符。 感知器的局限性主要在于：传递函数一般使用阈值函数；单层感知器只能解决线性可分问题，对线性不可分问题无效；感知器学习算法（规则）只适用于单层情况。2.3

27、线性神经网络1960年，B.Widrow 和M.Hoff 提出了自适应线性元件（ADAptive LINear Neuron，ADALINE）网络模型，这是第一个真正意义上的神经网络，是线性网络的最早代表，采用了比感知器复杂的LMS学习方法，对分段线性网络的训练有一定作用，是自适应控制的理论基础。它的传输函数与感知器不同，使用线性函数。单层线性神经网络也只能解决线性可分问题，但是其学习算法（LMS算法）比感知器的规则要强大的多，因此使用范围更广泛。2.3.1线性神经网络模型线性神经网络的基本单元式线性神经元模型，图2.5给出了一个线性神经元模型，其中X1，X2，Xn为输入，w1，w2，wn为对

28、应权值，b为阈值，SUM为求和运算，line表示传递函数为线性函数，Y为神经元输出。通过该模型可以组合成多种单层或多层线性神经网络。图2.5LMS算法比学习算法更有效，主要由于LMS使用均方误差最小，可以使各个类远离判别边界，因而有较好的抗噪能力。LMS算法如今依旧还有很广泛的应用，尤其在随机信号处理中的滤波方面，有经典的LMS滤波算法。2.3.2线性神经网络设计实例下面通过两个简单事例，来说明线性神经网络比感知器的优势。依旧使用一个单神经元的网络，使用基本的纯线性激活函数。（1）设计一个线性层，输入为P、目标输出为T，P=1 8，T=5 0.1，并对网络进行验证。仿真得到的权值为：，阈值为：

29、使用simulin函数进行验证，验证结果为（2）设计一个线性层，输入为P、目标输出为T，P=1 4 8，T=5 3 0.1，并对网络进行验证。仿真得到的权值为：，阈值为：使用simulin函数进行验证，验证结果为从上面的事例可以看出线性神经网络不再像感知器那样输出只有0、1或-1，而是可以连续变化的，这完全是由于二者的激活函数不同导致的，另一方面，第二个事例的结果又误差，这是合理的，因为线性神经网络的学习算法是LMS算法，以整体均方误差和最小为原则。2.4 BP网络 前面介绍了感知器网络和线性神经网络，虽然他们都有各自的学习算法，但是对于多层网络情况，二者没有较好的学习算法。另外，单层神经网络只能够解决线性可分模式问题，对线性不可分情况无能为力，也正是由于ANN这样窘迫的境地，使ANN的