多层感知器学习算法研究Word文档下载推荐.docx

1、1.2.1产生背景 21.2.2发展历史 21.2.3 现状 41.3多层感知器 51.3.1基本概念 51.3.2多层感知器学习算法存在的问题 61.3.3多层感知器学习算法的研究成果 71.4毕业设计工作及论文结构 81.4.1毕业设计工作 81.4.2论文结构 8第二章反向传播算法 92.1反向传播算法 92.1.1学习规则 92.1.2学习过程 92.1.3反向传播算法的步骤 112.2反向传播算法的贡献和局限性 122.2.1反向传播算法的贡献 122.2.2反向传播算法的局限性 122.3对反向传播算法的进一步讨论 132.3.1激活函数 13.2.3.2 ；162.3.3云力量项

2、 162.3.4学习速率 172.3.5误差函数 192.4小结 20第三章性能优化 213.1性能优化的理论基础 213.2最速下降法 233.3牛顿法 243.4共轭梯度法 253.5小结 27第四章TWEBP算法 294.1趋势外推思想 294.1.1趋势外推 294.1,2 BPWE 算法 304.2 TBP 算法 324.3 TWEBP 算法 324.4计算机仿真 334.4.1 XOR 问题 334.4.2三分类问题 374.4.3函数逼近问题 424.5 4 46第五章总结与展望 47#%娜 48攻读学位期间公幵发表的论文 50 51第一章绪论一个神经元有两种状态，即兴奋和抑制，

3、平时处于抑制状态的神经元，其树突和 胞体接收其他神经元经由突触传来的兴奋电位，多个输入在神经元中以代数和的方式 叠加；如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出 脉冲，并由轴突的突触传递给其他神经元。神经元被触发之后有一个不应期，在此期 间内不能被触发，然后阈值逐渐下降，恢复兴奋性。神经元是按照“全或无”的原则 工作的，只有兴奋和抑制两种状态，但也不能认为神经元只能表达或传递二值逻辑信 号。因为神经元兴奋时往往不是只发出一个脉冲，而是发出一串脉冲，如果把这一串 脉冲看成是一个调频信号，脉冲的密度是可以表达连续量的。人工神经网络（ARTIFICIAL NEURAL NE

4、TWORK,简称ANN）是在对人脑组织结 构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世 纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个 数学模型，从此开创了神经科学理论的研究时代。其后，F.Rosenblatt、Widrow和 Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。1.1基本概念从数学的角度讲，人工神经网络是一个由互连接突触的节点和激活连接构成的有 向图，具有4个主要特征：1每个神经元可表示为一组线性的突触连接，一个应用它的外部偏置，以及可能 的非线性激活连接。偏置由和一个固定为+

5、1的输入连接的突触连接表示。2神经元的突触连接给它们相应的输入信号加权。3输入信号的加权和构成该神经元的诱导局部域。4激活连接压制神经元的诱导局部域产生输出。1图1-1 （a）和（b）分别是神经元MP模型和通用神经元模型。（a）神经元MP模型 （b）通用祌经元模型阁1-1神经元模型1.2神经网络的发展过程1.2.1 产生背景19世纪90年代，美国心理学家William James发表了心理学原理一书，论 述了相关学习、联想记忆的基本原理，对人脑功能作了创见性的工作。.他指出当前基 本的脑细胞曾经一起相继被激活过，其中一个受到刺激重新激活时，会将刺激传播到 另一个。同时，James认为，在大脑皮

6、层上任意点的刺激量，是其他所有发射点进入 该点的总和。1913年，人工神经系统第一个实践是Russell描述的水力装置。1943年， 美国心理学家W.S.Mcculloh与数学家W.H.Pirts合作，用逻辑数学工具研究客观事件 在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究。他们首先提 出了二值神经元的MP模型（图1-1 （a），论述了有一定数量输入作用下超过某一阈 值，神经元才兴奋，突触联系的神经元之间只有兴奋和抑制两种方式。1.2.2发展历史1萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949 年止。1943年，心理学家Mc

7、Culloch和数学家Pitts建立起了著名的阈值加权和模型， 简称为M-P模型。发表于数学生物物理学会刊Bulletin of Mathematical Biophysics。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说一Hebb学 习律。2第一高潮期（19501968年）以 Marvin Minsky，Frank Rosenblatt, Bernard Widrow 等为代表人物，代表作是 单层感知器（Perceptron），该感知器可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研 究，希望尽快占领制高点。3潜伏期（1969

8、1982年）在20世纪60年代感知器的经典时期，好像神经网络可以做任何事情。但是 M.L.Minsky和S.Papert于1969年出版Perceptron一书，利用数学证明单层感知器 指出单层感知器所能计算的根本局限（如不能解决“异或”问题）。在有关多层感知 器的简短一节中，他们认为没有任何理由假定单层感知器的任何局限可以在多层的情 况下被克服。另一方面，当时串行计算机正处于全盛发展时期，早期的人工智能研究也取得了 很大成就，从而掩盖了发展新的计算型的迫切性，使有关祌经网络的研究热潮低落下 来。在此期间仍有不少科学家坚持这一领域的研究，对此后的神经网络研究提供了很 好的理论基础。4第二高潮期

9、1982年，J. Hopfield提出了神经网络的一种数学模型，引入了能量函数的概念（用 Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据），研究 了网络的动力学性质；紧接着（1984年）又设计出用电子线路实现这一网络的方案， 同时开拓了神经网络用于联想记忆和优化计算的新途径，大大促进了神经网络的研1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层感知器的 学习算法一反向传播算法，克服了当初阻碍感知器模型继续发展的重要障碍。我国脑功能和祌经网络课题的研究，早在40年前就已经进行，对于人工神经网 络能力的研究，是在20世纪80年代才开始。980年

10、，涂序彦先生发表生物控制论一书，书中系统地介绍了神经元和神经网络的结构、功能和模型。1988年，北 京大学组织召开了第一次关于神经网络的讨论会，一些知名学者在会上作了专题报 告。1989年，北京和广州等地召幵了神经网络及其应用讨论会和第一届全国信号处 理神经网络学术会议。1990年2月，由中国电子学会及计算机学会等八个学会 联合发起并组织了中国第一次神经网络会议，参加人数400余人，搜集到会议记录中 的论文358篇，内容涉及生物、人工神经网络模型、理论、分析应用及实现等各方面。 1991年由13个单位发起和组织召开了第二次全国神经网络会议，录用论文280篇。 1991年成立中国神经网络学会，大

11、大推动了中国学术界及工程界在人工神经网络理 论及应用方面的研究。经过十年的发展，我国人工神经网络的研究和应用正迈向新的 高科技时代。1.2.3现状20世纪80年代以来，传统的基于符号处理的人工智能在解决工程问题时遇到了 许多困难。现代的串行机尽管有很好的性能，但在解决像模式识别、学习等对人来说 是轻而易举的问题上显得困难。这就促使人们怀疑当前的Von Neumann机是否能解 决智能问题，也促使人们探索更接近人脑的计算模型，于是又形成了对神经网络研究 的热潮。近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念 的内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到

12、了广泛的应 用。近几年来科技发达国家的主要公司对神经网络芯片、生物芯片独有情钟。例如Intel 公司、IBM公司、AT&T公司和HNC公司等己取得了多项专利，已有产品进入市场， 被国防、企业和科研部门选用，公众手中也拥有神经网络实用化的工具，其商业化令 人鼓舞。尽管神经计算机、光学神经计算机和生物计算机等研制工作的艰巨性和长期 性，但有一点可以使人欣慰：它现在还只是初露锋芒，有巨大的潜力与机会，前景是 美好的。Mexico University的Forest领导的小组开发出来的计算机免疫系统更是展现出 惊人的潜力&此套免疫系统用于网络防毒，改变了传统的被动杀毒的方法，釆用类似 于人体免疫系统的

13、主动抗毒，现在美国已经全面介入这套系统的开发。近年来，我国“863”计划、攻关计划、“攀登”计划和国家自然科学基金等，都对 神经网络的研究给予了资助，吸引了大量的优秀青年人才从事神经网络领域的研究工 作，促进我国在这个领域取得世界上的领先地位。总之，在21世纪科学技术发展征程中，神经网络理论的发展将与日俱增。1.3多层感知器 1.3.1基本概念由Rumdhart提出的多层前馈神经网络，由于采用误差反传的BP学习算法，又 被称为误差反向传播神经网络，简称HBP网络（Error Back Propagation）=多层前馈神经网络其神经节点分层排列，一般由输入层，输出层和若干隐层组成。 同层神经元

14、节点之间没有连接，相邻两层之间的节点两两连接，而前一层神经元的输 出即为后一层神经元的输入，每层神经节点只接收前一层神经元节点的输出信号。31 如图1-2所示:。图1-2多层前馈网络的示意图利用人工神经元的非线性性，可以实现各种逻辑门。由于任何逻辑函数都可以 由与非门组成，所以，第一，任何逻辑函数都可以用前馈网络实现。第二，单个阈值 神经元可以实现任意多输入的与、或及与非、或非门。由于任何逻辑函数都可以化为5析取（或合取）形式，所以任何逻辑函数都可用一个三层（只有两层计算单元）的前 馈网络实现。1.3.2多层感知器学习算法存在的问题反向传播算法（Back-Propagation Algorit

15、hm,简称BP算法）已经成为多层感知 器训练的标准算法。它通常作为其他学习算法的基准。但是，它本身存在大量的问题， 天出表现在：1 BP算法的学习速度很慢，其原因主要有：1） 由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效。2） 存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0 或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几 乎停顿。3） 为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而 必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。2网络训练失败的

16、可能性较大，其原因有：1） 从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求 解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；2） 网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型 样本实例组成训练集是一个很困难的问题。3） 难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可 能性与可行性的关系问题，即学习复杂性问题。4） 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为 此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力 及推广性质。因此，应用中如何选择合适的网络结构是一个

17、重要的问题。5） 新加入的样本要影响己学习成功的网络，而且刻画每个输入样本的特征的数 目也必须相同。网络的泛化能力与训练能力的矛盾。一般情况下，训练能力差时，泛化能力也差，并且一定程度上，随训练能力地提高，泛化能力也提高。但这种趋势有一个极 限，当达到此极限时，随训练能力的提高，泛化能力反而下降，即出现所谓“过拟合” 现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。1.3.3多层感知器学习算法的研究成果由于多层感知器突出的优点和广泛的应用领域，对多层感知器学习算法的研究一 直以来从未停止过，因而也取得了大量的研究成果。41增加“惯性量（动量）”Wn + ） = Wn）-aKWn

18、） + r1hWn-） （1.1）2米用动态步长1） 开始时，a取大一些,然后逐渐减小a值。2） 动态选取的步长，比如先给一个的初始值，在迭代的过程中按增减的情况 不断调整值，如 rkv连续巧次A0 （12）、0，其他还可以釆取其他的调节方法。3与全局搜索算法相结合为克服BP算法全局搜索能力弱的缺点，将BP算法与具有很强全局搜索能力的 算法相结合，如与遗传算法结合。4 模拟退火算法（simulative anneal）为了克服BP算法易陷入局部极小的缺点，人们从退火现象中得到启发，引入模 拟退火算法。为了不陷入局部最小，在用梯度法迭代的过程中，可以不完全按梯度下降的方向 进行迭代，而是给予一个

19、小概率的机会，按不同的方向进行迭代，这样就有可能跳出 局部极小的陷阱。将熵空间、统计推断方法和启发式搜索技术相结合，可以有效地降低计算量。1.4毕业设计工作及论文结构 1.4.1毕业设计工作作者通过广泛地阅读关于BP算法改进的论文，比较提出的各种改进算法，认为 Kamarthi和PktneP据趋势外推的思想提出的基于每个独立的互连权值外推的加速标准BP算法的算法 权值外推算法（BPWE）和Zweiri、Whidbome和Seneviratne67提出的通过加大收敛率来减少训练时间，并降低学习延迟，同时保持了标准二项BP 算法的简单有效的进行权值调整的方法一三项BP算法（TBP）是比较优秀的算法

20、。 因为BPWE算法和TBP算法都是基于权值调整的改进算法，而考虑将TBP算法中的 三项因子融入到BPWE算法中，从而使后者对权值的调整由原来的两项增加为三项， 加快收敛速度，避免陷入局部极小点，从而提出一种新的学习算法-TWEBP算法， 从而完成题为“多层感知器学习算法研究”的毕业设计。1.4.2论文结构全文共分为七章，具体介绍如下：第一章介绍了神经网络的产生背景、发展历史，多层感知器的学习算法存在的问 题、研究成果、改进的策略和最终的论文结构。第二章描述了反向传播算法的原理和对其进行改进的策略。第三章描述了性能优化的理论基础，比较并分析了几种成熟的基于BP算法的优 化算法。第四章阐述了趋势

21、外推的思想和基于该思想的外推算法，并阐述了三项因子的思 想，并在此基础上提出了改进算法TWEBP算法，并以XOR问题、三分类问题和 函数逼近为例进行了仿真试验。第五章对全文进行总结，提出了对BP算法进行改进的后继工作。第二章反向传播算法最初由Werbos开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网 络的实际输出与期望输出间的最小均方差值。BP网是一种反向传递并能修正误差的 多层映射网络。它采用梯度搜索算法，以期使网络实际输出与期望输出的误差均方值 为最小。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之o2.1反向传播算法 2.1,1学习规则误差反向传播算法以一种

22、有教师示教的方式进行学习，学习过程由正向传播过程 和反向传播过程组成。首先由教师对每一种输入模式设定一个期望输出值。然后对网 络输入实际的学习记忆模式（或称训练样本），并由输入层经中间层向输出层传播（称 为“正向传播过程”）。实际输出与期望输出的差即是误差。按照误差平方最小这一 规则，如果在输出层不能得到期望的输出，则转入反向传播，根据实际输出与期望输 出之间的误差，由输出层往中间层逐层修正连接权值，此过程称为“误差反向传播”。 所以误差反向传播神经网络也简称BP（Back Propagation）网。随着“正向传播”过程 和“误差反向传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的

23、期望 输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来 各层间的连接权值之后就可以工作了。2.1.2学习过程BP算法是一个有导师的学习算法，它含有隐节点。对于一个输入样本，经过网 络的正向推理得出一个输出，然后让它与期望的输出样本进行比较。如果有偏差，就 从输.出开始向回传播，调整权系数设z为输入样本，y为输出样本r为期望输出样本，7为学习率（是一个小于1 的正数），/Xx）是网络的激活函数，选用s形曲线，而是第f个单元到第/个单元联接的权系数，广00为厂00的导数，正向传播时是从输入一层一层地到输出，上一层的输出作为下一层的输入。于是有：正向传播：（2.1）1.-exp（-x）（2.2）wjin + ） = wjin） + ?-Sj-xi其中/（幻: 学习过程：对于输出节点:（2.3）对于非输出节点;（2.4）Sf=BP算法收敛慢是由于误差是时间的复杂非线性函数，而BP算法本质上是简单 的最速下降法，其权值调整依据误差对权值的偏导数。即按误差变化率最小的方向进（2.5）行，当接近收敛时/（x） = 0，导致收敛缓慢。初始值是很小的随机数，而权增量：