BP神经网络算法Word下载.docx

1、本文阐述了神经网络的发展、现状及其原理，介绍了神经网络在航空航天业、国防工业、制造业等诸多方面的应用。BP神经网络是目前应用较多的一种神经网络结构。它能以任意精度逼近任意非线性函数，而且具有良好的逼近性能，并且结构简单，是一种性能优良的神经网络。本文阐述了BP神经网络的基本原理，详细分析了标准BP算法、动量BP算法以及学习率可变的BP算法等几种流行的BP神经网络学习算法,详细的介绍了这几种算法的优缺点，并给出了各种算法的仿真程序，通过仿真结果对各种算法进行比较后有针对性的提出了BP算法的一种改进变梯度BP算法。对于改进的BP算法，本文不仅从理论方面对其进行了深入的分析，还介绍了该算法的详细思路

2、和具体过程，将算法训练后的BP神经网络运用到函数逼近中去。仿真结果表明，这种改进方案确实能够改善算法在训练过程中的收敛特性，而且提高收敛速度，取得令人满意的逼近效果。关键词: 人工智能；BP神经网络；变梯度法；改进Abstract Artificial neural network, by the large number of processing units （neurons） composed of large-scale adaptive nonlinear dynamic systems. It is self-organization, adaptive and self-lear

3、ning ability, as well as non-linear, non-local, non-steady and non-convex and so on. It is in modern neuroscience research on the basis of the results, trying to simulate the brain network processing, memory about the means to design a new machine so that it is the human brain, as the information pr

4、ocessing capability.As an important component of artificial intelligence, artificial neural networks have greater potential applications. This paper describes the development of a neural network, the status quo and its principles, introduced a neural network in the aerospace industry, defense indust

5、ry, manufacturing and many other aspects of the application. BP neural network is more of a neural network structure. Approaching it with any precision arbitrary nonlinear function, but also has a good approximation performance, and simple structure, is a good performance of neural networks.In this

6、paper, BP neural network the basic principles, detailed analysis of the standard BP algorithm, momentum BP algorithm and the variable rate of learning, such as BP algorithm several popular BP neural network learning algorithm, described in detail the advantages and disadvantages of these different a

7、lgorithms And gives a variety of algorithm simulation program, through the simulation results of the various algorithms to compare targeted after BP made an improved algorithm - BP change gradient algorithm. BP to improve the algorithm, the paper not only from the theoretical aspects of their in-dep

8、th analysis, also described the algorithm is detailed ideas and specific process, method of training to use BP neural network to function approximation. The simulation results show that this improvement programme is to improve the training algorithm in the process of convergence characteristics, and

9、 improve the convergence rate, a satisfactory approximation.Keywords: Artificial intelligence; BP neural network; change gradient method; improve第一章 绪论1.1人工神经网络的发展史 早在20世纪初，人们就已经发现人脑的工作方式与现在的计算机是不同的。人脑是由极大量基本单元（称之为神经元）经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。 人工神经网络（artificial neural network,ANN），是借鉴人脑的

10、结构和特点，通过大量简单处理单元（神经元或节点）互连组成的大规模并行分布式信息处理和非线性动力学系统。它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。因此，它能解决常规信息处理方法难以解决或无法解决的问题，尤其是那些属于思维（形象思维）、推理及意识方面的问题。 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即人工神经网络的研究，自20世纪40年代以来，它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路123。 早在1943年精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊Bulletin of Mathematica

11、l Biophysics上发表文章，总结了生物神经元的一些基本生理特征，提出了形式神经元的数学描述与结构，即MP模型。他们的神经元模型假定遵循一种所谓“有或无”（all-or-none）规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。 1949年生理学家D.O.Hebb出版了The Organization of Behavior（行为组织学）一书。该书第一次鲜明提出了神经元连接强度的Hebb规则。他认为学习过程是在突触上发生的

12、，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络的研究进入了一个重要的发展阶段。 1954年Minsky在Princeton大学撰写了“神经网络”的博士论文，题目是Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem。1961年Minsky发表了早期关于人工智能（AI）的优秀论文“Steps Toward Artificial Intelligence”，论文的后半部包含了当今神经网络的大部分内容。19

13、67年Minsky出版了Computation：Finite andInfinite Machines一书，它是第一本以书的形式扩展了McCulloch和Pitts1943年的结果，并把他们置于自动机理论和计算理论的背景中。 1958年，计算机科学家Rosenblatt提出感知机（Perceptron），首次把神经网络理论付诸工程实现。这是一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这是符合动物学习的自然环境。当时，人们对神经网络的研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模型问题。但是，随之而来的M

14、insky和Papert（1969）所著的Perceptron一书，利用数学证明单层感知器所能计算的根本局限，提出感知器的处理能力有限，甚至连XOR这样的问题也不能解决，并在多层感知器的总结章中，论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。当时人工智能的以功能模拟为目标的另一分支出现了转机，产生了以知识信息处理为基础的知识工程（Knowledge Engineering），给人工智能从实验室走向实用带来了希望。同时，微电子技术的发展，使传统的计算机的处理能力有很大提高，数字计算机的发展使当时科学界普遍认为它能解决一切问题，包括模式识别、机器人控制等。因而不必去寻找新的计算理

15、论与实现方法。而且，当时的工艺水平还未能达到制作实用的具有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。这些因素的共同作用，促使人们降低了对神经网络研究的热情，从而使神经网络进入萧条时期。但在其间，一些人工神经网络的先驱仍然致力于这一研究，美国波士顿大学的Grossberg提出了自适应共谐振理论（ART网），芬兰的Kohonen提出了自组织映射（SOM），Amari致力于神经网络数学理论的研究，这些都为神经网络的进一步研究与发展奠定了基础。 1982年，美国加州工学院Hopfield提出Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的发展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多层网络的学习算法，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年Remelhart和McClelland等人提出了并行分布处理的理论，同时，Werbos和Parker独立发展了多层网络的BP算法，这是目前最普遍的网络，广泛用于实际问题求解。 神经网络的发展已到了一个新时期，它涉及的范围正在不断扩大，其应用渗透到各个领域。