神经网络的综述.docx

1、神经网络的综述1. 绪论 .3 1.1神经网络的提出与发展 .3 1.2神经网络的定义 .3 1.3神经网络的发展历程 .41.4神经网络研究的意义 .62. BP 神经网络 . 7 2.1BP 神经网络介绍 .7 2.2BP 算法的研究现状 .7 2.3BP 网络的应用 .8 2.4基本结构与学习算法 .8 2.5动作过程 . 112.6主要特点及参数优选 .133.BP 网络在复合材料研究中的应用 .15 3.1材料设计 . 15 3.2性能预测 . 16 2.4损伤检测和预测 .17 2.5结论 . 17致 谢 :. 18BP 神经网络综述摘要:本文阐述了人工神经网络和神经网络控制的基本

2、概念特点以及两者 之间的关系,讨论了人工神经网络的两个主要研究方向神经网络的 VC 维计 算和神经网络的数据挖掘,着重介绍了人工神经网络的工作原理和神经网络 控制技术的应用首先介绍了神经网络的发展历程,随后对 BP 神经网络的学 习方法分为了导师知识学习训练和模式识别决策 , 并重点分析了导师知识学 习训练的网络结构和学习算法,最后介绍了 BP 神经网络在性能预测中的应 用。关键词:人工神经网络;神经网络控制;应用;维;数据挖掘 Abstract:Itexpounds the basic concepts, characteristics of the artificial neural ne

3、twork and neural network control and the relationship between them.It discusses two aspects:the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets.And the basic principle of artificial neural networks and applications of neural network control technology are emphatically in

4、troduced. Key words:ArtificialNeural Networks; Neural Network Control;this paper introduces the developing process of neural networ ks, and then it divides the learning methods of BP neural network into a instructor knowledge learning training and pat tern recognition decisions, and focus on analysi

5、s of the net work structure and learning algorithm of knowledge and learni ng mentors training .And finally it introduces the applicatio ns of BP neural network in performance prediction.Application;Vapnik-Chervonenkis Mimension;Data Mining1. 绪论1.1神经网络的提出与发展系统的复杂性与所要求的精确性之间存在尖锐的矛盾。 为此, 通过模拟人类学习 和自适应

6、能力,人们提出了智能控制的思想。控制理论专家Austrom在IFAC大会 上指出:模糊逻辑控制、 神经网络与专家控制是三种典型的控制方法。 通常专家 系统建立在专家经验上, 并非建立在工业过程所产生的操作数据上, 且一般复杂 系统所具有的不精性、 不确定性就算领域专家也很难把握 , 这使建立专家系统非 常困难 . 而模糊逻辑和神经网络作为两种典型的智能控制方法 , 各有优缺点 . 模糊逻辑与神经网络的融合 模糊神经网络 (Fuzzy Neural Network 由于 吸取了模糊逻辑和神经网络的优点 , 部分避免了两者的缺点 , 已经成为当今智 能控制研究的热点之一 .人工神经网络(Artif

7、icialNeural NetworkANN,简称为“神经网络(NN”, 作为对入脑最简单的一种抽象和模拟, 是人们模仿人的大脑神经系统信息处理功 能的一个智能化系统。它的出现成为人们进一步了解入脑思维奥秘的有力工具。 尽管它还不是大脑的完美无缺的模型,但它特有的非线性适应性信息处理能力, 可以通过学习来获取外部的知识并存储在网络内, 可以解决计算机不易处理的难 题,特别是语音和图像识别、理解、知识的处理、组合优化计算和智能 控制等系列本质上非计算的问题,使之在神经专家系统、模式识别、智能控制、组合优 化、 预测等领域得到成功应用。 人工神经网络与其他传统方法相结合, 将推动人 工智能和信息处

8、理技术不断发展。 80年后代期, 特别是在近年来, 神经网络的研 究取得了很大的进展,在神经网络这个涉及生物、电子、计算机、数学、物理等 多种学科的新的高科技领域中, 吸引了众多的神经生理学家、 心理学家、 数学家、 计算机与信息科学以及工程师和企业家等。 大量的有关神经网络机理、 模型、 算 法特性分析, 以及在各方面应用的研究成果层出不穷, 在国际上掀起了一股人工 神经网络的研究热潮。1.2神经网络的定义神经网络是由多个简单的处理单元彼此按某种方式相互连接而形成的计算机系 统,该系统通过对连续或断续式的输入作状态响应而进行信息处理。虽然每个神 经元的结构和功能十分简单,但由大量神经元构成的

9、网络系统的行为确实丰富多 彩和十分复杂。BP神经网络是基于BP算法的多层前馈网络, 其网络结构简单, 算法成熟, 具有自 学习和自适应等优点, 并且具有非线性动力学的特点。 BP算法通过输入、 输出数 据样本集, 根据误差反向传递的原理, 对网络进行训练, 其学习过程包括信息的 正想传播过程以及误差的反向传播这两个过程, 对其反复训练, 连续不断地在相 对误差函数梯度下降的方向上,对网络权值和偏差的变化进行计算,逐渐逼近, 目标。 典型的BP神经网络由一个输入层、 至少一个隐含层和一个输出层组成。 一 个典型的三层BP神经网络如下图所示输入 输入层 隐含层 输出层输出1.3神经网络的发展历程人

10、工神经网络的研究始于20世纪40年代。 半个多世纪以来, 它经历了一条由兴起 到衰退, 又由衰退到兴盛的曲折发展过程, 这一发展过程大致可以分为以下四个 阶段。1、初始发展阶段人工神经系统的研究可以追溯到1800年Frued的前精神分析学时期,他已做了些 初步工作1913年人工神经系统的第一个实践是Russell描述的水力装置。1943年美国心理学家Warren S McCulloch与数学家Water H Pitts合作,用逻辑的数 学工具研究客观事件在形式神经网络中的描述, 从此开创了对神经网络的理论研 究。 他们在分析、 总结神经元基本特性的基础上, 首先提出了神经元的数学模型, 简称胛

11、模型。 从脑科学研究来看, MP模型不愧为第一个用数理语言描述脑的信息 处理过程的模型。 后来MP模型经过数学家的精心臻理和抽象, 最终发展成一种有 限自动机理论, 再一次展现了MP模型的价值。 此模型沿用至今, 直接影响着这一 领域研究的进展。通常认为他们的工作是神经网络领域研究工作的开始。在McCulloch和Pitts之后, 1949年心理学家D. 0. Hebb发表了论著 行为自组织 ” , 首先提出了一种调整神经网络连接权值的规则。 他认为, 学习过程是在实触上发 生的, 连接权值的调整正比于两相连神经元活动状态的乘积, 这就是著名的Hebb 学习律。直到现在,Hebb学习律仍然是神

12、经网络中的一个极为重要的学习规则。 人工神经网络第一个实际应用出现在1957年,F.Rosenblatt。”提出了著名的 感知器(Perceptron模型和联想学习规则。 这是第一个真正的人工神经网络。 这 个模型由简单的闽值神经元构成, 初步具备了诸如并行处理、 分布存储和学习等 神经网络的一些基本特性,从而确立了从系统角度研究神经网络的基础。同时。 在1960年B.Widrow和M.E.Hoff”1提出了自适应线性元件网络,简称为 Adaline(Adaptive1inear element,不仅在计算机上对该网络进行了模拟,而 且还做成了硬件。 同时他们还提出了WidrowHoff学习算

13、法, 改进了网络权值的 学习速度和精度,后来这个算法被称为LMS算法,即数学上的最速下降法,这种 算法在以后的BP网络及其他信号处理系统中得到了广泛的应用。2、低潮时期但是,Rosenblatt和Widrow的网络都有同样的固有局限性。这些局限性在1969年美国麻省理工学院著名的人工智能专家M. Minsky和S. Papert共同出版的名为 感知器”1的专著中有广泛的论述。他们指出单层的感知器只能用于线性问 题的求解, 而对于像XOR(异或这样简单的非线性问题却无法求解。 他们还指出, 能够求解非线性问题的网络, 应该是具有隐层的多层神经网络, 而将感知器模型 扩展到多层网络是否有意义, 还

14、不能从理论上得到有力的证明。 Minsky的悲观结 论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够发达, VLSI尚未出现, 神经网络的应用还没有展开, 而人工智能和专家系统正处于发展 的高潮, 从而导致很多研究者放弃了对神经网络的研究, 致使在这以后的10年中,神经网络的研究进入了一个缓慢发展的低潮期。虽然在整个20世纪70年代, 对神经网络理论的研究进展缓慢, 但并没有完全停顿 下来。 世界上些对神经网络拖有坚定信心和严肃科学态度的学者一直没有放弃 他们的努力,仍然在该领域开展了许多重要的工作。如1972年Teu。Kohonen”1和Jallles Anderson”1分

15、别独立提出了能够完成记忆的新型神经网络,Stephen Grossberg” 1在自组织识别神经网络方面研究也十分活跃。 同时也出现了一些新 的神经网络模型, 如线性神经网络模型、 自组织识别神经网络模型以及将神经元 的输出函数与统计力学中的玻耳兹曼分布联系的Boltzmann机模等,都是在这个 时期出现的。3、复兴时期在60年代, 由于缺乏新思想和用于实验的高性能计算机, 曾一度动摇了人们对神 经网络的研究兴趣。 到了80年, 随着个人计算机和工作站计算机能力的急剧增强 和广泛应用, 以及不断引入新的概念, 克服了摆在神经网络研究面前的障碍, 人 们对神经网络的研究热情空前高涨。 其中有两个

16、新概念对神经网络的复兴具有极 大的意义。 其一是用统计机理解释某些类型的递归网络的操作, 这类网络可作业 联想存储器。美国加州理工学院生物物理学家John.J.Hopfield博士在1982年 的研究论文就论述了这些思想。 在他所提出的Hopfield网络模型中首次引入网络 能量的概念, 并给出了网络稳定性判据。 Hopfield网络不仅在理论分析与综合上 均达到了相当的深度,最有意义的是该网络很容易用集成电路实现。Hopfied网络引起了许多科学家的理解与重视,也引起了半导体工业界的重视。1984年, AT&TBell实验室宣布利用Hopfield理论研制成功了第一个研究神经网络芯片。 尽管

17、早期的Hopfield网络还存在一些问题,但不可否认,正是由于Hopfiel d的 研究才点亮了神经网络复兴的火把,从而掀起神经网络研究的热潮。其二是在 1986年D.E.Rumelhart和J.L.Mcglelland及其研究小组提出 PDP(ParallclDistributedProcessing网络思想,则为神经网络研究新高潮的 到来起到了推波助澜的作用。其中最具影响力的反传算法是David RumeIhart和 JamesMcClelland“”提出的。该算法有力地回答了60年代Minsky和Papert对神 经网络的责难,已成为至今影响最大,应用最广的一种网络学习算法。4、20世纪

18、80年后期以来的热潮20世纪80年代中期以来, 神经网络的应用研究取得很大的成绩, 涉及面非常广泛。 为了适应人工神经网络的发展, 1987年成立了国际神经网络学会, 并于同年在美 国圣地亚哥召开了第一届国际神经网络会议。 此后, 神经网络技术的研究始终呈 现出蓬勃活跃的局面,理论研究不断深入,应用范围不断扩大。尤其是进入20世纪90年代, 随着IEEE神经网络会刊的问世, 各种论文专著逐年增加, 在全世界 范围内逐步形成了研究神经网络前所未有的新高潮。从众多神经网络的研究和应用成果不难看出,神经网络的发展具有强大的生命 力。 尽管当前神经网络的智能水平不高, 许多理论和应用性问题还未得得到很

19、好 的解决, 但是, 随着人们对大脑信息处理机制认识的目益深化, 以及不同智能学 科领域之间的交叉与渗透,人工神经网络必将对智能科学的发展发挥更大的作 用。1.4神经网络研究的意义神经网络是在许多学科的基础上发展起来的,它的深入研究必然带动其他学科的 发展。许多现代科学理论的创导者对脑的功能和神经网络都有着强烈的兴趣,并 从中得到了不少启示,创导或发展了许多新理。 论冯-诺依曼曾谈到计算机和大脑 在结构和功能上的异同, 对它们从元件特性到系统结构进行了详尽比较。 McCuIIoch 和Pitts 提出的形式神经元模型导致了有限自动机理论的发展, 是 最终促成第一台冯-诺依曼电子计算机诞生的重要

20、因素之一。 维纳的一书就是专门讨论动物机器的控制和通信问题的。 他本人也对神经系统中若干问 题进行了探索,例如兴奋波在可兴奋组织中的传导,神经系统中的节律现象等。 晚 年他专心于神经控制论研究,对感官代偿等问题抱有强烈的兴趣。信息论的奠基 人香农也曾探索过人的智力放大问题。我国著名学者钱学森在他的中,专辟章节论述生物体的调节控制和神经网络问题。因此,早在20世纪四五十 年代,神经系统的功能研究已经引起这些现代科学理论开拓者的兴趣,并对他们 各自理论的产生创立理论基础。神经生物学家也正在期待着另一次理论的飞跃, 这将使他们能够解释已知的各种现象,并提出可由实验室验证的假说。虽然他们 已积累了大量

21、关于大脑组成大脑外形以及大脑运转基本要素等知识,但他们仍然 解答不了有关大脑信息处理的一些实质性问题。 而建立的对认知过程的一种定量 描述,则为神经科学家提出了一个独一无二的机会来发展和验证大脑的工作理。 神经网络理论的发展,推动了理论神经科学的产生和发展,为计算神经科学提供 了必要的理论和模型。同时,也促进脑科学向定量精确和理论化方向发展。以神 经网络研究为开端,整个学术界对计算的概念和作用有了新的认识和提高。计算 并不局限于数学中,并不仅仅采用逻辑的离散的形式,而且大量的运算表现在对 模拟量的并行计算。对于后一类计算,传统的计算机无法施展其威力。神经网络 的数学理论本质上是非线性的数学理论

22、, 因此, 现代非线性科学方面的进展必 将推动神经网络的研究,同时,神经网络理论也会对非线性科学提出新课题。 神经 网络研究的对象是神经系统,这是高度进化的复杂系统,也是系统科学中一个重 要的具体领域。神经网络研究不仅重视系统的动态特性,而且强调事件和信息在 系统内部的表达和产生。 神经网络在国民经济和国防科技现代化建设中具有广阔 的应用领域和应用前景。主要应用有:语音识别、图像识别和理解计算机视觉、 智能机器人、故障机器人、故障检测、实施语音翻译、企业管理、市场分析、决 策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心理学和认 知科学研究等等。随着神经网络理论研究的深入以及网络

23、计算能力的不断提高, 神经网络的应用领域将会不断扩大,应用水平将会不断提高,最终达到神经网络 系统可用来帮人做事的目的,这也是神经网络研究的最终目标。神经网络研究在 近十几年取得了引人瞩目的进展,从而激起了不同学科与领域的科学家和企业家 的巨大热情和浓厚的兴趣。我们相信,神经网络将使电子科学和信息学产生革命 性的变革。5.BP神经网络通过改变神经元连接方式、数量和层数,就可以组成不同的人工神经网络模型。 其中应用最广泛的就是BP(ErrorBack Propagation神经网络模型,目前80%以 上的神经网络应用都是基于BP网络或其改进形式。2. BP 神经网络2.1BP神经网络介绍BP神经

24、网络模型是由输入层、输出层和若干个隐含层组成的多层前馈网络模型, 中间的隐层可扩展为多层, 相邻层之间各神经元进行全连接, 而每层各神经元之 间无连接。BP神经网络按有教师示教的方式进行学习,当一对学习样本数据提供给网络后, 各神经元获得网络的输入响应产生一定的连接权值, 然后根据期望输出与实际网 络输出误差减小的方向, 从输出层返经各中间层逐层调整各连接权值, 回到输入 层。 此过程反复交替进行, 直至网络的全局误差达到给定的误差极小值, 就完成 学习的过程.这个过程, 也就是BP神经网络通过误差反向传播来消除误差的过程, 每个步骤所使用的公式在数学上可以完全推导证明, 这使得BP网络在应用

25、方面可 操作性非常强。 在BP网络学习完成后, 它的知识编码呈分布式存储整个权值网络 中, 再加上BP神经网络结构的并行处理特征, 使得BP网络具有一定的容错能力、 模式识别能力、自组织、自适应、自学习能力,它可以解决大多数人工神经网络 所面临的许多问题。2.2BP算法的研究现状BP算法采用误差最小梯度下降法,使最小均方误差MSE收敛到指定精度。1989年 Robert Hecht.Nietson证明了对于闭区间内的任一个连续函数都可以用一个隐 含层的BP网络来逼近,因而一个三层的BP网络可以完成任意的n维输入空间到m 维输出空间的映射。 这种强大的非线性映射的能力, 使得BP神经网络在解决具

26、有 以下特征的问题时有无可比拟的优势:(1某系统已经累积了大量相关的输入. 输 出数据; (2输入.输出的对应关系难以得到解析解;(3能够表示和转化为模 式识别或非线形映射问题。虽然BP网络功能强大,但由于BP算法存在自身的限制,BP网络仍有着很多缺点, 比如收敛速度慢, 经常需要成千上万次迭代; 存在局部最小值等。 这些问题在实 际应用中对很多系统都是不合适的。 因此近三十多年来, 在国外许多专家的深入 研究下,提出了许多改进办法。主要有:附加动量法:网络权值的修正不仅考虑误差在梯度上的作用, 还应考虑在误差曲 面上的变化趋势;自适应学习率:这种算法提出在训练中使用动态学习率,可加快算法的收

27、敛; 引入陡坡因子:当权值调整进入误差曲面平坦区时,通过压缩神经元的净输入, 使权值调整,脱离平坦区,从而提高BP算法的收敛速度。共轭梯度法:其基本思 想是寻找与负梯度方向和上一次搜索方向共轭的方向作为新的搜索方向, 从而加 快训练速度,并提高收敛精度;拟牛顿法:引进一组矩阵代替海森阵, 避免了牛顿法的烦琐计算, 而且通常只是 需要很少的迭代次数就能收敛;等等。此外, 国内也有很多学者, 在对BP算法的改进方面也做了不少研究, 并在实际运 用中取得了一定的成果:侯嫒彬等提出的一种基于降低网络灵敏度的BP网络改进算法, 动态地将全局反向 传播式网络变成局部反传式网络,使网络学习速率大大提高;王建

28、成等在 嘉兴经济EW系统 设计的经验的基础上, 提出了利用改进的遗传和 BP杂交算法神经网络经济预警系统设计方法,提高了网络收敛速度;张友邦、封宇行提出一种隐节点数动态增长的网络模型,增加了网络的灵活性、 缩短了网络的训练时间并提高了训练精度;闵泉等利用量子遗传算法对BP的学习进行改进, 提出了一种新的训练神经网络的 混合算法,该算法加快了收敛速度,提高了收敛精度;等等。2.3BP网络的应用众多的对BP算法的改进研究, 使BP神经网络在许多领域都取得很好的优于传统方 法的成绩:秦威等人采用BP算法对工程图形进行编码压缩, 从而实现了工程图形复杂数据的 高效存储和显示;姜占才, 孙燕将BP神经网络应用于语音识别上, 较好地实现了孤立词语音的识别; 谷晓平等人将BP神经网络应用于水文预报方面, 结论是这种BP网络模型是一种精 度较高的水文预测模型;孟治国采用改进的