基于BP神经网络的函数逼近仿真实例Word文档格式.docx

基于BP神经网络的函数逼近仿真实例Word文档格式.docx

《基于BP神经网络的函数逼近仿真实例Word文档格式.docx》由会员分享，可在线阅读，更多相关《基于BP神经网络的函数逼近仿真实例Word文档格式.docx（27页珍藏版）》请在冰豆网上搜索。

姓名：

XXX

指导教师：

XXX

Abstract

BPneuralnetworkmodelisaMultilayerFeedforwardNetworkmodelwhichwasfirstproposedbyaresearchteamledbyscientistsRumelhartandMcCellandin1986.TrainedbyErrorBack-propagationAlgorithm,nowitisoneofthemostwidelyusedneuralnetworkmodels.BPnetworkisabletolearnandstorevariousinput-outputmappingrelationshipswithoutpreviouslyknowingtheexactmathematicsfunctionwhichrevealsthem.AsthecoreofFeedforwardNetworkandessenceofArtificialNeuralNetwork,itiswidelyusedinfieldssuchasFunctionapproximation,Patternrecognition,ClassificationandDatacompression.

Thisthesisusesa3-layerBPneuralnetworktosimulatetheprocessofapproximatingtheSinefunctionandbysettingdifferentnetworkparametersitalsobrieflydiscussestheinfluenceofcertainfactorssuchaslearning-rateontheconvergenceofthisprocess.

Thetextisdividedinto6parts.ThefirstpartintroducessomebackgroundknowledgeofBPneuralnetworkandthemathematicsfoundationofit,whichisalsothefoundationofmysystem.Thesecondpartdiscussesmyneuralnetworkmodel,theapproximatedfunctionandsomeimportantpointsofdesigningindetail.Thethirdpartgivestheprocess,someideasandrelateddetailsinsystemdesigning,whichalsoincludessomecorecode.Thefourthpartdisplaysarunningexampleandstatisticsofthesystem.Thefifthpartisaself-evaluationofthesystemandapproximatingprocess.Thesixthpartistheconclusion.

Keywords:

BPneuralnetwork；

Functionapproximation；

Simulation

序言

人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

思维学一般认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。

逻辑性的思维是指根据逻辑规则进行推理的过程：

它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；

这一过程可以写成串行的指令，让计算机执行。

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。

这种思维方式的根本之点在于以下两点:

1.信息是通过神经元上的兴奋模式分布存储在网络上；

2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。

虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

通过在学习或训练过程中改变突触权重值以适应周围环境的要求，人工神经网络也具有初步的自适应与自组织能力。

同一网络因学习方式及内容不同可具有不同的功能。

人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。

通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；

另一种是无监督学习或称无导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。

人工神经网络的实质发展始于二十世纪四十年代[1]。

1943年，心理学家W·

Mcculloch和数理逻辑学家W·

Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。

此模型沿用至今，并且直接影响着这一领域研究的进展。

1945年冯·

诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

50年代末，F·

Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。

当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视。

随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。

这一背景预示，向人工神经网络寻求出路的时机已经成熟。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。

人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

BP神经网络模型就是这一时期（1986年）在世界上首次提出并得到广泛应用的神经网络模型。

它可以学习和存储大量的输入输出映射关系，而无需事先知道揭示这种关系的数学公式。

它采用梯度下降法，能根据误差自动调整神经元之间的连接权值，最终可以使误差减小到可以接受的程度。

BP网络目前主要用于以下四个方面[2]：

函数逼近；

模式识别；

分类；

数据压缩。

本文呈现的即是基于BP神经网络的函数逼近实例，即利用BP神经网络逼近正弦函数。

在设计过程中，查阅了BP网络提出者关于该领域研究的较早期的论文，并参考了Matlab神经网络工具箱的设计思路。

本人基于VisualC++技术开发的神经网络开发工具，可实现任意有限结点的三层神经网络计算，有一定的实用价值。

第1章BP神经网络简史及数学基础

1.1BP网络的历史发展、能力及优缺点

20世纪80年代，Rumelhart、McClelland和他们的同事洞察到神经网络在信息处理方面的重要性[3]，尽管Minsky和Papert指出单层感知器的局限性，他们仍坚持不懈地研究，1982年成立了PDP小组，研究并行分布式信息处理方法，探索人类认知的微结构。

1986年Rumelhart，Hinton，Williams完整而简明地提出一种ANN的误差反向传播训练算法（简称BP算法），系统解决了多层网络中隐含单元连接权的学习问题，还对其能力和潜力进行了探讨。

Parker在1982年也提出过同样的算法。

后来才发现Werbos早在1974年他的博士论文中曾提出过有关BP学习算法及其几种变形，但未引起注意。

自此以后，BP神经网络模型得到了极其迅速的发展和极其广泛的应用，迄今为止也是应用最多、研究最热门的神经网络模型之一。

许多应用表明，BP神经网络具有较好的学习能力和自适应能力。

由于BP网络的输入（x1，x2，…，xn）∈Rn，输出（y1，y2，…，ym）∈Rm，所以一个BP网络就是一个从n维空间到m维空间的高度非线性映射。

理论研究表明，通过学习，BP网络可以在任意希望的精度上逼近任意的连续函数。

所以，BP网络就可作为一种函数估计器，通过学习来实现我们所需的但无法表示的未知函数。

但BP网络模型也有一些不足，主要是：

BP网络在训练中采用梯度下降法，由于训练中稳定性要求学习率很小，所以训练很慢，虽然采用动量法比单纯的梯度下降法要快一些，但在实际应用中速度还是不够；

多层神经网络可以应用于线性系统和非线性系统，对任意函数模拟逼近，但是理论上是可行的，实际上BP网络不一定总能有解；

在学习率的选择中，过大会导致训练过程不稳定，过小则又会使训练时间过长；

由于多层网络中非线性传递函数有多个局部最优解，寻优的过程与初始点的选取关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确结果；

网络隐层神经元的数目也对网络有一定的影响，神经元数目太少会造成网络的不适性，而神经元数目过多又会引起网络的过适性。

1.2BP网络模型及BP算法简介与推导

1.2.1BP网络模型及算法

BP（Back-Propagation）网络即误差反向传播网络是应用最广泛的神经网络模型。

（1）BP网络的拓扑结构为分层前向网络。

（2）神经元的特性函数一般为Sigmoid型（S型）函数，一般取为

（1.1）

（3）输入为连续信号量（实数）。

（4）学习方式为有导师学习。

（5）学习算法为推广的δ学习规则，成为误差反向传播算法，简称BP学习算法。

BP算法的一般步骤如下：

步1初始化网络权值、阈值及有关参数（如学习因子η等）。

步2计算总误差

（1.2）

其中p为样本的个数，

（1.3）

其中，为输出层节点j对第k个样本的输入对应的输出（成为期望输出），为节点j的实际输出。

如果总误差E能满足要求，则网络学习成功，算法结束。

步3对样本集中各个样本依次重复以下过程，然后转步2。

首先，取一样本数据输入网络，然后按如下公