基于BP神经网络的函数逼近仿真实例.doc

基于BP神经网络的函数逼近仿真实例.doc

《基于BP神经网络的函数逼近仿真实例.doc》由会员分享，可在线阅读，更多相关《基于BP神经网络的函数逼近仿真实例.doc（31页珍藏版）》请在冰豆网上搜索。

学号：

XXXXXXX

题目：

基于BP神经网络的函数逼近仿真实例

学院：

信息学院

专业：

计算机科学与技术

姓名：

XXX

指导教师：

XXX

完成日期：

2011年5月9日

摘要

BP（BackPropagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前向网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

在人工神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变化形式。

它也是前向网络的核心部分，体现了人工神经网络的精华，在函数逼近、模式识别、分类、数据压缩等领域获得了极为有效而广泛的应用。

本文利用自行设计的BP网络开发工具，通过一个简单的三层BP神经网络模拟了对正弦函数（y=sin（x））的逼近过程，并通过设置不同的网络参数初步探讨了学习率、动量项等因素对BP网络收敛性的影响。

全文共分为六个部分，第一部分介绍了BP神经网络的相关背景知识及算法相关公式的数学推导，这也是设计本次函数逼近网络模型的理论基础；第二部分详细介绍了本次函数逼近所采用的网络模型、逼近函数及相关参数，并通过实验给出设置相关参数的经验知识；第三部分介绍了系统设计思路、过程及相关细节，并包含核心代码展示；第四部分给出一次运行示例；第五部分是我对于BP神经网络及本次仿真的自我认识与评价；第六部分是结束语。

关键词：

BP网络；函数逼近；仿真

Abstract

BPneuralnetworkmodelisaMultilayerFeedforwardNetworkmodelwhichwasfirstproposedbyaresearchteamledbyscientistsRumelhartandMcCellandin1986.TrainedbyErrorBack-propagationAlgorithm,nowitisoneofthemostwidelyusedneuralnetworkmodels.BPnetworkisabletolearnandstorevariousinput-outputmappingrelationshipswithoutpreviouslyknowingtheexactmathematicsfunctionwhichrevealsthem.AsthecoreofFeedforwardNetworkandessenceofArtificialNeuralNetwork,itiswidelyusedinfieldssuchasFunctionapproximation,Patternrecognition,ClassificationandDatacompression.

Thisthesisusesa3-layerBPneuralnetworktosimulatetheprocessofapproximatingtheSinefunctionandbysettingdifferentnetworkparametersitalsobrieflydiscussestheinfluenceofcertainfactorssuchaslearning-rateontheconvergenceofthisprocess.

Thetextisdividedinto6parts.ThefirstpartintroducessomebackgroundknowledgeofBPneuralnetworkandthemathematicsfoundationofit,whichisalsothefoundationofmysystem.Thesecondpartdiscussesmyneuralnetworkmodel,theapproximatedfunctionandsomeimportantpointsofdesigningindetail.Thethirdpartgivestheprocess,someideasandrelateddetailsinsystemdesigning,whichalsoincludessomecorecode.Thefourthpartdisplaysarunningexampleandstatisticsofthesystem.Thefifthpartisaself-evaluationofthesystemandapproximatingprocess.Thesixthpartistheconclusion.

Keywords:

BPneuralnetwork；Functionapproximation；Simulation

—27—

目录

序言 1

第1章BP神经网络简史及数学基础 3

1.1BP网络的历史发展、能力及优缺点 3

1.2BP网络模型及BP算法简介与推导 3

1.2.1BP网络模型及算法 3

1.2.2梯度下降法 5

1.2.3BP算法推导 6

第2章本系统所采用的BP网络模型及逼近函数若干要点 9

2.1神经网络模型 9

2.2逼近函数及相关参数 9

第3章系统设计思路、过程及相关细节 10

3.1本次仿真系统设计思路及界面展示 10

3.2系统设计及仿真过程与体会 15

3.2.1设计过程 15

3.2.2体会 16

3.3核心代码展示 16

3.3.1相关数据结构说明 16

3.3.2核心代码 17

第4章系统运行及仿真实例 21

4.1系统运行实例 21

4.2设置网络参数的经验总结 23

第5章系统自我认识与评价 24

第6章结束语 25

参考文献 26

致谢 27

序言

人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

思维学一般认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。

逻辑性的思维是指根据逻辑规则进行推理的过程：

它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。

这种思维方式的根本之点在于以下两点:

1.信息是通过神经元上的兴奋模式分布存储在网络上；2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。

虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

通过在学习或训练过程中改变突触权重值以适应周围环境的要求，人工神经网络也具有初步的自适应与自组织能力。

同一网络因学习方式及内容不同可具有不同的功能。

人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。

通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。

人工神经网络的实质发展始于二十世纪四十年代[1]。

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。

此模型沿用至今，并且直接影响着这一领域研究的进展。

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。

当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视。

随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。

这一背景预示，向人工神经网络寻求出路的时机已经成熟。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。

人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

BP神经网络模型就是这一时期（1986年）在世界上首次提出并得到广泛应用的神经网络模型。

它可以学习和存储大量的输入输出映射关系，而无需事先知道揭示这种关系的数学公式。

它采用梯度下降法，能根据误差自动调整神经元之间的连接权值，最终可以使误差减小到可以接受的程度。

BP网络目前主要用于以下四个方面[2]：

函数逼近；模式识别；分类；数据压缩。

本文呈现的即是基于BP神经网络的函数逼近实例，即利用BP神经网络逼近正弦函数。

在设计过程中，查阅了BP网络提出者关于该领域研究的较早期的论文，并参考了Matlab神经网络工具箱的设计思路。

本人基于VisualC++技术开发的神经网络开发工具，可实现任意有限结点的三层神经网络计算，有一定的实用价值。

第1章BP神经网络简史及数学基础

1.1BP网络的历史发展、能力及优缺点

20世纪80年代，Rumelhart、McClelland和他们的同事洞察到神经网络在信息处理方面的重要性[3]，尽管Minsky和Papert指出单层感知器的局限性，他们仍坚持不懈地