毕业设计论文Word格式文档下载.docx

1、人工神经网络是由一些类似人脑神经元的简单处理单元相互连接而成的复杂网络。已涌现出许多不同类型的ANN及相应的学习算法，其中BP（或EBP-Error Back Propagation）网络及学习算法得到了广泛关注和研究，并在模式识别与分类、机器人控制、数据压缩等领域取得了许多有意义的应用成果。在认真地研究了精神网络的基本原理和机制的基础上，结合手写体数字识别这一具体课题，提出了用精神网络方法来实现手写体数字识别的方案。在自由手写体数字识别方面，许多研究工作者使用ANN 技术做了不少尝试，有了较大的进展。第二章 神经网络2.1神经网络的发展和应用2.1.1神经网络的产生现代计算机有着很强的计算和

2、信息处理能力，但是它解决像模式识别、感知、评判和决策等复杂问题的能力却远不如人，特别是它只能按人事先编好的程序机械地执行。人是地球上具有最高智慧的生物，人脑在处理语言理解、模式识别等方面问题时具有现有计算机无法比拟的优越性。长期以来，很多科学家一直在致力于人脑的内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机。人的大脑可以在几秒内判断出人在一个动态的十字路口是否应该过马路，而若要计算机来做这个工作，其计算量大到几乎不可能做到。一个三岁小孩可以轻而易举地从一堆照片中找出自己的父母亲来，而若要计算机来完成这个任务，其计算量同样大的惊人。人脑具有的自组织功能、联想功能及容错性都是计算机所不

3、具备的。尽管目前人们对大脑神经网络的结构、运行机制，甚至单个神经细胞的工作原理的细节了解还比较肤浅，但人们可以根据选择已有的大脑微观组成（神经元）及大脑的宏观功能两方面的知识来构造人工精神网络系统，模拟大脑的某些功能。这正如人类在模拟鸟的飞行过程中造出了飞机一样，产生了以模仿人脑功能为目的，涉及到生物、生理、控制论、数学及光电子信息等科学的综合科学人工精神网络。 人工神经网络（Artificial Neural Networks，简称NN或ANN），是一门发展十分迅速的交叉学科，它涉及到生物、计算机、数学、电子、物理、心理学、认知科学等许多学科。简单来说就是为模仿人脑工作方式而设计一种机器，它

4、可用电子或光电元件实现，也可以用软件在常规计算机上仿真，具有通过学习获取知识并解决问题的能力。2.1.2神经网络的发展对人工神经网络的研究早在40年代就已开始，1943年，心理学家麦卡洛克（W.S.McCulloch）和数学家皮茨（W.Pitts）根据动物神经元的生理特点，合作提出了神经元的数学模型，称为MP模型，如图11所示。开创了从信息处理的观点出发，采用数理模型的方法对神经网络进行研究的先例。但是在此之后的一个长时期内冯诺依曼计算机取得了突飞猛进的发展，而神经网络的研究却没有取得长足进展。50年代中期，由于感知机（Perceptron）及其学习算法获得局部成功，曾风行一时。但很快又因感知

5、机分类能力的局限性而转入低潮。经过近20年的沉默和少数先驱者的艰苦努力，到80年代初又重新兴起。一方面是由于传统的人工智能方法在解决像视觉处理、语言理解等方面问题时陷于困境；另一方面，神经网络的一些研究成果有了很大的突破。1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种新的精神网络模型，引入“能量”函数，使得网络稳定性研究有了明显的依据。特别是这种模型所具有的联想记忆、分类与误差自动校正等智能功能，尤其引起人们的兴趣。1984年，霍普菲尔德将这种模型用简明模拟电子电路实现，并应用于目前电子计算机尚难于解决的著名的“巡回推销员问题（TSP，Travel Salesmen Prob

6、lem）”，获得了很好的答案。Dvaid Rumelhart等人发表了PDP（Parallel Distribution Processing）理论，提出了误差反向传播（Error Back Propagation）学习方法，使得原以为不可能的多层网络的学习问题得到了解决。此后，在美国、日本、欧洲掀起了一股神经网络研究热潮。现在，ANN已经成为诸多科学与技术学科共同关注的重大课题，神经网络的研究涉及众多学科领域。不同领域的科学家和技术学家从各自学科的兴趣和特色出发，提出不同的问题，从不同的角度着手研究，解决自己领域内的种种问题。2.1.3神经网络的应用 人工神经网络在应用上已迅速扩展到许多重要

7、领域。模式识别与图像处理印刷体和手写体字符识别，语音识别，签字识别，指纹识别，人脸识别，癌细胞检测，心电图和脑电图分类，RNA和DNA识别，油气贮藏勘测，加速器事故检测，目标检测与识别，图像压缩，图像复原等。控制与优化 化工过程控制，机械手运动，电弧炉电极控制，半导体生产中掺杂控制，石油精炼和食品工业中优化控制，VLSI（超大规模集成电路）布线设计等。预测与管理股票市场预测，有价证券管理，信贷风险分析，信用卡管理，机票管理。通信 自适应均衡，回波抵消，路由选择，ATM网络中的呼叫接纳识别及控制等。 其它应用如导航，光学望远镜聚焦，运载体轨迹控制，电机故障检测以及多媒体技术等。2.2人工神经网络

8、实现原理神经元（neuron或neurone）是神经系统内直接从事信息的接收或产生、传递以及处理工作的神经细胞。对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其他神经元轴突的互相结合部（此结合部称为Synapse，即突触），接收由轴突传来的信号。如果一神经元所接收到的信号的总和超过了它本身的“阙值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。人脑大约由10111012个神经元组成，人工神经网络是由多个神经元按照一定的排列顺序构成的。神经元是人工神经网络的基本单元。2.2.1 人工神经元 图2-1为人工神经元模型，X为该

9、神经元接受到的来自其它神经元的输出信息，W为联接强度，U为内部状态，是阙值，S为外部输入信号。它有三个基本要素：（1）一组连接权（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激励，为负表示抑制。（2）一个求和单元，用于求取各输入信息的加权和（线性组合）。（3）一个非线性激励函数，起非线性映射作用并限制神经元输出幅度在一定的范围之内（一般限制在0，1或1，1之间。此外还有阙值k（或偏置bk=k）。以上作用可以用数学式表达为： j 人工神经元具有多个输入和一个输出，每一个输入都是前一层神经元的输出，并且每一个输入都又可以改变的权重，输入加权求和后通过一定的函数关系输出。对应

10、于人体生理神经系统的概念是：神经元的每一输入为相关神经元的轴突输出，输入的权重为本神经元与相关神经元的突触的联接强度，并且权重的值可正可负，正表示兴奋性突触，负表示抑制性突触。神经元在输入信号作用下产生输出信号的规律由神经元功能函数给出，这是神经元模型的外特性。由于神经元功能函数形式的不同，形成了多种多样的神经元模型。2.2.2人工神经网络的基本原理及构成 一般而言，神经元功能函数有简单映射、动态系统方程、概率统计模型和多项式阙值函数模型四类。简单映射是神经网络中各神经元输入与输出具有一种简单的线性或者非线性的函数关系。动态系统方程反映了网络的动态特性，其输入与输出具有时延关系。概率统计模型描

11、述神经元输入与输出之间不存在确定关系，而是一个随机函数，多项式阙值函数模型反映输入信号自身相关性，它表征神经元输入与输出之间不但存在一阶函数关系，而且还存在着输出与多个输入的乘积之间的关系。 神经网络是一个复杂的互联系统，神经元之间的连接模式种类繁多，形成了多种人工神经网络模型。2.2.3几种典型的神经网络简介 现有的人工神经网络模型已经不下百种。随着应用研究的不断深入，新的人工神经网络模型也在不断推出。其中最具代表性的人工神经网络模型有多层前馈网络（MLP），Hopfield神经网络（HNN），随机神经网络和自组织神经网络。 （1）多层前馈网络及BP算法 自从1985年Rosenblatt提

12、出了反向传播（BP）算法以来，前馈网络的研究取得了重大进展。但是人工神经网络硬件芯片的进展还十分缓慢，大部分工作是在计算机上对标准BP算法进行改进。目前，在天气预报、行情预测、数学分类、建筑设计等领域得到了广泛的应用。 （2）Hopfield神经网络 （HNN） Hopfield神经网络是一种带有反馈的动力学系统，它分离散和连续两种模型。离散模型可以用一种加权无向图来表示，它多应用于联想存储、模式识别与优化计算。连续模型引入了能量函数的概念，使求解优化组合问题转化为求解能量最小问题。其思想是将求解的问题表达为一个动力学系统（即神经网络），并研究其收敛性，构造一种合适的能量函数，使其最小值点对应

13、于优化组合问题的最佳解。目前研究的焦点是构造一种符合问题的能量函数以求解不同的问题，其中最著名的旅行商（TSP）问题，八皇后问题都是利用连续Hopfield神经网络求解，并得到了满意结果。 （3）随机神经网络与模拟退火算法 1983年Hinton等提出的Boltzmann机是随机神经网络模型的典型代表。它可以看成Hopfield联想记忆模型的推广，与Hopfield网络不同的是，它是具有概率状态随机转移机制而Hopfield是确定性的。此外，Boltzmann机还允许含有隐单元来捕获学习中的高阶规则。目前常用的算法有模拟退火算法和快速模拟退火算法及一些改进算法，利用Boltzmann机，主要应

14、用于优化计算，由于引入一定程度的随机性扰动，以保证系统从局部极小中爬出来，找到全局极小，即得到全局最优。 （4）自组织神经网络 自组织神经网络是一类无教师监督学习的网络，它的两个核心是自适应共振理论（ART）和自组织特征映射。由于这类网络具有无教师监督学习的特点，因此它可以实时学习，并可适应非平稳的环境。目前，主要工作是对自适应算法进行研究。实际应用中，自组织特征映射网络主要用于自联想最临近分类器。2.3神经网络的相关知识2.3.1人工神经网络的基本特征 人工神经网络是一种模仿人类神经系统的数学模型，是在现代脑神经科学基础上提出来的，它反映了人脑功能的基本特性。但它并不是人脑的真实描写，而只是它的某种抽象、简化和模拟。人工神经网络这些特点使得它不同于一般计算机和人工智能。 （1）人工神经网络为广泛连接的巨型系统。神经科学研究表明，人类中枢神经的主要部分大脑皮层由10111012个神经元组成，每个神经元共有101105个突触，突触为神经元之间的结合部，决定神经元之间的连接强度与性质。这表明大脑皮层是一个广泛连接的巨型复杂系统。人工神经网络的连接机制模仿了人脑的这一特性。 （2）人工神经网络有其并行结构和并行处理机制。人工神经网络不但结构上是并行的，它的处理顺序也是并行的和同时的。在同