中科院《模式识别》第六章.ppt

中科院《模式识别》第六章.ppt

《中科院《模式识别》第六章.ppt》由会员分享，可在线阅读，更多相关《中科院《模式识别》第六章.ppt（275页珍藏版）》请在冰豆网上搜索。

第六章人工神经网络6.1概述6.1.1什么是人工神经网络所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。

人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。

长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。

6.1概述6.1.1什么是人工神经网络粗略地讲，大脑是由大量神经细胞或神经元组成的。

每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。

这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。

现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。

6.1概述6.1.1什么是人工神经网络由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。

需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。

按美国神经网络学者Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。

这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。

每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。

6.1概述6.1.1什么是人工神经网络人工神经网络与一般计算机的区别在一般的计算机中，通常有一个中央处理器，它可访问其存储器。

该处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。

任何动作都按照确定的操作程序，以串行方式执行。

6.1概述6.1.1什么是人工神经网络人工神经网络与一般计算机的区别在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。

每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。

人工神经网络并不执行指令序列，它对并行加载的输入信号也按并行方式来处理和响应，结果也不存储在特定的存储单元中。

当它达到某种平衡状态后，网络的整个状态就是所求的结果。

目前还没有用硬件真正实现的并行处理的人工神经网络，对它的实现还是基于一般计算机的软件模拟，这显然并没有真正发挥出人工神经网络并行快速的特点。

6.1概述6.1.1什么是人工神经网络人工神经网络的两种操作过程训练学习训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。

这时，各连接权已调接好，网络的训练就完成了。

正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。

6.1概述6.1.1什么是人工神经网络文本（英文）朗读机实例输入装置是一个阅读窗口，当它沿文本的一行移动时，每次前移一个字母，但每个瞬间输入七个相邻的字母（包括空格和句号）信息。

由于英文字母的发音与其前后字母有关，所以训练人工神经网络时，只要求每次七个字母的中间字母发音（靠人工神经网络的输出相应状态驱动一个语音综合发生器）。

训练时，将一篇有1024个字的文本一行一行通过阅读窗口，并要求对应每个字母时人工神经网络的输出结点能输出相应音素的状态值。

6.1概述6.1.1什么是人工神经网络文本（英文）朗读机实例这样通过十遍阅读（训练），可以达到输出可理解的语音。

通过50遍阅读（训练），可以达到95%的精确度。

训练过程中听上去像小孩学说话一样，由不清楚到清楚。

训练完成后，再阅读从未见过的课文，朗读精度仍可达78%，完全可以听懂。

6.1概述6.1.1什么是人工神经网络人脸识别实例用10个人的照片，每个人都在不同的角度照5张照片，共有50张照片的输入信息。

对人工神经网络进行训练，每个照片信息作为输入时，代表10个人的10个结点中相应的一个结点输出最大，每个人的5张照片都对应着同一个结点的最大输出。

经过训练后，再对原来的10个人中的一个从不同角度拍照（尺寸不变），进行识别，结果是他本人对应的结点的输出比其它9个结点的输出都高得多。

6.1概述6.1.1什么是人工神经网络总结和讨论传统计算机采用的是串行处理方式，限制了大量信息的快速传输和处理，即使用了多个处理器并行工作，还是会把许多时间浪费在完成串行操作上，而且问题的并行化分解和并行程序的编写也是一个难题。

虽然至今开发出的超型计算机，其速度和容量都大得惊人，但仍不能很好地完成诸如小孩可以做到的事情，如认识面孔、学习说话、识别图像等。

尽管人工神经网络还是生物大脑的极低水平的模仿，但在图像识别、语音识别、记忆、预测以及优化等方面表现出了良好的智能特性和应用前景，可以完成传统计算机不易实现的智能性工作。

6.1概述6.1.2人工神经网络的发展初始（萌发）期MP模型的提出和人工神经网络的兴起1943年，美国神经生理学家WarrenMcculloch和数学家WalterPitts合写了一篇关于神经元如何工作的开拓性文章：

“ALogicalCalculusofIdeasImmanentinNervousActivity”。

该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。

按此想法，他们用电路构成了简单的神经网络模型，并预言大脑的所有活动最终将被解释清楚。

虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。

当时，不少研究人员转向解剖学和生理学去寻找建立智能机的思路。

6.1概述6.1.2人工神经网络的发展初始期MP模型的提出和人工神经网络的兴起1949年，心理学家DonalaHebb写了一本书：

“TheOrganizationofBehavior”。

在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。

目前有些神经网络模型仍然采用这种学习规则。

6.1概述6.1.2人工神经网络的发展初始期MP模型的提出和人工神经网络的兴起到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽了研究的路子。

IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。

在此情况下，人们开始酝酿人工智能的项目。

6.1概述6.1.2人工神经网络的发展初始期MP模型的提出和人工神经网络的兴起1956年，一个人工智能研究项目（DartmouthSummer）给人工智能领域，同时也给神经计算领域以巨大推动。

人们提出两条研究思路采用高级人工智能方法，试图建立描述智能机功能的计算机程序；根据低水平的大脑处理方式构成结构模型，以实现智能化。

这宣告了人工神经网络的诞生。

6.1概述6.1.2人工神经网络的发展第一次高潮期感知器模型和人工神经网络1957年，计算机专家FrankRosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。

1959年，两位电机工程师BernardWidrow和MarcianHaff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“AdaptiveSwitchingCircuits”中描述了该模型和它的学习算法（Widrow-Haff算法）。

该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。

6.1概述6.1.2人工神经网络的发展第一次高潮期感知器模型和人工神经网络1962年，Rosenblatt出版了一本书“ThePrinciplesofNeurodynamics”，详述了他的感知器模型。

该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。

1967年，StephenGrossberg通过对生理学的研究，开发了一种称作Avalanche（雪崩网）的神经网络模型，可以执行连续语音识别和控制机器人手臂的运动。

在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键，许多部门开始大批地投入此项研究，希望尽快占领制高点，形成了研究人工神经网络的第一次高潮。

由于当时对神经网络的乐观情绪的影响，人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）。

6.1概述6.1.2人工神经网络的发展反思期神经网络的低潮1969年，MarvinMinsky和SeymourPapert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。

此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。

不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。

6.1概述6.1.2人工神经网络的发展反思期神经网络的低潮虽然如此，二十世纪70年代到80年代早期，仍有一些坚信神经网络的人坚持他们的工作，为人工神经网络的复苏做准备。

神经生理学家JamesAnderson开发的盒中脑模型（Brain-State-in-a-Box，BSB）。

日本学者KunihikFukushima开发的用于视觉图形识别的认知器模型（Neocognitron）。

电气工程师TeuvoKohonen开发的与BSB类似的网络模型。

Grossberg,Rumelhart,McClelland,Marr,Amari和Cooper等人的工作。

6.1概述6.1.2人工神经网络的发展第二次高潮期Hopfield网络模型的出现和人工神经网络的复苏1982年，JohnHopfield向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。

根据对神经网络的数学分析和深入理解，Hopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。

当时，人工智能对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。

6.1概述6.1.2人工神经网络的发展第二次高潮期Hopfield网络模型的出现和人工神经网络的复苏1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。

1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。

1986年，Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。

1990年12月，国内首届神经网络大会在北京举行。

6.1概述6.1.2人工神经网络的发展再认识与应用研究期二十世纪90年代后，神经网络的研究趋于平缓，主要问题：

应用面还不够宽结果不够精确存在可信度的问题6.1概述6.1.2人工神经网络的发展再认识与应用研究期主要研究内容开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。

充分发