第六讲神经信息处理1.ppt

1、智能信息处理智能信息处理课程课程第第六六讲讲 神经神经信息处理技术信息处理技术（1 1）谭营谭营1神经网络神经网络u神经网络介绍神经网络介绍u神经网络发展历史神经网络发展历史u神经网络基础神经网络基础u神经网络的学习方法神经网络的学习方法u前馈神经网络模型及其主要算法前馈神经网络模型及其主要算法u反馈神经网络模型及其主要算法反馈神经网络模型及其主要算法u神经网络信息处理神经网络信息处理u几个应用实例几个应用实例2电子课件下载信息电子课件下载信息u课件下载：课件下载：u系系ftp：162.105.71.46u用户名：用户名：cisu密码：密码：cis07。31、神经网络的有关概念神经网络的有关概

2、念u人工神经网络（ArtificialNeural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。u简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟。人工智能的研究可分成两种方式，对应不同的技术：人工智能的研究可分成两种方式，对应不同的技术：1.传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟2.基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟4人工智能研究如何使类似计算机这样的设备去模拟人类的这些能力。u研究人工智能的目的增加人类探索世界，推动社会前进的能力进一步认识自己u三大学术流派符号主义（或叫做

3、符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派51.1人工神经网络的提出u1.1.2物理符号系统u人脑的反映人脑的反映形式化形式化现实现实信息信息数据数据物理系统物理系统物理符号系统物理符号系统表现智能表现智能61.1人工神经网络的提出u困难：抽象舍弃一些特性，同时保留一些特性形式化处理用物理符号及相应规则表达物理系统的存在和运行。u局限：对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。71.1人工神经网络的提出u1.1.3 联接主义观点u核心：智能的本质是联接机制。u神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统

4、uANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练81.1人工神经网络的提出u1.1.4 两种模型的比较心理过程逻辑思维高级形式（思维的表象）生理过程形象思维低级形式（思维的根本）仿生人工神经网络联结主义观点联结主义观点物理符号系统物理符号系统91.1人工神经网络的提出u物理符号系统和人工神经网络系统的差别项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布101.1人工神经网络的提出u两种人工智能技术的比较项目传统的AI技术 ANN技术基本实现方式串行处理；由程序实现控制并行处理；对样本数据进行多目标学习；通过人工神经元之

5、间的相互作用实现控制基本开发方法设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应用环境）适应领域 精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象 左脑（逻辑思维）右脑（形象思维）111.2人工神经网络的特点u信息的分布表示u运算的全局并行和局部操作u处理的非线性121.2.1人工神经网络的定义1u1）HechtNielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处

6、理单元（PE）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。131.2.1人工神经网络的定义1u处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。141.2.1人工神经网络的定义1u强调：并行、分布处理结构；一个处理单元的输出可以被任意分枝，且大小不变；输出信号可以是任意的数学模型；处理单元完全的局

7、部操作151.2.1人工神经网络的定义2（2）Rumellhart，McClelland，Hinton的PDPu1）一组处理单元（PE或AN）；u2）处理单元的激活状态（ai）；u3）每个处理单元的输出函数（fi）；u4）处理单元之间的联接模式；u5）传递规则（wijoi）；u6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；u7）通过经验修改联接强度的学习规则；u8）系统运行的环境（样本集合）。16人工神经网络的定义3u（3）Simpson（1987年）u人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。

8、17人工神经网络的特点u2、关键点u（1）信息的分布表示u（2）运算的全局并行与局部操作u（3）处理的非线性特征u3、对大脑基本特征的模拟u1）形式上：神经元及其联接；BN对ANu2）表现特征：信息的存储与处理18人工神经网络的别名u人工神经系统（ANS）u神经网络（NN）u自适应系统（AdaptiveSystems）u自适应网（AdaptiveNetworks）u联接模型（Connectionism）u神经计算机（Neurocomputer）19学习能力 u人工神经网络可以根据所在的环境去改变它的行为u自相联的网络u异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的

9、映射关系。“抽象”功能。u不同的人工神经网络模型，有不同的学习/训练算法20基本特征的自动提取u由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。u泛化（Generalization）能力与抽象能力21信息的分布存放u信息的分布存放提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。u系统在受到局部损伤时还可以正常工作。u并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。22适应性

10、(Applicability)问题u擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。u目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解等方面也有较好的应用。23神经网络的发展历史神经网络的发展历史u1.3.1萌芽期（20世纪40年代）u人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。u1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表 于 数 学 生 物 物 理 学 会 刊 Bu

11、lletin ofMethematicalBiophysicsu1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律。24第一高潮期（19501968）u以 Marvin Minsky，Frank Rosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。u可用电子线路模拟。u人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。25反思期（19691982）uM.L.Minsky和S.Papert，Perceptron，MITPress，1969年u“异或”运算不可表示u二

12、十世纪70年代和80年代早期的研究结果u认识规律：认识实践再认识26第二高潮期（19831990）u1982年，J.Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上27第二高潮期（19831990）u2）1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。u3）1985年，UCSD的 Hinton、Sejnowsky、Rumelhart等人所

13、在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。28第二高潮期（19831990）u4）1986年，并 行 分 布 处 理 小 组 的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）u国内首届神经网络大会是1990年12月在北京举行的。29再认识与应用研究期（1991）u问题：u1）应用面还不够宽u2）结果不够精确u3）存在可信度的问题30再认识与应用研究期（1991）u研究：u1）开发现有模型的应用，并在应用中根据实际运行情况对模型、

14、算法加以改造，以提高网络的训练速度和运行的准确度。u2）充分发挥两种技术各自的优势是一个有效方法u3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。u4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。312人工神经网络基础2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 存储与映射 2.5 人工神经网络的训练322.1 生物神经网1、构成胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）33TheBiologicalNeuronu10billionneuronsinhumanb

15、rainuSummationofinputstimuliSpatial(signals)Temporal(pulses)uThresholdovercomposedinputsuConstantfiringstrengthubillionsynapsesinhumanbrainuChemicaltransmissionandmodulationofsignalsuInhibitorysynapsesuExcitatorysynapses34NeuralDynamicsRefractory timeAction potentialAction potential 100mVActivation

16、threshold 20-30mVRest potential -65mVSpike time 1-2msRefractory time 10-20ms35神经网络的复杂性神经网络的复杂性u神神经经网网路路的的复复杂杂多多样样，不不仅仅在在于于神神经经元元和和突突触触的的数数量量大大、组组合合方方式式复复杂杂和和联联系系广广泛泛，还还在在于于突突触触传传递递的的机机制制复复杂杂。现现在在已已经经发发现现和和阐阐明明的的突突触触传传递递机机制制有有：突突触触后后兴兴奋奋，突突触触后后抑抑制制，突突触触前前抑抑制制，突突触触前前兴兴奋奋，以以及及“远远程程”抑抑制制等等等等。在在突突触触传传递递机机制制中中，释释放放神神经经递递质质是是实实现现突突触触传传递递机机能能的的中中心心环环节节，而而不不同同的的神神经经递递质质有有着着不不同同的的作作用性质和特点用性质和特点36神经网络的研究神经网络的研究u神神经经系系统统活活动动，不不论论是是感感觉觉、运运动动，还还是是脑脑的的高高级级功功能能（如如学学习习、记记忆忆、情情绪绪等等）都都有有整整体体上上的的表表现现，面面对对这这种种表表现现的的