人工神经网络学习总结笔记.docx

1、人工神经网络学习总结笔记人工神经网络学习总结笔记主要侧重点：1. 概念清晰2. 进行必要的查询时能从书本上找到答案第一章：绪论1.1人工神经网络的概述“认识脑”和“仿脑”：人工智能科学家在了解人脑的工作机理和思维的本质的基础上，探索具有人类智慧的人工智能系统，以模拟延伸和扩展脑功能。我认为这是人工神经网络研究的前身。 形象思维：不易被模拟人脑思维 抽象 推理 逻辑思维：过程 ：信息 概念 最终结果 特点：按串行模式容易被机器模拟的思维方式人脑与计算机信息处理能力的不同点：方面 类型人脑计算机记忆与联想能力可存储大量信息，对信息有筛选、回忆、巩固的联想记忆能力无回忆与联想能力，只可存取信息学习与

2、认知能力具备该能力无该能力信息加工能力具有信息加工能力可认识事物的本质与规律仅限于二值逻辑，有形式逻辑能力，缺乏辩证逻辑能力信息综合能力可以对知识进行归纳类比和概括，是一种对信息进行逻辑加工和非逻辑加工相结合的过程缺乏该能力信息处理速度数值处理等只需串行算法就能解决的应用问题方便，计算机比人脑快，但计算机在处理文字图像、声音等类信息的能力远不如人脑1.1.2人脑与计算机信息处理机制的比较人脑与计算机处理能力的差异最根本的原因就是信息处理机制的不同，主要有四个方面方面 类型人脑计算机系统结构有数百亿神经元组成的神经网络由二值逻辑门电路构成的按串行方式工作的逻辑机器信号形式模拟量（特点：具有模糊性

3、。难以被机器模拟）和脉冲两种形式离散的二进制数和二值逻辑形式信息储存人脑中的信息分布存储于整个系统，所存储的信息是联想式的信息处理机制高度并行的非线性信息处理系统（体现在结构上、信息存储上、信息处理的运行过程中）有限集中的串行处理机制1.1.3人工神经网络的概念：在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，称之为人工神经网络，是对人脑的简化、抽象以及模拟，是一种旨在模仿人脑结构及其功能的信息处理系统。其他定义：由非常多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，外部输入信息之后，系统产生动态响应从而处理信息。它是由许

4、多简单的并行工作的处理单元组成的系统，其功能会因网络结构、连接强度以及各单元的处理方式的不同而不同1.3神经网络的基本特点与功能基本特点：1、结构特点：信息处理的并行性、信息存储的分布性、信息处理单元的互联性、结构的可塑性。神经网络内在的并行性与分布性表现在其信息的存储于处理都是空间上分布、时间上并行的。2、性能特点：高度的非线性、良好的容错性和计算的非精确性。3、能力特征：自学习、自组织（重构）与自适应性。神经网络的基本功能：1、联想记忆：自联想记忆与异联想记忆 2、非线性映射3、分类与识别4、优化计算5、知识处理第二章 人工神经网络建模基础2.12.2 讲述了生物神经系统以及生物神经网络的

5、建模基础神经元所产生的信息是具有电脉冲形式的神经冲动，脉冲的宽度和幅度相同，但是间隔是随机变化的。人脑中，外界的刺激不同可以改变神经元之间的突触关系，即突触厚膜电位的方向以及大小，从突触信息传递的角度来看，表现为放大倍数和极性的变化。空间整合的概念（BP29）信息整合这一段中阀值特性：我认为阀值特性即静息电位必须上升到一定数值范围即超过阀值电位之后，神经元才会产生兴奋，信息才能以脉冲的形式得到传递。所谓的时间整合，如果由一个脉冲所引起的突触膜后电位很小，只有在持续时间内当另一脉冲到达的时候，总的突触膜后电位增大。2.3 人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物的过程

6、，反映人脑某些特性的一种计算结构，是人脑神经系统的一种抽象、简化和模拟而不是对它的真实描写。神经网络的基本器件是神经元和突触。人工神经网络当中的神经元是处理单元，也称之为节点。人工神经元是对生物神经元的信息处理过程的抽象模拟，通过数学语言对其进行描述，对其结构和功能进行模拟，用模型图予以表达。2.3.1 神经元的建模其建模的六点假设（BP30）加权系数的概念：又称之为权重值，其正负模拟了神经元当中的兴奋和抑制，大小呢模拟了突触之间的不同连接强度。整合之后的信息相当于生物神经网络当中的膜电位，整合之后的信息通过变换函数可以得出输出以后的信息大小，这个变换函数通常是非线性的。所谓的变换函数我认为它

7、是表征了不同的信息处理特性，反映神经元输入与激活状态之间的关系。2.3.2神经元的数学模型（BP31）神经元的状态表达式（BP31式2.1 2.2 为最基本的表达方式），这个表达式清晰地反映了神经元建模的6种假设。其中，输出oj下标体现了多输入，单输出。权重wij的正负体现了突触的兴奋与抑制，Tj代表了阀值特性，输入的总和为信息的净输入，常用netj或是netj来表示，只有净输入大于阀值的时候，神经元才能被激活，输出值与输入值之间的单位时差则体现了假定当中的突触延搁，而权重值（也就是代表突触之间的连接强度）与时间无关体现了假定当中的第六点神经元本来是非时变的。用向量的关系来表示净输入：netj

8、=X 下表是从0开始的。神经元的模型表达式为oj=f(netj)=f(X)2.3.3神经元的变换函数本节讲述了四种不同的变换函数，分别是阀值型变换函数，非线性变换函数（单极以及双极的Sigmoid函数，即s型函数），分段线性变换函数，概率型变换函数。（其公式在BP32 BP33）2.4人工神经网络模型人工神经网络模型可以按照网络连接的拓扑结构（神经元间的联系方式）分类，还有内部信息流向。 单纯型层次网络结构，定义见BP35 （就是说每一层的神经元只（按功能分成若干层，包括输入层，隐层，输出层） 接受来自上一层的信息，并且只负责把信息传递到下一层，神经元内部以及各个神经元之间没有信息交流)也可称

9、为前馈层次型层次型结构 输入层与输出层之间有连接的层次网络结构，与上一种结构不同的是，输入层神经单元具有信息处理功能，也可称为输入输出有反馈的前馈层次型 层内有互联的层次网络结构，与第一种结构不同的是这一种结构的同一层 神经元之间有互联，也可称为前馈层内互联型拓扑结构网络中任意两个节点之间都可能存在连接路径，根据互联程度对这种结构进行划分 （1）全互联型，网络中每个节点都与所有其他节点相连接， 也可称为反馈前互联型 互连型结构 （2）局部互联型，网络中每个节点只与其邻近节点相连接， 也可称为反馈局部互联型 （3）稀疏连接性，网络节点只与少数相距较远的节点相连接 前馈型网络：单纯前馈型与单纯型层

10、次网络结构完全相同网络信息流向型 反馈型网络：单纯反馈型网络与输入层与输出层之间有连接的层次网络结构完全相同决定神经网络特性的三大要素：神经元的变换函数、神经网络的拓扑结构（特点：分布式存储记忆与分布式信息处理、高度互联性、高度并行性和结构可塑性），神经网络的学习方式2.5 神经网络学习学习的定义：根据与环境的相互作用而发生的行为改变，其结果将导致对外界刺激产生反应的新模式的建立。学习过程就是经过训练使个体在行为上产生较持久的改变的过程。通过不停地学习以及训练，改变拓扑结构以及权重值，目的是是输出值与期望值更加接近，这就是学习的过程。人工神经网络的功能特性由拓扑结构以及突触之间连接的强度即权重

11、值决定。学习规则/算法：改变权重值的规则，可能是某一非线性函数。 有导师/教师/监督学习：通俗的讲就是给定一个输入值和期望输出值，如果 得到的实际值与期望值相差太大，则调整权重值使直到输出值与期望值，之 前并没有先验信息。之前这种做法就像有教师指导一般，在学习之后，如果 可以输出期望值的时候，就说明学会了。无导师/教师/监督学习：这种方法本身具有特定的内部结构和信息处理方式学习算法 ，是可以根据大量的动态输入数据，在总结、提炼的基础上找到规律和模式，（BP37） 自动调整拓扑结构和权值，这是个自组织的过程，通过不断地调节之后，使其 结构具有适应需求的特性。 灌输式学习：它对信息处理的模式和方法

12、是特定的，只能对相应的例子做出对应的判断 通用学习规则：权向量在某一时刻的调整量与该时刻的输入向量和学习信号的乘积成正比。权向量的调整量的数学表达式在（BP39），该表达式表明权向量的改变量与权向量，输入量，以及教师信号们还有决定学习效率的学习常数有关。2.5常用学习算法的介绍，包括Hebb学习规则，离散感知器学习规则。连续感知器的学习规则，最小均方学习规则，相关学习规则，胜者为王学习规则，外星学习规则。其一览表在（BP44）在Hebb学习规则（BP39）当中，它是一种无导师学习方法，学习信号简单的等于信号的输出。连续感知器的学习规则，也称为规则，是一种有导师学习方法，其中对式2.20的理解还

13、不透彻，在例题2.2当中为何未出现关于dj的字样。2.5.4最小均方学习规则。（是规则的特例）算法有一个共同点权向量的调整量均为学习常数与学习信号以及输入值的乘积，在例题当中输入值是给定的，求每一个调整向量时，式子当中的输出值中所取的权向量都是上一次输入值经过信息处理单元处理之后的输出值为下一次的输入值。 2.5.5相关学习规则，是Hebb学习规则的特例，区别在于，前者是有导师学习，后者是无导师学习，其权值初始化为零。 2.5.6胜者为王学习规则 为无导师学习，权值初始化为任意值。2.5.7外星学习规则和内星学习规则：内星学习规则与胜者为王的学习规则一致，外星学习规则是有导师学习规则，与内星学

14、习规则不同的是，其权向量是向期望输出向量靠拢，不是向输入向量靠拢 几种不同学习规则的总结表在 BP44 关于静息电位，相当于一个下限的临界点，阀值是一个兴奋的临界点。主要过程在P27思考与练习题的回答人工神经网络是如何体现生物神经网络特性的？答：生物神经网络当中的神经元在人工神经网络当中是用信息处理单元来取代的，神经元的模型表达式为oj=f(netj)=f(X)，生物神经元当中具有不同的突触性质以及突触连接强度，在人工神经网络当中就相当于输入信号的大小，而加权系数也就是权重值其正负模拟了生物神经元当中的兴奋与抑制，大小相当于模拟了突触连接强度的大小，输入强度的总和值就是生物神经网络里面的膜电位

15、。输入和输出的关系一般是非线性的，这种关系相当于是生物神经网络当中的信息处理过程，将输入脉冲处理后输出。如果权值只能按照1和-1来变化，对神经元的学习会有什么影响？我个人的理解是，如果只按照1和-1来变化是说明突出的连接强度只有一种，对生物神经元当中突触连接强度是不相同这一特点没有进行完整的描述，导致整合之后很有可能出现输入和输出正负一致导致权值无约束增长。例子在P39中有所体现。举例说明什么是有导师学习，什么是无导师学习？比较典型的无导师学习是Hebb学习，有导师学习是规则，关于有导师与无导师学习规则具体的概念已经在上面讲述过，拿Hebb学习规则来讲它的权值调整量表达式中没有期望输出，而规则

16、则是相反。第三章：感知神经网络感知器是一种前馈神经网络，具有分层结构，信息从输入层传入从输出层传出。3.1单层感知器3.1.1 感知器模型单层感知器：只有一层处理单元的感知器，包括输入层与输出层，输入层只负责引入外部信息，没有信息处理能力，输出层未处理层，权向量的个数与输出节点的神经元个数相等。净输入以及离散型单计算感知器的输出公式的公式在P48。3.1.2 感知器的功能一个最简单的单计算节点主要是分类的功能，通过改变权值和阀值来改变分界线或者分界面，使分类很好的进行。分界线或者分界面的表达式当中净输入值为0 。并且，分界线以及分界面的表达式并不唯一。线性可分：两类样本可以用直线、平面或超平面

17、分开。反之为线性不可分。异或问题就是线性不可分问题。单计算节点的感知器只能解决线性可分的问题。3.1.4感知器的学习算法 P51权值调整公式中的是指学习效率，表征权值的调整速度。只有当输出值与期望值相等时计算终止。为有监督/教师学习算法。3.2多层感知器 凸域：边界上任意两点之间的连线都在域内，隐层当中的节点每一个节点确定二维分界面上的一条分界直线，隐层的作用就是建立起可以将线性不可分的样本分类的凸域，记住，它只负责建域，分类则是由输出层来完成的。双隐层的感知器足以解决任何复杂的分类问题。3.3自适应性单元简介自适应性单元模型P55其功能是，将其期望输出与实际输出相比较，得到一个误差信号，根据

18、误差信号调节权值，是输出值与期望值相同。LMS算法不能用于多层网络，隐层误差无法获得 BP算法流程图在P64，其权值调整方法有两种：标准BP训练法也就是单样本训练法，还有一种是批训练BP算法，后者是减少全局误差为目标，可以保证总误差向减小方向变化，样本多的时候用后者比较好。3.4.4BP网络也就是多层感知器的主要能力（1） 非线性映射能力：对难以得到解析解，缺乏专家经验，能够表示和转化为模式识别或非线性映射的问题可以进行模拟。（2） 泛化能力 相当于自组织学习能力我觉得，就是说在不断地样本输入，不断地训练学习之下，以后可以独立的映射解决问题。（3） 容错能力。输入样本的缺陷不会影响到对正确的输

19、出，它可以根据以前大量的样本对提取统计特性，反映正确规律。3.4.5 误差曲面与BP算法的局限性 局限性在于存在误差曲面的平坦区，误差曲面存在多个极小点 3.5 BP算法的改进3.5.1 增加运动项 表达式为3.29 即从前一次权值调整量中取出一部分叠加到本次权值调整量中，反映以前累计的调整经验。作用在于减小振荡趋势，提高训练速度。3.5.2 自适应调节学习率 在平潭区域增大学习率，在误差变化剧烈的区域减小学习率。学习率设定之后，目的是使权值调整后的总误差减小，这样的学习率才有效。3.5.3 引入陡途因子 权值调整进入平坦饱和区之后，在原变换函数当中加入陡途因子（公式见3.30）。提高收敛度。

20、3.6 给予BP算法的多层感知器的设计基础 见P69之后第四章 自组织竞争神经网络自组织竞争型神经网络是一种无教师监督学习，通过自动寻找样本中的内在规律和本质属性，具有自组织、自适应改变网络参数与结构。网络通过自身的训练，能自动对输入模式进行分类。这类网络结构的共同特点事具有竞争层。典型结构见P84 图4.14.1 竞争学习的概念与原理4.1.1 基本概念分类分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。模式：对某些感兴趣的客体的定量描述或结构描述，模式类是具有共同特征的模式

21、的集合。相似性测量欧式距离法两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最大值T，则最大欧式距离T就成为一种聚类判据，同类模式向量的距离小于T，两类模式向量的距离大于T。相似性测量余弦法两个模式向量越接近，其夹角越小，余弦越大。当两个模式向量完全相同时，其余弦夹角为1。如果对同一类内各个模式向量间的夹角作出规定，不允许超过某一最大夹角a，则最大夹角就成为一种聚类判据。同类模式向量的夹角小于a，两类模式向量的夹角大于a。余弦法适合模式向量长度相同和模式特征只与向量方向相关的

22、相似性测量。侧抑制现象：即一个神经细胞兴奋以后，会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间出现竞争，其结果是某些获胜，而另一些则失败。表现形式是获胜神经细胞兴奋，失败神经细胞抑制。向量归一化：将向量变为方向不变，长度为1的单位向量。公式见P86 公式4.34.1.2 竞争学习原理1.向量归一化 首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,m)2.寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，欧氏距离最小

23、，须使其点积最大。点积最大的神经元胜出网络输出与权值调整。调整公式见P87 公式4.74.2自组织特征映射神经网络4.2.1 SOM网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。神经元有序排列：训练之后，功能相似的神经元比较非常接近，功能不同的离得比较远。4.2.2 SOM网的拓扑结构SOM网共有两层，输入层模拟感知外界输入信息的

24、视网膜，输出层模拟做出响应的大脑皮层。 神经元数与样本维数相等。拓扑结构有一维线阵个，二维平面阵和三维栅格阵。模式见P90 图4.5SOM网的权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：见书P90获胜的神经元有最大的权值调整量，其附近神经元由近及远调整量逐渐减小。优胜领域：以获胜神经元为中心设定一个领域半径，在该半径圈定的范围称为优胜领域。优胜领域开始都定的很大，随着训练次数的增大而减小。4.2.3 SOM网的运行原理 分为训练和工

25、作两个阶段训练阶段：用大量的样本训练，使权值向输入向量的方向做权值调整，训练结束时，各层神经元与各输入模式类的特定关系就完全明确了。此时便可作为模式分类器。即进入工作阶段。SOM网的学习算法 具体过程在P9192 学习流程在P93 图4.9(1)初始化 对输出层各权向量赋小随机数并进行归一化处理，建立初始优胜邻域Nj*(0)；学习率 赋初始值。(2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理 (3)寻找获胜节点 计算输入样本与各神经元的权值点积，从中选出点积最大的获胜节点j*。(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域，一般初始邻域Nj*(0)较大，训练

26、过程中Nj*(t)随训练时间逐渐收缩。功 能 分 析(1)保序映射将输入空间的样本模式类有序地映射在输出层上。(2) 数据压缩-将高维空间的样本在保持拓扑结构不变的条件下投影到低维的空间。 (3) 特征提取-从高维空间样本向低维空间的映射，SOM网的输出层相当于低维特征空间。便于了解高维空间的向量特征规律。4.2.4设计基础1、输出层设计2.、权值初始化设计3、优胜领域设计4、学习率设计4.3 学习向量量化神经网络LVQ主要是将竞争学习思想和有监督学习算法相结合4.3.1向量量化 其思路是将高维输入空间分成若干个不同的区域，对每个区域确定一个中心向量作为聚类中心，与其处于同一区域的向量可用这个

27、中心向量来代替，从而形成以各中心向量为聚类中心的点集。量化：在数据处理领域，量化是针对标量进行的，将信号的连续取值或或者大量可能离散的取之近似为有限多个或者较少的离散值的过程。自组织映射可以聚类，但不能分类和识别。LVQ网络结构及工作原理 见P103LVQ网络学习算法以及学习步骤 见P104 4.4 对偶传播神经网络网络结构与运行原理：竞争层神经元采用无导师竞争学习规则，输出层采用有道士的W-H规则或G规则运行过程见 P106 学习方法见P1074.5自适应共振理论网络ART网络也是一种自组织网络模型。它是由Grossberg提出的，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用

28、于二值输入，而ART-2用于连续值输入，用来处理连续信号，ART-3是分级搜索模型，这是一种无教师学习网络。一个ART-网络含有两层，比较曾和识别曾。三种控制信号：复位信号、逻辑控制信号。具体概念见P111当ART-1网络在工作时，其训练是连续进行的，且包括下列步骤：（）对于所有输出神经元，预置样本矢量Wi及警戒矢量Vi的初值，设定每个Vi的所有分量为1,并据式(1.3.5)计算Wi。如果一个输出神经元的全部警戒权值均置1,则称为独立神经元，因为它不被指定表示任何模式类型。（）给出一个新的输入模式x。（）使所有的输出神经元能够参加激发竞争。（）从竞争神经元中找到获胜的输出神经元，即这个神经元的

29、x.Wi 值为最大；在开始训练时或不存在更好的输出神经元时，优胜神经元可能是个独立神经元。（）检查看该输入模式x是否与获胜神经元的警戒矢量足够相似。运行原理：P112学习算法：P114 第5章径向基函数神经网络除了前面介绍的多层感知器外，径向基函数神经网络（RBF 网）是另一类常用的三层前馈网络，也可用于函数逼近及分类，是局部逼近网络。与BP 网相比，RBF 网不仅有生理学基础，而且结构更简洁，学习速度也更快。RBF神经网络的主要特征是隐含层采用径向基函数作为神经元的激活函数5.1.1 插值问题的描述 考虑一个由N维空间到到一维输出空间的映射，用一个非线性映射函数，使其满足插值条件（5.1）5

30、.1.2 径向基函数解决内插问题P1285.1.3 完全内插存在问题正问题与反问题已知输入求输出为正问题反问题：已知部分系统和输出求输入，全部或者部分已知输入和输出地情况下求系统。神经网络用语解决非线性映射问题的反问题就是厚重情况。适定的与不适定的 见P130适定的：假设有一个定义域和一个值域二者由一个位置映射联系，该映射的重建满足解的存在性、唯一性、连续性时就是适定的，否则为不适定5.2正则化理论与正则化RBF 网络5.2.1正则化理论：用来解决不适定问题，基本思想是加入一个含有解的先验知识的约束来控制映射函数的光滑性。正则化项的表达式：5.12 ，表示对模型复杂性的惩罚函数。正则化问题的解

31、事5.14正则化RBF 网络特征是隐节点数等于训练样本数5.4 模式可分性观点与广义RBF 网络数据中心的聚类算法：P136数据中心的监督学习算法 P137RBF网络与多层感知器的比较 P138(1)RBF神经网络与多层感知器网络主要不同点是，在非线性映射上采用了不同的作用函数，分别为径向基函数与S型函数，RBF网络的作用函数是局部的，BP网络的作用函数是全局的。(2) RBF网络具有唯一最佳逼近的特性，且无局部极小。(3)求RBF网络隐含层权系数及比较困难。(4)径向基函数有许多种。第六章 反馈神经网络单层反馈神经网络 HP网（分为离散型DHNN和连续型CHNN） 采用灌输式学习方法（权值一经确定，不再改变），并且考虑时间滞后问题双向联想记忆网络模型，记作BAM，重点介绍离散型BAM网6.1离散型HP网网络的一步工作方式:网络运行时每次只有一个神经元按6.1进行状态调整网络同步工作方式：是一种并行方式，所有神经元同时调整状态网