人工神经网络的基本模型.ppt

人工神经网络的基本模型.ppt

《人工神经网络的基本模型.ppt》由会员分享，可在线阅读，更多相关《人工神经网络的基本模型.ppt（52页珍藏版）》请在冰豆网上搜索。

2006-5-9北京科技大学自动化系1第二章第二章人工神经网络的基本模型人工神经网络的基本模型北京科技大学北京科技大学北京科技大学北京科技大学信息工程学院信息工程学院信息工程学院信息工程学院付冬梅付冬梅付冬梅付冬梅623349672006-5-9北京科技大学自动化系2第二章第二章人工神经网络的基本模型人工神经网络的基本模型人工神经元的基本模型人工神经元的基本模型几种典型的激活函数几种典型的激活函数人工神经网络的学习算法概述人工神经网络的学习算法概述人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构2006-5-9北京科技大学自动化系3生物神经元结构生物神经元结构生物神经元结构生物神经元结构

（1）细细胞胞体体:

细细胞胞核核、细细胞胞质质和和细细胞胞膜膜。

（2）树树突突：

胞胞体体短短而而多多分分枝枝的的突突起起。

相相当当于于神神经经元元的的输输入入端端。

（3）轴轴突突：

胞胞体体上上最最长长枝枝的的突突起起，也也称称神神经经纤纤维维。

端端部部有有很很多多神神经经末末稍稍传传出出神神经经冲冲动动。

（4）突突触触：

神神经经元元间间的的连连接接接接口口，每每个个神神经经元元约约有有1万万10万万个个突突触触。

神神经经元元通通过过其其轴轴突突的的神神经经末末稍稍，经经突突触触与与另另一一神神经经元元的的树树突突联联接接，实实现现信信息息的的传传递递。

由由于于突突触触的的信信息息传传递递特特性性是是可可变变的的，形形成成了了神神经经元元间间联联接接的的柔柔性性，称称为为结结构构的的可可塑塑性性。

（5）细细胞胞膜膜电电位位：

神神经经细细胞胞在在受受到到电电的的、化化学学的的、机机械械的的刺刺激激后后，能能产生兴奋与抑制。

产生兴奋与抑制。

2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系4生物神经元结构生物神经元结构2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系5生物神经元功能生物神经元功能生物神经元功能生物神经元功能

（1）兴兴奋奋与与抑抑制制：

当当传传入入神神经经元元冲冲动动，经经整整和和使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时，为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末末稍稍传传出出。

当传入神经元的冲动，经整和，使细胞膜电当传入神经元的冲动，经整和，使细胞膜电位位降降低低，低低于于阈阈值值时时，为为抑抑制制状状态态，不不产产生生神神经经冲动。

冲动。

（2）学学习习与与遗遗忘忘：

由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用用可可增增强强与与减减弱弱，因因此此，神神经经元元具具有有学学习习与遗忘的功能。

与遗忘的功能。

2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系62.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型人工神经元的六个基本特征：

人工神经元的六个基本特征：

人工神经元的六个基本特征：

人工神经元的六个基本特征：

11）神经元及其联接；）神经元及其联接；22）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱；33）神经元之间的联接强度是可以随训练改变的；）神经元之间的联接强度是可以随训练改变的；44）信号可以是起刺激作用，也可以是起抑制作用；）信号可以是起刺激作用，也可以是起抑制作用；55）一个神经元接受的信号的累积效果决定该神经元）一个神经元接受的信号的累积效果决定该神经元的状态；的状态；6）6）每个神经元可以有一个每个神经元可以有一个“阈值阈值”。

神经元是构成神经网络的最基本单元（构件）。

神经元是构成神经网络的最基本单元（构件）。

人工神经元模型应具有生物神经元的六个基本特性。

人工神经元模型应具有生物神经元的六个基本特性。

2006-5-9北京科技大学自动化系7图图2.1MP神经元模型神经元模型（a）2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型神经元神经元ii的输入的输入yj输出输出yi描述描述:

设设则则每一神经元的输出，或每一神经元的输出，或00或或11，00表示表示抑制抑制，11表示表示兴奋兴奋：

基本基本基本基本MPMP模型模型模型模型2006-5-9北京科技大学自动化系8f（x）：

作用（激发）函数作用（激发）函数是一种阶跃函数。

是一种阶跃函数。

从神经元的结构示意图上可见：

当输入从神经元的结构示意图上可见：

当输入yj的加权和的加权和大于大于域值域值时，神经元的输出时，神经元的输出yi=1，即神经元处于，即神经元处于“兴奋状态兴奋状态”；反之，当输入反之，当输入yj的加权和的加权和大于域值大于域值时，神经元的输时，神经元的输出出yi=0，即神经元处于，即神经元处于“抑制状态抑制状态”在基本在基本MP模型中取整数。

模型中取整数。

2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系9人工神经元模拟生物神经元的人工神经元模拟生物神经元的人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性一阶特性一阶特性。

输入输入：

Y=（y0，y1，y2，yn）联接权：

联接权：

W=（w0，w1，w2，wn）T网络输入：

网络输入：

netj=wjiyi向量形式：

向量形式：

netj=WYynwny1w1y2w2neti=WYMPMP模型的另一种形式模型的另一种形式模型的另一种形式模型的另一种形式令令，则，则MP神经元模型可以表示为：

神经元模型可以表示为：

2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系102.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型M-PM-P模型从哪些方面刻画了自然神经元？

模型从哪些方面刻画了自然神经元？

前面已介绍过生物（自然）神经元具有如下特点：

两态工作：

即工作于兴奋或抑制两种状态；阈值作用：

即超过某一阈值则神经元兴奋；多输入单输出特性；空间叠加性；可塑性联接：

即突触部分的联接强度可以调节。

虽然M-P模型无法实现生物神经元的空间、时间的交叉叠加性，但其它生物神经元功能都具备。

2006-5-9北京科技大学自动化系11M-PM-P模型在人工神经网络中的地位模型在人工神经网络中的地位首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。

其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。

因此M-P人工神经元是整个人工神经网的基础。

2.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系122.12.1人工神经元的基本模型人工神经元的基本模型第二章第二章人工神经网络的基本模型人工神经网络的基本模型对对M-PM-P人工神经元进行改进的主要方式有如下几个方面人工神经元进行改进的主要方式有如下几个方面:

神经元的内部改造：

对人工神经元取不同的非线性函数；对输入和输出做不同的限制：

离散的（某些离散点）和连续的（整个实数域）。

神经网络的结构上的改造：

人工神经元之间的联接形式不同。

算法的改进：

在人工神经网络权值和阈值取求的方法上不同。

其它形式的改造。

2006-5-9北京科技大学自动化系13激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换，也常称为激励函数、活化函数：

换，也常称为激励函数、活化函数：

o=f（net）线性函数（线性函数（线性函数（线性函数（LinerFunctionLinerFunctionLinerFunctionLinerFunction）f（net）=k*net+cnetooc2.22.2几种典型的激活函数几种典型的激活函数（ActivationFunction）（ActivationFunction）第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系142222、非线性斜面函数、非线性斜面函数、非线性斜面函数、非线性斜面函数（RampFunction）（RampFunction）（RampFunction）（RampFunction）ifnetf（net）=k*netif|net|0为为一一常常数数，被被称称为为饱饱和和值值，为该神经元的最大输出。

为该神经元的最大输出。

-neto2.22.2几种典型的激活函数几种典型的激活函数（ActivationFunction）（ActivationFunction）第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系15ifnetf（net）=-ifnet均为非负实数，均为非负实数，为阈值。

为阈值。

二值形式：

二值形式：

1ifnetf（net）=0ifnet双极形式：

双极形式：

1ifnetf（net）=-1ifnet-onet02.22.2几种典型的激活函数几种典型的激活函数（ActivationFunction）（ActivationFunction）第二章第二章人工神经网络的基本模型人工神经网络的基本模型阈值函数（阈值函数（阈值函数（阈值函数（ThresholdFunctionThresholdFunction）阶跃函数）阶跃函数）阶跃函数）阶跃函数2006-5-9北京科技大学自动化系162.22.2几种典型的激活函数几种典型的激活函数（ActivationFunction）（ActivationFunction）第二章第二章人工神经网络的基本模型人工神经网络的基本模型其他形式的作用函数其他形式的作用函数其他形式的作用函数其他形式的作用函数:

不同的作用函数，可构成不同的神经元不同的作用函数，可构成不同的神经元模型。

模型。

非对称型非对称型Sigmoid函数函数:

简称简称S型作用函数，是可微的，用下式表示：

型作用函数，是可微的，用下式表示：

如图如图（a）和和（b）fxex（）=+-11或或fxex（）=+-11bb02006-5-9北京科技大学自动化系17第二章第二章人工神经网络的基本模型人工神经网络的基本模型对称型对称型Sigmoid函数函数是可微的，是可微的，用下式表示：

如用下式表示：

如图图（a）（a）和和（b）（b）fxeexx（）=-+-11或或fxeexx（）=-+-11bb，b0或或fxeeeexxxx（）=-+-bbbb，b02006-5-9北京科技大学自动化系18对称型阶跃函数对称型阶跃函数第二章第二章人工神经网络的基本模型人工神经网络的基本模型2006-5-9北京科技大学自动化系19第二章第二章人工神经网络的基本模型人工神经网络的基本模型高斯函数高斯函数:

是可微的，分一维和高维，用下式表示：

如图是可微的，分一维和高维，用下式表示：

如图（a）和和（b）2006-5-9北京科技大学自动化系20神经元演示神经元演示非线性作用函数非线性作用函数（激发函数）（激发函数）2.22.2几种典型的激活函数几种典型的激活函数（ActivationFunction）（ActivationFunction）