1、4.4对偶传播神经网络,1987年,美国学者Robert Hecht-Nielsen提出对偶传播神经网络模型(Counter-Propagation Network,缩写为CPN),对偶传播网络,4.4.1 网络结构与运行原理,X(x1,x2,xn)T Y(y1,y2,ym)T,yi0,1,i=1,2,m O(o1,o2,ol)T d(d1,d2,dl)T V=(V1,V2,Vj,Vm)W=(W1,W2,Wk,Wl),对偶传播神经网络,网络各层的数学描述如下:,对偶传播神经网络,CPN网运行过程,4.4.2 CPN的学习算法,第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练,步骤如下:
2、,(1)将所有内星权随机地赋以01之间的初始值,并归一化为单位长度,训练集内的所有输入模式也要进行归一化。(2)输入一个模式Xp,计算净输入netj=,j=1,2,m。(3)确定竞争获胜神经元。(4)CPN网络的竞争算法不设优胜邻域,因此只调整获胜神经元的内星权向量,调整规则为(5)重复步骤(2)至步骤(4)直到下降至0。需要注意的是,权向量经过调整后必须重新作归一化处理。,对偶传播神经网络,4.4.2 CPN的学习算法,第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训练,步骤如下:(1)输入一个模式对Xp,dp,计算净输入netj=,j=1,2,m,(2)确定竞争获胜神经元,使(4.17)(3)调整隐层到输出层的外星权向量,调整规则为(4.18)ok由下式计算,(4.19),(4.20),对偶传播神经网络,4.4.2 CPN的学习算法,(4.18),(4.20),外星权向量调整规则:,(4.21),(4)重复步骤(1)至步骤(3)直到下降至0。,对偶传播神经网络,4.4.3 对偶传播神经网络4.4.3.1 双获胜节点CPN网,4.4.3.2 双向CPN网,Y=f(X)X=f(Y),当向网络输入(X,0)时,网络输出为(Y,0);当向网络输入(0,Y)时,网络输出为(0,X),当向网络输入(X,Y)时,网络输出为(Y,X)。,4.4.4 CPN网络的应用,