四元数神经网络文档格式.docx
《四元数神经网络文档格式.docx》由会员分享,可在线阅读,更多相关《四元数神经网络文档格式.docx(10页珍藏版)》请在冰豆网上搜索。
![四元数神经网络文档格式.docx](https://file1.bdocx.com/fileroot1/2022-10/11/51c51d80-a19e-4c31-89a4-29c665739644/51c51d80-a19e-4c31-89a4-29c6657396441.gif)
f(s)=严)(s©
)+严)(s(0”
J1for5>
0
t-1fors<
网络描述漓散时间双极值的Hopfield网络採用串行工作方式
(§
{(£
),⑴心)"
)}^{1.-1})
•网络权值矩阵
这里N表示样本向量的维数,即网络中神经元的个数』wp,qWN;
np表示样本的个数,权值矩阵W是一个NXN的矩阵.
权值矩阵W是共轨对称,对角元非负的:
wpq=Mqp
=—r>
•收敛性结果
、NN/N
能量函数:
£
=飞工工听®
wpq€>
%+屁(刀B;
®
xp卩=lq=l\p=l
U!
矿=E
结果:
对于串行的离散时间双极值的四元数Hopfield网络,若权值矩阵共轨对称且对角元非负,则每次迭代后,能量函数E是单调减的(非严格)・
实验描述:
3个神经元存储1个样本
存储样本:
Ci={&
小£
学}
=(1/1,-14),
1.2=(—1,1,—1,—1),
7
1
权值矩阵:
W=-
■
—%
k
1/
1:
3=(1?
1丄一1)・
不动点:
由于网络中只存储了一个样本,勺和(■§
)肯定是网络的不动点
戸,1
J,2
$1
(1,1,-13)
(-1,1,-1,-1)
(1,1,1,-1)
2
(―1,1,1,—1)
(—1,—1,1,1)
3
(—1,1,—1,—1)
(-1,-1?
1?
-1)
(1,—1,—1,—1)
4
(-1JJJ)
(―1,—1,—1,1)
5
(—1,1,—1,1)
(-1,-1,-1,-1)
(1,1,—1,—1)
6
(-1,1,1,1)
(-1,-1,1,-1)
(―1丄1,—1)
(1,—1,1,—1)
8
(1,1,1,1)
(—1,1,1,一1)
—$9
(-1,-1.1,-1)
(1,-1.1.1)
(—1,—1・一1,1)
10
(1,—1,1,—1)
(1,—1,—1,1)
11
(—1,—1」1)
(1,—1,—1,1)
(—1,1,—1,1)
12
(—1,—1,—1,1)
(1,-1,-1,-1)
(1,1,-L1)
13
(1,—1」,一丄)
(—丄,一丄」丄)
14
(1,-1,1,1)
15
(hi,-1J)
(-1,1,1,1)
16
(1,1,1,1)
表中的16个向量都是网络的不动点,并且权值矩阵W均
可以由表中任意一个向量产
{右,鼻…^16)称为一个多重态(multiplet);
知…点血称为样本右的退化模式(degeneratedpattern)・
单位变换:
孑二
■>
!
—=
®
Ct}
•多重态现象的原因
由于网络是双极值的,即四元数的每个分量只能取1或满足要求的
a只有16个,所以一组多重态所含向量的个数是16・
数域
一个多重态所含向量的个数
单位变换
实数域
2=21
1,-1
复数域
4=22
1,-1,i,-i
四元数
16=24
a〕,a?
a〔6
多重态现象的好处:
相当于扩大了“收敛域”,当网络收敛到右的退化模式也是有意义的,因为退化模式中的向量只要经过一个单位变换就可以变换为样本右.
1N
汉明距离:
㊁丫E(1—骑•总聘)一p=la={e.i,j.k}
例:
={(UL1),(MU),(M1>
&
二{(——1),(——1)浪LL1)}
<
4)=8
多重态
(1=1
(1=2
(1=10
d二11
120
116
取4080个向量,按照汉明距离分成11组
浅灰:
收敛到相应向量深灰:
未收敛到相应向量
1234567891011
Distance
■数值试验2
4个神经元存储1个样本
={&
1疋1,2上1,3^1,4}<
1=(1,1,1,1),
€1,2—(1,1,-1,-1),
1,3=(-1J,-1,1),
1,4=(1?
一4一41)・
(1
k-i
j\
“丁1
—k
%
•
-J
#
—I
-k
V
取65520个向量,按照汉明距离分成15组
d=2
(1=14
(1=15
(%)2e」-_e。
①CC
123456789101112131415
收敛到相应向量
中灰:
未收敛到相应向量但收敛到其退化模式黑色:
以上两种情况外
100
80
60
40
20
UL
-数值试验3
试验描述:
比较四元数Hopfield网络和实值Hopfield网络的抗噪声能力
1,釆用40个神经元
-1
X
11-1)、
〔1
-11-1)
f
-1-11)
■\
C-1
/
-111)
-111》
样本:
岁=
四元数Hopfield网络
样本珞
实值Hopfield网络
噪声:
只发生在四元数的实数部分,即只对g的第1列进行干扰;
噪声率:
若噪声率为0・5,表示随机改变◎的第1列中的20个分量;
收敛成功:
1)收敛到&
2)收敛到&
的退化模式
00
00.10.20.30.40.5
Noiseratiointherealpartsoftheinputpatterns
0.10.20.30.40.5
Noiseratiointheinputpatterns
•数值试验3
2,采用100个神经元
Noiseratiointherealpartsoftheinputpatterns
•数值试验3的结果分析
原因1:
四元数虚数部分信息对于实数部分的支持,试验中虚数部分信息是准确的,直观的解释就是由于四元数乘法规则造成的:
q=+p⑴z+p{J\f+”%)(8)(旷)+§
⑴『+gU)/+©
伉%)
二3勺⑹-计W)-p(力少)-戸⑹严),戸何护+护才)+卩⑺严)—卩⑹护),
p(荀(力_泸)严)+卩(力护)+计)弹护)护)+护)护)_计)畀+p(Qq®
原因2:
“收敛域”的扩大,即四元数多重态中的向量个数大于实数域
多重态中的向量个数.
1,
2,
3,
•问题
四元数Hopfield网络的存储容量和不动点
TSP问题
网络模型的推广
Hopfield模型
MLP模型
RBF模型
RBF模型?
rm—回上四兀数
阶前馈网络
高阶前馈网络?