新息模型的独立分量分析方法.docx

新息模型的独立分量分析方法.docx

《新息模型的独立分量分析方法.docx》由会员分享，可在线阅读，更多相关《新息模型的独立分量分析方法.docx（8页珍藏版）》请在冰豆网上搜索。

新息模型的独立分量分析方法

新息模型的独立分量分析方法

　　?

ふ?

要：

　　为提高独立分量分析（ICA）算法的收敛速度与收敛精度，引入ICA方法的新息模型。

通过新息的计算减少观测数据间的冗余进而增加了潜在分量的非高斯性。

实验中利用具有弱相关性的图像信号进行仿真，通过与传统算法的比较证明了新方法能有效提高收敛速度和收敛精度。

　　?

ス丶?

词：

　　独立分量分析;新息模型;时间滤波;峭度

　　?

ブ型挤掷嗪牛?

TP391.41

　　文献标志码：

A

　　英文标题

　　?

?

　　Independentcomponentanalysiswithinnovationmodel

　　?

び⑽淖髡呙?

　　SHULang,SHUQin,SUJing

　　?

び⑽牡刂?

（

　　SchoolofElectricalEngineeringandInformation,SichuanUniversity,ChengduSichuan610065,China

　　英文摘要

　　）?

?

　　Abstract:

　　InordertoimprovetheconvergencerateandaccuracyofIndependentComponentAnalysis（ICA）algorithm,anindependentcomponentanalysisofinnovationmodelwasproposed.Thefundamentalmechanismofinnovationmodelwastoreducetheredundancyamongtheobservedsamples,thusitcouldincreasethenon?

?

Gaussianityofthelatentcomponents.Approximatelyindependentimagesignalsweretakentodothesimulation.Thesimulationresultsshowthatthenewmethodhasasuperiorperformanceinbothconvergerateandaccuracytothetraditionalone.

　　英文关键词

　　?

?

Keywords:

　　IndependentComponentAnalysis（ICA）;innovationmodel;timefiltering;kurtosis

　　0引言?

?

　　独立分量分析（IndependentComponentAnalysis,ICA）是目前流行的一种高阶统计数据的分析方法，在潜在分量满足独立（或者近似独立）以及非高斯性约束的前提下，能够通过目标函数的优化实现潜在分量的提取和估计［1-4］。

随着大量有效的ICA算法的提出，ICA方法成为了当前国内外研究的热点，并在特征提取、生物医学信号处理、无线通信、金融等方面得到广泛应用［1-7］。

?

?

　　实际中，成分常常含有缓慢变化的趋势或波动，导致独立性变弱，从而在使用经典的ICA算法直接进行分离的时候出现收敛缓慢、辨识精度不够等缺点。

本文考虑了对原数据集进行新息方法的预处理，得到ICA的新息模型,其满足原始ICA模型中独立性和非高斯性的假设条件和分离矩阵不变的特点。

实验结果证明了方法的有效性。

?

?

　　1数学模型?

?

　　1.1新息过程?

?

　　?

Ц?

定随机过程x（n）,定义它的新息过程?

?

（n）为根据x（n）的过去（实际中n不一定表示时间）对x（n）的最佳预测E（x（n）|x（n－1）,x（n－2）,…,x

（1））的误差［3］。

?

?

　　?

?

（n）=x（n）－E（x（n）|x（n－1）,x（n－2）,…,x

（1））;?

?

n=1,2,…,N

（1）

　　其中：

N×1向量?

?

（n）表示从观测数据x（n）获得的新的信息，简称新息。

?

?

　　可以看出原过程x（n）的新息过程?

?

（n）和x（n）包含了同样多的信息，?

д庖彩强梢栽诰?

过新息处理的数据集上运行ICA算法的基础。

?

?

　　1.2ICA方法的新息模型?

?

　　在线性瞬时混合与无噪情况下的ICA模型为［1］:

?

?

　　?

?

X（n）=AS（n）;n=1,2,…,M

（2）

　　其中：

X（n）=（x?

?

1（n）,x?

?

2（n）,…,x?

?

?

?

N?

?

1（n））?

?

?

?

T?

?

为观测数据向量，x?

?

1（n）,x?

?

2（n）,…,x?

?

?

?

N?

?

1（n）为各个分量;S（n）=（s?

?

1（n）,s?

?

2（n）,…,s?

?

?

?

N?

?

2（n））?

?

?

?

T?

?

为独立源向量,s?

?

1（n）,s?

?

2（n）,…,s?

?

?

?

N?

?

2（n）为各分量，满足统计独立和非高斯性假设（至多只有一个高斯信号）;n为样本数量。

在源向量的数目和观测向量数目相同的情况下（N?

?

1=N?

?

2=N，此时A为N×N维的混合矩阵）分离矩阵和源信号的估计分别为W（N×N维）、Y（n）=（y?

?

1（n）,y?

?

2（n）,…,y?

?

N（n））?

?

?

?

T?

?

（N×M维），满足：

?

?

　　Y（n）=WX（n）;n=1,2,…,M（3）?

?

　　由于?

?

ICA?

?

方法只关心信号波形，所以假设下面讨论的信号均满足零均值和单位方差。

?

?

　　按照信息论，X（n）和S（n）的新息分别定义为［3］：

?

?

　　?

?

（n）=X（n）－E（X（n）|X（n－1）,X（n－2）…,X

（1））（4）?

?

　　?

?

（n）=S（n）－E（S（n）|S（n－1）,S（n－2）,…,S

（1））（5）?

?

　　在式（5）的左右两端同时乘以A有：

?

?

　　A?

?

（n）=AS（n）－AE（S（n）|S（n－1）,S（n－2）,…,S

（1））

　　=AS（n）－E（AS（n）|S（n－1）,?

?

S（n－2）,…,S

（1））（6）?

?

　　由X（n）=AS（n）及信息论可知：

S（n－1）,S（n－2）,…,S

（1）和X（n－1）,X（n－2）,…,X

（1）两数据集在线性变换条件下包含同样的信息,所以：

?

?

　　E（AS（n）|S（n－1）,S（n－2）,…,S

（1））=?

?

E（X（n）|X（n－1）,X（n－2）,…,X

（1））（7）?

?

　　由式

（1）可知：

?

?

　　?

?

（n）=A?

?

（n）（8）?

?

　　记I（s?

?

i（n）,s?

?

j（n））为源信号s?

?

i（n）,s?

?

j（n）的互信息，由于?

?

i（n）,?

?

j（n）表示从s?

?

i（n）,s?

?

j（n）得到的对于过程的所有新的信息，则当I（s?

?

i（n）,s?

?

j（n））=0，I（?

?

i（n）,?

?

j（n））=0。

?

?

　　因此独立源s?

?

1（n）,s?

?

2（n）,…,s?

?

?

?

N?

?

2（n）的新息?

?

1（n）,?

?

2（n）,…,?

?

?

?

N?

?

2（n）仍然统计独立。

这也就证明了式（8）满足了?

?

ICA?

?

的基本模型，并且混合矩阵A不变。

这也就是说，对?

?

ICA?

?

的新息模型运行经典?

?

ICA?

?

算法得到的分离矩阵W，可直接用于对原观测数据X（n）的分离以得到独立分量。

?

オ?

　　?

┑?

2期?

?

　　舒朗等：

新息模型的独立分量分析方法

　　?

?

　　?

┆┘扑慊?

应用?

┑?

31卷

　　1.3收敛性分析?

?

　　?

в墒?

（2）与式（3）可知,分离向量可用分离矩阵表示为:

?

?

　　Y（n）=WX（n）=WAS（n）=QS（n）（9）

　　其中:

Y（n）=（y?

?

1（n）,…,y?

?

N（n））?

?

?

?

T?

?

；?

?

　　S（n）=（s?

?

1（n）,…,s?

?

N（n））?

?

?

?

T?

?

?

?

　　若q表示Q矩阵的一行,则任一分量y（n）可表示为:

y（n）=q?

?

?

?

T?

?

S（n）,这就是说分量y可以表示成源信号的线性组合。

若以kurt（y）表示分量y的峭度,则由峭度的性质:

?

?

kurt（s?

?

i+s?

?

j）=kurt（s?

?

i）+kurt（s?

?

j）和kurt（αs?

?

i）=α?

?

4kurt（s?

?

i）,其中α为常数。

于是以峭度为判据的目标函数J可以表示成［1］:

?

?

　　J=|kurt（y）|=|∑n?

?

i=1q?

?

4?

?

?

?

ikurt（s?

?

?

?

i）|（10）?

?

　　对应的梯度下降算法可以表示成:

?

?

　　?

?

Δ?

?

q←η?

?

?

氮?

|∑n?

?

i=1q?

?

4?

?

?

?

ikurt（s?

?

?

?

i）|q（11）

　　其中η为步长。

式（11）即:

?

?

　　?

?

Δ?

?

q←η?

?

sign?

?

（kurt（y））（4q?

?

3?

?

?

?

1kurt（s?

?

?

?

1）,…,4q?

?

3?

?

?

?

nkurt（s?

?

?

?

n））?

?

?

?

T?

?

（12）?

?

　　其近似表达式为:

?

?

　　?

?

Δ?

?

q?

?

?

?

i←4η?

?

sign?

?

（kurt（y））q?

?

3?

?

?

?

ikurt（s?

?

?

?

i）（13）?

?

　　可以看到?

?

Δ?

?

q?

?

i正比于s?

?

i的峭度即有:

?

?

Δ?

?

q?

?

i∝kurt（s?

?

i）,其对应的不动点算法有:

?

?

　　q?

?

?

?

i←4q?

?

3?

?

?

?

ikurt（s?

?

?

?

i）（14）

　　亦有q?

?

i∝kurt（s?

?

i）。

结合式（13）、（14）可知,基于峭度的最大非高斯估计方法的收敛速度随着源信号的非高斯性增强而加快。

又由于经典?

?

ICA?

?

算法的等价性［5-6］,因此可以认为在使用其他目标函数的情况下也能得到同样的结论。

显然源信号的新息信号较源信号的非高斯性更强,所以对应的?

?

ICA?

?

算法的收敛速度也会加快。

?

オ?

　　1.4基于新息模型的ICA方法?

?

　　综上所述，应用新息预处理的ICA方法的具体步骤是：

?

?

　　?

?

1）求观测信号X（n）的新息?

?

（n）；?

?

　　2）对数据集?

?

（n）运行?

?

ICA?

?

算法以得到分离矩阵W；?

?

　　3）将W作用于X（n），Y（n）=WX（n）。

?

?

　　步骤1）中新息的估计模型有多种,例如一阶差分滤波、自适应养分滤波等。

?

オ?

　　2实验仿真与分析?

?

　　2.1仿真算法?

?

　　实验中将使用大小为102×102的图像作为仿真信号。

整体算法的具体步骤如下：

?

?

　　?

?

1）对3幅图像做水平“之”字型扫描。

扫描之后的向量存放在3×n矩阵当中。

将3幅图像当做3个行向量来处理。

?

?

　　2）对新息的估计则采用简单的一阶差分估计，得到混合信号的新息。

?

?

　　3）在新息数据集上运行基于负熵的快速?

?

ICA算法（FASTIndependentCompondentAnalysis,FASTICA）?

?

得到分离矩阵W。

?

オ?

　　4）分离矩阵左乘原始混合信号的矩阵表示得到独立分量，并对行向量用“之”字型扫描的逆过程得到图像信号。

?

?

　　2.2仿真结果?

?

　　为比较性能，引入串音误差［1］：

?

?

　　?

?

PI=∑mi（∑mj=1|p?

?

?

?

ij|?

┆?

max?

?

k|p?

?

?

?

ik|－1）+∑mj（∑mi=1|p?

?

?

?

ij|?

┆?

max?

?

k|p?

?

?

?

kj|－1）

　　（15）

　　其中p?

?

?

?

ij表示矩阵P（P=WA）的元素。

PI指数越小说明分离效果越好（PI≥0）。

?

オ?

　　图1给出了源图像信号,图2给出了混合后的图像。

　　图片

　　图1源图像信号

　　?

?

　　随机生成混合矩阵：

?

?

　　?

?

A=-0.432?

B560.287?

B681.189?

B2

　　-1.665?

B6-1.146?

B5-0.037?

B633

　　0.125?

B331.190?

B90.327?

B29?

オ?

　　图片

　　图2混合图像信号

　　?

?

　　?

е苯釉诵歇?

FASTICA?

?

得到的P矩阵为：

?

?

　　P=0.053?

B7823.928?

B50.498?

B65?

?

4.991?

B6-0.281?

B460.624?

B24?

?

0.588?

B241.398?

B6-3.823?

B5?

オ?

　　?

?

PI=1.691?

B7?

オ?

　　图3给出了直接采用FASTICA得到的结果，可以看出,结果不太理想,特别是第3分量精度很差，共计迭代36步。

?

?

　　图片

　　图3经典FASTICA分离得到的图像

　　?

?

　　混合图像的新息数据如图4所示。

　　?

г谛孪⒃ご?

理后的数据集上运行?

?

FASTICA?

?

得到的P矩阵为：

?

?

　　P=14.617-0.044?

B7150.030?

B03?

?

0.137?

B780.025?

B71510.48?

?

0.066?

B927.092?

B9-0.134?

B58?

オ?

　　图片

　　图4新息图像

　　?

?

　　?

?

　　图片

　　图5新息预处理后采用FASTICA分离得到的图像

　　?

?

　　?

?

PI=0.088?

B8?

オ?

　　共计迭代17步。

?

?

　　反复实验100次。

发现在经新息预处理的ICA方法收敛速率明显高于直接运行的ICA算法，如图6所示。

?

?

　　图片

　　图6两种算法收敛步数的比较

　　图6中曲线A为使用经典ICA算法做分离时收敛所用的步数,曲线B为在经过新息预处理的数据集上运行经典ICA算法的收敛步数。

?

?

图7显示了两种方法PI指数的比较。

?

オ?

　　?

Э梢钥闯?

在新息数据集上运行算法,分离矩阵的PI指数远低于直接运行时的结果,并且波动较小。

上述收敛步数和PI指数的比较中每一次实验的随机混合矩阵相同。

?

オ?

　　图片

　　?

?

图7PI指数比较?

?

　　3结语?

?

　　在运用经典的ICA算法之前对观测数据进行新息的处理。

同经典ICA方法相比，新息方法首先考虑原始数据之间的依赖性，利用新息变换增强了潜在分量非高斯性。

而由于在新的数据集上运行ICA算法得到的分离矩阵与直接运行ICA算法相同的特点，使得此方法简单易行。

实验仿真结果表明，新息预处理方法确实能加快收敛的速度以及提高收敛的精度。

由于新息滤波的简单性和通常观测数据间的普遍相关性,使得它能成为一种普遍适用的预处理方法。

　　参考文献:

　　[1]

　　HYV?

FRINENA,KARHUNENJ,OJAE.Independentcomponentanalysis［M］.NewYork:

Wiley,2001

　　.

　　［2］

　　HAYKINS.自适应滤波器原理［M］.郑宝玉,译.4版.北京：

电子工业出版社，2006

　　.

　　［3］

　　张贤达.现代信号处理［M］.2版.北京：

清华大学出版社，2002.

　　.

　　［4］

　　COMONP.Independentcomponentanalysis,anewconcept?

［J］.SignalProcessing,1994,36（3）:

287-314

　　.

　　［5］

　　HYVARINENA．Fastandrobustfixed?

?

pointalgorithmsforindependentcomponentanalysis［J］.IEEETransactionsonNeuralNetworks，1999，10（3）：

626-634

　　.

　　［6］

　　NATHMK.Independentcomponentanalysisofrealdata［C］//Proceedingsofthe2009SeventhInternationalConferenceonAdvancesinPatternRecognition.WestBengal,India:

［s.n.］,2009:

149-152

　　.

　　［7］

　　HYVARINENA.Asurveyonindependentcomponentanalysis［J］.NeuralComputingSurveys，l999，2：

94-l28