独立成分分析技术研究Word文档下载推荐.docx

独立成分分析技术研究Word文档下载推荐.docx

《独立成分分析技术研究Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《独立成分分析技术研究Word文档下载推荐.docx（33页珍藏版）》请在冰豆网上搜索。

1.研究独立成分分析算法；

2.完成演示程序

四、进度和要求

第01周----第02周：

英文翻译；

第03周----第04周：

学习主成分分析与独立成分分析技术；

第05周----第10周：

研究独立成分分析算法；

第11周----第16周：

设计演示程序；

第17周----第18周：

撰写毕业设计论文，论文答辩；

五、主要参考书及参考资料

[1]《IndependentComponentAnalysis》AapoHyvarinen,JuhaKarhunen,ErkkiOja,Wiley-Interscience;

1edition,2001

[2]《IndependentComponentAnalysis:

ATutorialIntroduction》JamesV.Stone,ABradfordBook,2004

[3]《BayesianReasoningandMachineLearningHardcover》DavidBarberCambridgeUniversityPress2012

学生指导教师系主任___________

摘要

主成分分析（PrincipalComponentsAnalysis，PCA）是一种分析、简化数据集的技术。

主成分分析的原理是设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。

独立成分分析（IndependentComponentAnalysis,简称ICA）或独立分量分析是一种利用统计原理进行计算的方法。

它是一个线性变换,这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。

目前比较流行的ICA算法又Infomax算法（信息最大化）、FastICA算法（定点算法，Fixed-point、快速ICA算法），方法分类的依据主要是求取分离矩阵W的方法不同。

计算最大似然估计时，假设了

与

之间是独立的，然而对于语音信号或者其他具有时间连续依赖特性（比如温度）上，这个假设不能成立。

但是在数据足够多时，假设独立对效果影响不大，同时如果事先打乱样例，并运行随机梯度上升算法，那么能够加快收敛速度。

在诸多ICA算法中，固定点算法（也称FastlCA）以其收敛速度快、分离效果好被广泛应用于信号处理领域。

该算法能很好地从观测信号中估计出相互统计独立的、被未知因素混合的原始信号。

本论文对，独立成分分析的一个改进的梯度学习算法进行了分析，简称正交信息极大化算法（OrthogonalInfomax,Orth-Infomax）这个算法综合了Infomax算法和Fixed-Point（不定点）算法的优点。

从语音信号和fMRI信号两方面来比较这三个算法。

就语音信号的分离准确度来说，Orth-Infomax算法具有最好的分离精度。

对于真实的fMRI数据来说，Orth-Infomax算法具有最佳的估计脑内激活的时间动力学准确性。

相应的做出了语音数据的实验结果和fMRI数据的实验结果。

ICA的主要的应用是特征提取、盲源信号分离、生理学数据分析、语音信号处理、图像处理及人脸识别等。

关键词：

主成分分析，独立成分分析，最大似然估计，FastICA算法，ICA的应用

ABSTRACT

PrincipalcomponentAnalysis,PrincipalComponentsAnalysis,PCA）isakindofAnalysis,simplifythetechnologyofdatasets.Principalcomponentanalysisisoftenusedtoreducethedimensionsofthedatasets,whilekeepingthecharacteristicofthelargestcontributiontothevarianceofadataset.Thisisbyretainingloworderprincipalcomponent,ignorehigher-orderprincipalcomponent.Principalcomponentanalysis（pca）isastatisticalmethodofdimensionreduction,itisbyusingaorthogonaltransformation,theoriginalrandomvectorthatarerelevanttothecomponentintoitscomponentisnotrelatedtothenewrandomvector,thisappearstobetheoriginalrandomvectoronthealgebraofcovariancematrixtransformationintoadiagonalmatrix,onthegeometryoftheoriginalcoordinatetransformationintoaneworthogonalcoordinatesystem,makeitpointstosamplepointstospreadthemostopenporthogonaldirection,andthentomultidimensionalvariablesystemdimension,makeittoahighprecisionsystemistransformedintolowdimensionalvariables,thenthroughconstructingthepropervaluefunction,furtherthelow-dimensionalsystemsintoonedimension.

Theprincipleofprincipalcomponentanalysisistotrytointoanewsetoftheoriginalvariableswereindependentofeachotherafewvariables,atthesametime,accordingtotheactualneedtotakeoutafewlessthesumofthevariablesasmuchaspossibletoreflecttheoriginalstatisticalmethodsofinformationcalledprincipalcomponentanalysis（orcalledprincipalcomponentanalysis,alsoisakindofmathematicalprocessingdimensionreductionmethod.

IndependentComponentAnalysis（IndependentComponentAnalysis,ICA）andIndependentComponentAnalysisisamethodofusingstatisticsprincipletocompute.Itisalineartransformation,thetransformationorthedatasignalisseparatedintoindependentnon-gaussianstatisticslinearcombinationofthesignalsource.AtpresentmorepopularICAalgorithmandInfomaxalgorithm（informationmaximization）,FastICAalgorithm（fixed-pointalgorithm,Fixed-point,fastICAalgorithm）,classificationmethodismainlybasedondifferentmethodstocalculatetheseparationmatrixW.

Tocalculatethemaximumlikelihoodestimation,hypothesisandbetweenisindependent,yetforspeechsignalorothertimecontinuousdependencecharacteristics（suchastemperature）,thehypothesiscannotbeestablished.Butinenoughdata,assumingindependentinfluenceontheeffectisnotbig,ifdisruptedthesampleinadvanceatthesametime,risingandrunthestochasticgradientalgorithm,thencanacceleratetheconvergencespeed.

ThispaperanalysestheFastICAalgorithm,independentcomponentanalysisofanimprovedlearningalgorithmofgradient,hereinafterreferredtoasorthogonalinformationmaximizationalgorithm（OrthogonalInfomax,ORTH-Infomax）thisalgorithmcombinesInfomaxalgorithmandtheadvantagesofFixed-Pointalgorithm.FromtwoaspectsofspeechsignalandthefMRIsignaltocomparethethreealgorithms..Intermsofspeechsignalseparationaccuracy,Orth-Infomaxseparationalgorithmhasthebestaccuracy.ForrealfMRIdata,Orth-Infomaxalgorithmhasthebestdynamicaccuracyestimatebrainactivationtime.CorrespondingtothevoiceanddataoftheexperimentalresultsandtheexperimentalresultsoffMRIdata.

InmanyICAalgorithm,fixedpointalgorithm（alsocalledFastlCA）foritsquickconvergencerate,goodseparationeffectiswidelyusedinsignalprocessingfield.Thealgorithmcanestimatethestatisticallyindependentofeachotherfromtheobservedsignals,mixedbyunknownfactors,theoriginalsignal.

TheICAisthemainapplicationofthefeatureextraction,physiologicaldatasignalblindsourceseparation,analysis,speechsignalprocessing,imageprocessing,facerecognition,etc.

Keywords:

principalcomponentanalysis,independentcomponentanalysis,themaximumlikelihoodestimation,FastICAalgorithm,theapplicationofICA

目录

第一章绪论1

1.1独立成分分析的概述1

第二章主成分分析法3

2.1主成分分析定义与概述3

2.2主成分分析的发展史4

2.3主成分分析基本思想6

2.4主成分分析法的基本原理7

2.5主成分分析法的计算步骤8

2.6主成分分析法的优缺点9

2.6.1优点9

2.6.2缺点9

第三章独立成分分析技术11

3.1独立成分分析定义及背景11

3.2ICA和投影法12

3.3ICA的分类12

3.4独立成分分析基本原理与发展13

3.4.1基本模型13

3.4.2立性测度为依据，确定目标函数 

13

第四章独立成分分析算法15

4.1独立成分分析算法与空间数据分析15

4.2密度函数和线性变换16

4.3最大似然估计法16

4.4FastICA算法18

4.4.1FastICA简介18

4.4.2FastICA算法的优点18

4.4.3FastICA算法的说明19

4.5实验结果20

4.5.1语音数据的实验结果20

4.5.2fMRI数据的实验结果21

第五章ICA的应用24

5.1在脑磁图（MEG）中分离非自然号24

5.2在金融数据中找到隐藏的因素24

5.3自然图像中减少噪声24

5.4人脸识别25

5.5图像分离26

5.6语音信号处理28

第六章全文总结30

参考文献31

致谢33

毕业设计小结34

第一章绪论

1.1独立成分分析的概述

独立成分分析（IndependentComponentAnalysis,简称ICA）的思想和方法最早源于上世纪八十年代几个法国学者的研究工作，尽管当时他们并没有命名其为independentcomponentanalysis。

在1986年举行的神经网络计算会议上,法国学者Herault和Jutten提出了一个基于神经网络模型和Hebb学习准则的方法,来解决盲源分离问题（blindsourceseparation，简称BS）。

他们的工作开创了信号处理领域的新纪元，从此盲源分离问题得到了各国学者的广泛重视。

但在当时，ICA仅为法国学者所研究在国际上的影响十分有限。

八十年代国际神经网络会议上，当时少数有关ICA的文章被埋没于back-propagation网络、Hopfield网络、Kohonen自组织网络的研究热潮中，并没有引起各国学者足够的重视。

进入到上世纪九十年代初期，某些学者开始了这方面的研究，他们扩展了八十年代有关盲分离问题的一些工作。

其中，学者Cichocki和Unbehauen提出了当时较为流行的ICA算法，芬兰学者Oja,Karhunen等提出了“非线性PCA”方法。

然而，直到九十年代中期，ICA仍然只得到少数学者的关注，主要原因是这些学者提出的算法所能解决的问题是相当有限的。

事实上，解决盲源分离问愚是一个非常困难的任务，因为我们不知道源信号的任何信息。

在Herault和Jutten提出的算法中，只作了两个假设:

一个是假设源信号是相互统计独立的，另一是假设己知源信号的统计分布特征。

如果假设源信号是高斯分布的，则很容易看出这个育源分离问题没有一般的解，因为高斯分布的任何线性混合仍然是高斯的。

用Herault-Jutten的网络模型解决盲源分离问题，需要假设源信号是亚高斯信号，也就是说源信号的峰度值要小于高斯信号的峰度

值。

直到1994年，法国学者COMOU为Herault和Jutten提出的独立成分分析问题给出了一个较为清晰的数学上的框架，从此independentcomponentanalysis成为正式用语。

到日前为止，标准的独立成分分析算法己经较为成熟，国际上使用最为广的是信息极大化算法、Fixed-Point算法（FastICA算法）、扩展的信息极大化算法（ExtICA）和EASI算法等。

标准的独立成分分析的数学模型较为简单，不同的独立性判据所导致的算法在形式上也是基本相似的。

形势虽然简单，但到目前为止，以实际的生物医学信号处理为例，研究者大量使用的主要还是标准的ICA算法。

主要因为它发展的最为成熟，计算稳定，较少有数值问题，并且网上有相关作者编制的通用软件包可用于研究下载。

在真实数据的处理过程中，可尽量将所面临的问题转化为标准的ICA问题，然后选用有效的ICA算法来解决。

它因为真实数据往往规模比较大，选择在实算中收敛速度快，计算稳定的算法是相当重要的。

ICA最初所希望解决的鸡尾酒会问题是极为复杂和困难的，实际的盲源分离问题又是方方面面，需将各种实际情况转化为相应的数学模型来解决。

现在人们重点研究的是扩展的独立成分分析，其模型是标准的ICA模型的扩展和补充，来进一步满足实际需要，比如具有噪声的独立成分分析,稀疏和超完备表示问题,具有时间结构的独立成分分析问题，非线性的独立成分分析和非平稳信号的独立成分分析等。

独立成分分析己经被广泛应用于实际数据的处理中，诸如图像处理、语音信号处理、生物医学信号处理、模式识别、数据挖掘、通讯等。

第二章主成分分析法

2.1主成分分析定义与概述

在统计分析中，主成分分析（Principalcomponentsanalysis，PCA）是一种分析、简化数据集的技术。

主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。

这是通过保留低阶主成分，忽略高阶主成分做到的。

这样低阶成分往往能够保留住数据的最重要方面。

但是，这也不是一定的，要视具体应用而定。

主成分分析由卡尔·

皮尔逊于1901年发明，用于分析数据及建立数理模型。

其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分与它们的权值。

主成分分析（PCA）试图用一组维数为数不多的特征去尽可能精确地表示样本的特征，它通常采用训练样本总体协方差矩阵的特征向量系作为展开基（即K-L坐标轴），而那些对应若干个最大特征值的特征向量则被称为主分量或主成分（PrincipalComponents）。

模式样本在这些主分量上线性投影后，所得的投影系数即为主分量特征。

主分量分析的具有两大优点：

1、消除了模式样本之间的相关性；

2、实现了模式样本的维数压缩。

K、L变换能将高维的模式样本压缩为更易于处理的低维样本，换而言之，主分量分析给出了高维数据的一种简约的表示。

由于以上优点，主分量分析被广泛地用于模式识别、数据压缩等领域。

Kirby和Sirovich最先将PCA应用于人脸识别，后来，Turk和Pentland在此基础上提出了著名的Eigenfaces方法。

Yangt等针对Eigenfaces方法中存在的高维小样本问题提出了一种直接基于图像矩阵的二维主分量分析（2DPCA）方法，该方法在对图像样本进行特征提取时，直接利用图像矩阵本身计算图像的总体协方差矩阵，然后取它的前d个最大特征值所对应的标准正交的特征向量作为投影轴。

由于2DPCA能够直接对原始图像矩阵进行投影得到所需的鉴别特征，因此避免了对高维的图像向量进行计算，实验证明其不仅识别率较高，而且特征抽取速度也提升了十几倍。

2.2主成分分析的发展史

以分析化学发展史为例。

分析化学是化学的一个重要分支，它主要研究物质中有哪些元素或基团（定性分析）；

每种成分的数量或物质纯度如何（定量分析）；

原子如何联结成分子，以及在空间如何排列等等。

分析化学以化学基本理论和实验技术为基础，并吸收物理、生物、统计、电子计算机、自动化等方面的知识以充实本身的内容，从而解决科学、技术所提出的各种分析问题。

分析化学这一名称虽创自玻意耳，但其实践运用与化学工艺的历史同样古老。

古代冶炼、酿造等工艺的高度发展，都是与鉴定、分析、制作过程的控制等手段密切联系在一起的。

在东、西方兴起的炼丹术、炼金术等都可视为分析化学的前驱。

公元前3000年，埃及人已经掌握了一些称量的技术。

巴比伦的祭司所保管的石制标准砝码（约公元前2600）尚存于世。

不过等臂天平用于化学分析，当始于中世纪的烤钵试金法中。

古代认识的元素，非金属有碳和硫，金属中有铜、银、金、铁、铅、锡和汞。

公元前四世纪已使用试金石以鉴定金的成色，公元前三世纪，阿基米德在解决叙拉古王喜朗二世的金冕的纯度问题时，即利用了金、银密度之差，这是无伤损分析的先驱。

公元60年左右，老普林尼将五倍子浸液涂在莎草纸上，用以检出硫酸铜的掺杂物铁，这是最早使用的有机试剂，也是最早的试纸。

迟至1751年，埃勒尔•冯•布罗克豪森用同一方法检出血渣（经灰化）中的含铁量。

火试金法是一种古老的分析方法。

远在公元前13世纪，巴比伦王致书埃及法老阿门菲斯四世称:

“陛下送来之金经入炉后，重量减轻……”这说明3000多年前人们已知道“真金不怕火炼”这一事实。

法国菲利普六世曾规定黄金检验的步骤，其中提出对所使用天平的构造要求和使用方法，如天平不应置于受风吹或寒冷之处，使用者的呼吸不得影响天平的称量等。

18世纪的瑞典化学家贝格曼可称为无机定性、定量分析的奠基人。

他最先提出金属元素除金属态外，也可以其他形式离析和称量，特别是以水中难溶的形式，这是重量分析中湿法的起源。

德国化学家克拉普罗特不仅改进了重量分析的步骤，还设计了多种非金属元素测定步骤。

他准确地测定了近200种矿物的成分及各种工业产品如玻璃、非铁合金等的组分。

18世纪分析化学的代表人物首推贝采利乌斯。

他引入了一些新试剂和一些新技巧，并使用无灰滤纸、低灰分滤纸和洗涤瓶。

他是第一位把原子量测得比较精确的化学家。

除无机物外，他还测定过有机物中元素的百分数。

他对吹管分析尤为重视，即将少许样品置于炭块凹处，用氧化或还原焰加热，以观察其变化，从而获得有关样品的定性知识。

此法一直沿用至19世纪，其优点是迅速、所需样品量少，又可用于野外勘探和普查矿产资源等。

19世纪分析化学的杰出人物之一是弗雷泽纽斯，他创立一所分析化学专业学校（此校至今依然存在）;

并于1862年创办德文的《分析化学》杂志，由其后人继续任主编至今。

他编写的《定性分析》、《定量分析》