1、PCA协方差矩阵和奇异值分解两种方法求特征值特征向量PCA(协方差矩阵和奇异值分解两种方法求特征值特征向量)PCA(协方差矩阵和奇异值分解两种方法求特征值特征向量)2015-12-30 10:431157人阅读评论(0)收藏举报分类:模式识别(1)1.问题描述在许多领域的研究与应用中,往往需要对反映事物的多个变量进行大量的观测,收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息,但也在一定程度上增加了数据采集的工作量,更重要的是在大多数情况下,许多变量之间可能存在相关性,从而增加了问题分析的复杂性,同时对分析带来不便。如果分别对每个指标进行分析,分析往往是孤立的,
2、而不是综合的。盲目减少指标会损失很多信息,容易产生错误的结论。2.过程主成分分析法是一种数据转换的技术,当我们对一个物体进行衡量时,我们将其特征用向量(a1,a2,a3,.an)进行表示,每一维都有其对应的variance(表示在其均值附近离散的程度);其所有维的variance之和,我们叫做总的variance;我们对物体进行衡量时,往往其特征值之间是correlated的,比如我们测量飞行员时,有两个指标一个是飞行技术(x1),另一个是对飞行的喜好程度(x2),这两者之间是有关联的,即correlated的。我们进行PCA(主成分分析时),我们并没有改变维数,但是我们却做了如下变换,设新的
3、特征为(x1,x2,x3.,xn);其中1)x1的variance占总的variance比重最大;2)除去x1,x2的variance占剩下的variance比重最大;.依次类推;最后,我们转换之后得到的(x1,x2,.xn)之间都是incorrelated,我们做PCA时,仅取(x1,x2,.xk),来表示我们测量的物体,其中,k要小于n。主成分的贡献率就是某主成分的方差在全部方差中的比值。这个值越大,表明该主成分综合X1,X2,XP信息的能力越强。如果前k个主成分的贡献率达到85%,表明取前k个主成分基本包含了全部测量指标所具有的信息,这样既减少了变量的个数又方便于对实际问题的分析和研究。