基于KL展开式的特征提取_精品文档优质PPT.ppt

基于KL展开式的特征提取_精品文档优质PPT.ppt

《基于KL展开式的特征提取_精品文档优质PPT.ppt》由会员分享，可在线阅读，更多相关《基于KL展开式的特征提取_精品文档优质PPT.ppt（19页珍藏版）》请在冰豆网上搜索。

的性质：

1.使变换后产生的新的分量不相关使变换后产生的新的分量不相关2.以部分新分量表示原向量均方误差最小以部分新分量表示原向量均方误差最小3.使变换向量更趋确定、能量更趋集中使变换向量更趋确定、能量更趋集中离散离散K-L变换（变换（DKLT），又称霍特林），又称霍特林（Hotelling）变换或主分量分解，它是一种变换或主分量分解，它是一种基于目标统计特性的最佳正交变换基于目标统计特性的最佳正交变换7.1K-L变换的定义与性质设设n维随机向量维随机向量rrLLxxxxn=（,）12T，其均，其均值向量值向量rrrrxEx=，相关矩阵，相关矩阵RExxxrrrrrr=T，协方，协方差矩阵差矩阵CExxxxxrrrrrrrrrr=-（）（）T，rrx经正交变换后经正交变换后产生向量产生向量rrLLyyyyn=（,）12T设有标准正交变换矩阵设有标准正交变换矩阵T，（即，（即TT=I）取前取前m项为项为的估计值的估计值（称为（称为的的K-L展开式）展开式）其均方误差为其均方误差为xtyiirrrr=在在TT=I的约束条件下的约束条件下,要使均方误差要使均方误差为此设定准则函数为此设定准则函数由由可得可得即即i是是的特征值，而的特征值，而是相应的特征向量。

是相应的特征向量。

由由表明表明:

利用上式有利用上式有:

用用“截断截断”方式产生方式产生x的估计时，使均方误差最的估计时，使均方误差最小的正交变换矩阵是其相关矩阵小的正交变换矩阵是其相关矩阵Rx的前的前m个特征个特征值对应的特征向量构成的。

值对应的特征向量构成的。

DKLT的性质的性质

（1）变换后各特征分量不相关变换后各特征分量不相关的自相关矩阵和协方差矩阵为变换后的向量的各分量不相关的i=E（yi2），或i=Eyi-E（yi）2（含义：

方差）DKLT使新的分量y1和y2不相关两个新的坐标轴方向分别由和确定通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。

（2）

（2）最佳逼近性最佳逼近性（3）（3）使能量向某些分量相对集中，增强随机使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）向量总体的确定性（即得到主要成分）DKLT的性质的性质采用同等维数进行表示，该结果与原始数据的均方误差最小何谓主轴及主成分表示n主轴q特征值大q方差大n主成分表示与类可分性qOqQ例例:

已知两类样本已知两类样本试用试用K-L变换变换做一维特征提取。

做一维特征提取。

解：

（11）（3）求R的特征值、特征向量（22）（4）选选1对应的对应的作为变换矩阵作为变换矩阵得由由得变换后的一维模式特征为得变换后的一维模式特征为两组二维空间的数据（两组二维空间的数据（a）（）（b）如图所示，）如图所示，试用试用K-L变变换来做一维的特征提取。

换来做一维的特征提取。

（a）（b）解：

这两种情况下的期望向量对于数据（a），有对于数据（b），有计算协方差矩阵的特征值和特征向量：

计算协方差矩阵的特征值和特征向量：

对于数据（对于数据（a）:

对于数据（对于数据（b）:

课堂练习已知一组数据的协方差矩阵为试问：

（1）协方差矩阵中各元素的含义。

（2）求该组数据的两个主分量。

（3）K-L变换为什么又被称作最佳变换？

（4）为什么说经主分量分析后，消除了各分量之间的相关性。

答：

（1）

（1）对角元素是各分量的方差，非对角元素是各分量之间的协方差。

对角元素是各分量的方差，非对角元素是各分量之间的协方差。

（2）

（2）主分量，求协方差矩阵的特征值，主分量，求协方差矩阵的特征值，对应的特征向量为对应的特征向量为,对应特征向量为对应特征向量为，这两个特征向量即为主分量。

这两个特征向量即为主分量。

（3）（3）对一组数据进行按一组正交基分解，在只取相同数量分量的条对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算件下，以均方误差计算K-LK-L变换对应的变换对应的截尾误差最小。

截尾误差最小。

（4）（4）经经K-LK-L变换，协方差矩阵成为对角阵，因而各分量间协方差变变换，协方差矩阵成为对角阵，因而各分量间协方差变为为00，消除了的相关性。

，消除了的相关性。