模式识别-马氏距离论证_精品文档.pdf

模式识别-马氏距离论证_精品文档.pdf

《模式识别-马氏距离论证_精品文档.pdf》由会员分享，可在线阅读，更多相关《模式识别-马氏距离论证_精品文档.pdf（4页珍藏版）》请在冰豆网上搜索。

马氏距离马氏距离一、一、马氏距离的定义马氏距离的定义马氏距离是由印度统计学家马哈拉诺比斯（P.C.Mahalanobis）提出的，表示数据的协方差距离。

它是一种有效的计算两个未知样本集的相似度的方法。

定义定义1：

两个服从同一分布G并且其协方差矩阵为的随机变量x与y的差异程度：

。

定义定义2：

设分布G均值为（）12=,TpK，协方差矩阵为的多变量向量为（）12x=,TpxxxK，其马氏距离为。

说到马氏距离，不得不说的就是欧式距离，它是马氏距离的一种特殊情况：

，即协方差矩阵为单位矩阵=I。

有人形象的解释了“马氏距离”与“欧式距离”的几何区别：

欧式距离就好比一个参照值，它表征的是当所有类别等概率出现的情况下，类别之间的距离。

此时决策面中心点的位置就是两个类别中心的连线的中点。

如图1所示。

而当类别先验概率并不相等时，显然，如果仍然用中垂线作为决策线是不合理的，将出现判别错误（绿色类的点被判别为红色类），假设图1中绿色类别的先验概率变大，那么决策线将左移，如图2黄线。

左移的具体位置，就是通过马氏距离来获得的。

马氏距离中引入的协方差参数，表征的是点的稀密程度。

二、二、距离表达式各部分的含义和来历距离表达式各部分的含义和来历若用通用的平方表达式表示：

若用通用的平方表达式表示：

21（）（）:

TDXMCXMXMC=其中，模式向量均值向量该类模式总体的协方差矩阵三、三、举例说明马氏距离的意义举例说明马氏距离的意义欧氏距离是定义在两个点之间的距离，维度的多少，并不会使得欧氏距离的公式更复杂。

它背后的思想，就是认为多维空间是各向同性的，往哪个方向走某一距离，意义都一样。

而马氏距离与欧氏距离的唯一区别，就是它认为空间是各向异性的。

各向异性的具体参数，是由一个协方差矩阵表示的。

把这个协方差矩阵考虑成一个多维正态分布的协方差阵，则这个分布的密度函数的等高线，就是个椭圆。

多维正态分布的密度函数（如下图）：

多维正态分布的密度函数的等高线为椭圆（如下图）：

1）从椭圆中心到椭圆上各点的马氏距离，都是相等的。

2）椭圆的各个轴的方向，是协方差阵的特征向量，各个轴的长度正比于协方差阵的特征值的平方根。

马氏距离同样是定义在两个点之间的。

维度的增加，只是增大了协方差矩阵的大小。

下面来举例说明由上，我们知道协方差矩阵的维数等于样本的维数，且为方由上，我们知道协方差矩阵的维数等于样本的维数，且为方阵，因此无论是二维还是三维的，只是样本的维数不同，导阵，因此无论是二维还是三维的，只是样本的维数不同，导致的协方差矩阵的维数不同而已。

致的协方差矩阵的维数不同而已。

下面给出二维和三维样本间的马氏距离的推导：

下面给出二维和三维样本间的马氏距离的推导：

二维模式向量二维模式向量、三维模式向量三维模式向量