距离计算.docx

1、距离计算在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏距离7. 夹角余弦8. 汉明距离9. 杰卡德距离 & 杰卡德相似系数10. 相关系数 & 相关距离11. 信息熵1.欧氏距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中

2、两点间的距离公式。(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：(3)两个n维向量a(x11,x12,x1n)与 b(x21,x22,x2n)间的欧氏距离：也可以用表示成向量运算的形式：(4)Matlab计算欧氏距离Matlab计算距离主要使用pdist函数。若X是一个MN的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离X = 0 0 ; 1 0 ; 0 2D = pdist(X,eu

3、clidean)结果：D = 1.0000 2.0000 2.23612.曼哈顿距离(Manhattan Distance) 从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。(1)二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离(2)两个n维向量a(x11,x12,x1n)与 b(x21,x22,x2n)间的曼哈顿距离(3) Matlab计算曼哈

4、顿距离例子：计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离X = 0 0 ; 1 0 ; 0 2D = pdist(X, cityblock)结果：D = 1 2 33.切比雪夫距离( Chebyshev Distance ) 国际象棋玩过么？国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max( | x2-x1 | , | y2-y1 | ) 步。有一种类似的一种距离度量方法叫切比雪夫距离。(1)二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离(2)两个n维向量a

5、(x11,x12,x1n)与 b(x21,x22,x2n)间的切比雪夫距离这个公式的另一种等价形式是 看不出两个公式是等价的？提示一下：试试用放缩法和夹逼法则来证明。(3)Matlab计算切比雪夫距离例子：计算向量(0,0)、(1,0)、(0,2)两两间的切比雪夫距离X = 0 0 ; 1 0 ; 0 2D = pdist(X, chebychev)结果：D = 1 2 24.闵可夫斯基距离(Minkowski Distance)闵氏距离不是一种距离，而是一组距离的定义。(1) 闵氏距离的定义 两个n维变量a(x11,x12,x1n)与 b(x21,x22,x2n)间的闵可夫斯基距离定义为：其

6、中p是一个变参数。当p=1时，就是曼哈顿距离当p=2时，就是欧氏距离当p时，就是切比雪夫距离 根据变参数的不同，闵氏距离可以表示一类的距离。(2)闵氏距离的缺点闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。举个例子：二维样本(身高,体重)，其中身高范围是150190，体重范围是5060，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。 简单说来，闵氏距离的缺点主要有

7、两个：(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。(2)没有考虑各个分量的分布（期望，方差等)可能是不同的。(3)Matlab计算闵氏距离例子：计算向量(0,0)、(1,0)、(0,2)两两间的闵氏距离（以变参数为2的欧氏距离为例）X = 0 0 ; 1 0 ; 0 2D = pdist(X,minkowski,2)结果：D = 1.0000 2.0000 2.23615.标准化欧氏距离(Standardized Euclidean distance )(1)标准欧氏距离的定义标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路：既然数据各维分

8、量的分布不一样，好吧！那我先将各个分量都“标准化” 到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：而且标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是：标准化后的值 = ( 标准化前的值 分量的均值 ) /分量的标准差经过简单的推导就可以得到两个n维向量a(x11,x12,x1n)与 b(x21,x22,x2n)间的标准化欧氏距离的公式：如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权

9、欧氏距离(Weighted Euclidean distance)。(2)Matlab计算标准化欧氏距离例子：计算向量(0,0)、(1,0)、(0,2)两两间的标准化欧氏距离 (假设两个分量的标准差分别为0.5和1)X = 0 0 ; 1 0 ; 0 2D = pdist(X, seuclidean,0.5,1)结果：D = 2.0000 2.0000 2.82846.马氏距离(Mahalanobis Distance)（1）马氏距离定义 有M个样本向量X1Xm，协方差矩阵记为S，均值记为向量，则其中样本向量X到u的马氏距离表示为： 而其中向量Xi与Xj之间的马氏距离定义为： 若协方差矩阵是单

10、位矩阵（各个样本向量之间独立同分布）,则公式就成了： 也就是欧氏距离了。若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。(2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离X = 1 2; 1 3; 2 2; 3 1Y = pdist(X,mahalanobis)结果：Y = 2.3452 2.0000 2.3452 1.2247 2.4495 1.22477.夹角余弦(Cosine) 有没有搞错，又不是学几何，怎么扯到夹角余弦了？各位看官稍安勿躁。几何中夹角余弦可用来衡量两个向量方向的差

11、异，机器学习中借用这一概念来衡量样本向量之间的差异。(1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：(2) 两个n维样本点a(x11,x12,x1n)和b(x21,x22,x2n)的夹角余弦 类似的，对于两个n维样本点a(x11,x12,x1n)和b(x21,x22,x2n)，可以使用类似于夹角余弦的概念来衡量它们间的相似程度。即： 夹角余弦取值范围为-1,1。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。 夹角余弦的具体应用可以参阅参考文献1。(3)Ma

12、tlab计算夹角余弦例子：计算(1,0)、( 1,1.732)、( -1,0)两两间的夹角余弦X = 1 0 ; 1 1.732 ; -1 0D = 1- pdist(X, cosine) % Matlab中的pdist(X, cosine)得到的是1减夹角余弦的值结果：D = 0.5000 -1.0000 -0.50008.汉明距离(Hamming distance)(1)汉明距离的定义 两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。 应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离

13、尽可能大）。(2)Matlab计算汉明距离Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比。 例子：计算向量(0,0)、(1,0)、(0,2)两两间的汉明距离X = 0 0 ; 1 0 ; 0 2;D = PDIST(X, hamming)结果：D = 0.5000 0.5000 1.00009.杰卡德相似系数(Jaccard similarity coefficient)(1) 杰卡德相似系数 两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。杰卡德相似系数是衡量两个集合的相似度一种指标。(2) 杰卡德距离 与

14、杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。杰卡德距离可用如下公式表示：杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。(3) 杰卡德相似系数与杰卡德距离的应用 可将杰卡德相似系数用在衡量样本的相似度上。样本A与样本B是两个n维向量，而且所有维度的取值都是0或1。例如：A(0111)和B(1011)。我们将样本看成是一个集合，1表示集合包含该元素，0表示集合不包含该元素。p ：样本A与B都是1的维度的个数q ：样本A是1，样本B是0的维度的个数r ：样本A是0，样本B是1的维度的个数s ：样本A与B都是0的维度的个数那么样本A与B的杰卡德相似

15、系数可以表示为：这里p+q+r可理解为A与B的并集的元素个数，而p是A与B的交集的元素个数。而样本A与B的杰卡德距离表示为：(4)Matlab计算杰卡德距离Matlab的pdist函数定义的杰卡德距离跟我这里的定义有一些差别，Matlab中将其定义为不同的维度的个数占“非全零维度”的比例。例子：计算(1,1,0)、(1,-1,0)、(-1,1,0)两两之间的杰卡德距离X = 1 1 0; 1 -1 0; -1 1 0D = pdist( X , jaccard)结果D =0.5000 0.5000 1.000010.相关系数( Correlation coefficient )与相关距离(Co

16、rrelation distance)(1) 相关系数的定义相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是-1,1。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。(2)相关距离的定义(3)Matlab计算(1, 2 ,3 ,4 )与( 3 ,8 ,7 ,6 )之间的相关系数与相关距离X = 1 2 3 4 ; 3 8 7 6C = corrcoef( X ) %将返回相关系数矩阵D = pdist( X , correlation)结果：C = 1.0000 0.4781 0.4781 1.0000D

17、 =0.5219 其中0.4781就是相关系数，0.5219是相关距离。11.信息熵(Information Entropy) 信息熵并不属于一种相似性度量。那为什么放在这篇文章中啊？这个。我也不知道。 ()信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。 计算给定的样本集X的信息熵的公式：参数的含义：n：样本集X的分类数pi：X中第i类元素出现的概率 信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。当S中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log2(n)。当X

18、只有一个分类时，信息熵取最小值0参考资料：1吴军. 数学之美系列 12 - 余弦定理和新闻的分类.2 Wikipedia. Jaccard index.3 Wikipedia. Hamming distance4 求马氏距离（Mahalanobis distance ）matlab版5 Pearson product-moment correlation coefficient转自：聚类分析中如何度量两个对象之间的相似性呢？一般有两种方法，一种是对所有对象作特征投影，另一种则是距离计算。前者主要从直观的图像上反应对象之间的相似度关系，而后者则是通过衡量对象之间的差异度来反应对象之间的相似度关系

19、。 如图（1）所示：假设X坐标轴为时间，Y坐标轴为繁殖率，则可以看出三种不同的物种在不同时间段的繁殖情况，由于分别在10,40,80三个数值附近，因此根据繁殖率这一特征便可以分辨出三种物种。特征投影比较直观，但是对象之间的相似性直接的依赖于测量的特征，换一种特征可能会有相反的效果。 距离计算是最为常见的相似度度量方法，通常的对象a,b之间的相似度为Sim(a,b),对象a,b的测量距离为d(a,b)，则一般采取Sim(a,b) = 1/(1+d(a,b)得到相似度。常见的距离计算方法有： (1)欧氏距离：可以简单的描述为多维空间的点点之间的几何距离，需要注意的是，欧式距离通常采用的是原始数据，

20、而并非规划化后的数据，比如有一属性在1-100内取值，那么便可以直接使用，而并非一定要将其归一到 0,1区间使用。这样的话，欧式距离的原本意义便被消除了，正是因为这样，所以其优势在于新增对象不会影响到任意两个对象之间的距离。然而，如果对象属性的度量标准不一样，如在度量分数时采取十分制和百分制，对结果影响较大。 (2)曼哈顿距离：如果欧式距离看成是多维空间对象点点的直线距离，那么曼哈顿距离就是计算从一个对象到另一个对象所经过的折线距离，有时也可以进一步的描述为多维空间中对象在各维的平均差，取平均差之后的计算公式为，需要注意的是，曼哈顿距离取消了欧式距离的平方，因此使得离群点的影响减弱。 (3)切

21、比雪夫距离：切比雪夫距离主要表现为在多维空间中，对象从某个位置转移到另外一个对象所消耗的最少距离（这种距离更加形象的体现了第一节中提到的编辑距离概念），因此可以简单的描述为用一维属性决定某对象属于哪个簇，这就好比我们去辨别一项罕见的现象一样，如果两个对象都存在这一罕见现象，那么这两个对象应该属于同一个簇。 (4)幂距离：可以简单的描述为针对不同的属性给予不同的权重值，决定其属于那个簇，r,p为自定义的参数，根据实际情况选择，其中，p是用来控制各维的渐进权重，r控制对象间较大差值的渐进权重。当r=p时，即为闵可夫斯基距离，当p=r=1 时为曼哈顿距离，当p=r=2时为欧式距离，当p=r并趋于无穷

22、时即为切比雪夫距离(可以用极限理论证明).因此，这几种距离统称为闵氏距离，闵氏距离的不足在于：从横向(各维)看，它等同的看待了不同不同的分量，这种缺陷从切比雪夫距离中可以明显看出，忽略了不同维的差异。从纵向(单维)看，它忽略了不同维的各对象的分布差异，这种差异在统计学中可以用期望，方差，标准差等度量。 (5)余弦相似度：可以简单的描述为空间中两个对象的属性所构成的向量之间的夹角大小。，即当两个向量方向完全相同时，相似度为1，即完全相似，当两个向量方向相反时，则为-1，即完全不相似。 (6)皮尔森相似度：可以描述为不同对象偏离拟合的中心线程度，可以进一步的理解为，许多对象的属性拟合成一条直线或者

23、曲线，计算每个对象相对于这条线的各属性偏离程度，其中c为共有属性 (7)修正的余弦相似度：由(5)可以看出，如果对于不同维的计算尺度，则会有所偏差。 (8)Jaccard相似度：Jaccard相似度常用于二值型数据的相似度计算。，在数据挖掘中，经常将属性值二值化，通过计算Jaccard相似度，可以简单快速的得到两个对象的相似程度。当然，对于不同的属性，这种二值型程度是不一样的，比如，在中国，熟悉汉语的两个人相似度与熟悉英语的两个人相似度是不同的，因为发生的概率不同。所以通常会对Jaccard计算变换，变换的目的主要是为了拉开或者聚合某些属性的距离 (9)汉明距离：可以描述为将同等长度的字符串由

24、其中一个变换到另一个的最小替换次数。如将a(11100)变换为b(00010)，则其距离为4，汉明距离主要是为了解决在通信中数据传输时，改变的二进制位数，也称为信号距离。 (10)加权的欧式距离：由上面的闵氏距离可知，其存在一定的缺陷，如何去减弱这种缺陷呢？一种简单的办法是对不同属性设置不同的权重，各权重之和为1，这样依然可以保证相似度的统一性，但是这种权重该如何选择呢？一种加权的欧式距离方法便可以将各维属性变换到标准化值。假设所有对象的X的均值为m,方差为s，则标准化后的值=（标准化前的值-各属性的均值）/各属性的标准差，所以加权的欧式距离为： (11)相关距离：相关距离是用来衡量随机变量X,Y之间的相关程度的一种方法，取值为-1,1，且系数越大，相关度越高。当X,Y线性相关时，若为正线性相关时则为1，相关距离=1-相关系数，相关系数的计算为： (12)马氏距离：即数据的协方差距离，与欧式距离不同的是它考虑到各属性之间的联系，如考虑性别信息时会带来一条关于身高的信息，因为二者有一定的关联度，而且独立于测量尺度。,其中，XY为样本中的对象，S为协方差矩阵。 通过以上方法的计算，便可以得到两个对象之间的相似度（距离），在实际的计算当中，应该根据不同的对象其属性特点进行有效选择，对象的距离计算对于聚类算法的过程十分重要，直接影响着算法的有效性，所以实际选择时应当仔细选择。