第3章正态分布时的统计决策文档格式.docx

1、定义： （x） 秽一 e）p 2（x ）T 1（x ） （）（2 ）d2| | 2X X1，X2， ,XdT为d维随机向量，对于d维随机向量X ,它的均值向量是d维的。也就是：1，2， , dT为d维均值向量。是d d维协方差矩阵， 1是 的逆矩阵，| |为 的行列式。协方差矩阵 是对称的，其中有d （d 1）/2个独立元素。由于（x）可由 和 完全确定，所以实际上 （x）可由d d （d 1）/2个独立元素来确定。（x ）T是（X ）的转置，且：ExE（x ）（x ）T、分别是向量X和矩阵（x ）（x ）T的期望。具体说：假设Xi是x的第i个分量，i是 的第i个分量，j2是 的第i、j个元素

2、。i Exi xi （x）dx xi （xi ）dxi （）其中（为）为边缘分布， （xi） （x）dx1dx2 dxd“对于二维随机变量 X和丫作为一个整体，其分布函数F（x,y）, 而X和丫都是随机变量，各别也有分布函数 Fx（x）、Fy（y），分别称为二维随机变量（X，丫）关于X和丫的边缘分布函数。有：Fx（x） F（x,）和 FY（y） F（ , y） o对于离散随机变量有：Fx（x） F（x, ） Pj从中得到X的分布律为：Xi Xj 1PX Xi Pj同样，丫的分布律为PY yj Pij oj 1 i 1对于连续型随机变量（X , 丫），假定它的概率密度为f（x, y）,由:xFx

3、（x） F（x, ） f（x,y）dydx知道，X 的概率密度为：fX（x） f（x,y）dy同样也可以求出 丫的概率密度函数。而：2 E（xi 川勺 j）协方差矩阵:21222）同单变量正态分布一样，多元正态分布 （X）可以由 和 完全确定，常记为N（ , ） o3.多元正态分布的性质（1）参数 和 对分布的决定性对于d维随机向量x，它的均值向量 也是d维的，协方差矩阵是对称的，其中有d（d 1）/2个独立元素。（x）可由和 完全确定，实际 上（x）可由d d（d 1）/2个独立元素决定。常记为： （x）N（,）。（2）等密度点的轨迹为一超椭球面由（x）的定义公式（）可知，当右边指数项为常数

4、时，密度（x）的值不变，所以等密度点满足：（x ）T 1（x ）常数可以证明，上式的解是一个超椭球面，其主轴方向取决于 的本征向量（特征向量），主轴的长度与相应的本征值成正比。 如下列图所示：从上图可以看出， 从正态分布总体中抽取的样本大局部落在由 和 所确定的一个区域里，这个区域的中心由均值向量 决定，区域的大小由协方差矩阵决定。在数理统计中，令： 2 （x ）T 1（x ）式中 称为x至U的马氏距离（Mahalanobis）距离。所以，等密 度点轨迹是x到 的马氏距离 为常数的超椭球面。 该超椭球面构成 的球体的大小是样本对于均值向量的“离散度度量 。1体积： d | I2dd为偶数* （

5、d1）2 （d 1）!2 （ 2 ）! d为奇数2dd!如果d确定了，那么d不变，v与| |2有关。也就是对于给定的维i数d,样本离散度随而变。（3）不相关性等价于独立性概率论中，两个随机变量 Xi和Xj之间不相关，并不意味着它们一定独立。如果Xi和xj之间不相关，那么XiXj的数学期望有：E（XjXj） E（xJ E（Xj）如果Xi和Xj相互独立，那么有：P（Xi,Xj） P（Xi） P（Xj）独立性是比不相关更强的条件。 不相关反映了 Xi和Xj的总体性质。如果Xi和Xj相互独立，那么它们之间一定不相关，反之那么不成立。 但是对服从正态分布的两个分量 Xi和Xj，假设Xi与Xj互不相关，那

6、么它们之间一定独立。证明：根据定义，Xi和Xj的协方差2 E（Xi i）（Xj j）又根据不相关定义 E（Xi,Xj） E（Xi） E（Xj）有：if E（Xi i）（Xj j） E（Xi i） E（Xj j）又：i E（xJ，E（Xi i） E（Xi） E（ i） E（Xi） i 0 所以：有2 0可以计算出:211Tdd相互独立等价。4边缘分布与条件分布的等价性不难证明正态随机向量的 边缘分布与条件分布仍服从正态分布。从3证明得出的结论 X表达式，如果X用X1表示，有：X1 1 exp寸徨 122 ii 2 11也就是说，边缘分布 幼服从均值为1，方差为的正态分布:X1N 1，121冋理，

7、x2 N 2，22（Xi）另外，条件分布，给定X1的条件下X2的分布：（X2|X!） （X1，X2） （X1，X2） 1_ exp 211 | 22（x1 1）2 121（x2 2）22 | | 2 211代入上式，（X2 | x1 ）服从正态分布，同理 （x1 | x2）也服从正态分布。（5）线性变换的正态性对于多元随机向量的线性变换，仍为多元正态分布的随机向量。就是：X服从正态分布（x）N（,），对X作线性变换y Ax，其中A为线性变换矩阵，且|A| 0，那么y服从正态分布：（y）N（A,A AT）（6）线性组合的正态性假设X为多元正态随机向量，那么线性组合 y aTx是一维的正态随机变量

8、：（y） N（aT ,aT a）其中，a与x同维。正态分布中的Bayes分类方法在上一章，我们已经把基于 Bayes公式的几种分类判决规那么抽象 为相应的判决函数和决策面方程。 这几种方法中Bayes最小错误率判决规那么是一种最根本的方法。 如果取0- 1损失函数，最小风险判决规那么和最大似然比判决规那么均与最小错误判决规那么等价。为了方便， 我们以最小错误判决规那么为例来研究 Bayes分类方法在正态分布中的应用。由最小错误率判决规那么抽象出来的判决函数如下：决函数使用不会改变类型区域的划分。因此：1t 1 d 1gi（x） -（x i） i （x i） ln2 Tn | i | In P（

9、wJ22 2其中，dln2与类型无关，所有函数皆加上此项后，并不影响区域的划分，可以去掉。F面对几种特殊情况进行讨论。1 .情况一： i 2I , i 1,2, ,c该情况下，每类的协方差矩阵相等， 而且类的各特征间相互独立 （由上节的性质得知），具有相等的方差 2。将上两式代入gi（x）:gi（x） 2_-ln2 ln 2d In P（wJ2 2 2上式中的第2、3项与类别无关，可以忽略，因此 g,（x）可以简化为：Agi（x） 2（x i）T（x i） In P（Wi）（x i）T（x i） |x i （Xi ij）2，i 1,2, ,c，为 X 到类 Wi的均值向量i的“欧氏距离的平方。

10、那么:gi （x） 二7（x讨论一个特殊情况，P（wj P，所有各类概率相等。T 1 2i）T（x i） |x i |2此时，对x的归类表示为:方l|x i|2，然后把x归于具有,c计算x到各类均值i的欧氏距离的平 min |x J2的类。这种分类器叫最小1,距离分类器。决策x Wk。由于gi （x） wTx Wi0为线性函数，其决策面由线性方程gi （x） g j （x） 0构成，决策面是一个超平面。gi（x） wTx wi0推导出 wT（x x0） 0上述结果表示在二维特征空间里，如下列图所示:两个同心圆是两类概率分布等密度点轨迹， 两个圆心就是两类的均值点。两类的区分线l与i 2垂直，其

11、交点为X。X。一般不是i 2的 中点，但当P（wi） P（W2）时，X。为1 2的中点。假设P（W|） P（W2）时，X。向 先验概率较小的那个类型的均值点偏移。 可以推广到多类的情况，注意这种分类方法没有不确定的区域。2情况二：各类的协方差矩阵相等， 在几何上，相当于各类样本集中在以该 类均值i为中心的同样大小和形状的超椭球内。gi（x） 2（x i）T i1（x不变，与i无关：i） dln 2 丄1 n | i | In P（w）2 2gi（x）2（xi）T i1（X i） ln P（Wi）一个特例，当P（wi）P时，各样本先验概率相等gi （X）如i）Ti1（x i）2 （Xi 1（xi

12、）2为x到均值点i的“马氏距离的平方（Mahalanobis）面。对于Ri和Rj相邻，决策面方程:直）二维情况:当各类先验概率相等时 P（wJ P（Wj）*（ i j）X0位于i j的中点上。当各类先验概率不相等时， X0不在的中点上，而是偏向先验概率较小的均值点。3.第三种情况由于:对于Ri和Rj相邻，决策面应为:gi（x） g j （x） 0 xT（W（ Wj）x （Wi Wj ）Tx Wio Wjo 0该曲线为超二次曲面。随 i、 i、P（Wi）的不同，超二次曲面为: 超球面、超椭球面、超抛物面、超双曲面，或超平面等。假设特征空间是二维的，模式样本的两个分量之间是相互独立的，所以协方差矩

13、阵是 2X2维的对角矩阵。令各类的先验概率相等， 那么不同类型区域的划分取决于各类的均值向量和两个方差项的差异，而决策面的形状主要取决于两个方差项的差异i2 0i 0 2 ，i221 0 j 0 221假设 ii i;2 i， ji j2 j，且i j，那么两类的概率分布等密度线分别是以各自均值点为圆心的同心圆， 圆的大小与相应的方差相一致。由于i j，所以来自类型Wj的样本更密集于它的均值点附 近；同时，由于园的对称性，决策面为包围均值点 j的一个圆。a椭圆 抛啊线d）取曲线 0直线（2）假设在上图的（a）的根底上增大分量 X2的方差2和22，使ii i2和ji j2，这样图a中的圆在X2方

14、向上伸展，而变成椭圆，如图 b所示，决策面也变成了椭圆。3 假设ii ji j2， ii i2，在这种情况下，分量 X2大的样本X很可能来自类型Wi，使决策面变成一条抛物线，如图 C所示。4 假设在C的根底上增大ji，使ii j2， ii i2， ji j2，在这 种情况下，决策面变成双曲线，如图 d所示。5 在一非常特殊的对称条件下，使 d中的双曲线向一对互相 垂直的直线退化，如图e所示。在这种情况下，两种类型是线性可分 的。清华?模式识别?书上 P34中间用图讨论了几种决策面的变化。例i:设在三维特征空间里，两类的类概率密度是正态分布的， 分别在两个类型中获得 4个样本，位于一个单位立方体

15、的顶点上，如下列图。两类的先验概率相等，试确定两类之间的决策面及相应的类型Wi : （0,0,0）T，（i,O,O）T，（i,i,O）T，（i,O,i）TW2 : （0,i,0）T，（0,0,i）T，（O,i,i）T，（i,i,i）T用各类样本的算术平均值近似代替各类均值向量，也就是:i 兀 1xikNi为wi中的样本数，xik表示wi的第k个样本。协方差矩阵由其定义求得:NT 1 i Ti R i j 二-xik xikNi k 1式中Ri为类wi的自相关函数。/1 3 3、 1R1（0,0,0）（1,0,0）（1,1,0）（1,0,1）同理:R24因此，16丄符合情况二用情况二的公式确定决策面。2 1 14 12 11 1 21（ 1 2）,决策面为 g1 （x） g2（x） 0 wT（x x0） 0 , wX0 2（1 2），先验概率相等P（W1） P（W2）2 11 28W 1（ 1 2） 41 - 21 1x0 （ 1 2） （1,1,1）T决策方程： wT （x x0） 0v 2（8, 8, 8） X2 0X3 _3 2也就疋：8（ x ） 8（ X2 ） 8（ X3 ）08x-| 8x2 8x3 4 02x1 2x2 2x3 1 0如下列图所示。w指向的一侧为正，是 W1的区域R1，负向的一侧为 W2。