第3章正态分布时的统计决策文档格式.docx
《第3章正态分布时的统计决策文档格式.docx》由会员分享,可在线阅读,更多相关《第3章正态分布时的统计决策文档格式.docx(21页珍藏版)》请在冰豆网上搜索。
![第3章正态分布时的统计决策文档格式.docx](https://file1.bdocx.com/fileroot1/2023-2/5/eb720b26-a5fa-452a-ba34-c96326136239/eb720b26-a5fa-452a-ba34-c963261362391.gif)
定义:
(x)—秽一e)p[2(x)T1(x)]()
(2)d2||2
X[X1,X2,,Xd]T为d维随机向量,对于d维随机向量X,
它的均值向量是d维的。
也就是:
[1,2,,d]T为d维均值向量。
是dd维协方差矩阵,1是的逆矩阵,||为的行列式。
协
方差矩阵是对称的,其中有d(d1)/2个独立元素。
由于(x)可由和完全确定,所以实际上(x)可由dd(d1)/2个独立元素来确定。
(x)T是(X)的转置,且:
E{x}
E{(x)(x)T}
、分别是向量X和矩阵(x)(x)T的期望。
具体说:
假设Xi是x的
第i个分量,i是的第i个分量,j2是的第i、j个元素。
iE[xi]xi(x)dxxi(xi)dxi()
其中(为)为边缘分布,(xi)(x)dx1dx2dxd
“对于二维随机变量X和丫作为一个整体,其分布函数F(x,y),而X和丫都是随机变量,各别也有分布函数Fx(x)、Fy(y),分别称为
二维随机变量(X,丫)关于X和丫的边缘分布函数。
有:
Fx(x)F(x,)和FY(y)F(,y)o
对于离散随机变量有:
Fx(x)F(x,)Pj从中得到X的分布律为:
XiXj1
P{XXi}Pj同样,丫的分布律为P{Yyj}Pijo
j1i1
对于连续型随机变量(X,丫),假定它的概率密度为f(x,y),由:
x
Fx(x)F(x,)[f(x,y)dy]dx知道,X的概率密度为:
fX(x)f(x,y)dy同样也可以求出丫的概率密度函数。
〞
而:
2E[(xi川勺j)]
协方差矩阵:
2
12
22
)
同单变量正态分布一样,多元正态分布(X)可以由和完全确
定,常记为N(,)o
3.多元正态分布的性质
(1)参数和对分布的决定性
对于d维随机向量x,它的均值向量也是d维的,协方差矩阵
是对称的,其中有d(d1)/2个独立元素。
(x)可由和完全确定,实际上(x)可由dd(d1)/2个独立元素决定。
常记为:
(x)〜N(,)。
(2)等密度点的轨迹为一超椭球面
由(x)的定义公式()可知,当右边指数项为常数时,密度
(x)的值不变,所以等密度点满足:
(x)T1(x)常数
可以证明,上式的解是一个超椭球面,其主轴方向取决于的本
征向量(特征向量),主轴的长度与相应的本征值成正比。
如下列图所
示:
从上图可以看出,从正态分布总体中抽取的样本大局部落在由和所确定的一个区域里,这个区域的中心由均值向量决定,区域
的大小由协方差矩阵决定。
在数理统计中,令:
2(x)T1(x)
式中称为x至U的马氏距离(Mahalanobis)距离。
所以,等密度点轨迹是x到的马氏距离为常数的超椭球面。
该超椭球面构成的球体的大小是样本对于均值向量的“离散度度量〞。
1
体积:
d|I2
d
d为偶数
*(d
1)2(d1)!
2
(2)!
d为奇数
2d
d!
如果d确定了,那么d不变,v与||2有关。
也就是对于给定的维
i
数d,样本离散度随而变。
(3)不相关性等价于独立性
概率论中,两个随机变量Xi和Xj之间不相关,并不意味着它们一
定独立。
如果Xi和xj之间不相关,那么XiXj的数学期望有:
E(XjXj)E(xJE(Xj)
如果Xi和Xj相互独立,那么有:
P(Xi,Xj)P(Xi)P(Xj)
独立性是比不相关更强的条件。
不相关反映了Xi和Xj的总体性质。
如果Xi和Xj相互独立,那么它们之间一定不相关,反之那么不成立。
但是
对服从正态分布的两个分量Xi和Xj,假设Xi与Xj互不相关,那么它们之间
一定独立。
证明:
根据定义,Xi和Xj的协方差2E[(Xii)(Xjj)]
又根据不相关定义E(Xi,Xj)E(Xi)E(Xj)有:
ifE[(Xii)(Xjj)]E(Xii)E(Xjj)
又:
iE(xJ,E[(Xii)E(Xi)E(i)E(Xi)i0所以:
有20
可以计算出:
"
2"
11
T
dd
相互独立等价。
〔4〕边缘分布与条件分布的等价性
不难证明正态随机向量的边缘分布与条件分布仍服从正态分布。
从〔3〕证明得出的结论〔X〕表达式,如果X用X1表示,有:
〔X1〕1exp〔寸徨1〕2〕
2ii211
也就是说,边缘分布〔幼服从均值为1,方差为£
的正态分布:
〔X1〕~N〔1,121〕
冋理,〔x2〕~N〔2,22〕
(Xi)
另外,条件分布,给定X1的条件下X2的分布:
(X2|X!
)(X1,X2)
(X1,X2)1_exp211|22(x11)2121(x22)2
2||2211
代入上式,(X2|x1)服从正态分布,同理(x1|x2)也服从正态分布。
(5)线性变换的正态性
对于多元随机向量的线性变换,仍为多元正态分布的随机向量。
就是:
X服从正态分布(x)〜N(,),对X作线性变换yAx,其中
A为线性变换矩阵,且|A|0,那么y服从正态分布:
(y)〜N(A,AAT)
(6)线性组合的正态性
假设X为多元正态随机向量,那么线性组合yaTx是一维的正态随机
变量:
(y)~N(aT,aTa)
其中,a与x同维。
正态分布中的Bayes分类方法
在上一章,我们已经把基于Bayes公式的几种分类判决规那么抽象为相应的判决函数和决策面方程。
这几种方法中Bayes最小错误率判
决规那么是一种最根本的方法。
如果取0-1损失函数,最小风险判决
规那么和最大似然比判决规那么均与最小错误判决规那么等价。
为了方便,我们以最小错误判决规那么为例来研究Bayes分类方法在正态分布中的
应用。
由最小错误率判决规那么抽象出来的判决函数如下:
决函数使用不会改变类型区域的划分。
因此:
1t1d1
gi(x)-(xi)i(xi)ln2Tn|i|InP(wJ
222
其中,dln2与类型无关,所有函数皆加上此项后,并不影响区
域的划分,可以去掉。
F面对几种特殊情况进行讨论。
1.情况一:
i2I,i1,2,,c
该情况下,每类的协方差矩阵相等,而且类的各特征间相互独立
(由上节的性质③得知),具有相等的方差2。
将上两式代入gi(x):
gi(x)——^2^__-ln2」ln2dInP(wJ
222
上式中的第2、3项与类别无关,可以忽略,因此g,(x)可以简化
为:
A
gi(x)2^(xi)T(xi)InP(Wi)
(xi)T(xi)||xi『(Xiij)2,i1,2,,c,为X到类Wi
的均值向量i的“欧氏距离〞的平方。
那么:
gi(x)二7(x
讨论一个特殊情况,P(wjP,所有各类概率相等。
T12
i)T(xi)||xi||2
此时,对x的归类表示为:
方l|xi||2,然后把x归于具有
c
计算x到各类均值i的欧氏距离的平min||xJ2的类。
这种分类器叫最小
1,
距离分类器。
决策xWk。
由于gi(x)wTxWi0为线性函数,其决策面由线性方程
gi(x)gj(x)0构成,决策面是一个超平面。
gi(x)wTxwi0推导出wT(xx0)0
上述结果表示在二维特征空间里,如下列图所示:
两个同心圆是两类概率分布等密度点轨迹,两个圆心就是两类的
均值点。
两类的区分线l与i2垂直,其交点为X。
。
X。
一般不是i2的中点,但当P(wi)P(W2)时,X。
为12的中点。
假设P(W|)P(W2)时,X。
向先验概率较小的那个类型的均值点偏移。
可以推广到多类的情况,注
意这种分类方法没有不确定的区域。
2•情况二:
各类的协方差矩阵相等,在几何上,相当于各类样本集中在以该类均值i为中心的同样大小和形状的超椭球内。
gi(x)2(xi)Ti1(x
不变,与i无关:
i)dln2丄1n|i|InP(w)
22
gi(x)
2(x
i)Ti1
(Xi)lnP(Wi)
一个特例,当
P(wi)
P时,
各样本先验概率相等
gi(X)
如
i)T
i1(xi)
2(X
i1(x
i)
2为x到均值点i的“马氏距离〞的平方(Mahalanobis)
面。
对于Ri和Rj相邻,决策面方程:
直)
二维情况:
当各类先验概率相等时P(wJP(Wj)
*(ij)
X0位于ij的中点上。
当各类先验概率不相等时,X0不在
的中点上,而是偏向先验概率较小的均值点。
3.第三种情况
由于:
对于Ri和Rj相邻,决策面应为:
gi(x)gj(x)0xT(W(Wj)x(WiWj)TxWioWjo0
该曲线为超二次曲面。
随i、i、P(Wi)的不同,超二次曲面为:
超球面、超椭球面、超抛物面、超双曲面,或超平面等。
假设特征空间是二维的,模式样本的两个分量之间是相互独立
的,所以协方差矩阵是2X2维的对角矩阵。
令各类的先验概率相等,那么不同类型区域的划分取决于各类的均值向量和两个方差项的差
异,而决策面的形状主要取决于两个方差项的差异
i20
i02,
i2
210j022
〔1〕假设iii;
2i,jij2j,且ij,那么两类的概率分布等
密度线分别是以各自均值点为圆心的同心圆,圆的大小与相应的方差
相一致。
由于ij,所以来自类型Wj的样本更密集于它的均值点附近;
同时,由于园的对称性,决策面为包围均值点j的一个圆。
a>
椭圆抛啊线
<
d)取曲线<
0直线
(2)假设在上图的(a)的根底上增大分量X2的方差2和22,使iii2
和jij2,这样图〔a〕中的圆在X2方向上伸展,而变成椭圆,如图〔b〕
所示,决策面也变成了椭圆。
〔3〕假设iijij2,iii2,在这种情况下,分量X2大的样本X
很可能来自类型Wi,使决策面变成一条抛物线,如图〔C〕所示。
〔4〕假设在〔C〕的根底上增大ji,使iij2,iii2,jij2,在这种情况下,决策面变成双曲线,如图〔d〕所示。
〔5〕在一非常特殊的对称条件下,使〔d〕中的双曲线向一对互相垂直的直线退化,如图〔e〕所示。
在这种情况下,两种类型是线性可分的。
清华?
模式识别?
书上P34中间用图讨论了几种决策面的变化。
例i:
设在三维特征空间里,两类的类概率密度是正态分布的,分别在两个类型中获得4个样本,位于一个单位立方体的顶点上,如
下列图。
两类的先验概率相等,试确定两类之间的决策面及相应的类型
Wi:
(0,0,0)T,(i,O,O)T,(i,i,O)T,(i,O,i)T
W2:
(0,i,0)T,(0,0,i)T,(O,i,i)T,(i,i,i)T
用各类样本的算术平均值近似代替各类均值向量,也就是:
i兀1xik
Ni为wi中的样本数,
xik表示wi的第k个样本。
协方差矩阵由其定义求得:
N
T1iT
iRij二-xikxik
Nik1
式中Ri为类wi的自相关函数。
/133、1
R1
(0,0,0)
(1,0,0)
(1,1,0)
(1,0,1)
同理:
R2
4
因此,
16
丄
符合情况二
用情况二的公式确定决策面。
211
4121
112
1(12),
决策面为g1(x)g2(x)0wT(xx0)0,w
X02(12),先验概率相等P(W1)P(W2)
21
12
8
W1(12)4
1-2
11
x0(12)(1,1,1)T
决策方程:
wT(xx0)0
v2
(8,8,8)X2§
0
X3_
32
^也就疋:
8(x)8(X2)8(X3)0
8x-|8x28x340
2x12x22x310如下列图所示。
w指向的一侧为正,是W1的区域R1,负向的一侧为W2。