方差与协方差理解.docx
《方差与协方差理解.docx》由会员分享,可在线阅读,更多相关《方差与协方差理解.docx(27页珍藏版)》请在冰豆网上搜索。
方差与协方差理解
**
§2方差、协方差与有关系数
2.1方差
例1比较甲乙两人的射击技术,已知两人每次击中环数散布为:
7
8
9
6
7
8
9
10
:
01.0.601.
:
01.
01.
.
问哪一个技术较好?
第一看两人均匀击中环数,此时E
E
8,从均值来看没法辩解孰优孰劣
.但从直观上
看,甲基本上稳固在
8环左右,而乙却一会儿击中
10环,一会儿击中6
环,较不稳固.因
此从直观上能够讲甲的射击技术较好.
上例说明:
对一随机变量,除考虑它的均匀取值外,还要考虑它取值的失散程度.
称-E为随机变量
关于均值E
的离差(deviation)
,它是一随机变量
.为了给出一个描
述失散程度的数值,考虑用E
E
,但因为E
E
=E
E
=0对全部随机变量
EE
我们改用E
E
2
均建立,即
的离差正负相消,所以用
是不适合的.
描绘
取值
的失散程度,这就是方差.
若E
E
2
定义1
存在,为有限值,就称它是随机变量
的方差(variance)
,记作Var,
Var=E
E
2
(1)
但Var
的量纲与
不一样,为了一致量纲,有时用
Var
,称为
的标准差(standard
deviation).
E
2
方差是随机变量函数
的数学希望,由§1
的(5)式,即可写出方差的计算公式
i
(xi
E
)2P(
xi),失散型,
(x
E
2
(x
E
)
2
,连续型
.
Var
=
)dF(x)
p(x)dx
(2)
=
进一步,注意到
**
2
E
2
2E
E
2
2
2
E
E
=
=E
E
即有
=E
2
E
2
Var
.
(3)
很多状况,用(3)
式计算方差较方便些.
例1(续)
计算例1
中的方差Var
与Var.
解
利用(3)式
E2
xi2P(
xi
)
82×0.8+
92×0.1=64.2,
=
i
=72×0.1+
E
2
E
2
Var
=
=64.2--82
=0.2.
=E
2
E
2
同理,Var
=65.2-64=1.2>Var
所以
取值较
分别.这说明甲的射
击技术较好.
例2
试计算泊松散布
P(λ)的方差.
2
k2
k
k
E
e
k
e
解
k
0
k!
k
1
(k
1)!
k
k
(k
1)
e
e
k1
(k1)!
k1(k1)!
2
j
j
j
e
e
j
0
j!
j
0
j!
2
所以Var
2
2
.
例3
设
听从[a,b]
上的均匀散布
U[a,b]
,求Var.
E2
b
1
dx
1
a2
abb2
x2
解
a
b
a
3
1a2
1ab
2
abb2
1ba2
Var
3
2
12
.
**
听从正态散布Na,
2
例4
设
,求Var.
解
此时用公式
(2),因为E
a,
E(
a)2
(xa)2
1
e(xa)2/22dx
Var
2
2
z2/2
2
dz
ze
2
2
zez2/2
ez2/2dz
2
2
2
2
2
.
2
就是标准差.
可见正态散布中参数
就是它的方差,
方差也有若干简单而重要的性质
.
先介绍一个不等式.
切贝雪夫(Chebyshev)
不等式
若随机变量的方差存在,则对随意给定的正数ε,恒有
PEVar
证设的散布函数为Fx,则
2
.(4)
PE
(x
E
)
2
dF(x)
2
dF(x)
=|xE|
|xE|
1
(xE)
2
dF(x)
Var
2
2
=
/.
这就得(4)式.
切贝雪夫不等式不论从证明方法上仍是从结论上都有必定意义.事实上,该式断言落在
E
与E,
内的概率小于等于Var/
,或许说,
落在区间
2
E,E
内的概率大于
1-Var
2
/,进而只用数学希望和方差便可对上述概率进
行预计.比如,取
ε=3Var,则
**
2
P
E
Var
1
Var
3Var
≈0.89.
自然这个预计仍是比较粗拙的(当
N
a,
2
~
时,在第二章曾经指出,P(|ξ
-E|
3Var
)=P(|ξ-a|3σ)≈
).
性质1
Var
=0
的充要条件是P(ξ=c)=1
,此中c是常数.
证明显条件充足.反之,假如Var
=0
,记E
=c,
由切贝雪夫不等式,
P(|ξ-
E|
ε)=0
对全部正数ε建立.进而
P
c
1P
c
0
1
limP
c
1n
1
n
.
性质2设c,b都是常数,则
Var(c
+b)=c2Var
.
(5)
证Var(c
+b)=E(c+b-E(c+b))2
=E(c
+b-cE
-b
)2
=c2
E(
E)2
=c2
Var
.
若c
E
则Var
E
c
2
性质3
.
证因Var
=E
2
-(E
)2
而E(ξ-c)2
=E
2
-2cE
+c2
两边相减得Var
2
2
0.这说明随机变量ξ对数学希望
E的失散
E
c
E
c
度最小.
n
n
E(
E
i)(
Ej)
Var(
i)
Vari
i
j
性质4
i1
=i1
+21
ij
n
(6)
特别若
1,
n两两独立,则
n
n
Var(
i)
Var
i
i1
=i
1
.
(7)
**
n
n
n
n
Ei))2
i)
i
i)
2
(
(i
证
Var(
i1
=E(i
1
-E(i1
)
=Ei1
n
Ei)2
(
(i
2
(i
Ei)(j
Ej))
=
Ei
1
1i
jn
n
E(
E
i)(j
Ej)
Var
i
i
=
i
1
+21i
jn
得证
(6)式建立.
当
1,,n
两两独即刻,对任何
1i,jn
有
E
ij
EiEj
,
故
E(i
E
i)(j
Ej
)=E(
i
j
iE
j
jE
i
E
iE
j)
=E
ij
EiE
j
=0,
这就得证(7)式建立.
利用这些性质,可简化某些随机变量方差的计算.
例5
设ξ听从二项散布B(n,p),
求Var
.
解
如§1
例12
结构i,i
1,,n,它们互相独立同散布,此时
Var
i
Ei
2
(Ei)2
12
p
02q
p2
=pq.
因为互相独立必是两两独立的,由性质4
nn
Var
Var(
i)
Vari
npq.
i1
i1
例6
设随机变量
1,
n互相独立同散布,Ei
a
2
Vari=,
1
n
(i
1,,n).记
=
n
i
求E
Var
.
i1
解
由§1性质2和本节性质
2和4
有
1
n
Ei
E
ni
a,
1
1
n
1
2
2
Vari
Var
n2
n2n
n.
i1
**
这说明在独立同散布时,
作为各
i的算术均匀,它的数学希望与各
i的数学希望同样,
但方差只有
i的1/n倍.
这一事实在数理统计中有重要意义.
例7
设随机变量ξ的希望与方差都存在,Var
0.令
*
E
Var
称它为随机变量ξ的标准化.求E
*
与Var
*
.
解
由均值与方差的性质可知
E*
E(
E)
0
Var
Var*
Var(
E)
Var
1
Var
Var
.
2.2协方差
数学希望和方差反应了随机变量的散布特点.关于随机向量(1,,n),除掉各重量的期
望和方差外,还有表示各重量间互相关系的数字特点—协方差.
定义2
记
i和
j的结合散布函数为
Fij
(x,y).
若E(
i
E
i)(
j
E
j)
,就称
E(i
Ei
)(
j
Ej)
(x
E
i)(y
Ej)dFij(x,y)
(8)
为i,
j
的协方差(covariance)
,记作Cov(
i,
j).
明显,Cov
i
j
Vari
.公式(6)可改写为
n
n
Cov(
i,
j)
i
Var
i
'
Var(
i1
)
i1
+2
1i
jn
.
(6)
简单考证,协方差有以下性质:
性质1Cov(,)=Cov(,)EEE.
性质2设a,b是常数,则
**
Cov(a
b)
abCov(
).
n
n
Cov(
i,)
Cov(
i,)
性质3
i
1
i1
.
关于n维随机向量ξ=(1,
n),可写出它的协方差阵
b11
b12
b1n
b21
b22
b2n
BE
E
E
bn1
bn2
bnn
(9)
此中bij
Cov(
i,j).
由性质
1可知B是一个对称阵,且对任何实数
tj
j
1,
n,二次型
n
n
n
Ej))2
bjktjtk
tjtkE(j
Ej)(kEk)
E(
tj(j
0
j,k1
j,k
1
j1
即随机向量ξ的协方差阵B是非负定的.
性质4
设
c11
c1n
ξ=(1,
n)
C=cm1
cmn,
则C的协方差阵为
CBC,此中B是ξ的协方差阵.
因为EC
(C)'
EC
'C'
CE
'C'
,所以CBC的第i,j
元素就是C
的第i元素与
第j元素的协方差.
2.3有关系数
协方差虽在某种意义上表示了两个随机变量间的关系,但
Cov
的取值大小与ξ,的量
纲有关.
为防止这一点,用ξ,
的标准化随机变量(见例
7)来议论.
定义3称
**
E(
E
)(E)
r=Cov(,)
Var
Var
(10)
为ξ,
的有关系数(correlationcoefficient).
为了议论有关系数的意义,先看一个重要的不等式.
柯西—许瓦茨(Cauchy—Schwarz)不等式对随意随机变量ξ,有
E2E2E2
等式建立当且仅当存在常数t0使
.(11)
P
t0
1.
(12)
证对随意实数t
u(t)
E(t)2
t2E2
2tE
E2
是t的二次非负多项式,所以它的鉴别式
(E)2
E
2E
2
0,
证得(11)
式建立
.(11)式中等式建立当且仅当多项式
u(t)
有重根
t0
,即
ut0
E(t0
)2
0.
又由(3)
Vart0
Et0
2
故得Vart0
0,同时有Et0
0.所以由方差的性质
1就证得
Pt0
0
1,此即
(12)式.
由此即可得有关系数的一个重要性质.
性质1对有关系数r有
r
1.
(13)
r
=1当且仅当
r
**
E
E
1
P
Var
Var
;
=-1当且仅当
E
E
1
P
Var
Var
.
(14)
证由(11)式得
rE
E2E
2
VarVar
1
证得(13)
r
r
式建立.证明第二个结论.由定义
**E**
.由柯西-许瓦兹不等式的证
明可知
|r
|1
等价于
u(t)
=
t2E
*2
2tE**
E
*2
有重根