方差与协方差理解.docx

方差与协方差理解.docx

《方差与协方差理解.docx》由会员分享，可在线阅读，更多相关《方差与协方差理解.docx（27页珍藏版）》请在冰豆网上搜索。

方差与协方差理解

**

§2方差、协方差与有关系数

2.1方差

例1比较甲乙两人的射击技术，已知两人每次击中环数散布为：

7

8

9

6

7

8

9

10

：

01.0.601.

：

01.

01.

.

问哪一个技术较好？

第一看两人均匀击中环数，此时E

E

8，从均值来看没法辩解孰优孰劣

.但从直观上

看，甲基本上稳固在

8环左右，而乙却一会儿击中

10环，一会儿击中6

环，较不稳固.因

此从直观上能够讲甲的射击技术较好.

上例说明：

对一随机变量，除考虑它的均匀取值外，还要考虑它取值的失散程度.

称-E为随机变量

关于均值E

的离差（deviation）

，它是一随机变量

.为了给出一个描

述失散程度的数值，考虑用E

E

，但因为E

E

=E

E

=0对全部随机变量

EE

我们改用E

E

2

均建立，即

的离差正负相消，所以用

是不适合的.

描绘

取值

的失散程度，这就是方差.

若E

E

2

定义1

存在，为有限值，就称它是随机变量

的方差（variance）

，记作Var,

Var=E

E

2

（1）

但Var

的量纲与

不一样，为了一致量纲，有时用

Var

，称为

的标准差（standard

deviation）.

E

2

方差是随机变量函数

的数学希望，由§1

的（5）式，即可写出方差的计算公式

i

（xi

E

）2P（

xi）,失散型,

（x

E

2

（x

E

）

2

，连续型

.

Var

=

）dF（x）

p（x）dx

（2）

=

进一步，注意到

**

2

E

2

2E

E

2

2

2

E

E

=

=E

E

即有

=E

2

E

2

Var

.

（3）

很多状况，用（3）

式计算方差较方便些.

例1（续）

计算例1

中的方差Var

与Var.

解

利用（3）式

E2

xi2P（

xi

）

82×0.8+

92×0.1=64.2,

=

i

=72×0.1+

E

2

E

2

Var

=

=64.2--82

=0.2.

=E

2

E

2

同理,Var

=65.2-64=1.2>Var

所以

取值较

分别.这说明甲的射

击技术较好.

例2

试计算泊松散布

P（λ）的方差.

2

k2

k

k

E

e

k

e

解

k

0

k!

k

1

（k

1）!

k

k

（k

1）

e

e

k1

（k1）!

k1（k1）!

2

j

j

j

e

e

j

0

j!

j

0

j!

2

所以Var

2

2

.

例3

设

听从[a,b]

上的均匀散布

U[a,b]

，求Var.

E2

b

1

dx

1

a2

abb2

x2

解

a

b

a

3

1a2

1ab

2

abb2

1ba2

Var

3

2

12

.

**

听从正态散布Na,

2

例4

设

，求Var.

解

此时用公式

（2），因为E

a,

E（

a）2

（xa）2

1

e（xa）2/22dx

Var

2

2

z2/2

2

dz

ze

2

2

zez2/2

ez2/2dz

2

2

2

2

2

.

2

就是标准差.

可见正态散布中参数

就是它的方差,

方差也有若干简单而重要的性质

.

先介绍一个不等式.

切贝雪夫（Chebyshev）

不等式

若随机变量的方差存在，则对随意给定的正数ε，恒有

PEVar

证设的散布函数为Fx，则

2

.（4）

PE

（x

E

）

2

dF（x）

2

dF（x）

=|xE|

|xE|

1

（xE）

2

dF（x）

Var

2

2

=

/.

这就得（4）式.

切贝雪夫不等式不论从证明方法上仍是从结论上都有必定意义.事实上，该式断言落在

E

与E,

内的概率小于等于Var/

，或许说，

落在区间

2

E,E

内的概率大于

1-Var

2

/，进而只用数学希望和方差便可对上述概率进

行预计.比如，取

ε=3Var，则

**

2

P

E

Var

1

Var

3Var

≈0.89.

自然这个预计仍是比较粗拙的（当

N

a,

2

～

时，在第二章曾经指出,P（|ξ

-E|

3Var

）=P（|ξ-a|3σ）≈

）.

性质1

Var

=0

的充要条件是P（ξ=c）=1

，此中c是常数.

证明显条件充足.反之，假如Var

=0

，记E

=c,

由切贝雪夫不等式,

P（|ξ-

E|

ε）=0

对全部正数ε建立.进而

P

c

1P

c

0

1

limP

c

1n

1

n

.

性质2设c,b都是常数，则

Var（c

+b）=c2Var

.

（5）

证Var（c

+b）=E（c+b-E（c+b））2

=E（c

+b-cE

-b

）2

=c2

E（

E）2

=c2

Var

.

若c

E

则Var

E

c

2

性质3

.

证因Var

=E

2

-（E

）2

而E（ξ-c）2

=E

2

-2cE

+c2

两边相减得Var

2

2

0.这说明随机变量ξ对数学希望

E的失散

E

c

E

c

度最小.

n

n

E（

E

i）（

Ej）

Var（

i）

Vari

i

j

性质4

i1

=i1

+21

ij

n

（6）

特别若

1,

n两两独立，则

n

n

Var（

i）

Var

i

i1

=i

1

.

（7）

**

n

n

n

n

Ei））2

i）

i

i）

2

（

（i

证

Var（

i1

=E（i

1

-E（i1

）

=Ei1

n

Ei）2

（

（i

2

（i

Ei）（j

Ej））

=

Ei

1

1i

jn

n

E（

E

i）（j

Ej）

Var

i

i

=

i

1

+21i

jn

得证

（6）式建立.

当

1,,n

两两独即刻，对任何

1i,jn

有

E

ij

EiEj

，

故

E（i

E

i）（j

Ej

）=E（

i

j

iE

j

jE

i

E

iE

j）

=E

ij

EiE

j

=0,

这就得证（7）式建立.

利用这些性质，可简化某些随机变量方差的计算.

例5

设ξ听从二项散布B（n,p）,

求Var

.

解

如§1

例12

结构i,i

1,,n,它们互相独立同散布，此时

Var

i

Ei

2

（Ei）2

12

p

02q

p2

=pq.

因为互相独立必是两两独立的，由性质4

nn

Var

Var（

i）

Vari

npq.

i1

i1

例6

设随机变量

1,

n互相独立同散布,Ei

a

2

Vari=,

1

n

（i

1,,n）.记

=

n

i

求E

Var

.

i1

解

由§1性质2和本节性质

2和4

有

1

n

Ei

E

ni

a,

1

1

n

1

2

2

Vari

Var

n2

n2n

n.

i1

**

这说明在独立同散布时，

作为各

i的算术均匀，它的数学希望与各

i的数学希望同样，

但方差只有

i的1/n倍.

这一事实在数理统计中有重要意义.

例7

设随机变量ξ的希望与方差都存在,Var

0.令

*

E

Var

称它为随机变量ξ的标准化.求E

*

与Var

*

.

解

由均值与方差的性质可知

E*

E（

E）

0

Var

Var*

Var（

E）

Var

1

Var

Var

.

2.2协方差

数学希望和方差反应了随机变量的散布特点.关于随机向量（1,,n）,除掉各重量的期

望和方差外，还有表示各重量间互相关系的数字特点—协方差.

定义2

记

i和

j的结合散布函数为

Fij

（x,y）.

若E（

i

E

i）（

j

E

j）

，就称

E（i

Ei

）（

j

Ej）

（x

E

i）（y

Ej）dFij（x,y）

（8）

为i,

j

的协方差（covariance）

，记作Cov（

i,

j）.

明显，Cov

i

j

Vari

.公式（6）可改写为

n

n

Cov（

i,

j）

i

Var

i

'

Var（

i1

）

i1

+2

1i

jn

.

（6）

简单考证，协方差有以下性质：

性质1Cov（,）=Cov（,）EEE.

性质2设a,b是常数，则

**

Cov（a

b）

abCov（

）.

n

n

Cov（

i,）

Cov（

i,）

性质3

i

1

i1

.

关于n维随机向量ξ=（1,

n），可写出它的协方差阵

b11

b12

b1n

b21

b22

b2n

BE

E

E

bn1

bn2

bnn

（9）

此中bij

Cov（

i,j）.

由性质

1可知B是一个对称阵，且对任何实数

tj

j

1,

n,二次型

n

n

n

Ej））2

bjktjtk

tjtkE（j

Ej）（kEk）

E（

tj（j

0

j,k1

j,k

1

j1

即随机向量ξ的协方差阵B是非负定的.

性质4

设

c11

c1n

ξ=（1,

n）

C=cm1

cmn,

则C的协方差阵为

CBC，此中B是ξ的协方差阵.

因为EC

（C）'

EC

'C'

CE

'C'

，所以CBC的第i,j

元素就是C

的第i元素与

第j元素的协方差.

2.3有关系数

协方差虽在某种意义上表示了两个随机变量间的关系，但

Cov

的取值大小与ξ,的量

纲有关.

为防止这一点，用ξ,

的标准化随机变量（见例

7）来议论.

定义3称

**

E（

E

）（E）

r=Cov（,）

Var

Var

（10）

为ξ,

的有关系数（correlationcoefficient）.

为了议论有关系数的意义，先看一个重要的不等式.

柯西—许瓦茨（Cauchy—Schwarz）不等式对随意随机变量ξ,有

E2E2E2

等式建立当且仅当存在常数t0使

.（11）

P

t0

1.

（12）

证对随意实数t

u（t）

E（t）2

t2E2

2tE

E2

是t的二次非负多项式，所以它的鉴别式

（E）2

E

2E

2

0,

证得（11）

式建立

.（11）式中等式建立当且仅当多项式

u（t）

有重根

t0

，即

ut0

E（t0

）2

0.

又由（3）

Vart0

Et0

2

故得Vart0

0,同时有Et0

0.所以由方差的性质

1就证得

Pt0

0

1，此即

（12）式.

由此即可得有关系数的一个重要性质.

性质1对有关系数r有

r

1.

（13）

r

=1当且仅当

r

**

E

E

1

P

Var

Var

;

=-1当且仅当

E

E

1

P

Var

Var

.

（14）

证由（11）式得

rE

E2E

2

VarVar

1

证得（13）

r

r

式建立.证明第二个结论.由定义

**E**

.由柯西-许瓦兹不等式的证

明可知

|r

|1

等价于

u（t）

=

t2E

*2

2tE**

E

*2

有重根