方差与协方差理解.docx

1、方差与协方差理解* *2 方差、协方差与有关系数2.1 方差例1 比较甲乙两人的射击技术，已知两人每次击中环数散布为：789678910： 01. 0.6 01.： 01.01.问哪一个技术较好？第一看两人均匀击中环数，此时EE8 ，从均值来看没法辩解孰优孰劣. 但从直观上看，甲基本上稳固在8 环左右，而乙却一会儿击中10 环，一会儿击中 6环，较不稳固 .因此从直观上能够讲甲的射击技术较好.上例说明：对一随机变量，除考虑它的均匀取值外，还要考虑它取值的 失散程度 .称 - E 为随机变量关于均值 E的离差 (deviation)，它是一随机变量. 为了给出一个描述失散程度的数值， 考虑用 E

2、E，但因为 EE= EE=0 对全部随机变量EE我们改用 EE2均建立，即的离差正负相消，所以用是不适合的 .描绘取值的失散程度，这就是方差 .若 EE2定义 1存在，为有限值，就称它是随机变量的方差 (variance)，记作 Var ,Var = EE2(1)但 Var的量纲与不一样，为了一致量纲，有时用Var，称为的标准差 (standarddeviation).E2方差是随机变量函数的数学希望 ，由1的 (5) 式，即可写出方差的计算公式i( xiE)2P(xi ),失散型 ,( xE2( xE)2，连续型.Var=) dF (x)p (x)dx(2)=进一步，注意到* *2E22 E

3、E222EE= EE即有= E2E2Var.(3)很多状况，用 (3)式计算方差较方便些 .例 1(续)计算例 1中的方差 Var与 Var .解利用 (3) 式E 2xi2 P(xi)82 0.8+92 0.1=64.2,=i= 7 2 0.1+E2E2Var=64.2- 82=0.2.= E2E2同理 , Var= 65.2-64 = 1.2 Var, 所以取值较分别 . 这说明甲的射击技术较好 .例 2试计算泊松散布P()的方差 .2k 2kkEeke解k0k!k1( k1)!kk(k1)eek 1( k 1)!k 1 (k 1)!2jjjeej0j !j0j !2所以 Var22.例

4、3设听从 a, b 上的均匀散布U a, b，求 Var .E 2b1dx1a2ab b2x2,解aba31 a21 a b2ab b21 b a 2Var3212.* *听从正态散布 N a,2例 4设，求 Var .解此时用公式 (2) ，因为 Ea ,E(a) 2(x a)21e ( x a)2 /2 2 dxVar22z2 / 22dzz e22ze z2 /2e z2 /2dz22222.2就是标准差 .可见正态散布中参数就是它的方差 ,方差也有若干简单而重要的性质.先介绍一个不等式 .切贝雪夫 (Chebyshev)不等式若随机变量的方差存在，则对随意给定的正数，恒有P E Var

5、证 设 的散布函数为 F x ，则2. (4)P E(xE)2dF ( x)2dF ( x)= |x E | x E |1( x E )2dF ( x)Var22=/.这就得 (4) 式 .切贝雪夫不等式不论从证明方法上仍是从结论上都有必定意义 . 事实上，该式断言 落在,E与 E,内 的 概 率 小 于 等 于 Var /，或许说，落在区间2E, E内的概率大于1- Var2/，进而只用数学希望和方差便可对上述概率进行预计 . 比如，取=3 Var ，则* *2PEVar1Var3 Var0.89.自然这个预计仍是比较粗拙的（当Na,2时 ， 在 第 二 章 曾 经 指 出 , P(| -

6、E |3 Var)=P(| - a | 3 )）.性质 1Var=0的充要条件是 P(=c) =1，此中 c 是常数 .证 明显条件充足 . 反之，假如 Var= 0，记 E= c,由切贝雪夫不等式 ,P(| -E |)=0对全部正数建立 . 进而Pc1 Pc01lim Pc1 n1n.性质 2 设 c,b 都是常数，则Var( c+ b)= c2 Var.(5)证 Var( c+ b )= E( c + b - E( c + b) ) 2= E( c+ b -c E-b) 2= c2E(E )2= c2Var.若 cE则 VarEc2性质 3,.证 因 Var= E2- ( E) 2, 而

7、E(-c ) 2= E2-2 c E+ c2,两边相减得 Var220 .这说明随机变量对数学希望E 的失散EcEc度最小 .nnE(Ei )(E j )Var(i )Var iij性质 4i 1= i 1+2 1i jn(6)特别若1 ,n 两两独立，则nnVar(i )Varii 1= i1.(7)* *nnnnE i ) 2i )ii )2( i证Var(i 1= E( i1-E( i 1)= E i 1nE i ) 2( i2( iE i )( jE j )=E i11 ij nnE(Ei )( jE j )Varii=i1+2 1 ij n,得证(6) 式建立 .当1 , n两两独即

8、刻，对任何1 i , j n有Ei jE i E j，故E( iEi )( jE j) =E(iji Ejj EiEi Ej )= Ei jE i Ej=0,这就得证 (7) 式建立 .利用这些性质，可简化某些随机变量方差的计算 .例 5设听从二项散布 B(n, p ),求 Var.解如1例 12结构 i , i1, , n , 它们互相独立同散布，此时VariE i2( E i ) 212p0 2 qp2=pq.因为互相独立必是两两独立的，由性质 4n nVarVar(i )Var inpq .i 1i 1例 6设随机变量1 ,n 互相独立同散布 , E ia2, Var i =,1n( i

9、1, , n ). 记=ni,求 E, Var.i 1解由1 性质 2 和本节性质2 和 4有1nE iEn ia ,11n122Var iVarn2n2 nn .i 1* *这说明在独立同散布时，作为各i 的算术均匀，它的数学希望与各i 的数学希望同样，但方差只有i 的 1/ n 倍 .这一事实在数理统计中有重要意义.例 7设随机变量的希望与方差都存在 , Var0 . 令*EVar,称它为随机变量的标准化 . 求 E*与 Var*.解由均值与方差的性质可知E *E(E )0Var,Var *Var(E )Var1VarVar.2.2 协方差数学希望和方差反应了随机变量的散布特点 . 关于随

10、机向量 ( 1, , n ) , 除掉各重量的期望和方差外，还有表示各重量间互相关系的数字特点协方差 .定义 2记i 和j 的结合散布函数为Fij(x, y) .若 E (iEi )(jEj )，就称E( iE i)(jE j )(xEi )( yE j )dFij ( x, y)(8)为 i ,j的协方差 ( covariance)，记作 Cov(i ,j ).明显， Covi,jVar i.公式 (6) 可改写为nnCov(i ,j )iVariVar(i 1)i 1+21 ij n.(6)简单考证，协方差有以下性质：性质 1 Cov( , ) = Cov( , ) E E E .性质 2

11、 设 a, b 是常数，则* *Cov( a, b )abCov(, ) .nnCov(i , )Cov(i , )性质 3i1i 1.关于 n 维随机向量 = ( 1 , n ) ，可写出它的协方差阵b11b12b1nb21b22b2nB EEEbn1bn2bnn,(9)此中 bijCov(i , j ) .由性质1 可知 B 是一个对称阵，且对任何实数t j, j1, n , 二次型nnnE j ) 2bjk t j tkt jtk E( jE j )( k E k )E(t j ( j0j ,k 1j , k1j 1,即随机向量的协方差阵 B 是非负定的 .性质 4设c11c1n= (

12、1, n ),C = cm 1cmn ,则 C 的协方差阵为CBC ，此中 B 是的协方差阵 .因为 EC(C )EC C CE C ，所以 CBC 的第 i, j元素就是 C的第 i 元素与第 j 元素的协方差 .2.3 有关系数协方差虽在某种意义上表示了两个随机变量间的关系，但Cov,的取值大小与 , 的量纲有关 .为防止这一点，用 ,的标准化随机变量（见例7）来议论 .定义3 称* *E(E)( E)r =Cov( , )VarVar(10)为,的有关系数 (correlation coefficient).为了议论有关系数的意义，先看一个重要的不等式 .柯西许瓦茨 (Cauchy Sc

13、hwarz) 不等式 对随意随机变量 , 有E 2 E 2E 2等式建立当且仅当存在常数 t0 使. (11)Pt01.(12)证 对随意实数 tu (t )E (t)2t 2 E 22tEE 2是 t 的二次非负多项式，所以它的鉴别式(E )2E2 E20 ,证得 (11)式建立. (11) 式中等式建立当且仅当多项式u ( t)有重根t0，即u t0E (t 0)20 .又由 (3)Var t 0E t02,故 得 Var t00 , 同 时 有 E t00. 所以由方差的性质1 就证得P t001，此即(12) 式 .由此即可得有关系数的一个重要性质 .性质 1 对有关系数 r 有r1.(13)r=1 当且仅当r* *EE1PVarVar;=-1 当且仅当EE1PVarVar.(14)证 由 (11) 式得rEE 2 E2Var Var1证得 (13)rr式建立 . 证明第二个结论 . 由定义,* * E* *. 由柯西 - 许瓦兹不等式的证明 可 知| r| 1等 价 于u(t)=t 2 E* 22tE * *E* 2有 重 根