第二章多元正态分布Word格式文档下载.docx

第二章多元正态分布Word格式文档下载.docx

《第二章多元正态分布Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《第二章多元正态分布Word格式文档下载.docx（19页珍藏版）》请在冰豆网上搜索。

第一节多元分布的基本概念

多元统计分析主要方法是建立在多元正态分布的假设之上的。

而多元正态分布又是多元分布中应用最广泛的一种.为此，在介绍多元统计分析方法之前，首先有必要介绍多元正态分布的有关内容.另外，多元统计分析涉及到的都是随机向量或着将多个随机向量放在一起组成的随机矩阵。

为此，学习多元正态分布还需要首先从随机向量的基本概念开始。

多元统计分析，简称多元分析，是指当总体的分布是多维（多元）概率分布时，处理该类总体的数理统计理论和方法的总称，是统计学中的一个重要的分支学科。

早在19世纪就出现了处理二维正态总体的一些方法，但系统地处理多维概率分布总体的统计分析问题，则开始于20世纪。

人们常把1928年维希特（Wishart）分布的导出作为多元分析成为一个独立学科的标志。

20世纪30年代,R。

A。

费希尔、H。

霍特林、许宝騄以及S.N。

罗伊等人做出了一系列奠基性的工作,使多元统计分析在理论上得到了迅速的进展。

20世纪40年代，多元分析在心理、教育、生物等方面获得了一些应用。

由于应用时常需要大量的计算,加上第二次世界大战的影响，使其发展停滞了相当长的时间。

50年代中期，随着电子计算机的发展和普及，它在地质、气象、标准化、生物、图像处理、经济分析等许多领域得到了广泛的应用,也促进了理论的发展。

一、随机向量

我们知道，所谓随机变量通俗理解就是“其值随机会而定”的变量.比如,在某厂大批产品中随机地抽取出100个，其中所含废品数就是一个随机变量。

这里是一维的，所以就称为一维随机变量，简称为随机变量。

再如,我们考虑一个打靶试验，在靶面上取定一个直角坐标系，则命中的位置由其坐标来刻划，都是随机变量，而这里是二维的,所以称为二维随机变量或二维随机向量.多维随机变量或多维随机向量的意义可以据此推广.为此，设为个随机变量，由它们组成向量,则称作维随机向量（维随机变量）。

在统计上，对多维随机向量的研究和对一维随机变量的研究是一样的，要通过样本资料来推断总体的,为此，针对样本情况下，多维随机向量的表示形式可如下进行.

如对于某个容量为的样本资料，实际上就是对个随机变量进行次观察，所得数据形式如下：

我们常把每一次观察叫做一个样品。

关于随机变量（及向量）的研究,是概率论的中心内容，也是统计分析的基础概念.随机变量按其可能取值的性质，区分为两大类。

一类是离散型随机变量，其特征是只能取有限个值；

另一类是连续型的随机变量，其特征是变量的全部可能取值不仅是无穷多的，并且还不能无遗漏地逐一排列，而是充满一个区间的。

同样随机向量也有离散型和连续型之分。

对于一个多维随机向量,如果其每个分量都是一维离散型随机变量，则称为多维离散型随机向量；

如果把一个维随机向量的取值可视为维欧氏空间中的一个点，若维随机向量的全部取值能够充满欧氏空间中某一区域，则称该维随机向量为连续型的.

二、多元分布函数和多元密度函数

人们研究随机变量,不只是要看它能够取哪些值，更重要的是它取各种值的概率如何。

认识随机变量的取值规律，也就是要研究随机变量取值的概率分布.刻划随机变量取值及其概率分布是通过函数的形式来进行的，具体这种函数有两种形式，一种叫概率分布函数简称分布函数,一种叫概率密度函数简称密度函数。

刻划多维随机向量取值及其概率分布同样也是通过分布函数和密度函数的形式来进行的。

（一）多元分布函数

设是一随机向量，它的多元分布函数定义为:

式中（表示维欧氏空间）,并记为。

多维随机向量的统计特性可用它的分布函数来完整地描述。

（二）多元分布密度

对于离散型的多维随机向量。

设是维随机向量，若存在有限个或可列个维数向量记且满足，则称为离散型随机向量,称为的概率分布。

　　对于连续型的多维随机向量。

设＝，且存在一个非负函数对一切有

存在

则称为连续型随机向量，称为的联合分布密度函数，简称联合分布密度。

一个个变量的函数能作为中某个随机向量的分布密度,当且仅当：

（１）

（2）

离散型随机向量的统计特性可由它的概率分布完全确定,连续性随机向量的统计特性可由它的分布密度完全确定。

（三）密度函数和分布函数的关系

从数学角度看，随机向量的密度函数、分布函数之间的关系可以理解为导数和积分之间的关系。

通俗的理解,密度函数、分布函数之间实际上是对随机向量的统计特性分别从两个不同侧面进行的刻划，前者是一个一般意义的函数,后者则是自变量为累计值的函数,是一个问题的两个方面.

三、多维随机向量的边缘密度、独立性与条件分布

多维随机向量的分布函数、密度函数实际是对随机向量的统计特性从总体上进行的描述和刻划。

由于多维随机向量中包括着多个一维的随机变量，当要研究某个随机变量，或其中一部分随机变量的统计特性,以及各个随机变量之间关系特征时,还需要给出进一步的描述手段，这就需要给出多维随机向量的边缘密度、独立性与条件分布等概念。

多维随机向量的边缘密度。

若为维随机向量，由它的个分量组成的子向量的分布称为的边缘（边际）分布;

通过变换中的各分量的次序，总可以假定正好是的前个分量，其余个分量为，即

　　这时的分布函数为,若的联合分布密度为,则的边缘密度函数为：

　　多维随机向量的独立性。

若个随机变量的联合分布密度等于各自边缘分布的乘积，则称是互相独立的。

多维随机向量的条件分布。

称给定时的分布为条件分布。

当的密度函数为的密度函数为时，给定时的条件密度为

四、多维随机向量的数字特征

概率分布是对随机变量的概率性质最完整的刻画。

优点是刻画的完整性，不便之处在于表示形式有时是非常复杂的.而随机变量的数字特征，则是指某些由随机变量的分布所决定的常数，它刻画了随机变量（或者其分布）的某一方面的性质。

对于多维随机变量刻画其性质的最重要的数字特征有均值、自协差阵与协差阵及相关矩阵。

（一）多维随机向量的均值向量

设为维随机向量，若存在，（），则定义随机向量的均值为:

是一个维向量称为均值向量。

（二）多维随机向量的自协差阵与协差阵

称随机向量的自协差阵（简称随机向量的协差阵）为

称随机向量、的协差阵为

（三）随机向量均值与协差阵的性质

是对称非负定阵

这里，为随机向量，、为大小适合运算的常数矩阵。

（四）随机向量的相关阵

称随机向量的相关阵为

需要说明的是,经过标准化处理后的数据的协差阵正好是原来数据的相关阵

代表经过标准化处理后的数据。

第二节多元正态分布及其参数估计

用来刻画多维随机向量统计特性的常见的多元分布有很多，除了多元正态分布还有多元对数正态分布、多项式分布、多元超几何分布、多元分布、多元分布、多元指数分布等。

这里主要介绍多元正态分布，其原因是多元统计分析的主要方法是建立在多元正态分布的假设之上的.尽管实际分析数据可能不会严格服从多元正态分布的，但有三个原因使多元正态分布在实际中有着广泛的应用：

一是，正态分布在许多情况下确实能作为真实总体的一个近似;

二是，根据中心极限定理,不论总体的分布如何,许多统计量的分布是近似正态分布的；

三是，很多检验统计量的分布对正态分布条件是稳健的，即原始资料对正态的偏离对检验结果影响不大.

一、多元正态分布密度函数

若维随机向量的概率密度函数为

其中是维向量，是阶正定矩阵，则称服从维正态分布，简记为

多元正态随机向量具有以下的性质：

1、若,其协差阵是对角阵，则的各分量是相互独立的随机变量。

2、多元正态分布随机向量的任何一个分量子集的分布仍然服从正态分布。

3、多元正态分布随机向量的任意线性变换仍然是服从多元正态分布。

若，令,为阶方阵，则

二、多元正态分布的数字特征

根据证明，若，则，即恰好是多维随机向量的均值向量,恰好是多维随机向量的协差阵。

其中

三、多元正态分布的参数估计

在实际应用中，多元正态分布中的均值向量和协差阵通常是未知的，需要由样本资料来估计，而参数估计的方法很多，这里用最常见的最大似然估计法给出估计量，用样本均值向量估计总体均值向量，用样本协差阵估计总体协差阵。

一般情况下，从多元正态总体中按照随机原则，抽取容量为的样本，则资料阵为

设每个样品是相互独立的，则利用最大似然估计可求出

根据数理统计的证明分别是的无偏估计。

第三节多元正态分布的假设检验

类似于一元统计分析中的各种均值和方差的假设检验，多元统计分析中也需要对各种均值向量和协差阵进行假设检验.基本步骤均可归纳为四步:

第一步,提出待检验的假设和.第二步,给出检验的统计量及它服从的分布。

第三步，给定检验水平，查统计量的分布表，确定临界值，从而得到否定域。

第四步，根据样本观测值计算出统计量的值,看是否落入否定域中,以便对待判假设检验做出决策（拒绝或接受）。

一、对多元正态总体均值向量和协差阵进行假设检验时常用的三个重要的抽样分布

（一）Wishart（维希特）分布——分布在多维变量情况下的推广

设，且相互独立,则由组成的随机矩阵

该随机矩阵的分布称为非中心参数为，自由度为的维希特（Wishart）分布，记为其中;

当时称为中心Wishart分布，记为。

这里需要说明的是：

1、所谓随机矩阵的分布,一般是指该矩阵的列向量一个接一个地组成一个长向量的分布。

若是对角矩阵,则只取上三角部分的向量。

2、当时,为一维正态分布，则为分布。

3、维希特（Wishart）分布具有以下重要性质：

（1）若（）且相互独立，则离差阵

。

（2）若，且相互独立，则

.

（3）若为非奇异阵，则

（二）（Hotelling）分布——分布在多维变量情况下的推广

设且与相互独立,,则称统计量

的分布为自由度为的非中心参数为的分布,记为，

这里需要说明的是：

1、当时,称服从自由度为的中心分布,记为.

2、分布具有以下重要性质：

（1）当时，,这里的是一元的自由度为的分布.

（2）若且与相互独立，令则

（三）威尔克斯（Wilks）分布

在一元变量的情况，方差用来刻画随机变量取值的分散程度，在多元统计的条件下方差发展演变为协差阵。

那么,在多元统计条件下，如何使用一个数量指标来反映协差阵所体现的分散程度呢？

对此有的用行列式，有的用迹的方法,常用的是用行列式的方法,即广义方差的概念。

广义方差。

若，则称协差阵的行列式为广义方差，称为样本广义方差，这里表示样本协差阵.

威尔克斯（Wilks）统计量.两个广义方差之比所构成的统计量称为威尔克斯（Wilks）统计量.

威尔克斯（Wilks）分布.若，（）相互独立，,且，则

称统计量的分布为自由度为的威尔克斯（Wilks）分布，简记为.

这里需要说明的是，威尔克斯（Wilks）分布具有以下重要性质：

1、，如果，则分布与分布相同。

2、当时，分布退化为分布，即设，，,则与具有相同的分布。

3、威尔克斯（Wilks）分布与有如下的关系：

（1）当时，

（2）当时,

（3）当时，

（4）当时，

以上关系式说明，对于一些特殊的统计量可以转化为统计量，进而可以化为统计量。

并且当时，统计量可以利用统计量或统计量来近似表示。

有了上述的关系，实际应用中，为了方便，遇到统计量时，就可以通过变换，用