多元正态分布均值向量估计的若干探讨.docx
《多元正态分布均值向量估计的若干探讨.docx》由会员分享，可在线阅读，更多相关《多元正态分布均值向量估计的若干探讨.docx（13页珍藏版）》请在冰豆网上搜索。
多元正态分布均值向量估计的若干探讨
多元正态分布均值向量估计的若干探讨
本文主要内容为在集成风险意义下，对异方差的多元正态分布的均值向量进行估计，并给出Brown,Nie&Xie[1冲一个未解决问题的一种解决方法.
首先，先对James-Stein估计量进行简单的介绍，并说明它的误差比使用极大似然佔计法得到的佔计量的误差在某些情况下要小.然后，给出集成风险以及在集成风险下，极小极大性的定义.之后，讨论儿种收缩到0的估计量的集成极小极大性,研究它们在满足何种条件的情况下符合集成极小极大性，并给出对上文所提到的问题的解决方法.最后，我们对James-Stein佔讣量和极大似然佔计量进行数据模拟.
第一章关键词：
集成风险,收缩估Th,James-Stein估计量.
第二章引言
1.1现实意义
当今社会是信息社会，而我们所要了解的信息主要是以各种各样的数据来体现的,所以对这些数据进行合理的分析是非常有意义的.在许多实际问题中，我们所遇到的问题涉及到的变量或指标往往不止一个，这些变量之间乂会有一定的联系，常常需要处理多个变量的观测数据，多元统计分析就是处理多维数据的重要工具，诸如生物医学、金融工程、大气科学等许多领域都需要使用多元统计分析.正因为如此，高维情况下的统计推断目前受到广泛关注.
多元正态分布是概率论与数理统计中最重要的多元分布之一,我们所遇到的许多实际问题的分布通常是多元正态分布或近似于多元正态分布，亦或它们的样本均值近似于多元正态分布.在多元统计分析中，我们所使用的很多理论和方法都是以多元正态分布为基础的，很多统计量的极限分布也与多元正态分布有关.此外，多元正态分布所具有的良好性质使得我们能很好的解决所遇到的问题，得出更加理想的结果.多元正态分布作为应用最为广泛的一类多元分布，均值向量乂是多元正态分布两个重要参数之一，所以对其的估计是相当有必要的.本论文将研究集成风险（Ensemblerisk）下多元正态分布的均值向量的估计，主要探讨高维情形下收缩估计的性质.
1.2背景介绍
在本文中,我们要对独立多元正态分布X的均值向量进行估计，其中对于一个对的估计量，我们使用的损失函数是平方损失，即
L.
它的风险函数是
R.
James和Stein证实了在同方差的情况下,即,James-Stein估计量
和它的正的部分
在0时，比应用极大似然估计得出的结果更加精确，这个结论的证明见2.2节.James和Stein的这个结果使人们认识到了收缩估计的巨大作用，收缩估计也得到了更广泛的应用,帮助解决了困扰人们许久的问题.
James和Stein同样对异方差的情形进行了研究.他们采用将损失函数的权数选取为方差的倒数的方式，将问题转换为损失函数为平方损失的悄况下，求解同方差的情开彳，从而使问题得到解决.Tsukuma&Kubokawa[3]硏究了一个奇异多元正态分布在协方差矩阵为奇异的的情况下，如何对均值矩阵进行估讣•他们使用协方差矩阵的Moore-Penrose逆来作为二次损失函数的权重，在这种情况下，无偏的风险估计量可以被认作是Baranchik型估计量，使它满足极小极大性的条件可以用一个不等式来表达，这个不等式是可微并且可积的.将这一成果推广,他们用这类奇异的正态分布构建出了符合集成极小极大性的收缩估计量.Moore-Penrose逆对于收缩估讣量还有其他应用，在Tsukuma&Kubokawa[4]的另一项研究中，为了在协方差矩阵未知的情形下，对均值向量进行估计,他们通过运用Moore-Penrose逆给出了一个Efron-Morris型佔讣量的统一形式，这个估11'量可以在任何维数和样本容量下进行定义和使用，并且它还是Efron-Morris型估计量和Baranchik型估计量的一般形式.这个统一形式给出了一类收缩估计量，对任意维数的协方差矩阵和任意均值矩阵，我们都可以给出风险函数无偏估汁量的
—种统一的表达式.
尽管在方差相同的情形下,James-Stein估计量拥有较之最大似然估讣量更优良的性质.但是Brown[5]提出在异方差的情形下,James-Stein佔计•量的均方误差损失并不一定小于运用极大似然佔讣法得到的佔计量的均方误差损失，同时，这个估计量也不一定满足极小极大性•如果这些方差中存在一个方差远远大于其他方差，甚至大于其余所有方差的和，这时我们会发现运用极大似然法得到的估讣量的均方误差损失相较于James-Stein佔汁量要更小.更让人沮丧的是,Casella⑹的研究成果表明，即便James-Stein估计量满足极小极大性，它也许也不是符合人们预期的那个结果.
在大多数情况下，人们习惯将的先验分布认为是某一个可交换的分布，从而将关于这个先验分布的复合风险函数定义为
EfronandMorris[7]以贝叶斯以及经验贝叶斯的观点来考虑这一问题.他们将,，作为的先验分布，并称这种情况下的复合风险为集成风险.
在给定一类集成风险后，我们就可以考虑关于先验分布集合的集成极小极大性和其他的一些性质.在这篇文章中，我们规定，
，作为的先验分布.
Brown[8]介绍了参数经验贝叶斯估计量与随机效应模型之间的关系,对误差自III度无限的单向分类随机效应模型的组平均值进行估计与上面所提到的问题是等价的.这样在随机效应模型中，集成风险与普通的风险函数是一致的.
高通量分子技术的应用使人们获得了非常大量且与以往类型不同的生物数据，微阵列数据就是最好的例子•数以千讣的基因数据排列在上面，可靠的生物标记物可以为疾病的分类和诊断，药物治疗新靶点的鉴别提供很好的帮助，而微阵列数据使得它得到了很大的提升.但是山于高额的费用和诸如生物材料可用性等实验上的难题，通常情况下，人们只能收集高通量数据很有限的部分，通常被认为是拥有极大P值和较小n值的数据，这里p指的是维数或基因数,n指的是样本容量•高维数据的处理如果应用传统的统计方法和计算方法会有很大困难，不仅如此，由于n较小，均值和方差等参数的估计可能并不准确，所以在这种情况下，参数估计可能得不到很好的结果•为了得到更加精确的对总体均值进行估计,Wang,Tong,Cao,Miao[9]在给定二次损失函数，协方差矩阵为非对角线的且未知的情形下，给出了一种对总体均值的收缩估计量.这个佔计量是非参数的，所以不需要给定一个参数分布，也不需要总体协方差矩阵的先验信息，并证明了在很多情况下，这个估计量都具有很好的性质.
本文主要是对Brown,Nie&Xie[1]中的内容进行归纳总结，并给出文中一个未解决问题的一种解决方法.
第三章James-Stein估计量
2.1定义
现有观察得到的p个X值，即，且，i二1,2,…,p.现在用观察得到的X二去估计,其中一种方法就是应用James-Steinfi讣量，
首先，我们需要知道这个估计量是如何得到的.
假设,i=l,2,...,p.这样我们就得到了先验概率，运用贝叶斯公式我们可以得到它的后验概率
其中，这里和都是正态分布.
由正态分布的性质得出
的边际分布为
的后验分布为
9
这样就可以得到的后验期望
E,
这就是对的一个估计.因为未知，所以我们只需给出一个对它的估计，即可得到想要的结果.
因为
山卡方分布的性质得知
9
并且
9
从而得知
E=,
这样我们就可以用作为对的估计,也就得到先前给出的James-Stein佔汁量.
2.2优势
极大似然估计法是U前应用最为广泛的求估计量的技术，其预测的准确度自然不会差，但Stein教授所得出的James-Stein估计量在p,使用均方误差进行评价的情况下，较之极大似然估计法所得出的结果要更好，这就是人们如此推崇James-Stein估计量的原因.
现在我们就来验证一下James-Stein估计量的误差较之使用极大似然法所得出的估计量的误差要小.
不妨设James-Stein估计量为，极大似然估计量为，我们现在只需证明当p时，
<.
一个简单的事实是
■
其中，
i=12…N
由此我们可以得到
=p+2・
其中，
=，在X上是连续可微的.
又因为
9
所以可以得出
=p,
当P这就证明了我们的结论.
第四章James-Stein估计量的推广
3.1基本定义
现在我们要对独立的正态分布x中的均值参数进行佔汁，其中对于一个对的估计量，我们使用的损失函数是平方损失，即
L.
（1）
风险函数是
R.
（2）
在同方差的情况下,即James和Stein证实TJames-Stein估计量
（3）和它的正的部分
⑷在0时,应用极大似然估计得出的结果更加精确.
现在我们考虑异方差的情形•首先，对集成风险进行定义，其形式为
（5）
在风险函数的意义下，如果对任意一个都成立，并且至少存在一个使不等号严格不等，我们就说相对占优势•如果存在另一个估计量相对占优势，我们就称佔计量是不容许的，否则就称是容许的•如果满足
⑹我们就称是符合极小极大性的.
类似的，在集成风险函数意义下，给定一个先验分布的集合如果对任意一个都成立，并且至少存在一个使不等号严格不等，我们就说在给定先验分布集合的情况下，相对占优势•如果存在另一个估计量相对占优势，我们就称估计量在集成情况下是不容许的，否则就称在集成情况下是容许的.如果满足
（7）我们就称符合集成极小极大性的.
这里我们定义
特别要注意的是当我们给定了的先验分布后,我们可以得到则
所以
3.2集成极小极大性的主要结果
3.2.1基本理论
在异方差的模型下，我们定义James-Stein类型的估讣量为和它的正的部分
⑼我们首先给出一类满足集成极小极大性的收缩估计量.
不妨设
如果.
定义
（10）
（11）
这样我们可以将用和改写，即,以用函数和进行改写，为
■
（⑵
下述定理推论大部分引自Brown,Nie&Xie[1],在这样的定理后面会用[1]标记，证明方法同样来自该篇文章,但我对其中缺少的部分进行了补充，不恰当的地方进行了修改.
定理一个具有形式的估计量具有集成极小极大性，如果每个收缩佔计量都满足以下条件：
可以写成这样的形式.
对于固定的，在上是递减的.
对于固定的，在上是递增的.
■
证明•我们可以将具有形式的估汁量的集成风险函数写为
■
当时,我们有•我们只需验证
等价于验证
根据条件⑶和条件⑷，应用协方差不等式得到
山和的独立性易得
山条件（5）可以得出
这就证明了这一类具有集成极小极大性.
3.2.2James-Stein类型估计量的集成极小极大性
这一部分我们应用定理3」判断具体的收缩佔计量是否具有集成极小极大性.首先，考虑估计量，它的形式是
（13）和它的正的部分
（14）其中,和是适当选取的常数，当，时，就是通常的James-Stein估计量.
适当的选取和的数值就可以使得这一类的估计量具有集成极小极大性.
推论具有集成极小极大性，如果p3,并且对i=l，…,p,都有0和，其中,.证明
山给出的的形式,我们有
为了证实是符合集成极小极大性的估计量，我们只需验证符合定理3.1给出的5个条件即可.第
（1）（4）个条件的成立是显而易见的，下面我们来验证笫（5）个条件同样满足.
首先,我们给出一个略大于的函数，它的定义是
运用协方差不等式，我们可以得到以下结果
EE
上式最后一个等号成立的原因是
EE
由第二章第一节，我们知道
E=
所以
E=.
因为0,,所以这样就验证了条件（5）,也就证明了满足上述条件的具有集成极小极大性.推论具有集成极小极大性，如果p3
升级会员 