矩估计和极大似然估计.ppt

矩估计和极大似然估计.ppt

《矩估计和极大似然估计.ppt》由会员分享，可在线阅读，更多相关《矩估计和极大似然估计.ppt（57页珍藏版）》请在冰豆网上搜索。

1二、极大似然估计法二、极大似然估计法一一、矩法矩法估计估计第七章参数估计三、三、估计量的评选标准估计量的评选标准四、置信区间四、置信区间2参数估计参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息估计湖中鱼数估计湖中鱼数估计平均降雨量估计平均降雨量来估计总体的某些参数或者参数的某些函数。

来估计总体的某些参数或者参数的某些函数。

统计推断：

参数估计和假设检验。

统计推断：

参数估计和假设检验。

3参数估计要解决问题参数估计要解决问题:

总体分布函数的形式为已知总体分布函数的形式为已知,需要确定未知参数。

需要确定未知参数。

但其中参数但其中参数未知时，未知时，这类问题称为参数估计问题。

这类问题称为参数估计问题。

只有当参数只有当参数确定后，确定后，才能通过才能通过率密度函数计算概率。

率密度函数计算概率。

对于未知参数，对于未知参数，如何应用样本如何应用样本所所提供的信息去对其一个或多个未知参数进行估计。

提供的信息去对其一个或多个未知参数进行估计。

4参数估计参数估计是对已知分布类型的总体，参数估计参数估计点点估估计计区间估计区间估计矩矩估估计计极大似然估计极大似然估计参数估计可作如下划分参数估计可作如下划分利用样本对其未知参数作出估计51.1.矩估计矩估计2.2.极大似然极大似然估计估计3.3.最小二乘法最小二乘法4.4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.寻求估计量的方法寻求估计量的方法6点估计问题点估计问题：

构造一个适当的统计量构造一个适当的统计量用用它的观它的观察值察值来来估计未知参数估计未知参数.称称为为的估计量，的估计量，为为的估计值的估计值.参数估计：

参数估计：

点估计点估计:

估计估计的具体数值的具体数值;区间估计区间估计:

估计估计的所在范围的所在范围.7第七章第一节第一节矩矩法法估估计计二、常用分布参数的矩法估计二、常用分布参数的矩法估计一一、矩法估计、矩法估计8一一.矩估计法矩估计法故用样本矩来估计总体矩故用样本矩来估计总体矩基本原理基本原理：

总体矩是反映总体分布的最简单的总体矩是反映总体分布的最简单的数字特征，数字特征，当总体含有待估计参数时，当总体含有待估计参数时，总体矩是总体矩是待估计参数的函数。

待估计参数的函数。

样本取自总体，样本取自总体，样本矩在一定程度上可以逼近总体矩，样本矩在一定程度上可以逼近总体矩，由英国统计学家由英国统计学家K.皮尔逊最早提出的。

皮尔逊最早提出的。

9其中其中是待估是待估参数参数.为为来自来自的的样本样本,存在存在,设设总体的总体的k阶矩阶矩则样本的则样本的k阶矩阶矩（由大数定理由大数定理）令令从中解得从中解得k个方程组个方程组即为即为矩估计量。

矩估计量。

矩估计量的观察值称为矩估计值。

矩估计量的观察值称为矩估计值。

设总体设总体X的分布函数为的分布函数为10矩估计步骤：

矩估计步骤：

连续型连续型离散型离散型11所以参数p的矩估计量为例：

例：

总体X的分布列为：

是来自总体X的样本，解：

由于总体X的分布为二项分布，12设某炸药厂一天中发生着火现象的次数X例例11服从13下面我们通过几个例子说明利用矩估计法求下面我们通过几个例子说明利用矩估计法求未知参数的过程。

未知参数的过程。

二、常用分布常数的矩法估计二、常用分布常数的矩法估计14例例2解解15注注:

总体均值方差的矩估计量与总体分布无关。

做矩估计时,也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一。

未知，求参数的矩估计。

例例33解：

解：

16解解不合格品率p的矩法估计分析分析设总体X为抽的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因p=EX,故p的矩估计量为设某车间生产一批产品，为估计该批产品不合格品（即出现不合格产品的频率）.例例4率，抽取了n件产品进行检查.17例例5解解1819是未知参数，X1，X2，,Xn，是X的一组样本，解解设总体X的概率密度为解得例例6求的矩估计量.20其中0，与是未知参数，X1，X2，,Xn，是X的一组样本，求与的矩估计量.解解例例7.设总体X的概率密度为令21令令注意到注意到DX=E（X2）（EX）2=2=2+（+）222第七章第二节极大似然估计极大似然估计极大似然估计极大似然估计23极大似然法的基本思想极大似然法的基本思想先看一个简单例子：

先看一个简单例子：

一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？

是谁打中的呢？

某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?

只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.24基本思想基本思想:

若事件若事件Aii发生了发生了,则认为事件则认为事件Ai在这在这n个可能结果个可能结果中出现的概率最大。

中出现的概率最大。

极大似然估计就是在一次抽样中极大似然估计就是在一次抽样中,若得到观测值若得到观测值则选取则选取若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验,作为作为的估计值的估计值。

使得当使得当时时,样本出现的概率最大样本出现的概率最大。

25极大似然估计法极大似然估计法:

设是的一个样本值事件发生的概率为为的函数，形式已知（如离散型）X的分布列为的联合分布列联合分布列为：

为样本的似然函数样本的似然函数。

定义定义7.126即取使得：

与有关,记为称为参数的极大似然估计值极大似然估计值。

称为参数的极大似然估计极大似然估计量量。

达到最大的参数作为的估计值。

现从中挑选使概率样本的似然函数27若总体X属连续型,其概率密度的形式已知，为待估参数；则的联合密度：

一般，关于可微，故可由下式求得：

因此的极大似然估计也可从下式解得：

在同一点处取极值。

2829故似然函数为例例11设是来自总体X的一个样本，试求参数p的极大似然估计值.解解：

设是一个样本值。

X的分布列为：

而令30它与矩估计量是相同的。

它与矩估计量是相同的。

解得解得p的极大似然估计值的极大似然估计值p的极大似然估计量的极大似然估计量令令解得31设总体X的分布列为：

是来自总体X的样本，求p的极大解：

解：

似然函数为似然函数为似然估计值。

例例2232令令即即所以参数所以参数的极大似然估计量为的极大似然估计量为33解解例例33设X1,X2,Xn是取自总体X的一个样本,，求参数的极大似然估计值。

似然函数为似然函数为:

34例例44设未知，是一个样本值求的极大似然估计量.解解设的概率密度为：

似然函数为35等价于等价于因为因为对于满足对于满足的的任意任意有有即即时时,取最大值取最大值在在似然函数为似然函数为36故故的极大似然估计值为:

故故的极大似然估计量为:

即时,取最大值在在似然函数为似然函数为37今取得一组样本Xk数据如下，问如何估计？

162950681001301402702803404104505206201902108001100某电子管的使用寿命X（单位：

小时）服从指数分布例例5指数分布的点估计指数分布的点估计分析可用两种方法：

矩法估计和极大似然估计.381）矩法估计392）极大似然估计）极大似然估计1.构造似然函数当xi0,（i=1,2,n）时，似然函数为2.取对数3.建立似然方程405.得极大似然估计量：

4.求解得极大似然估计值41似然函数为：

例例66设为未知参数，是来自X的一个样本值，求的极大似然估计值。

解解：

X的概率密度为：

42解解得：

得：

令令即：

即：

43注：

lnx是x的严格单增函数，lnL与L有相同的极大值，一般只需求lnL的极大值.求极大似然估计的求极大似然估计的一般步骤一般步骤：

1.写出似然函数2.对似然函数取对数3.对i（i=1,m）分别求偏导,建立似然方程（组）解得分别为的极大估计值.44例例7矩估计与似然估计不等的例子设总体概率密度为求参数的极大似然估计,并用矩法估计.解解1）极大似然估计法1.构造似然函数2.取对数：

当0xi1,（i=1,2,n）时452.取对数：

当0xi1,（i=1,2,n）时3.建立似然方程4.求解得极大似然估计值为5.极大似然估计量为462）矩估计法471.矩法估计量与极大似然估计量不一定相同；2.用矩法估计参数比较简单,但有信息量损失；3.极大似然估计法精度较高,但运算较复杂；4.不是所有极大似然估计法都需要建立似然方程小小结结求解.48解解例例6.不合格品率的矩法估计分析分析设总体X即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因p=EX,故p的矩估计量为设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.（即出现不合格产品的频率）.49不合格品率p的估计设总体X是抽一件产品的不合格品数，记p=PX=1=P产品不合格则X的分布列可表示为现得到X的一组样本X1，X2，,Xn的实际观察值为x1,x2,xn,则事件X1=x1，X2=x2，,Xn=xn例例77出现的可能性应最大,其概率为50应选取使L（p）达到最大的值作为参数p的估计.51令令解得解得（频率值）（频率值）注意到注意到52其中0，与是未知参数，X1，X2，,Xn，解解设总体设总体X的概率密度为的概率密度为是X的一组样本，求与的矩估计量.例例8853令令注意到注意到DX=E（X2）E（X）2=2=2+（+）254例例9均匀分布的极大似然估计均匀分布的极大似然估计设样本设样本X1，X2，Xn来自在区间来自在区间0,上均匀分布的总体上均匀分布的总体X,求求的极大似然估计的极大似然估计.解解设设x1,x2,xn是是X1,X2,Xn的的样本值，样本值，似然函数为似然函数为55#如如图图所示，似然函数所示，似然函数L在在取到最大值，故取到最大值，故的极大似然估计量为的极大似然估计量为56注注意：

意：

该似然函数不能通过求导构造似然方程该似然函数不能通过求导构造似然方程.尝试用其他方法求解！

尝试用其他方法求解！

分析分析的估计应满足：

的估计应满足：

2.的值不能小于任何一个的值不能小于任何一个xi.1.的值尽可能小；的值尽可能小；57