极大似然估计学习课件.ppt.ppt

极大似然估计学习课件.ppt.ppt

《极大似然估计学习课件.ppt.ppt》由会员分享，可在线阅读，更多相关《极大似然估计学习课件.ppt.ppt（37页珍藏版）》请在冰豆网上搜索。

,第七章,第二节,极大似然估计,极大似然估计,极大似然法的基本思想,先看一个简单例子：

一只野兔从前方窜过.,是谁打中的呢？

某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?

只听一声枪响，野兔应声倒下.,基本思想:

若事件Ai发生了,则认为事件Ai在这n个可能结果,中出现的概率最大。

极大似然估计就是在一次抽样中,若得到观测值,则选取,若一试验有n个可能结果,现做一试验,作为的估计值。

使得当,时,样本出现的概率最大。

极大似然估计法:

事件发生的概率为,为的函数，,形式已知,（如离散型）X的分布列为,的联合分布列为：

为样本的似然函数。

定义7.1,与,有关,记为,称为参数的极大似然估计值。

称为参数的极大似然估计量。

达到最大的参数,作为的估计值。

现从中挑选使概率,样本的似然函数,若总体X属连续型,其概率密度,的形式已知，,为待估参数；,则,的联合密度：

一般，,关于可微，故可由下式求得：

因此,的极大似然估计也可从下式解得：

在同一点处取极值。

故似然函数为,例1,设,是来自总体X的一,个样本，,试求参数p的极大似然估计值.,解：

设,是一个样本值。

X的分布列为：

而,令,它与矩估计量是相同的。

解得,p的极大似然估计值,p的极大似然估计量,令,解得,设总体X的分布列为：

是来自总体X的样本，求p的极大,解：

似然函数为,似然估计值。

例2,令,即,解,例3,设X1,X2,Xn是取自总体X的一个样本,，求参数的极大似然估计值。

似然函数为:

例4,设,未知，,是一个样本值,解设,的概率密度为：

似然函数为,等价于,因为,即,时,取最大值,在,似然函数为,即,时,取最大值,在,似然函数为,今取得一组样本Xk数据如下，问如何估计？

某电子管的使用寿命X（单位：

小时）服从指数分布,例5指数分布的点估计,分析可用两种方法：

矩法估计和极大似然估计.,1）矩法估计,2）极大似然估计,构造似然函数,当xi0,（i=1,2,n）时，似然函数为,取对数,建立似然方程,5.得极大似然估计量：

求解得极大似然估计值,似然函数为：

例6,设,为未知参数，,是来自X的一个样本值，求,的极大似然估计值。

解：

X的概率密度为：

解得：

令,即：

注：

lnx是x的严格单增函数，lnL与L有相同的极大值，一般只需求lnL的极大值.,求极大似然估计的一般步骤：

写出似然函数,2.对似然函数取对数,3.对i（i=1,m）分别求偏导,建立似然方程（组）,解得分别为的极大估计值.,例7矩估计与似然估计不等的例子,设总体概率密度为,求参数的极大似然估计,并用矩法估计.,解1）极大似然估计法,构造似然函数,2.取对数：

当0xi1,（i=1,2,n）时,2.取对数：

当0xi1,（i=1,2,n）时,建立似然方程,求解得极大似然估计值为,5.极大似然估计量为,2）矩估计法,1.矩法估计量与极大似然估计量不一定相同；,2.用矩法估计参数比较简单,但有信息量损失；,3.极大似然估计法精度较高,但运算较复杂；,4.不是所有极大似然估计法都需要建立似然方程,小结,求解.,作业,P2941；2；3；4,解,例6.不合格品率的矩法估计,分析设总体X即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且,因p=EX,故p的矩估计量为,设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.,（即出现不合格产品的频率）.,不合格品率p的估计,设总体X是抽一件产品的不合格品数，记p=PX=1=P产品不合格,则X的分布列可表示为,现得到X的一组样本X1，X2，,Xn的实际观察值为x1,x2,xn,则事件,X1=x1，X2=x2，,Xn=xn,例7,出现的可能性应最大,其概率为,应选取使L（p）达到最大的值作为参数p的估计.,令,解得,（频率值）,注意到,其中0，与是未知参数，X1，X2，,Xn，,解,设总体X的概率密度为,是X的一组样本，求与的矩估计量.,例8,令,注意到DX=E（X2）E（X）2=2,=2+（+）2,例9均匀分布的极大似然估计,设样本X1，X2，Xn来自在区间0,上均匀分布的总体X,求的极大似然估计.,解设x1,x2,xn是X1,X2,Xn的样本值，,似然函数为,#,如图所示，似然函数L在,取到最大值，故的极大似然估计量为,注意：

该似然函数不能通过求导构造似然方程.尝试用其他方法求解！

分析的估计应满足：

2.的值不能小于任何一个xi.,1.的值尽可能小；,