估计量的性质最小方差无偏估计.pdf

1、第三章 估计理论第三章 估计理论?什么是“估计”？什么是“估计”？?通俗解释：对事物做大致的判断?通俗解释：对事物做大致的判断?专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。3.13.1 引言引言3.13.1 引言引言?根据研究对象的不同估计分为二种根据研究对象的不同估计分为二种?根据研究对象的不同估计分为二种根据研究对象的不同估计分为二种?参量估计：被估计的对象是随机变量或非随机的未知量?波形估计：被估计的对象是随机过程或非随机的未知过程?波形估计：被估计的对象是随机过程或非随机的未知过

2、程?信号参量估计理论信号参量估计理论?与信号参量估计相关的理论与信号参量估计相关的理论?最佳估计最佳估计?最佳估计最佳估计?一定准则下一定准则下的“最好”估计的“最好”估计?应用领域应用领域?通信系统通信系统、雷达系统雷达系统、语音语音、图像处理图像处理、自动控制自动控制?通信系统通信系统、雷达系统雷达系统、语音语音、图像处理图像处理、自动控制自动控制3.1.1 估计的数学模型估计的数学模型?参量空间、观测空间、概率转换、估计准则(|)p x 概率转换估计准则()xZ概率转换()xZ由于估计准则的不同，构成估计量的方法也不同，如最小观测空间参量空间?由于估计准则的不同，构成估计量的方法也不同，

3、如最小方差无偏估计、最大似然估计、最小二乘估计、贝叶斯估计和线性最小均方误差估计等。计和线性最小均方误差估计等。3.1.2估计量的性估计量的性质质质质假设得到假设得到N个观测样本数据为：个观测样本数据为：式中式中，为待估计参量为待估计参量，是观测噪声是观测噪声。0,1,1x nw nnN=+=w n式中式中，为待估计参量为待估计参量，是观测噪声是观测噪声。w n?估计的任务就是利用观测样本数据构造估计量估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价获得估计量后，通常需要对的质量进行评价,这就需要研这就需要研 x n?究估计量的主要性质。究估计量的主要性质。估计

4、量也是一个估计量也是一个随机变量随机变量，具有，具有均值均值和和方差方差等统计特征，可以利用其统计特征对估计量的性质进行评价。评价等统计特征，可以利用其统计特征对估计量的性质进行评价。评价?指标包括：指标包括：无偏性无偏性、一致性一致性、充分性充分性和和有效性有效性。3.1.2估计量的估计量的性性质质估计量的质估计量的质1、无偏性、无偏性非随机参量随机参量非随机参量随机参量无偏估计()E=()()EE=无偏估计渐进无偏估计()E=()()EE=lim()NE=lim()()NEE=如果上式不满足，则是一个有偏估计如果上式不满足，则是一个有偏估计?定义为估计量的偏估计量的无偏性保证估计量分布在参

5、量真值附近，是衡量定义为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()bE=估计量性能优劣的重要指标。然而，一个估计量是无偏的不能估计量性能优劣的重要指标。然而，一个估计量是无偏的不能确保就是好的估计量确保就是好的估计量，它仅能保证估值的均值近似真值它仅能保证估值的均值近似真值。确保就是好的估计量确保就是好的估计量，它仅能保证估值的均值近似真值它仅能保证估值的均值近似真值。3.1.2估计量的估计量的性性质质估计量的质估计量的质2、一致性、一致性可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。可以通过增加观测样本数据来减少估计量的估计误差，具

6、有这种性质的估计称为一致估计。简单一致性简单一致性：lim(|)1NP=均方一致性均方一致性：2lim()0NE=?定义估计误差，对无偏估计，误差的方差为定义估计误差，对无偏估计，误差的方差为?222()()()()VarEbE=在同时满足无偏性、均方一致性的条件下，随着观测样本在同时满足无偏性、均方一致性的条件下，随着观测样本数的增加数的增加，估计误差的方差将减小并趋于零估计误差的方差将减小并趋于零。()()()()VarEbE=数的增加数的增加，估计误差的方差将减小并趋于零估计误差的方差将减小并趋于零。3.1.2估计量的估计量的性性质质估计量的质估计量的质3、充分性、充分性设待估计参量的估

7、计量为，为设待估计参量的估计量为，为N维观测矢量维观测矢量。如果概率密度函数如果概率密度函数可以分解成如下形式可以分解成如下形式()x01.1Txxx N=x(|)维观测矢量维观测矢量。如果概率密度函数如果概率密度函数可以分解成如下形式可以分解成如下形式(|)()|)()pph=xxx(|)px式中，且与无关。则称是一个式中，且与无关。则称是一个充分统计量充分统计量。()0hx()x充分统计量的意义在于充分统计量的意义在于：它体现了包含在观测样本数据它体现了包含在观测样本数据x充分统计量的意义在于充分统计量的意义在于：它体现了包含在观测样本数据它体现了包含在观测样本数据中有关参量的中有关参量的

8、全部有用信息全部有用信息，再没有再没有其他估计量能够提供其他估计量能够提供更多关于观测样本数据更多关于观测样本数据中有关中有关的的有用信息有用信息了了。更多关于观测样本数据更多关于观测样本数据中有关中有关的的有用信息有用信息了了。x3.1.2估计量的估计量的性性质质估计量的质估计量的质4、有效性、有效性对于无偏估计量，如果估计量的方差越小，则它偏离待估计参量就越小，即它取其均值附近数值的概率就越大，待估计参量就越小，即它取其均值附近数值的概率就越大，该估计量就越好。因此，希望估计量的方差尽可能地小。克拉美罗下限为估计误差的方差确定了一个下限，不可能获得比它还小的方差。对于方差达到克拉美罗下界的

9、可能获得比它还小的方差。对于方差达到克拉美罗下界的无偏估计，称为有效估计有效估计。因此，具有无偏性且方差达到克拉美罗下限的估计量是有效估计量。量是有效估计量。3.2最小方差无偏估计最小方差无偏估计在寻求最优估计量中，首先需要确定的是最优准则。一个3.2.1均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则在寻求最优估计量中，首先需要确定的是最优准则。一个很自然的准则就是均方误差（mean square error,MSE），它的定义为?遗憾的是采用该准则将产生一个不可实现的估计量。因?2()()mseE=为这个估计量不能单独表示为样本数据的函数。为说明这个问题，均方误差MSE

10、重新写为2?22()()()mseEEE=+?2var()()2()()var()()EEEEb=+=+上式看出MSE是由方差和偏差构成。3.2.1 均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则假设得到N个观测样本数据为：均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则假设得到N个观测样本数据为：选择估计量为11N 0,1,1x nAw nnN=+=为常数。我们的目的是寻找一个 使的MSE最小。?101()NnAkx nN=?k为常数。我们的目的是寻找一个k使的MSE最小。?()E AkA=?A?，带入可得：?22()var()/E AkAAkN=?

11、2()var()()mseb=+?2222()(1)kmse AkAN=+N3 2 1 均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则3.2.1均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则对k求导对k求导?22mse()22(1)dAkkAdk=+令上式等于零可得出使均方误差最小的k值()dkN令上式等于零可得出使均方误差最小的k值222AkAN=+对应的最小均方误差为22AN+?222()mse ANA=+22NA+3 2 1 均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则3.2.1均方误差最小准则和最小方差无偏准则均方误差

12、最小准则和最小方差无偏准则2A22AkAN=+由此看出最优k值取决于未知参量A，因此这个估计量是不可实现的。其实这个估计量取决于A是由于偏是A的A是不可实现的。其实这个估计量取决于A是由于偏是A的函数。一般情况下，任何与偏差有关的准则都将导致估计量的不可实现。()b的不可实现。从实际考虑，需要放弃最小均方误差估计。解决这个问题的一个方法就是限制估计量的偏差为零，而找出使方差最题的一个方法就是限制估计量的偏差为零，而找出使方差最小的估计量。这个估计量被称为最小方差无偏估计量（MVU-最小方差无偏估计量（MVU-minimum variance unbiasedminimum variance u

13、nbiased）。从前面的公式可以看出一个minimumminimum variancevariance unbiasedunbiased）。从前面的公式可以看出一个无偏估计量的MSE恰恰就是方差。3 2 1 均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则3.2.1均方误差最小准则和最小方差无偏准则均方误差最小准则和最小方差无偏准则?最小方差无偏估计量的存在性最小方差无偏估计量的存在性?最小方差无偏估计量的存在性最小方差无偏估计量的存在性现在我们自然提出这样一个问题：对于所有是否存现在我们自然提出这样一个问题：对于所有是否存在最小方差无偏估计。即使最小方差无偏估计（MVU）存在，我们也有可能找不到它。在后面的几章里，我们将讨论几种我们也有可能找不到它。在后面的几章里，我们将讨论几种可能的方法，它们是：1、确定Cramer-Rao下限(CRLB），检验估计量是否满足它。2、基于充分统计量的MVU。3、限制估计量不仅是无偏的而且是线性的，找出MVU。