最优估计理论优质PPT.ppt

1、,根据 对观测值 来估计未知参数。按照什么准则来估计这些参数呢？这将是第十章讨论的主要问题。,二、状态估计,设系统的状态方程和观测方程分别为,式中，为状态变量，它是随时间而变的随机过程，为控制变量，为系统噪声，为测量噪声，为观测值。现要根据观测值来估计状态变量，这就是状态估计问题。卡尔曼滤波是一种最有效的状态估计方法，将在第十一章讨论这个问题。,人们希望估计出来的参数或状态愈接近真值愈好，因此提出了最优估计问题。所谓最优估计，是指在某一确定的准则条件下，从某种统计意义上来说，估计达到最优，显然，最优估计不是唯一的，它随着准则不同而不同，因此在估计时，要恰当选择估计准则。,在自动控制中，为了实现

2、最优控制和自适应控制，遇到许多参数估计或状态估计问题，促进了估计理论和估计方法的发展。另外，由于电子计算机的迅猛发展和广泛使用，使得许多复杂的估计问题的解决成为可能，这也促进了估计理论的发展。所以近二十多年来最优估计理论及其应用得到迅速的发展。,第十一章 参数估计方法,本章讨论参数估计准则和估计方法，根据对被估值统计特性的掌握程度不同，可提出不同的估计准则。依据不同的准则，就有相应的估计方法，即最小方差估计、线性最小方差估计、极大似然估计、极大验后估计、最小二乘估计等，本章将对这些估计方法进步不同程度的讨论。,第一节 最小方差估计与线性最小方差估计,一、最小方差估计,最小方差准则，要求误差的方

3、差为最小，它是一种最古典的估计方法，这呼估计方法需要知道被估随机变量 的概率分布密度 和数学期望。这种苛刻的先验条件，使此方法在工程上的应用受到很大限制。这里只以一维随机变量的估计为例，介绍最小方差估计方法。,将上式展开，得,求上式对 的偏导数，令偏导数等于零，得,因此 的最小方差估值为，估计误差为,即,如果估值 的数学期望等于 的数学期望，或者估计误差 的数学期望为零，则最小方差估计是无偏的。因此 的估计是无偏估计。,二、线性最小方差估计,线性最小方差估计就是估计值为观测值的线性函数，估计误差的方差为最小。在使用这种方法时，需要知道观测值和被估值的一、二阶矩，即数学期望 和、方差Varz和V

4、arx及协方差 和。,将式（11-8）代入式（11-6）得,把上式改写成,展开上式得,下面讨论 和 都是多维随机变量的估计问题。设 为 维，为维，已知 和 的一、二阶矩，即,将式（11-14）代入式（11-15）得,将式（11-16）代入式（11-14），可得,第二节 极大似然法估计与极大验后法估计,一、极大似然法估计,极大似然法估计是以观测值出现的概率为最大作为估计准则的，它是一种常用的参数估计方法。,设 是连续随机变量，其分布密度为，含有 个未知参数。把 个独立观测值 分别代入 中的，则得,称函数 为似然函数。当 固定时，是 的函数。极大似然法的实质就是求出使 达到极大时的 的估值。从式（

5、11-20）可看到 是观测值 的函数。,解上述方程组，可得使 达到极大值的。按极大似然法确定的，使 最有可能出现，并不需要的验前知识，即不需要知道的概率分布密度和一、二阶矩。,例11-1 设有正态分布随机变量，给出 个观测值。观测值相互独立，试根据这 个观测值，确定分布密度中的各参数。,作似然函数：,对上式取对数，可得,将上式分别对 和 求偏导数，令偏导数等于零，可得,联立求解可得,上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。,下面求似然函数,根据不同随机变量的概率密度变换公式，并考虑到 与 独立，可得,假定噪声 是正态分布，其均值为零，方差阵为，则,二、极大验后估计,

6、如果给出 维随机变量 的条件概率分布密度 也称验后概率密度，怎样求 的最优估值 呢？极大验后估计准则：使 的验后概率密度 达到最大那个 值为极大验后估值。可见，极大验后估计是已知 求 的最优估值 的一种有效方法。,式中 是 的验前概率密度，是观测值 的概率密度，可用计算方法或实验方法求得。为了计算 需要知道。在 没有验前知识可供利用时，可假定 在很大范围内变化。,在这种情况下，可把 的验前概率密度 近似地看作方差阵趋于无限大的正态分布密度,根据式（11-29）得,第三节 最小二乘法估计与加权最小二乘法估计,上面讨论的几种估计方法，分别对被估随机变量 的概率分布密度、条件概率密度、以及一、二阶矩

7、等条件有着不同的要求。假定我们并不掌握上述任何条件，仍要估计随机变量 的最优估值，只有用高斯提出的最小二乘法。,一、最小二乘法估计,设 次独立试验，得到 对观测值：。这里 表示时间或其他物理量。现在的任务是：根据这些观测值，用最优的形式来表示 与 之间的函数关系。,通常，的未知函数可用 表示，的类型应根据这 对数据（个点）的分布情况或所研究问题的物理性质来确定。,把 对观测值代入式（11-35）或（11-36），可得 个方程式。如果，即方程数 少于未知参数的数目。则方程的解不确定，不是唯一地确定解出。当 时，方程数正好与未知参数的数目相等，能唯一地解出。在这种情况下，曲线一定通过每一个观测点。

8、因为在观测结果中，不可避免地含有随机测量误差，如果曲线通过每一个观测点，则曲线将包含这些测量误差，反而不能真实地表达出 与 之间的正确函数关系。所以不应要求 曲线一定通过每一个观测点。,一般，试验次数，而且希望 比 大得多，即方程数大于未知参数数目这种情况只能采用数理统计求估值的方法。下面讨论这一问题。,例11-2 观测值 和观测时刻 如表11-1所示。,表11-1,设。用最小二乘法确定 和。,解:,把 值分别代入上面两个方程，经过整理后可得,解上述方程组，可得 的估值：,所以,实际上 与 不可能完全一致，这是由于以下几个原因引起：,选得不够准确；,存在观测误差；,的模型方程 选得不够确切。,

9、式（11-39）可写成,求 对 的偏导数，令偏导数等于零，可得,例11-3 观测值 和观测时刻如例11-2，试用式（11-48）求 的系数 和。,则,因此,二、加权最小二乘法,当 的测量精度高时，大；反之，小。这样可使拟合曲线接近于测量精度高的点，从而保证拟合曲线有较高的准确度。,式中 为 对称矩阵，称为加权矩阵。求 对 的偏导数，并令其等于零，可得,由式（11-53）得加权最小二乘法的估计误差,可以证明，使估计误差的方差为最小，因而 为最优的加权矩阵。有时，人们把式（11-59）称为马尔柯夫估计。,第四节 递推最小二乘法估计,在前面所讨论的最小二乘法和加权最小二乘法，需要同时用到所有的测量数

10、据，在计算时不考虑测量数据的时间顺序。当测量数据很多时，要求计算机具有很大的存储量。在实际处理过程中，测量数据往往是按时间顺序逐步给出的，我们可先处理已经得到的一批数据，得到的近似估值，来了新的数据后，再对原估值进行修正，这样可以减少计算机的存储量。,下面先讨论一维递推最小二乘法。设观测值 是一维的，假定已进行了 次观测，得到 的 个观测值。用 和 表示相应的向量和矩阵，即,先用加权最小二乘法处理这一批观测值，加权矩阵，一般 为对角线矩阵。,则,下面通过 个观测值，求得 的估值，然后进一步推出 与 的递推关系。,再设,或,在式（11-73）和式（11-76）中的 最优值为观测误差 的方差，可用下式表示：,下面再讨论观测值 是多维的，假定维数为。用 表示 的每次观测值，则,观测误差 也为 维，用 表示每次观测误差,相应的观测矩阵为,则可得k个矩阵观测方程为,如果把 次观测值合在一起，可用分块矩阵法表示观测方程，设,设加权矩阵为,如果取加权矩阵,则,上面所述的递推方法，把过去和现在观测的数据同等重视。有时参数 可能随时间 缓慢变化。在这种情况下，如果重视当前的数据，应采用“厚今薄古”的处理方法。这时加权矩阵 可选用下列形式：,试用加权最小二乘法和递推加权最小二乘法求 的估值。1.用加权最小二乘法求 的估值,2用递推加权最小二乘法求 的估值,