卡尔曼滤波器第一章1.docx

卡尔曼滤波器第一章1.docx

《卡尔曼滤波器第一章1.docx》由会员分享，可在线阅读，更多相关《卡尔曼滤波器第一章1.docx（19页珍藏版）》请在冰豆网上搜索。

卡尔曼滤波器第一章1

第一章随机变量和高斯马尔柯夫过程

在这一章，我们将介绍概率论、随机变量和高斯过程的基本概念，作为以后讨论问题的基础。

1.1概率论的基本概念

1.1.1基本概念

首先，讨论一些实验可能结果的数量。

作为例子，如赌博时掷骰子（dice）所得到的数，投掷硬币时的正反面等，可发现有三个基本概念。

（1）采样空间（samplespace）：

一次（或一个）试验可能结果的全部集合（sets）。

作为掷骰子的。

为了方便，可用或其它字母表示中的特定的数。

（2）事件（anevent）：

采样空间中任一个确定的子集或任一个试验结果。

如掷骰子时得到的数4，或掷硬币得到的正面。

（3）概率（probability）：

用表示，是有利于某种事件可能发生的可能性的一种统计表示。

存在以下三条公理（axioms）（又称概率测量公理）

（1）

（2）

（3）对于互不相交事件（mutuallydisjointevents）的一个可数集，即（表示为空集），对于所有、，有

从以上公理，可得如下一些主要性质：

（1）

（2）

（3），是的补集（complement），有如下关系：

，

：

表示事件和的积，两个事件同时发生时某一事件才发生；

：

表示事件和的和，至少有一个事件发生时某一事件才发生。

（4）

因为事件和事件是互不相交的事件，它们的并集是。

如果写事件为两个互相排斥（exclusive）事件的和，即

考虑性质（4），我们有

结合上两式，得到第五条性质：

（5）

有关事件及其相互关系，在集合论中也涉及到，可以做如下比较。

表1-1事件及关系在概率论与集合论中的比较

符号

概率论

集合论

样本空间（必然事件）

空间（全集），完备群

不可能事件

空集

样本点（试验的可能结果）

中的元素

事件

中的子集

事件的对立事件

集合的余集

事件包含事件

集合包含集合

事件与事件相等

集合与集合相等

事件与事件的和

集合与集合的并集

事件与事件的积

集合与集合的交集

事件与事件的差

集合与集合的差集

事件与事件互不相容

集合与集合的交集为空集

图1-1事件关系图

1.1.2条件概率

设、是两个事件，如果在事件已发生的条件下，去计算事件的概率，这种概率叫做事件在事件已经发生的条件下的条件概率，记为

（1-1）

式中，，是、的联合概率，称其为乘法概率，或写为

应指出：

a.（1-1）式中，否则（1-1）式无意义；

b.对于给定一个，变量满足概率测量公理。

【例1-1】一试验可能结果有个事件，构成样本空间，其中有利于的有个事件，有利于的有事件，有利于的有个事件，明显地和，由概率定义知

，，，，

所以

同理推得

（1-2）

上式的直观意义是：

事件同时发生的概率，等于先出现、在出现的条件下出现、在出现的条件下出现、各自的概率的乘积。

【例1-2】在盒中装有四个外形相同的球，分别标为1、2、3、4，每次从盒中任意取出一球，再放回，抽取两次，有

设“第一次取出球的标号为2”，“取出两球的标号之和为4”，显然有，求

解：

事件发生（即第一次取出球的标号为2）结果为：

所以

【例1-3】一个家庭有两个小孩，已知其中有一个女孩，而另一个小孩是男孩的概率有多大？

（假定生男、生女的可能性是一样的）

令“其中有一个女孩”，“其中有一个男孩”，求

{（男，男），（男，女），（女，男），（女，女）}

{（男，女），（女，男），（女，女）}

{（男，男），（男，女），（女，男）}

{（男，女），（女，男）}

显然

，

1.1.3独立性

我们说事件是相互独立的，当且仅当（ifandonlyif）

（1-3）

对于间隔的选择，，在间隔的集合中，没有两个是相同的，即，其中是任意的且满足。

注意上面提到的独立性的含义和不相交事件的区别。

对于两个独立事件来说，有

（1-4）

当时

这个结论可直接得出，因为和是相互独立的事件，所以没有必要提及。

考虑三个事件、、，每一对相互独立，有

但不能说、、是相互独立的。

事件的相互独立性，给概率计算带来极大的方便。

1.1.4全概率公式

如果我们说，事件和是在给定的条件下独立，则有

（1-5）

如果，是相互不相容事件（mutuallydisjoint）和，那么对于任意（已知，），有全概率公式

（1-6）

全概率公式的解释：

在实际问题中，常常遇到这样的事件，它总是和若干个不相容的事件，如之一同时发生，此时为了计算事件的概率，可先把分解为一些不相容简单事件之和，即，然后，分别计算和式中的简单事件的概率，再利用概率的加法公式最终得到。

【例1-4】有一箱由四家工厂生产的同类产品，已知每家工厂生产的产品各占总量的、、、，又知次品概率分别占、、、，现从箱中任取一件产品，问取出的是次品的概率有多大？

解：

因为次品的发生将和四家工厂产品有关，而这四家是互不相容的。

可设

“取出的产品是第家生产的（）”

“取出的产品是次品”

则事件总是与三个不相容的事件、、、之一同时发生，因此事件分解为

由题意知：

，，，

，，，

可有

1.1.5贝叶斯公式（Bayes’Rule）

由条件概率公式，得

前提条件：

，有几个不相容事件，有（即构成完备群），而事件只有当事件中任一事件发生时才可能发生。

已知、时，有

（1-7）

物理意义：

在实际工作中还可能碰到这样一类问题：

已知某个试验结果是由多个“原因”造成的，如果人们通过试验观察到这个结果，于是人们希望通过这个信息来探讨每个原因导致这个结果的可能性有多大，如上边例证，讨论的不是废品出自一、二、三、四个工厂的可能性各为多少（）？

而是出现废品的概率是多少（）？

1.2随机变量（RandomVariable）

在一个实数集的采样空间中，随机变量（RandomVariable）是结果的实函数，即当产生时，就有。

当采用离散值时，称为离散随机变量。

因此，随机变量使人们可以定量地描述试验结果。

在试验之前，随机变量将取什么值是不能确定的，它取什么值仅仅依赖于试验结果。

由于在一次试验中出现什么结果是随机的，因此，随机变量取什么值也是随机的，自然人们称这种取值随着实验结果而变的变量为随机变量。

随机变量是概率空间的一个值，在给定的子空间，它的值是不能确定的，只能说随机变量为一定值的概率是多少，用表示。

更为完整的表示为，意味实验结果构成子空间的概率是多少，与其对应的随机变量。

类似的，表示。

随机变量是实验结果的函数，最简单的对应关系为。

有如下特性：

1．

2．对于所有实数，量是一类事件，它意味着

对随机变量的描述，有如下几个重要参数。

分布函数（DistributionFunction）

描述随机变量性质的重要参数之一。

对于一个给定的随机变量，分布函数是在之间的实数，表征变量（实验结果的函数）在某一区间的概率。

表示为

（1-8）

表明变量小于的概率。

是单调增加或下降的，有如下性质

1．和

2．

3．设，有

4．若，则

5．若是一个实数，则

概率密度函数（ProbabilityDensityFunction）

概率密度函数定义为

（1-9）

当是连续的且处处可微时，同随机变量有关的概率密度函数为

（1-10）

容易看出，在一阶情况下，将等于。

由个随机变量，，，组成的阶随机变量，其分布函和概率密度函数为

（1-11）

（1-12）

事件和分别同随机变量和有关，如果对所有和有关的事件是互相独立的，则有联合分布函数（JointDistributionFunction）

（1-13）

和联合概率密度函数

（1-14）

数学期望（MathematicalExpectation）

一个随机变量的数学期望或均值为

（1-15）

一个随机变量的函数，其数学期望为

（1-16）

数学期望的符号可以看成一个算子，具有如下性质：

1．对于常数，有

（1-17）

2．是一个线性算子，、是随机变量的两个函数，、是两个常数，有

（1-18）

3．如果随机变量，，，是相互独立的，那么有

（1-19）

方差

一个随机变量的方差，提供了随机变量围绕其均值分布的疏密程度，方差越小表示随机变量的分布越集中于均值附近。

方差的定义为

（1-20）

方差的另外一种表达形式为

（1-21）

通常，将写为或，式中大写表示随机变量的数值，而小写的则表示随机变量的具体形式。

在以上的演算过程中，已经用到期望算子的性质了。

同样，考虑维随机矢量，有随机矢量的均值（广义均值）

（1-22）

维随机矢量的方差用协方差（Covariance）矩阵表示，其表示符号为

（1-23）

协方差阵是非负定且对称的。

两个随机变量

对于两个随机变量和的情况，存在如下重要关系：

1．设是维随机矢量，是维随机矢量，其联合分布密度函数为，则、的互协方差定义为

（1-24）

2．随机变量在随机变量给定时的条件概率密度可由贝叶斯公式给出

（1-25）

可以导出重要公式

（1-26）

推导中用到等式

如果和是相互独立的，在（1-25）式中应用，可简化为

（1-27）

3．随机变量在随机变量给定时的条件期望值为

（1-28）

上式积分的结果将得到和有关的数，因为是随机实验的一个结果，所以说条件期望值是一个随机变量。

下面计算它的期望值

（1-29）

可以得出：

随机变量的条件期望值的均值是随机变量的均值。

如果随机变量和是相互独立的，则有

（1-30）

推广到一般情况，则有

（1-31）

对于任一函数，设其形式为，代替（1-28）式中的，有

（1-32）

可看到计算结果是一个的函数，是一个随机变量，若设，则上式可以写为

（1-33）

4．有下列等式成立：

（1-34）

（1-35）

（1-36）

（1-37）

（1-38）

（1-39）

量常被称为和的相关函数，和之间相关系数为

（1-40）

（1-40）式要求方差和是有限的，而且严格要求是正的。

5．当下列条件成立时，随机变量和是不相关的。

如由（1-36）和（1-37）式确定的和是有限值时，而且有

（1-41）

所以，也可以得出

（1-42）

6．设、是两个独立的随机变量，由（1-39）和（1-19）式可有

随机变量和是不相关的，所以，可以得出确定两个随机变量不相关的另外一种表示方法

（1-43）

如果，随机变量和被定义为正交（Orthogonal）。

注：

两个不相关的随机变量不一定必须独立，不相关的广义条件是

（1-44）

如果设的概率密度函数是关于的对称函数，令，有

所以满足的条件，和是不相关的，但由于，它们相互并不独立。

对于正态变量，它们的不相关性和独立性是一致的，由不相关可推导出独立。

【例1-5】设一个正态分布的随机变量的概率密度函数为

求其均值和方差。

解：

由均值定义有

令

由方差定义有

从以上的计算结果可以看出，正态分布的概率密度函数，完全可以由它们的均值和方差确定。

1.3随机过程（Stochasticprocess）

1.3.1定义和性质

随机过程是随机变量的一个族，写为，指标为参数。

所有均在指标集中，其中。

因此，随机过程是时间和试验结果这两个参数的函数。

通常，人们习惯用表示一个随机过程，对于一个固定的，随机过程则变