完整版随机过程知识点汇总.docx
《完整版随机过程知识点汇总.docx》由会员分享，可在线阅读，更多相关《完整版随机过程知识点汇总.docx（55页珍藏版）》请在冰豆网上搜索。
完整版随机过程知识点汇总
第一章随机过程的基本概念与基本类型
一．随机变量及其分布
X，分布函数F（x）P（Xx）
1．随机变量
离散型随机变量X的概率分布用分布列
pP（Xxk）
F（x）
pk
f（t）dt
分布函数
k
x
X的概率分布用概率密度
f（x）
F（x）
分布函数
连续型随机变量
2．n维随机变量X（X,X,,X）
1
2
n
F（x）F（x,x,,x）P（Xx,X2x,,Xnxn,）
其联合分布函数
1
2
n
1
1
2
离散型
联合分布列
连续型联合概率密度
３．随机变量的数字特征
数学期望：
离散型随机变量
X
EX
xpk
k
X
EX
xf（x）dx
连续型随机变量
2
DXE（XEX）2EX（EX）2
方差：
反映随机变量取值的离散程度
协方差（两个随机变量X,Y）：
B
E[（XEX）（YEY）]E（XY）EXEY
XY
BXY
相关系数（两个随机变量
X,Y）：
0，则称X,Y不相关。
若
XY
DX
DY
独立
不相关
0
itX
g（t）E（e）
itx
epk连续g（t）
k
eitxf（x）dx
４．特征函数
离散g（t）
重要性质：
g（0）1，
g（t）1g（t）g（t）
，
，g（0）iEXk
kk
５．常见随机变量的分布列或概率密度、期望、方差
０－１分布
二项分布
P（X1）p,P（X0）q
EXp
DX
pq
P（Xk）Cpqnk
k
k
EXnp
DXnpq
n
k
泊松分布
P（Xk）e
k!
EX
DX
均匀分布略
（xa）2
1
2
N（a,）f（x）
2
2
2
EXa
正态分布
e
DX
2
x
e,x0
0,x0
1
1
指数分布
f（x）
EX
DX
2
X（X,X,,X）的联合概率密度X~N（a,B）
６．Ｎ维正态随机变量
1
2
n
1
1
2
T1
（xa）B（xa）}
f（x,x,,xn）
exp{
1
1
2
n
2
（2）|B|2
a（a,a,,a），x（x,x,,x），B（b）正定协方差阵
1
2
n
1
2
n
ijnn
二．随机过程的基本概念
１．随机过程的一般定义
设（,P）是概率空间，T是给定的参数集，若对每个tT，都有一个随机变量X与之对应，
X（t,e）,tT（,
是
P）上的随机过程。
简记为
X（t）,tT。
则称随机变量族
含义：
随机过程是随机现象的变化过程，
用一族随机变量才能刻画出这种随机现象的全部统计规
律性。
另一方面，它是某种随机实验的结果，而实验出现的样本函数是随机的。
t
当固定时，
X（t,e）是随机变量。
当e固定时，X（t,e）时普通函数，称为随机过程的一个样本
函数或轨道。
分类：
根据参数集T和状态空间I是否可列，分四类。
也可以根据X（t）之间的概率关系分类，
如独立增量过程，马尔可夫过程，平稳过程等。
２．随机过程的分布律和数字特征
用有限维分布函数族来刻划随机过程的统计规律性。
随机过程
X（t）,tT的一维分布，二维分
布，⋯，n维分布的全体称为有限维分布函数族。
随机过程的有限维分布函数族是随机过程概率特征
的完整描述。
在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此用某些统计特征
来取代。
m（t）EX（t）
X
X（t）,tT
（１）均值函数
t
在时刻的平均值。
表示随机过程
（２）方差函数D（t）E[X（t）m（t）]2
t对均值的偏离程度。
表示随机过程在时刻
X
X
B（s,t）E[（X（s）m（s））（X（t）m（t））]
X
X
X
B（t,t）D（t）
且有
（３）协方差函数
（４）相关函数
X
X
E[X（s）X（t）]m（s）m（t）
X
X
R（s,t）E[X（s）X（t）]
X
（3）（4）表示随机过程在时刻st
和
，时的线性相关程度。
（５）互相关函数：
数。
X（t）,tT，Y（t）,tT是两个二阶距过程，则下式称为它们的互协方差函
B（s,t）E[（X（s）m（s））（Y（t）m（t））]
XY
X
Y
，那么R（s,t）E[X（s）Y（t）]，称为互相关函数。
XY
E[X（s）Y（t）]m（s）m（t）
X
Y
E[X（s）Y（t）]m（s）m（t），则称两个随机过程不相关。
若
X
Y
３．复随机过程
ZXtjYt
t
均值函数m（t）EXtjEYt
Z
方差函数
D（t）E[|Zm（t）|]2E[（Zm（t））（Zm（t））]
Z
t
Z
t
Z
t
Z
B（s,t）E[（Zm（s））（Zm（t））]
Z
s
Z
t
Z
R（s,t）E[ZZt]
协方差函数
相关函数
Z
s
E[ZZ]m（s）m（t）
s
t
Z
Z
４．常用的随机过程
2
（１）二阶距过程：
实（或复）随机过程
X（t）,tT，若对每一个tT，都有EX（t）
（二
阶距存在），则称该随机过程为二阶距过程。
t1tttT，有
234
（2）正交增量过程：
设
X（t）,tT是零均值的二阶距过程，对任意的
E[（X（t）X（t））（X（t）X（t））]0，则称该随机过程为正交增量过程。
2
1
4
3
2
X
其协方差函数B（s,t）R（s,t）
（min（s,t））
X
X
（3）独立增量过程：
随机过程X（t）,tT，若对任意正整数n2，以及任意的tt2
1
tnT，
X（t）X（t）,X（t）X（t）,,X（t）X（t）是相互独立的，则称X（t）,tT是独立
随机变量
2
1
4
3
n
n1
X（t）,tT
是独立增量过程，对任意
st，随机变量X（t）X（s）的分
增量过程。
进一步，如
布仅依赖于
ts，则称X（t）,tT是平稳独立增量过程。
X（t）,tT
具有马尔可夫性，即对任意正整数n及
（4）马尔可夫过程：
如果随机过程
t1t2
tnT，P（X（t）x,,X（t）x）0，都有
11n1n1
PX（t）xX（t）x,,X（t）xn1
PX（t）xX（t）xn1，则则称X（t）,tT
n
n
1
1
n1
n
n
n1
是马尔可夫过程。
X（t）,tT
n及t1,t,,tT
，
2n
（5）正态过程：
随机过程
，若对任意正整数
X（t）,X（t）X（t））是n维正态随机变量，其联合分布函数是
（
n维正态分布函数，则称
1
2
n
X（t）,tT是正态过程或高斯过程。
（6）维纳过程：
是正态过程的一种特殊情形。
设W（t）,
t
为实随机过程，如果，①W（0）0；②是平稳独立增量过程；③对任意s,t增
2
W（t）W（s）~N（0,ts）
2
量W（t）W（s）服从正态分布，即
0。
则称
W（t）,
t
为维纳过程，或布朗运动过程。
另外：
①它是一个Markov过程。
因此该过程的当前值就是做出其未来预测中所需的全部信息。
②维纳过程具有独立增量。
该过程在任一时间区间上变化的概率分布独立于其在任一的其他时间区间
上变化的概率。
③它在任何有限时间上的变化服从正态分布，其方差随时间区间的长度呈线性增加。
（7）平稳过程：
X（t）,tT
nt,t,,tT，
及
12n
严（狭义）平稳过程：
，如果对任意常数
和正整数
t1
t2
,tn
T，（X（t）,X（t）X（t））与（X（t1
）,X（t2
）X（tn
））有相
1
2
n
X（t）,tT
同的联合分布，则称
是严（狭义）平稳过程。
X（t）,tT
X（t）,tT
是二阶距过程；②对任意的
tT，
广义平稳过程：
随机过程
，如果①
m（t）EX（t）常数；③对任意s，tTR（s,t）E[X（s）X（t）]R（ts），或仅与时间
，
X
X
X
差
ts有关。
则满足这三个条件的随机过程就称为广义平稳过程，或宽平稳过程，简称平稳过程。
第二章
泊松过程
一．泊松过程的定义（两种定义方法）
１，设随机计数过程
X（t）,t0，其状态仅取非负整数值，若满足以下三个条件，则称：
X（t）,tT
是具有参数
的泊松过程。
①X（0）0；②独立增量过程，对任意正整数n，以及任意的
t1t2
tnTX（t）X（t）,X（t）X（t）,,X（t）X（t）相互独立，即不同时间间隔
2
1
3
2
n
n1
的计数相互独立；③在任一长度为
t的区间中，事件Ａ发生的次数服从参数
t0的的泊松分布，即
（t）n
t
对任意t,s0，有PX（ts）X（s）ne
n0,1,
n!
E[X（t）]
，表示单位时间内时间Ａ发生的平均个数，也称速率或强度。
t
E[X（t）]
t，
２，设随机计数过程
X（t）,t0，其状态仅取非负整数值，若满足以下三个条件，则称：
X（t）,t0
是具有参数
的泊松过程。
①X（0）0；②独立、平稳增量过程；③
PX（th）X（t）1
PX（th）X（t）2
ho（h）
。
o（h）
第三个条件说明，在充分小的时间间隔内，最多有一个事件发生，而不可能有两个或两个以上事件同
时发生，也称为单跳性。
二．基本性质
s（t1）st
m（t）E[X（t）]
X
tD[X（t）]R（s,t）
X
１，数字特征
t（s1）st
B（s,t）R（s,t）m（s）m（t）
min（s,t）
推导过程要非常熟悉
X
X
X
X
２，T
n
n1事件Ａ发生到第n次事件发生的时间间隔，
T,n1是时间序列，随机变量Tn
n
表示第
t
t
e,t0
1e,t0
服从参数为
的指数分布。
概率密度为f（t）
，分布函数F（t）
均值
T
0,
t0
n
0,
t0
1
为ETn
证明过程也要很熟悉
三．非齐次泊松过程
到达时间的分布
略
到达强度是t的函数
PX（th）X（t）1
（t）ho（h）
①X（0）0；②独立增量过程；③
。
不具有平稳增量
PX（th）X（t）2o（h）
性。
t
m（t）E[X（t）]
X
（s）ds
均值函数
0
t
定理：
X（t）,t0是具有均值为m（t）
X
（s）ds的非齐次泊松过程，则有
0
[m（ts）m（t）]n
X
X
PX（ts）X（t）n
exp[m（ts）m（t）]
XX
n!
四．复合泊松过程
N（t）,t0
Y,k1,2,
k
设
是强度为
的泊松过程，
是一列独立同分布的随机变量，且与
N（t）
N（t）,t0独立，令X（t）
Yk则称X（t）,t0为复合泊松过程。
k1
重要结论：
X（t）,t0是独立增量过程；若E（Y2）
1
E[X（t）]
tE（Y，）
1
，则
D[X（t）]
tE（Y2）
1
第五章
马尔可夫链
泊松过程是时间连续状态离散的马氏过程，
维纳过程是时间状态都连续的马氏过程。
时间和状态
都离散的马尔可夫过程称为
马尔可夫链。
马尔可夫过程的特性：
马尔可夫性或无后效性。
即：
在过程时刻
t
所处的状态为已知的条件下，
0
过程在时刻tt0所处状态的条件分布与过程在时刻
t0之前所处的状态无关。
也就是说，将来只与现
在
有
关
，
而
与
过
去
无
关
。
表
示
为
PX（t）xX（t）x,,X（t）xn1
PX（t）xX（t）xn1
nnn1
n
n
1
1
n1
一．马尔可夫链的概念及转移概率
1．定义：
设随机过程
X,nT，对任意的整数
n
nT和任意的i0,i,,in1I，条件概率满足
1
PXn1in1X0i0,Xi,,Xnin
PXn1iXnin
n1
X,nT
为马尔可夫
n
，则称
1
1
链。
马尔可夫链的统计特性完全由条件概率
PXn1in1Xnin
所决定。
PXn1jXn
i
n
i
处于状态的条件下，下一步转
2．转移概率
相当于随机游动的质点在时刻
移到j的概率。
记为p（n）。
则pij（n）PXn1jXn
ij
i
n的一步转移概
称为马尔可夫链在时刻
p（n）与n无关，记为p。
率。
若齐次马尔可夫链，则
ij
ij
P[p]i,jI
ij
I1,2,
pij0，每行的和
称为系统的一步转移矩阵。
性质：
每个元素
为1。
pij（n）PXmnjXm
=
i
P（n）[p]i,jI
（n）
3．n步转移概率
移矩阵。
；
I1,2,
n
称为步转
ij
重要性质：
①pij（n）
pikpkj（nl）称为CK方程，证明中用到条件概率的乘法公式、马尔可夫
（l）
kI
性、齐次性。
PXm
i,Xmn
j
pij（n）PXmnjXm
i
PXm
i
PXmi,Xmlk,Xmn
PXm
j
kT
i
掌握证明方法：
PXmi,Xmlk,XmnjPXmi,Xml
k
PXm
i,Xml
k
PXm
i
kT
（nl）
kj
（l）
ik
（l）
p
ik
（nl）
p
kj
p
（ml）p（m）
kI
kI
②P（n）Pn
说明步转移概率矩阵是一步转移概率矩阵的
n
n次乘方。
4．X,nT是马尔可夫链，称
n
pPX0
j
j为初始概率，即
0时刻状态为j的概率；称
T
p（n）PXnj为绝对概率，即n时刻状态为j的概率。
P（0）
p1,p2,
为初始概率向量，
j
T
P（n）
p1（n）,p（n）,
2
为绝对概率向量。
ppij矩阵形式：
P（n）P（0）P（n）
（n）
T
T
定理：
①p（n）
j
p（n）
j
p（n1）pij
i
②
i
iI
iI
定理：
PX1i1,X2i2,,Xnin
pipii
pi
i
n1n
说明马氏链的有限维分布完全由它的初
1
iI
始概率和一步转移概率所决定。
二．马尔可夫链的状态分类
1．周期：
自某状态出发，再返回某状态的所有可能步数最大公约数，即
d1，则称该状态是周期的；若
dGCDn:
pii（n）0。
若
d1，则称该状态是非周期的。
2．首中概率：
fij（n）表示由出发经n步首次到达
i
j的概率。
fij（n）表示由出发经终于（迟早要）到达
i
j的概率。
f
3．
ij
n1
4．如果f1，则状态是常返态；如果
i
fii1，状态是非常返（滑过）态。
i
ii
5．
nfii（n）
，
表示由
i出发再返回到i的平均返回时间。
若
i
，则称是正常返态；若
i
i
i
n1
则称i是零常返态。
非周期的正常返态是遍历状态。
1
（n）
（n）
i
6．状态是常返充要条件是
p
；状态i是非常返充要条件是
p
。
ii
ii
1fii
n0
n0
i
j
i
j,即i
j且ji。
如果
i
j
i
，则他们同为常返态或非常返态，；若，
7．称状态与互通，
j同为常返态，则他们同为正常返态或零常返态，且
i，j有相同的周期。
1
limpii（n）
0。
一个不可约的、非周期的、有限状态的马尔可
i
8．状态是遍历状态的充要条件是
n
i
夫链是遍历的。
9．要求：
熟悉定义定理，能由一步转移概率矩阵画出状态转移图，从而识别各状态。
三．状态空间的分解
1．设C是状态空间
iC，状态jC，都有p0（即从出发
i
ij
经一步转移不能到达j），则称C为闭集。
如果C的状态互通，则称C是不可约的。
如果状态空间不
I的一个闭集，如果对任意的状态
X,nT不可约。
或者说除了
n
C之外没有其他闭集，则称马尔可夫链
可约，则马尔可夫链
X,nT不可约。
n
（n）
2．C为闭集的充要条件是：
对任意的状态
iC，状态jC，都有
p
0。
所以闭集的意思是自
ij
C的内部不能到达C的外部。
意味着一旦质点进入闭集
C中，它将永远留在C中运动。
如果p1，则状态为吸收的。
等价于单点
i
i
为闭集。
ii
3．马尔可夫链的分解定理：
任一马尔可夫链的状态空间
I，必可唯一地分解成有限个互不相交的子
集D,C,C,Cn
C
C
的和，①每一个
都是常返态组成的不可约闭集；②
中的状态同类，或全是
n
1
2
n
fij1。
③D是由全体非常返态组成。
正常返态，或全是零常返态，有相同的周期，且
分解定理
说明：
状态空间的状态可按常返与非常返分为两类，非常返态组成集合
D，常返态组成一个闭集C。
闭集C又可按互通关系分为若干个互不相交的基本常返闭集
C,C,Cn
12
。
含义：
一个马尔
可夫链如果从D中某个非常返态出发，它或者一直停留在
D中，或某一时刻进入某个基本常返闭集
C
C
，
n
，一旦进入就永不离开。
一个马尔可夫链如果从某一常返态出发，必属于某个基本常返闭集
n
永远在该闭集C
n
中运动。
4．有限马尔可夫链：
一个马尔可夫链的状态空间是一个有限集合。
性质：
①所有非常返态组成的集合不是闭集；②没有零常返态；③必有正常返态；④状态空间
IDCC2
1
C，D是非常返集合，C,C,C是正常返集合。
n12n
不可约有限马尔可夫链只有正常返态。
四．pij（n）
的渐近性质与平稳分布
（n）
1．为什么要研究转移概率p的遍历性？
ij
（n）
（n）
limp
ij
n
p
n
PXnjX0
i
的极限分布，包含两个问题：
一是
研究
当
时的极限性质，即
ij
是否存在；二是如果存在，是否与初始状态有关。
这一类问题称作遍历性定理。
如果对i,jI，存在不依赖于i的极限limpij（n）p0，则称马尔可夫链具有遍历性
。
一个
j
n
不可约的马尔可夫链，如果它的状态是非周期的正常返态，则它就是一个遍历链。
具有遍历性的马
尔可夫链，无论系统从哪个状态出发，当转移步数
n充分大时，转移到状态
j的概率都近似等于p
，
j
（n）
p
ij
这时可以用p
作为
的近似值。
j
2．研究平稳分布有什么意义？
（n）
ij
判别一个不可约的、非周期的、常返态的马尔可夫链是否为遍历的，可以通过讨论
limp来解决，
n
但求极限时困难的。
所以，我们通过研究平稳分布是否存在来判别齐次马尔可夫链是否为遍历链。
一
个不可约非周期常返态的马尔可夫链是遍历的充要条件是存在平稳分布，且平稳分布即极限分布
1
（n）
ij
limp=,jI。
n
j
3．X,n0是齐次马尔可夫链，状态空间为
n
I，一步转移概率为
p
ij
，概率分布
jI
称为
j
j
i
pij
iI
马尔可夫链的平稳分布，满足
1
j
jI
4．定理：
不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分
1,jI。
推论：
有限状态的不可约非周期马尔可夫链必存在平稳分布
。
布
j
5．在工程技术中，当马尔可夫链极限分布存在，它的遍历性表示一个系统经过相当长时间后达到平
衡状态，此时系统各状态的概率分布不随时间而变，也不依赖于初始状态。
6．对有限马尔可夫链，如果存在正整数
k，使pij（k）0，即k步转移矩阵中没有零元素，则该链是
遍历的。
第六章
平稳随机过程
一．定义（第一章）
严平稳过程：
有限维分布函数沿时间轴平移时不发生变化。
2
宽平稳过程：
满足三个条件：
二阶矩过程
E[X（t）]
；均值为常数
E[X（t）]
常数；相关函数只
（,
与时间差有关，即Rtt
X
）
（）（
EXtXt
）
RX（）。
宽平稳过程不一定是严平稳过程，而严平稳过程一定是宽平稳过程。
二．联合平稳过程及相关函数的性质
1．定义：
设X（t）,tT和X（t）,tT是两个平稳过程，若它们的互相关函数EX（t）Y（t
）及
EY（t）X（t
）仅与时间差
有关，而与起点
和
t无关，则称X（t）Y（t）是联合平稳随机过程。
即，R（t,t
XY
）EX（t）Y（t
升级会员 