随机过程 第56讲Word格式文档下载.docx
《随机过程 第56讲Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《随机过程 第56讲Word格式文档下载.docx（47页珍藏版）》请在冰豆网上搜索。
iii
（3）如有正整数m，使得m步转移概率矩阵Pm中相应某状态j的那一列元素
全不为零，则状态无周期
j
（九）分解定理
（1）齐次马氏链的状态空间S可唯一地分解为有限多个或可列多个互不相交
的状态子集D,,,L之并，即有UUUL
C
1CS=DC。
1C22
其中：
D是非常返态集，每个C,n=1,2,L
均是由常返状态组成的不可
n
约集，其中的状态互通，因此Cn=L
1,2,
中的状态具有相同的状态类
型：
或者均为零常返；
或者均为正常返非周期（遍历）；
或者均为正常返
有且有相同的周期；
而且对于∈n,f=1
i,jC。
ij
（2）（周期链分解定理）一个周期为d的不可约马氏链，其状态空间S可以
分解为d个互不相交的集1,LJ之并，即有：
J,J,
2d
S=
d
U
r=1
Jr,JIJ=∅,k≠
l
kl
且
∑p
i
j∈J
r+1
=1,i∈
J,
r
=1,2,
L
其中约定r=。
J1J
+1
（3）基于上面的
（1），我们将状态空间S中的状态依D,CL的次序从
1,C,
2
新排列，则转移矩阵具有以下的形式
P=
P
D
1
O
M
其中均为随机矩阵，他们对应的链是不可约的。
称以上形式的
P1P
L
2
转移矩阵为标准形式。
（十）有限马氏链的性质
（1）所有非常返状态组成的集合不可能是闭集；
（2）没有零常返状态；
（3）必有正常返状态；
（4）不可约有限马氏链只有正常返态；
（5）状态空间可以分解为：
SDUCUCULU
=
12
k
每个Cn,=1,2,L,均是由正常返状态组成的有限不可约闭集，
nk
是非常返态集。
（十一）例子
例1设有三个状态{0,1,2}的齐次马氏链，它的一步转移概率矩阵为：
1/2
1/2
0
1/
4
1/3
1/4
2/3
试研究其状态关系。
例2设有四个状态{0,1,2,3}的齐次马氏链，它的一步转移概率矩阵为：
1/4
1
解：
{0,1}正常返，{2}非常返，{3}吸收态。
例3设马氏链的状态空间为S={1,2,3,4,5}，一步转移概率为：
1/3
1/2
1/3
3/4
求此链的闭集。
画出状态转移图，此链可约，闭集为：
{1,3,5}。
例4设马氏链的状态空间为S={1,2,3,L}，转移概率为：
，
p11=1/2
p1=1piS
/i=1/2,∈
，
ii+
1，研究各状态的分类。
画出状态转移图，可知：
nn11
∞
f11，故1
（=
n）f11=∑=，故状态1是常返的。
22
n=1
n1
∞
又µ
=∑n<
∞，故状态1是正常返的。
易知状态1是非周期的，从而状态1是遍历的。
对于其它状态，由于1↔i,i∈S，因此也是遍历的。
例5设有八个状态{0,1,2,3,4,5,6,7}的齐次马氏链，它的一步转移概率矩阵为：
1/2
讨论其周期性。
主对角线为0，它是具有周期性的转移矩阵的标准形式。
八个状态可以
分为四个子集，c1={0}，{1,2,3}3=
c2=，c{4,5}，4={6,7}
c，它们互不相
交，它们的并是整个状态空间，该过程具有确定的周期转移，即：
c1→c→c→
23
c4→c
，周期为4。
例6设齐次马氏链的状态空间为{1,2,3}，一步转移矩阵为：
1/4
求：
（1）T13的分布率及ET13，
（2）f（i=1,2,3）
（1）画出状态转移图，可得T的分布率为：
13
T=n
131234…n…
f13n=PT=n
（）{}
3
33
44
…
3n−1
3−
∞∞
因此，ET13=∑==∑=4。
nP{Tn}n
nn=1n=1
（2）由于：
f11=fn=n>
，故1/21
（1）12,（）11=<
/0,1f
11
f3,（n），故11=3/4<
2（21）=f=n>
/40,1f
f33=,fn=0n>
1，故f1
（1）33=
1（）,
因此，状态1和2为非常返态，3为常返态。
例7设齐次马氏链的状态空间为{1,2,3,4}，一步转移矩阵为：
fn
）
4（4=0（n≥1）⇒f=0<
11）
3（3）=f=n>
⇒f=<
（）0（
33
3333
故状态3和4为非常返态。
f11=f+f++L++L=
（1）
（2）
1111
001
111
∞
f22=∑=+++L++L=
f1
（n
）022
24n
2−1n=1
µ
113
=∑×
+
nf（n）1
=2×
=
=222
<
∞
11
2+LL
=∑3
nfn=1×
02×
++n⋅+=
（）
22
n−1
故状态1和2都是正常返的，易知它们是非周期的，从而是遍历状态。
例8设一齐次马氏链的状态空间为S={0,1,2,L}，其状态转移矩阵为：
1−p
2
p
试讨论此链状态的分类及常返的充分必要条件。
画出状态转移图，图中可以看出任意二状态都相通，链是不可约的，因
此只要确定任一状态是常返的条件即可。
由状态转移图，可得：
f00=−p;
f=p（−p=p−pp
（
（2）
1）1）
00001001
;
f）=−=−
0（0pppppppp
3
（1）
01201012
f0（0=−−−
npppppLp
）L;
01n201n1
因此有：
N
∑
fL
001
（n）ppp
=−
01N−1
即
00=∑fn=1−limppp
0001N−1
N→∞
因此此链常返的充分必要条件为：
lim0=0
ppLp→N
1−1
N∞
例9设一口袋中装有三种颜色（红、黄、白）的小球，其数量分别为3、4、
3。
现在不断地随机逐一摸球，有放回，且视摸出球的颜色计分：
红、黄、白分
别计1、0、-1分。
第一次摸球之前没有积分。
以Y表示第n次取出球后的累计
积分，n=
0,1L
（1）Yn，n=0,1,L是否齐次马氏链？
说明理由。
（2）如果不是马氏链，写出它的有穷维分布函数族；
如果是，写出它的一
步转移概率和两步转移概率。
pp
（2）
ijij
（3）令τ0=min{n;
Y=0,n>
0}，求{5}
P0=。
τn
（1）是齐次马氏链。
由于目前的积分只与最近一次取球后的积分有关，因此此链具有马氏性且是
齐次的。
状态空间为：
S={L,−2,−1,0,1,2,L}。
（2）
ij
0.3,j=i+1
0.4,j=i
P{Y=jY=i}=
nn
+10.3,ji1
0,其他
P{Y
n+2
Y=
i}=
0.32,
2×
0.3×
0.4
+2
0,
.32
0,
0.4,
×
0.3
+
+1
−1
其他
（3）即求首达概率，画状态转移图，我们有：
P{τ0==×
×
4×
+2×
3=
5}2[30.30.40.30.4]
0.03096
此题实际上就是直线上的随机游动。
例10设有无穷多个袋子，各装红球r只，黑球b只及白球w只。
今从第1
个袋子中随机取一球，放入第2个袋子，再从第2个袋子中随机取一球，放入
第3个袋子，如此继续。
令：
1,
当第k次取出红球
R=,k
k0,反之
=1,
2,
（1）试求的分布；
R
（2）试证{R;
k=1,2,L}为马氏链，并求一步转移概率矩阵。
（1）计算得的分布列为：
Rk10
rb+w
r+b+wr+b+w
（2）的状态空间为
RS={0,1}，一步转移概率矩阵为：
r
b
w
+w
+w+
w+1
1
例11设一具有3个状态的马氏链的一步转移矩阵为：
0
试确定此马氏链的状态分类。
附录：
转移矩阵估计问题
例：
某计算机经常出故障，研究人员每隔一刻钟记录一次计算机的运行状态，
收集了24小时的数据（97次记录），用1表示正常状态，0表示故障状态，所
得数据如下：
111001*********0011110111111001111111110001101101
111011*********101110111101111110011011111100111
设为第个时段的计算机状态，可以认为此是一齐次马氏链，状态空间为
Xn
S={0,1}，试确定此马氏链的状态一步转移矩阵。
若已知计算机在某一时段的状态为0，问在此条件下从此时段起此计算机能
连续正常工作3刻钟的条件概率为多少？
设{X;
n≥0}为一齐次马氏链，状态空间为
nS，我们有此马氏链的一次实现
（样本），而转移矩阵未知，如何用现有数据来估计转移矩阵
x0,,LP?
x,x
1N
记在状态i之后首次出现状态j的时间为n（i,j），定义似然函数：
L=
∏
i,j∈S
pn（i,
j）
相应的对数似然函数为：
L∑n（,）ln（,）ln
=ijp
ij=nijp
∑∑
iji,j∈Si∈Sj∈S
pij=∀∈
1iS
利用约束条件，由极大似然估计法（MLEs）我们有如下估计
j∈S
式：
n（i,j）
pˆ=
ijnik
∑（,）
k∈S
注：
此估计为局部最大估计。
也可以由以下引理得到以上的估计。
引理：
设zi≥0i≤N，则在约束条件∑1,0（）下，函数
（）x
i=x≥i≤N
ii=1
i=1
z
zxiN
ilnx（）
在处取得最大。
i=i≤
iN
∑z
5．马氏链的极限性态与平稳分布
当一个马氏链系统无限期的运行下去时，我们所关心和需要解决的问题：
（1）当n→∞时，P{Xn=i}=π（n）的极限是否存在？
即当马氏链系统无限
期的运行下去时，此链处于各个状态的概率（可能性）分布。
（2）在什么情况下，一个马氏链是一个平稳序列？
关于第一个问题，由于：
jn∑p（n）
π（）=π（0），其中π（0）{}，
i=PX=
0iiij
i∈S
{πii∈S是马氏链的初始分布，因此，问题可以转化为研究的极限性
（0）,}p
（n）
质，即研究limp是否存在？
存在的话，其极限是否与i有关？
n→∞
关于第二个问题，实际上是一个平稳分布是否存在的问题。
（一）的极限性态
Pn
定理（Markov）：
设有一有限状态的马氏链，若存在一个正整数，使得对
m
于
∀i,j∈S，有（m）>
0，则
plimPn=π，其中π是一随机矩阵，且它的各行
都相同。
证明：
（A）m=1时的情形；
此时，由题意可知，存在0<
ε<
1，使得pij≥ε>
0,∀i,j∈S，
mj（n）ˆminp（），表示在步转移后在列中最小的一个元素；
=nj
（）=ˆmaxn，表示在n步转移后在j列中最大的一个元素；
jnp）
（
（1）由C－K方程，证明m（n）,M（n）（注意：
都是有界量）的单调性：
由于对于∀i∈S，有：
ppp（n1）（1
（n）=∑≥∑−=−
−pm（n1）mn）ijikkjikjj
k∈Sk∈S
因此，可得：
m（n）≥m（n−1）
pn）pp−pMn1）M（n
（=∑≤∑（−=−
（n1）
ijikkjikjj
1）
（n）≤M（n−
（2）证明m（n）,M（n）收敛于同一极限：
；
pi（=m（n）ˆminp
（1）
（1）ˆmax
（1）
n）piMnp
=n−=−=n
（n）−
jjijjjij
0i
i∈S1
∈S
则有：
（n）=
p（n）
ij
pp
（n−1）
ikkj
=ε
p（n−1）
升级会员 