随机过程 第56讲Word格式文档下载.docx
《随机过程 第56讲Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《随机过程 第56讲Word格式文档下载.docx(47页珍藏版)》请在冰豆网上搜索。
![随机过程 第56讲Word格式文档下载.docx](https://file1.bdocx.com/fileroot1/2023-1/27/e8fc3da9-e9b1-4af5-814a-145bf4eb2393/e8fc3da9-e9b1-4af5-814a-145bf4eb23931.gif)
iii
(3)如有正整数m,使得m步转移概率矩阵Pm中相应某状态j的那一列元素
全不为零,则状态无周期
j
(九)分解定理
(1)齐次马氏链的状态空间S可唯一地分解为有限多个或可列多个互不相交
的状态子集D,,,L之并,即有UUUL
C
1CS=DC。
1C22
其中:
D是非常返态集,每个C,n=1,2,L
均是由常返状态组成的不可
n
约集,其中的状态互通,因此Cn=L
1,2,
中的状态具有相同的状态类
型:
或者均为零常返;
或者均为正常返非周期(遍历);
或者均为正常返
有且有相同的周期;
而且对于∈n,f=1
i,jC。
ij
(2)(周期链分解定理)一个周期为d的不可约马氏链,其状态空间S可以
分解为d个互不相交的集1,LJ之并,即有:
J,J,
2d
S=
d
U
r=1
Jr,JIJ=∅,k≠
l
kl
且
∑p
i
j∈J
r+1
=1,i∈
J,
r
=1,2,
L
其中约定r=。
J1J
+1
(3)基于上面的
(1),我们将状态空间S中的状态依D,CL的次序从
1,C,
2
新排列,则转移矩阵具有以下的形式
P=
P
D
1
O
M
其中均为随机矩阵,他们对应的链是不可约的。
称以上形式的
P1P
L
2
转移矩阵为标准形式。
(十)有限马氏链的性质
(1)所有非常返状态组成的集合不可能是闭集;
(2)没有零常返状态;
(3)必有正常返状态;
(4)不可约有限马氏链只有正常返态;
(5)状态空间可以分解为:
SDUCUCULU
=
12
k
每个Cn,=1,2,L,均是由正常返状态组成的有限不可约闭集,
nk
是非常返态集。
(十一)例子
例1设有三个状态{0,1,2}的齐次马氏链,它的一步转移概率矩阵为:
1/2
1/2
0
1/
4
1/3
1/4
2/3
试研究其状态关系。
例2设有四个状态{0,1,2,3}的齐次马氏链,它的一步转移概率矩阵为:
1/4
1
解:
{0,1}正常返,{2}非常返,{3}吸收态。
例3设马氏链的状态空间为S={1,2,3,4,5},一步转移概率为:
1/3
1/2
1/3
3/4
求此链的闭集。
画出状态转移图,此链可约,闭集为:
{1,3,5}。
例4设马氏链的状态空间为S={1,2,3,L},转移概率为:
,
p11=1/2
p1=1piS
/i=1/2,∈
,
ii+
1,研究各状态的分类。
画出状态转移图,可知:
nn11
∞
f11,故1
(=
n)f11=∑=,故状态1是常返的。
22
n=1
n1
∞
又µ
=∑n<
∞,故状态1是正常返的。
易知状态1是非周期的,从而状态1是遍历的。
对于其它状态,由于1↔i,i∈S,因此也是遍历的。
例5设有八个状态{0,1,2,3,4,5,6,7}的齐次马氏链,它的一步转移概率矩阵为:
1/2
讨论其周期性。
主对角线为0,它是具有周期性的转移矩阵的标准形式。
八个状态可以
分为四个子集,c1={0},{1,2,3}3=
c2=,c{4,5},4={6,7}
c,它们互不相
交,它们的并是整个状态空间,该过程具有确定的周期转移,即:
c1→c→c→
23
c4→c
,周期为4。
例6设齐次马氏链的状态空间为{1,2,3},一步转移矩阵为:
1/4
求:
(1)T13的分布率及ET13,
(2)f(i=1,2,3)
(1)画出状态转移图,可得T的分布率为:
13
T=n
131234…n…
f13n=PT=n
(){}
3
33
44
…
3n−1
3−
∞∞
因此,ET13=∑==∑=4。
nP{Tn}n
nn=1n=1
(2)由于:
f11=fn=n>
,故1/21
(1)12,()11=<
/0,1f
11
f3,(n),故11=3/4<
2(21)=f=n>
/40,1f
f33=,fn=0n>
1,故f1
(1)33=
1(),
因此,状态1和2为非常返态,3为常返态。
例7设齐次马氏链的状态空间为{1,2,3,4},一步转移矩阵为:
fn
)
4(4=0(n≥1)⇒f=0<
11)
3(3)=f=n>
⇒f=<
()0(
33
3333
故状态3和4为非常返态。
f11=f+f++L++L=
(1)
(2)
1111
001
111
∞
f22=∑=+++L++L=
f1
(n
)022
24n
2−1n=1
µ
113
=∑×
+
nf(n)1
=2×
=
=222
<
∞
11
2+LL
=∑3
nfn=1×
02×
++n⋅+=
()
22
n−1
故状态1和2都是正常返的,易知它们是非周期的,从而是遍历状态。
例8设一齐次马氏链的状态空间为S={0,1,2,L},其状态转移矩阵为:
1−p
2
p
试讨论此链状态的分类及常返的充分必要条件。
画出状态转移图,图中可以看出任意二状态都相通,链是不可约的,因
此只要确定任一状态是常返的条件即可。
由状态转移图,可得:
f00=−p;
f=p(−p=p−pp
(
(2)
1)1)
00001001
;
f)=−=−
0(0pppppppp
3
(1)
01201012
f0(0=−−−
npppppLp
)L;
01n201n1
因此有:
N
∑
fL
001
(n)ppp
=−
01N−1
即
00=∑fn=1−limppp
0001N−1
N→∞
因此此链常返的充分必要条件为:
lim0=0
ppLp→N
1−1
N∞
例9设一口袋中装有三种颜色(红、黄、白)的小球,其数量分别为3、4、
3。
现在不断地随机逐一摸球,有放回,且视摸出球的颜色计分:
红、黄、白分
别计1、0、-1分。
第一次摸球之前没有积分。
以Y表示第n次取出球后的累计
积分,n=
0,1L
(1)Yn,n=0,1,L是否齐次马氏链?
说明理由。
(2)如果不是马氏链,写出它的有穷维分布函数族;
如果是,写出它的一
步转移概率和两步转移概率。
pp
(2)
ijij
(3)令τ0=min{n;
Y=0,n>
0},求{5}
P0=。
τn
(1)是齐次马氏链。
由于目前的积分只与最近一次取球后的积分有关,因此此链具有马氏性且是
齐次的。
状态空间为:
S={L,−2,−1,0,1,2,L}。
(2)
ij
0.3,j=i+1
0.4,j=i
P{Y=jY=i}=
nn
+10.3,ji1
0,其他
P{Y
n+2
Y=
i}=
0.32,
2×
0.3×
0.4
+2
0,
.32
0,
0.4,
×
0.3
+
+1
−1
其他
(3)即求首达概率,画状态转移图,我们有:
P{τ0==×
×
4×
+2×
3=
5}2[30.30.40.30.4]
0.03096
此题实际上就是直线上的随机游动。
例10设有无穷多个袋子,各装红球r只,黑球b只及白球w只。
今从第1
个袋子中随机取一球,放入第2个袋子,再从第2个袋子中随机取一球,放入
第3个袋子,如此继续。
令:
1,
当第k次取出红球
R=,k
k0,反之
=1,
2,
(1)试求的分布;
R
(2)试证{R;
k=1,2,L}为马氏链,并求一步转移概率矩阵。
(1)计算得的分布列为:
Rk10
rb+w
r+b+wr+b+w
(2)的状态空间为
RS={0,1},一步转移概率矩阵为:
r
b
w
+w
+w+
w+1
1
例11设一具有3个状态的马氏链的一步转移矩阵为:
0
试确定此马氏链的状态分类。
附录:
转移矩阵估计问题
例:
某计算机经常出故障,研究人员每隔一刻钟记录一次计算机的运行状态,
收集了24小时的数据(97次记录),用1表示正常状态,0表示故障状态,所
得数据如下:
111001*********0011110111111001111111110001101101
111011*********101110111101111110011011111100111
设为第个时段的计算机状态,可以认为此是一齐次马氏链,状态空间为
Xn
S={0,1},试确定此马氏链的状态一步转移矩阵。
若已知计算机在某一时段的状态为0,问在此条件下从此时段起此计算机能
连续正常工作3刻钟的条件概率为多少?
设{X;
n≥0}为一齐次马氏链,状态空间为
nS,我们有此马氏链的一次实现
(样本),而转移矩阵未知,如何用现有数据来估计转移矩阵
x0,,LP?
x,x
1N
记在状态i之后首次出现状态j的时间为n(i,j),定义似然函数:
L=
∏
i,j∈S
pn(i,
j)
相应的对数似然函数为:
L∑n(,)ln(,)ln
=ijp
ij=nijp
∑∑
iji,j∈Si∈Sj∈S
pij=∀∈
1iS
利用约束条件,由极大似然估计法(MLEs)我们有如下估计
j∈S
式:
n(i,j)
pˆ=
ijnik
∑(,)
k∈S
注:
此估计为局部最大估计。
也可以由以下引理得到以上的估计。
引理:
设zi≥0i≤N,则在约束条件∑1,0()下,函数
()x
i=x≥i≤N
ii=1
i=1
z
zxiN
ilnx()
在处取得最大。
i=i≤
iN
∑z
5.马氏链的极限性态与平稳分布
当一个马氏链系统无限期的运行下去时,我们所关心和需要解决的问题:
(1)当n→∞时,P{Xn=i}=π(n)的极限是否存在?
即当马氏链系统无限
期的运行下去时,此链处于各个状态的概率(可能性)分布。
(2)在什么情况下,一个马氏链是一个平稳序列?
关于第一个问题,由于:
jn∑p(n)
π()=π(0),其中π(0){},
i=PX=
0iiij
i∈S
{πii∈S是马氏链的初始分布,因此,问题可以转化为研究的极限性
(0),}p
(n)
质,即研究limp是否存在?
存在的话,其极限是否与i有关?
n→∞
关于第二个问题,实际上是一个平稳分布是否存在的问题。
(一)的极限性态
Pn
定理(Markov):
设有一有限状态的马氏链,若存在一个正整数,使得对
m
于
∀i,j∈S,有(m)>
0,则
plimPn=π,其中π是一随机矩阵,且它的各行
都相同。
证明:
(A)m=1时的情形;
此时,由题意可知,存在0<
ε<
1,使得pij≥ε>
0,∀i,j∈S,
mj(n)ˆminp(),表示在步转移后在列中最小的一个元素;
=nj
()=ˆmaxn,表示在n步转移后在j列中最大的一个元素;
jnp)
(
(1)由C-K方程,证明m(n),M(n)(注意:
都是有界量)的单调性:
由于对于∀i∈S,有:
ppp(n1)(1
(n)=∑≥∑−=−
−pm(n1)mn)ijikkjikjj
k∈Sk∈S
因此,可得:
m(n)≥m(n−1)
pn)pp−pMn1)M(n
(=∑≤∑(−=−
(n1)
ijikkjikjj
1)
(n)≤M(n−
(2)证明m(n),M(n)收敛于同一极限:
;
pi(=m(n)ˆminp
(1)
(1)ˆmax
(1)
n)piMnp
=n−=−=n
(n)−
jjijjjij
0i
i∈S1
∈S
则有:
(n)=
p(n)
ij
pp
(n−1)
ikkj
=ε
p(n−1)