随机过程 第56讲Word格式文档下载.docx

1、i i i（3） 如有正整数m，使得 m步转移概率矩阵 Pm 中相应某状态 j 的那一列元素全不为零，则状态 无周期j（九）分解定理（1） 齐次马氏链的状态空间 S 可唯一地分解为有限多个或可列多个互不相交的状态子集 D , , ,L之并，即有 U U ULC1 C S = D C 。1 C 2 2其中：D 是非常返态集，每个C , n =1,2,L均是由常返状态组成的不可n约集，其中的状态互通，因此C n = L, 1, 2,中的状态具有相同的状态类型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返有且有相同的周期；而且对于 n , f =1i , j C 。i j（2） （周

2、期链分解定理）一个周期为 d 的不可约马氏链，其状态空间 S 可以分解为 d 个互不相交的集 1 ,L J 之并，即有：J , J ,2 dS =dUr=1Jr , J I J = , k lk l,且 pijJr +1=1, iJ ,r=1, 2,L其中约定 r = 。J 1 J+ 1（3） 基于上面的（1），我们将状态空间 S 中的状态依 D , C L的次序从1 , C ,2新排列，则转移矩阵具有以下的形式P =PD1OM其中 均为随机矩阵，他们对应的链是不可约的。称以上形式的P1 P, L, 2转移矩阵为标准形式。（十）有限马氏链的性质（1） 所有非常返状态组成的集合不可能是闭集；（2

3、） 没有零常返状态；（3） 必有正常返状态；（4） 不可约有限马氏链只有正常返态；（5） 状态空间可以分解为：S D U C U C ULU=1 2k每个Cn , =1,2,L, 均是由正常返状态组成的有限不可约闭集，n k是非常返态集。（十一）例子例 1 设有三个状态0,1, 2的齐次马氏链，它的一步转移概率矩阵为： 1/ 21/ 2 01/41/ 31/ 4 2/3试研究其状态关系。例 2 设有四个状态0,1, 2, 3的齐次马氏链，它的一步转移概率矩阵为：1/4 1解：0,1正常返，2非常返，3吸收态。例 3 设马氏链的状态空间为 S =1, 2,3, 4,5，一步转移概率为： 1/31

4、/21/33/4求此链的闭集。画出状态转移图，此链可约，闭集为：1, 3, 5。例 4 设马氏链的状态空间为 S =1, 2,3,L，转移概率为： ，p11 =1/2p 1 =1 p i S/ i =1/ 2, ，i i+1 ，研究各状态的分类。画出状态转移图，可知：n n 1 1 f11 ，故 1（ =n） f11 = = ，故状态 1 是常返的。2 2n=1 n 1 又 = n ，故 1/2 1（1） 1 2, （ ） 11 = / 0 , 1 f11f 3 , （n） ，故 11 = 3/4 /4 0 , 1 ff33 = , f n = 0 n 1，故 f 1（1） 33 =1 （ ）

5、 ,因此，状态 1 和 2 为非常返态，3 为常返态。例 7 设齐次马氏链的状态空间为1,2,3,4，一步转移矩阵为：f n）4（4 = 0 （n 1） f = 0 f = , （ ） 0 （3 333 33故状态 3 和 4 为非常返态。f11 = f + f + +L+ +L= （1） （2）11 110 0 11 1 1f22 = = + + +L+ +L=f 1（n） 0 222 4 n2 1 n=11 1 3= +nf （n） 1= 2 = 2 2 2 0，求 5P 0 = 。 n（1）是齐次马氏链。由于目前的积分只与最近一次取球后的积分有关，因此此链具有马氏性且是齐次的。状态空间为

6、： S =L,2,1,0,1, 2,L。（2）ij0.3, j = i +10.4, j = iPY = jY = i=n n+1 0.3, j i 10, 其他PYn+2Y =i=0.32 ,2 0.30.4+ 20 ,.320,0.4,0.3+11其他（3）即求首达概率，画状态转移图，我们有：P0 = = 4 + 2 3 =5 2 3 0.3 0.4 0.3 0.4 0.03096此题实际上就是直线上的随机游动。例 10 设有无穷多个袋子，各装红球 r 只，黑球b 只及白球 w 只。今从第 1个袋子中随机取一球，放入第 2 个袋子，再从第 2 个袋子中随机取一球，放入第 3 个袋子，如此继

7、续。令：1,当第 k 次取出红球R = , kk 0, 反之=1,2,（1） 试求 的分布；R（2） 试证R ; k =1, 2,L为马氏链，并求一步转移概率矩阵。（1）计算得 的分布列为：Rk 1 0r b + wr + b + w r + b + w（2） 的状态空间为R S = 0,1，一步转移概率矩阵为： rbw+ w+ w + w +11 例 11 设一具有 3 个状态的马氏链的一步转移矩阵为：0 试确定此马氏链的状态分类。附录：转移矩阵估计问题例：某计算机经常出故障，研究人员每隔一刻钟记录一次计算机的运行状态，收集了 24 小时的数据（97 次记录），用 1 表示正常状态，0 表示

8、故障状态，所得数据如下：111001*0011110111111001111111110001101101111011*101110111101111110011011111100111设 为第 个时段的计算机状态，可以认为此是一齐次马氏链，状态空间为X nS =0,1，试确定此马氏链的状态一步转移矩阵。若已知计算机在某一时段的状态为 0，问在此条件下从此时段起此计算机能连续正常工作 3 刻钟的条件概率为多少？设X ; n 0为一齐次马氏链，状态空间为n S ，我们有此马氏链的一次实现（样本） ，而转移矩阵未知，如何用现有数据来估计转移矩阵x0 , ,L P ?x ,x1 N记在状态i 之后首

9、次出现状态 j 的时间为 n（i, j），定义似然函数：L =i, jSpn（i,j）相应的对数似然函数为：L n（ , ）ln （ , ）ln= i j pij = n i j pij i, jS iS jSpij = 1 i S利用约束条件 ，由极大似然估计法（MLEs）我们有如下估计jS式： n（i, j）p =ij n i k （ , ）kS注：此估计为局部最大估计。也可以由以下引理得到以上的估计。引理：设 zi 0 i N ，则在约束条件 1, 0 （ ） 下，函数（ ） xi = x i Ni i=1i=1zz x i Ni ln x （ ）在 处取得最大。i = i i Nz5马

10、氏链的极限性态与平稳分布当一个马氏链系统无限期的运行下去时，我们所关心和需要解决的问题：（1） 当 n 时，PXn = i= （n）的极限是否存在？即当马氏链系统无限期的运行下去时，此链处于各个状态的概率（可能性）分布。（2） 在什么情况下，一个马氏链是一个平稳序列？关于第一个问题，由于： j n p（n） （ ） = （0） ，其中 （0） ，i = P X =0 i i i jiSi iS 是马氏链的初始分布，因此，问题可以转化为研究 的极限性（0）, p（n）质，即研究lim p 是否存在？存在的话，其极限是否与i 有关？n关于第二个问题，实际上是一个平稳分布是否存在的问题。（一） 的极

11、限性态Pn定理（Markov）：设有一有限状态的马氏链，若存在一个正整数 ，使得对m于i, jS ，有 （m） 0，则p limPn = ，其中 是一随机矩阵，且它的各行都相同。证明：（A） m =1时的情形；此时，由题意可知，存在 0 0, i, jS ， mj （n） min p（ ） ，表示在 步转移后在 列中最小的一个元素；= n j（ ） = max n ，表示在 n 步转移后在 j 列中最大的一个元素；j n p ）（1） 由 CK 方程，证明 m （n）, M （n） （注意：都是有界量）的单调性：由于对于 iS ，有：p p p（n 1） （ 1（n） = = p m （n 1） m n ） ij ik k j ik j jkS kS因此，可得：m （n） m （n 1）p n） p p p M n 1） M （n（ = （ = （n 1）ij ik k j ik j j1）（n） M （n （2） 证明 m （n）, M （n） 收敛于同一极限： ；pi（ = m （n） min p （ 1） （ 1） max （ 1）n） pi M n p= n = = n（n） j j ij j j ij0 iiS 1S则有：（n） =p（n） i jp p（n1）i k k j= p（n1）