马尔科夫链考试例题整理.pdf

资源描述

马尔科夫链考试例题整理.pdf

《马尔科夫链考试例题整理.pdf》由会员分享，可在线阅读，更多相关《马尔科夫链考试例题整理.pdf（61页珍藏版）》请在冰豆网上搜索。

马尔科夫链考试例题整理.pdf

若表示质点在时刻n所处的位置，分析它的概率特性。

例例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段直线上带吸收壁的随机游动（醉汉游动）设一质点在线段1，5上随机游动，每秒钟发生一次随机游动，移动的规则是：

上随机游动，每秒钟发生一次随机游动，移动的规则是：

（1）若移动前在）若移动前在2，3，4处，则均以概率处，则均以概率向左向左或向右或向右移动一单位；（移动一单位；

（2）若移动前在）若移动前在1，5处，则以概率处，则以概率1停留在原处。

停留在原处。

21质点在1，5两点被“吸收”12345（）Xn前言：

马尔可夫过程的描述分类前言：

马尔可夫过程的描述分类1tX（t）,例3电话交换台在时刻前来到的呼叫数是无后效性的随机过程.X（t）,例2直线上的随机游动时的位置是无后效性的随机过程.无记忆性无记忆性未来处于某状态的概率特性只与现在状态有关，而与以前的状态无关，这种特性叫无记忆性（无后效性）。

例例4布朗运动布朗运动2若表示质点在时刻n所处的位置，求一步转移概率。

引例引例例例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段直线上带吸收壁的随机游动（醉汉游动）设一质点在线段1，5上随机游动，每秒钟发生一次随机游动，移动的规则是：

上随机游动，每秒钟发生一次随机游动，移动的规则是：

（1）若移动前在）若移动前在2，3，4处，则均以概率处，则均以概率向左向左或向右或向右移动一单位；（移动一单位；

（2）若移动前在）若移动前在1，5处，则以概率处，则以概率1停留在原处。

停留在原处。

21质点在1，5两点被“吸收”12345（）Xn一步转移概率矩阵的计算3有两个吸收壁的随机游动有两个吸收壁的随机游动其一步转移矩阵为10000210210002102100021021000011P状态空间状态空间I=1，2，3，4，5，参数集，参数集T=1，2，3，4例例2带有反射壁的随机游动带有反射壁的随机游动设随机游动的状态空间I=0，1，2，移动的规则是：

（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；

（2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。

设表示在时刻n质点的位置，则，是一个齐次马氏链，写出其一步转移概率。

nXnX0n5qp右反射壁m-1mpq左反射壁1201000.000000.000000.000.00000.000000.0qpqpqpPqpqp6pq反射壁12301000.000.000.qpqpPqp7例3一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：

质点总是以概率p顺时针游动一格，以概率逆时针游动一格。

试求转移概率矩阵。

pq11000.000.0000.00.00.000.000pqqpqpPqppq1,2,.,IN84一个质点在全直线的整数点上作随机游动，移动的规则是：

以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。

1qpr1.000.000.prqPprq.,2,1,0,1,2,.E95设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。

若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。

解这是一个齐次马氏链，其状态空间为I=0，1，2，a一步转移矩阵是10100.01100.02200.0.110.000.0010aaaaPaaaaa10练习题扔一颗色子，若前n次扔出的点数的最大值为j，就说试问是否为马氏链？

求一步转移概率矩阵。

I=1，2，3，4，5，6,nXj,nXj11111111666666211110666663111006666411000666510.00660.0010P12例例1甲、乙两人进行比赛，设每局比赛中甲胜的概率是甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是，乙胜的概率是q，和局的概率是，和局的概率是，（，（）。

设每局比赛后，胜者记“）。

设每局比赛后，胜者记“+1”分，负者记“分，负者记“1”分，和局不记分。

当两人中有一人获得分，和局不记分。

当两人中有一人获得2分结束比赛。

以分结束比赛。

以表示比赛至第表示比赛至第n局局时甲获得的分数。

时甲获得的分数。

r1rqpnX

（1）写出状态空间；）写出状态空间；（3）问在甲获得）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？

分的情况下，再赛二局可以结束比赛的概率是多少？

13解（解

（1）记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为12345I，一步转移概率矩阵1000000000000001qrpPqrpqrp14

（2）二步转移概率矩阵

（2）2PP100002022202000012222222rpppqrqrqpprpqrrqqpprpqrrpq15（3）从而结束比赛的概率；从而结束比赛的概率。

所以题中所求概率为）1（0）（rprpp16分析例例2赌徒输光问题赌徒输光问题赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。

设在每一局中，甲获胜的概率为p，乙获胜的概率为，求甲输光的概率。

pq1这个问题实质上是带有两个吸收壁的随机游动。

从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。

如果一旦到达0（即甲输光）或a+b（即乙输光）这个游动就停止。

这时的状态空间为0，1，2，c，c=a+b，。

现在的问题是求质点从a出发到达0状态先于到达c状态的概率。

17考虑质点从j出发移动一步后的情况解解设cj0设ju为质点从j出发到达0状态先于到达c状态的概率。

在以概率p移到1j的假设下，到达0状态先于到达c状态的概率为1ju同理以概率q移到1j的前提下，到达0状态先于到达c状态的概率为1ju根据全概率公式有qupuujjj11这一方程实质上是一差分方程，它的边界条件是0,10cuu18于是设）（11jjjjuupquupqr1jjjuud则可得到两个相邻差分间的递推关系1jjrdd于是2120jjjjdrdrdrd欲求au先求ju需讨论r19当而1rcuu01）（110jjcjuujcjd10010drjcj011drrccjjuuu）（11iicjiuu011drdicjiicji10

（1）jcjrrrd01drrrcj两式相比ccjjrrru120故ccaarrru1ccapqpqpq）

（1）（）（当1r001cduuc而0）（djcuj因此cjcuj故cbcacua21用同样的方法可以求得乙先输光的概率由以上计算结果可知当1r即qp时，甲先输光的概率为ccapqpqpq）

（1）（）（当1r即qp时，甲先输光的概率为cb当qp时，乙输光的概率为capqpq）

（1）（1当qp时，乙先输光的概率为ca22例例3排队问题排队问题顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。

设在第n个服务周期中到达的顾客数为一随机变量nY且诸nY独立同分布：

（1）

（1）11i1111221EI=1,2,32P,P,P,P551,PX=1=piinPppppp设马氏链的状态空间初始分布为试对n=1,2,3,计算解：

例226定理4.3马尔科夫链的有限维分布：

112m-1m1122mm012012X,X,X1）,0,0.10.20.70.90.100.10.80.10.30.40.3X0,X1,X22iiiiiiiiIPiiippppnPppppn由全概率公式得到证明，它是公式（的推广。

考虑状态0，1，2上的一个马氏链X它又转移概率矩阵初始分布为，试求概率

（1）3：

（例）234X0,X2,X1p27练习：

马氏链的状态空间I=1，2，3，初始概率为12312122213044111111,42433313044

（1）PX（0）=1,X

（1）=2,X

（2）=2,p

（2）

（2）PX

（1）=2,X

（2）=2X（0）=1=p（3）PX

（1）=1,X

（2）=2,X（3）=3pppPp计算证明：

求28例4市场占有率预测设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。

经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。

9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。

用状态1、2、3分别表示甲、乙、丙三厂，试求

（1）转移概率矩阵；

（2）9月份市场占有率的分布；（3）12月份市场占有率的分布；29解

（1）E1，2，3,状态状态1、2、3分别表示甲、乙、丙的用户分别表示甲、乙、丙的用户一步转移概率矩阵为480489648960.7,0.1,0.2480480480323203264640.1,0.7,0.2320320320643280064320.08,0.04,0.88800800800111213212223313233PPPPPPPPP88.004.008.02.07.01.02.01.07.01P

（2）以1600除8月份甲，乙，丙的户数，得初始概率分布（即初始市场占有率）（0）（0）（0）123（0）（,）（0.30.20.5）Pppp30所以9月份市场占有率分布为（3）12月份市场占有率分布为1）0（）1（PPP）5.02.03.0（88.004.008.02.07.01.02.01.07.0）54.019.027.0（41）0（）4（PPP）5.02.03.0（488.004.008.02.07.01.02.01.07.0）5983.01698.02319.0（31例例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图试研究各状态间的关系，并画出状态传递图。

设马氏链0,nXn的状态空间I=0，1，232310414121021211P解先按一步转移概率，画出各状态间的传递图先按一步转移概率，画出各状态间的传递图322/31/41/41/31/21/20121/2图3-1由图可知状态由图可知状态0可到达状态可到达状态1，经过状态，经过状态1又可到达状态又可到达状态2；反之，从状态；反之，从状态2出发经状态出发经状态1也可到达状态也可到达状态0。

因此，状态空间因此，状态空间I的各状态都是互通的。

又由于的各状态都是互通的。

又由于I的任意状态的任意状态i（i=0，1，2）不能到达不能到达I以外的任何状态，所以以外的任何状态，所以I是一个闭集而且是一个闭集而且I中

展开阅读全文