连续马尔科夫过程的转移概率及应用.docx
《连续马尔科夫过程的转移概率及应用.docx》由会员分享，可在线阅读，更多相关《连续马尔科夫过程的转移概率及应用.docx（13页珍藏版）》请在冰豆网上搜索。
连续马尔科夫过程的转移概率及应用
《随机过程》
课程设计（论文）
题目:
连续马尔科夫过程的转移概率及应用
学院：
理学院
专业：
应用统计学
班级：
13090501
学生姓名：
张志达
学生学号：
1309050131
2015年12月29日
摘要
选取1978～2009年四川农村居民人均生活消费值的32个样本，首先，通过Markov预测法预测未来生活消费水平的增长速度以10%～20%的概率较大;然后，为提高预测精度，在传统ARMA模型中加入时间变量t进行建模并预测，预测结果表明平均相对误差率为1．56%，其中2006～2009年的相对误差的绝对值均小于0．5%;最后，将Markov预测和ARMA模型对2010～2012年的预测结果对比，发现两者在生活消费增长幅度上吻合，预测结果可靠。
结果表明，在与目前相似的政策力度下，短期内四川省农村居民消费需求将持续增长，需进一步扩大消费市场。
关键词农村居民;生活消费;Markov预测
一.连续马尔科夫过程的转移概率及其应用
1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。
1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。
流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。
人们在实际中常遇到具有下述特性的随机过程：
在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。
这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。
青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。
如果将荷叶编号并用
分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么
就是马尔可夫过程。
液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。
还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。
1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。
1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。
50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。
目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
二.连续时间马尔可夫链基本理论
2.1定义
设随机过程
，状态空间
若对
任意及非负整数
及非负整数
有
，则称
为连续时间马尔可夫链。
2.2转移概率
在s时刻处于状态i，经过时间t后转移到状态j的概率
定义.2
齐次转移概率
（与起始时刻s无关，只与时间间隔t有关）转移概率矩阵
命题：
若τi为过程在状态转移之前停留在状态i的时间，则对s,t≥0有
（1）
（2）τi服从指数分布
定理1齐次马尔可夫过程的转移概率具有：
（1）
;
（2）
（3）
正则性条件
定义3
（1）初始概率:
（2）绝对概率:
（3）初始分布:
（4）绝对分布:
定理2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：
（1）
（2）
（3）
（4）
（5）
三.马尔可夫过程研究的问题的分析
农村居民的生活消费是消费需求的重要组成之一，颇受学者关注。
已有研究内容主要集中于农村居民生活消费的区域差异、消费行为、消费结构、消费的影响因素等几方面。
在研究方法上，主要采用了回归分析法、扩展性指出系统模型、最小二乘回归法、因子分析法、习惯性偏好的生命周期模型等进行分析［1－8］;从已有研究来看，大都立足于短期的消费数据，在研究方法偏向于回归分析研究，以提高农村的消费水平、促进经济发展为目的。
实际上，正确预测农村的居民消费趋势及需求，及时建立合理的消费结构，也有利于提高消费水平。
四川省是一个农业大省，农村居民相对较多，对农村居民生活消费进行较精确的预测，有利于充分调动农村消费对经济的拉动作用。
然而对消费水平预测时，一次性预测出具体的结果难免会受到社会、经济、政策等因素的影响而产生较大的偏差。
若能同时预测出各种结果的概率，将概率与具体结果对比分析，可进一步提高预测可信性，有利于对未来消费水平的把握。
鉴于此，笔者采用预测事件发生概率的Markov预测，避免了预测中因平稳性差或数据欠缺等带来的偏差，提高了预测的可靠性.
数据来源与研究方法
1．1数据来源选取1978～2009年四川农村居民人均生活消费数据，包括食品，衣着，居住，家庭设备、用品及服务，医疗保健，交通通讯，文教娱乐用品及服务，其他商品和服务共8类消费总数（数据来源于1979～2010年统计年鉴）。
并根据其逐年增长幅度（ri）确定状态。
具体可分为大幅度增长（E1，ri≥20%）、中幅度增长（E2，10%≤ri＜20%）、小幅度增长（E3，0%≤ri＜10%）和负增长（E4，ri＜0%）。
以1978年为基准年，历年农村居民人均生活消费增长状态ri见表1。
表1四川农村居民生活消费的状态转移数据
年份
序号
ri∥%
状态
年份
序号
ri∥%
状态
1978
1
－
－
1994
17
39．67
E1
1979
2
18．12
E2
1995
18
17．35
E2
1980
3
12．24
E2
1996
19
27．21
E1
1981
4
15．40
E2
1997
20
6．71
E3
1982
5
13．13
E2
1998
21
0．02
E3
1983
6
10．99
E2
1999
22
－1.02
E4
1984
7
8．96
E3
2000
23
4．45
E3
1985
8
9．70
E3
2001
24
0．54
E3
1986
9
12．55
E2
2002
25
6．27
E3
1987
10
12．03
E2
2003
26
9．78
E3
1988
11
22．44
E1
2004
27
15．10
E2
1989
12
11．05
E2
2005
28
13．09
E2
1990
13
7．51
E3
2006
29
5．31
E3
1991
14
8．49
E3
2007
30
14．71
E2
1992
15
3．09
E3
2008
31
13．86
E2
1993
16
13．69
E2
2009
32
32．40
E1
1．2研究方法
1．2．1Markov预测。
Markov预测是一种预测事物发生概率的方法，根据事物目前状况预测将来时期变动状况的预测方法。
在事件发展过程中，Markov过程表示每次状态的转移都仅与前一时刻的状态有关，与过去的状态无关，Markov预测就是对事件在Markov过程中各种状态出现的概率进行预测［9］。
预测步骤如下:
①确定状态并得出状态Ei到状态Ej的转移概率pij;②结合某一事件发展过程中的n种可能状态，构成状态转移概率矩阵Pn×n;③根据初始状态π（0），求出经过k次状态转移以后，在第k个时期处于状态Ej的概率，公式为:
πj（k）=πi（k－1）pij，j=1，2，…，n
（1）
由公式
（1）对该事件在第k个时期的各状态概率进行预测。
2.计算状态转移概率矩阵
假定某一个事件的发展过程有n个可能的状态，即E1，E2，…，En。
记
为从状态
转变为状态
的状态转移概率，则矩阵
从表3.7.1中可以知道，在3个从E1出发（转移出去）的状态中，有0个是从E1转移到E1，有2个是从E1转移到E2，有1个是从E1转移到E3，有0是从E1转到E4所以：
3.结果与分析
2．1Markov预测与分析根据表1数据，分别计算出从Ei到Ej的转移概率pij（i，j=1，2，3，4），得出状态转移概率矩阵P如下:
记2009年农村居民生活消费状态为π（0）=（1，0，0，
0），利用公式
（1），计算得出2010～2012年可能出现的各种状态的概率（表2）。
表22010～2012年生活消费增长状态预测结果
年份
状态
概率
2010
E1
0
E2
0．6667
E3
0．3333
E4
0
2011
E1
0.1905
E2
0．4444
E3
0．3373
E4
0．0278
2012
E1
0.127
E2
0．4616
E3
0．3833
E4
0．0281
由表2可知，状态E2（中幅度增长）的概率较其他状态大，表明在未来几年农村居民生活消费的增长速度为10%～20%的概率较大。
运用模型对历年农村人均居民消费进行拟合和预测，部分结果见表3。
表32013～2015年四川省农村居民生活消费预测结果
年份预测值∥元实际值∥元相对误差∥%
20092572．812572．000．03
20102934．842949．210．49
20113355．573362．000．19
20123887．853891．000．08
20134425．75
20145019．63
20155600．02
由表5可知，2009～2012年的实际值和预测值之间的相对误差小于0．5%，再次说明模型预测值和真实值比较接近。
通过预测结果，进而计算出2013、2014、2015年的农村居民消费的增长幅度分别为13．74%、13．42%、11．56%，即符合10%～20%的中幅度增长。
四结论和展望
从上面的例子中可以看出利用连续马尔可夫过程求解以及matlab使用的重要性，通过这个例子，我们可以更好的理解马尔可夫过程，理解柯尔莫哥洛夫方程，同时知道怎样求解一些实际问题，例如：
排队问题，机器维修问题、零件寿命、随机游动等问题。
马尔可夫链近一二十年来在近似算法设计的重要应用，使它受到越来越广泛的关注。
以后将会更加的普及到现实社会当中，来帮助我们解决更多的实际问题。
五.参考文献
《应用随机过程》，钱敏平，龚光鲁，北京大学出版社，1998.
《随机过程论》，钱敏平高等教育出版社2000
《应用随机过程》，林元烈清华大学出版社2002
《随机过程》，刘次华华中科技大学出版社2008
《Matlab在时间序列分析中的应用》张善文雷英杰冯有前
西安电子科技大学出版社2007
六计算结果及程序
MATLAB代码实现
A=[]
t=length（A）;%计算序列“A”的总状态数
B=unique（A）;%序列“A”的独立状态数顺序，“E”
tt=length（B）;
E=sort（B,'ascend'）;
a=0;
b=0;
c=0;
d=0;
forj=1:
1:
tt
Localization=find（A==E（j））;%序列“A”中找到其独立状态“E”的位置
fori=1:
1:
length（Localization）
ifLocalization（i）+1>t
break;%范围限定
elseifA（Localization（i）+1）==E
（1）
a=a+1;
elseifA（Localization（i）+1）==E
（2）
b=b+1;
elseifA（Localization（i）+1）==E（3）
c=c+1;
%依此类推，取决于独立状态“E”的个数
end
end
T（j,1:
tt）=[a,b,c];%“T”为占位矩阵
end
TT=T;
foru=2:
1:
tt
TT（u,:
）=T（u,:
）-T（u-1,:
）;
end
TT;%至此，得到转移频数矩阵
Y=sum（TT,2）;
foruu=1:
1:
tt
TR（uu,:
）=TT（uu,:
）./Y（uu,1）;
end
TR%最终得到马尔科夫转移频率/概率矩阵
%观测序列马尔科夫性质的检验：
N=numel（TT）;
uuu=1;
Col=sum（TT,2）;%对列求和
Row=sum（TT,1）;%对行求和
Total=sum（Row）;%频数总和
fori=1:
1:
tt
forj=1:
1:
tt
xx（uuu,1）=sum（（TT（i,j）-（Row（i）*Col（j））./Total）.^2./（（Row（i）*Col（j））./Total））;
uuu=uuu+1;%计算统计量x2
end
end
xx=sum（xx）
升级会员 