马尔科夫理论浅析.docx
《马尔科夫理论浅析.docx》由会员分享，可在线阅读，更多相关《马尔科夫理论浅析.docx（9页珍藏版）》请在冰豆网上搜索。
马尔科夫理论浅析
马尔科夫理论浅析
引子：
1.随机变量Xn表示第n年某个人的健康状况，Xn=1表示健康，Xn=2表示疾病，n=0，1用ai（n）表示第n年处于状态i的概率，i=1，2，即ai（n）=p（Xn=i）.用Pij表示今年处于的状态i，明年的状态j的概率，i，j=1,2，即Pij=P（Xn+1=j|Xn=i）.ai（n）称为状态转移概率。
2.典型的跳蛙例子，Xn表示第n次跳青蛙所处的荷叶，第一次荷叶i，第二次荷叶j。
（i，j=1,2,3,4）.Pij表示状态转移概率，就是第n次在i荷叶上，第n+1次在j荷叶上，这个事情发生的概率。
Pij=P（Xn+1=j｜Xn=i）。
以上例子的时间和状态的参数都是离散的，并且状态随着时间的变化随时变化，这样的过程称之为马尔科夫链。
马尔科夫链是最简单的马尔科夫过程1。
一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值之间可做无限分割，且做研究的状态也是无限多的。
而马尔科夫链的时间参数取离散数值。
1也称为具有马尔科夫性质的过程；简称马氏过程。
马尔科夫过程有两个性质：
1.“无后效性，”即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关。
以跳蛙为例，青蛙下一次所在的荷叶位置与他之前所在的荷叶位置无关，只和他现在所在的荷叶位置有关。
2.“遍历性，”是指不管事物现在出于什么状态，在较长时间内，马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。
四个分类:
按其状态空间I和时间参数集T是连续还是离散
四类：
时间参数T
状态空间I
离散连续
离散
马尔科夫链
马尔科夫序列
连续
可列马尔科夫过程
马尔科夫过程
其中马尔科夫链是以马尔科夫性为核心概念的时间和状态均为离散的随机过程。
而在我们经济的预测中时间和空间往往都是有限的。
所以重点是马尔科夫链。
数学表达：
如果随机过程{Xt,t∈T},满足条件:
Xi=xi,即过程在时刻t处于状态xi,那么在下个时刻t+1处于xj的概率是固定的Pij（t）:
Pij（t）=P{Xt+1=xj|X0=x0,X1=x1,,Xt-1=xi-1,Xt=xi}
=P{Xt+1=xj|Xt=xi}。
马尔科夫矩阵及其计算：
看一个简单的例子，两个状态K和L。
现在发生概率转移。
设四个转移概率Pkl，Pkk，Pll，Plk分别为1/2,1/2,2/5,3/5.
Pkk=1/2
K
Pkl=1/2Plk=3/5
L
Pll=2/5
据此我们可以列出一个简单的矩阵
KL
K1/21/2
P=
L3/52/5
以此类推到一般情况，
系统的状态空间为E={E1，E2En}，而每一个时间系统只能处于其中一个状态，因此每一个状态都有n个转向。
E1
E2
E3
En
E1
P11
P12
P13
P1n
E2
P21
P22
P23
P2n
P=E3
P31
P32
P33
P3n
┆
En
┆
Pn1
┆
Pn2
┆
┆
Pn3
Pnn
这样的矩阵叫做一步转移概率矩阵。
此矩阵具有以下两个性质：
（1）非负性，Pij>0,I,j=1,2n.
（2）行元素和为1。
。
如果不是经过一步而是经过
率。
k步得到的转移概率。
就称为
k步转移概
}，（
）
称之为切普曼-柯尔莫哥洛夫方程式（C-K方程）
m=1时就是一步转移概率。
实际应用
对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔科夫预测法。
特点：
1、简便性，无需大量统计资料
2、随机性，无法确切预知未来状态
3、局限性，只适合马尔可夫过程
应用举例：
天气预报的预测问题。
如果明天是否有雨仅与今天的天气（是否有雨）有关，
而与过去的天气无关，并设今日下雨，明日有雨的概率为=0.7，今日无雨明日有雨的概率为=0.4，又假定把有雨称为０状态天气，把无雨称为１状态天气；求今日有雨第四日仍然有雨的概率。
提示：
解：
（n）表示n时的状态天气，则（n）是以{0，1}为状态空间的齐次马尔可夫链，它的一步转移矩阵为
则一步转移概率矩阵为
两步转移
（）
四步转移矩阵
（）
所以今日有雨第四日仍有雨的改路是Poo4=0.5749
相关模型：
1.隐形马尔代夫模型
开始掷骰子时，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。
然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。
不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。
例如我们可能得到这么一串数字（掷骰子10次）：
1635273524
这串数字叫做可见状态链。
但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，
还有一串隐含状态链。
在这个例子里，这串隐含状态链就是你用的骰子的序列。
比如，隐含状态链有可能是：
D6D8D8D6D4D8D6D6D4D8
一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存
在转换概率（transitionprobability）。
在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。
D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。
这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。
比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。
这样就是一个新的HMM。
隐马模型基本要素及基本三问题
综上所述，我们可以得到隐马尔科夫的基本要素，即一个五元组{S,N,A,B,PI}；
S：
隐藏状态集合；N：
观察状态集合；
A：
隐藏状态间的转移概率矩阵；B：
输出矩阵（即隐藏状态到输出状态的概率）；PI：
初始概率分布（隐藏状态的初始概率分布）；
其中，A,B,PI称为隐马尔科夫的参数，用X表示。
由上述问题可以引出隐马尔科夫的三个基本问题的其中两个，下文中为了简便，将隐马尔科夫模型简称为HMM（HidenMarkovModel）。
HMM的三个基本问题是：
1.给定模型（五元组），求某个观察序列O的概率
2.给定模型和观察序列O，求可能性最大的隐藏状态序列。
3.对于给定的观察序列O，调整HMM的参数，使观察序列出现的概率最大。
2.灰色模型预测
如果一个系统具有层次、结构关系的模糊性，动态变化的随机性，指标数据的不完备或不确定性，则称这些特性为灰色性。
具有灰色性的系统称为灰色系统。
对灰色
系统建立的预测模型称为灰色模型（GreyModel），简称GM模型，它揭示了系统内部事物连续发展变化的过程。
灰色理论认为系统的行为现象尽管是朦胧的，数据是复杂的，但它毕竟是有序的，是有整体功能的。
灰数的生成，就是从杂乱中寻找出规律。
同时，灰色理论建立的是生成数据模型，不是原始数据模型，因此，灰色预测是一种对含有不确定因素的系统进行预测的方法。
同隐形马尔科夫理论相似，都是具有不确定性的随机过程。
3.层次分析法
所谓层次分析法，是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，通过定性指标模糊量化方法算出层次单排序（权数）和总排序，以作为目标（多指标）、多方案优化决策的系统方法。
层次分析法是将决策问题按总目标、各层子目标、评价准则直至具体的备投方案的顺序分解为不同的层次结构，然后得用求解判断矩阵特征向量的办法，求得每一层
在预测中常常是结合马尔科夫的概率转移矩阵进行计算。
升级会员 