马尔科夫理论浅析.docx

1、马尔科夫理论浅析马尔科夫理论浅析引子：1. 随机变量 Xn 表示第 n 年某个人的健康状况， Xn=1 表示健康， Xn=2 表示疾病， n=0 ，1 用 ai（ n）表示第 n 年处于状态 i 的概率， i=1， 2，即 ai（ n）=p（ Xn=i）.用 Pij 表示今年处于的状态 i，明年的状态 j 的概率， i， j=1,2 ， 即 Pij=P(X n+1 =j|X n=i).ai(n) 称为状态转移概率。2. 典型的跳蛙例子， Xn 表示第 n 次跳青蛙所处的荷叶，第一次荷叶 i，第二次荷叶 j。（ i，j=1,2,3,4 ）.Pij 表示状态转移概率，就是第 n 次在 i 荷叶上，

2、第 n+1 次在 j 荷叶上，这个事情发生的概率。 Pij=P(X n+1 =jXn=i)。以上例子的时间和状态的参数都是离散的， 并且状态随着时间的变化随时变化，这样的过程称之为马尔科夫链。马尔科夫链是最简单的马尔科夫过程 1 。一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值 之间可做无限分割， 且做研究的状态也是无限多的。 而马尔科夫链的时间参数取离散数值。1 也称为具有马尔科夫性质的过程；简称马氏过程。马尔科夫过程有两个性质：1. “无后效性，”即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关。 以跳蛙为例，青蛙

3、下一次所在的荷叶位置与他之前所在的荷叶位置无关，只和他现在所在的荷叶位置有关。2. “遍历性，”是指不管事物现在出于什么状态，在较长时间内， 马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。四个分类 : 按其状态空间 I 和时间参数集 T 是连续还是离散四类：时间参数 T状态空间 I离散 连续离散马尔科夫链马尔科夫序列连续可列马尔科夫过程马尔科夫过程其中马尔科夫链是以马尔科夫性为核心概念的时间和状态均为离散的随机过程。而在我们经济的预测中时间和空间往往都是有限的。所以重点是马尔科夫链。数学表达：如果随机过程 Xt, tT , 满足条件 : Xi = xi, 即过程在时刻 t 处于状态 xi,

4、 那么在下个时刻 t + 1 处于 xj 的概率是固定的 Pij( t) :Pij ( t) = P X t + 1 = x j | X0 = x0 ,X1 = x 1 , ,Xt - 1 = x i - 1 ,Xt = x i= P X t + 1 = x j | X t = x i。马尔科夫矩阵及其计算：看一个简单的例子，两个状态 K 和 L。现在发生概率转移。设四个转移概率 Pkl， Pkk，Pll，Plk 分别为 1/2, 1/2, 2/5, 3/5.Pkk =1/2KPkl=1/2 P lk =3/5LPll=2/5据此我们可以列出一个简单的矩阵K LK 1/2 1/2P=L 3/5

5、 2/5以此类推到一般情况，系统的状态空间为 E=E 1， E2 En ，而每一个时间系统只能处于其中一个状态，因此每一个状态都有 n 个转向。E1E2E3EnE1P11P12P13P1nE2P21P22P23P2nP= E3P31P32P33P3nEnPn1Pn2Pn3Pnn这样的矩阵叫做一步转移概率矩阵。此矩阵具有以下两个性质：（ 1）非负性， Pij0,I,j=1,2 n.（ 2）行元素和为 1 。 。如果不是经过一步而是经过率。k 步得到的转移概率。 就称为k 步转移概，（）称之为切普曼 -柯尔莫哥洛夫方程式（ C-K 方程）m=1 时就是一步转移概率。实际应用对马尔可夫过程的演变趋势

6、和状态加以分析，用于预测事物未来状态的研究，称为马尔科夫预测法。特点：1、 简便性，无需大量统计资料2、 随机性，无法确切预知未来状态3、 局限性，只适合马尔可夫过程应用举例：天气预报的预测问题。如果明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今日下雨，明日有雨的概率为 =0.7 ， 今日无雨明日有雨的概率为 =0.4 ，又假定把有雨称为状态天气， 把无雨称为状态天气；求今日有雨第四日仍然有雨的概率。提示：解：(n) 表示 n 时的状态天气，则 (n)是以 0，1为状态空间的齐次马尔可夫链，它的一步转移矩阵为则一步转移概率矩阵为两步转移（ ）四步转移矩阵（ ）所以今日有

7、雨第四日仍有雨的改路是 Poo4 =0.5749相关模型：1. 隐形马尔代夫模型开始掷骰子时，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是 1/3 。然后我们掷骰子，得到一个数字， 1， 2，3 ， 4， 5， 6， 7， 8 中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都是 1， 2，3 ，4，5 ，6 ，7， 8 中的一个。例如我们可能得到这么一串数字（掷骰子 10 次）： 1 6 3 5 2 7 3 5 2 4这串数字叫做可见状态链。但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。比如， 隐

8、含状态链有可能是： D6 D8 D8 D6 D4 D8 D6 D6 D4 D8一般来说， HMM 中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（ transition probability ）。在我们这个例子里， D6 的下一个状态是 D4 ， D6 ， D8 的概率都是 1/3 。D4 ，D8 的下一个状态是 D4 ，D6 ，D8 的转换概率也都一样是 1/3 。这样设定是为了最开始容易说清楚， 但是我们其实是可以随意设定转换概率的。 比如， 我们可以这样定义， D6 后面不能接 D4 ， D6 后面是 D6 的概率是 0.9 ，是 D8 的概率是 0.1。这

9、样就是一个新的 HMM 。隐马模型基本要素及基本三问题综上所述，我们可以得到隐马尔科夫的基本要素，即一个五元组 S,N,A,B,PI ；S：隐藏状态集合； N：观察状态集合；A：隐藏状态间的转移概率矩阵； B：输出矩阵（即隐藏状态到输出状态的概率）； PI：初始概率分布（隐藏状态的初始概率分布）；其中， A,B,PI 称为隐马尔科夫的参数，用 X 表示。由上述问题可以引出隐马尔科夫的三个基本问题的其中两个， 下文中为了简便， 将隐马尔科夫模型简称为 HMM(Hiden Markov Model) 。HMM 的三个基本问题是：1. 给定模型（五元组），求某个观察序列 O 的概率2. 给定模型和观

10、察序列 O，求可能性最大的隐藏状态序列。3. 对于给定的观察序列 O，调整 HMM 的参数，使观察序列出现的概率最大。2. 灰色模型预测如果一个系统具有层次、结构关系的模糊性，动态变化的随机性，指标数据的不完备或不确定性，则称这些特性为灰色性。具有灰色性的系统称为灰色系统。对灰色系统建立的预测模型称为灰色模型 (Grey Model) ，简称 GM 模型，它揭示了系统内部事物连续发展变化的过程。灰色理论认为系统的行为现象尽管是朦胧的，数据是复杂的，但它毕竟是有序的， 是有整体功能的。灰数的生成，就是从杂乱中寻找出规律。同时，灰色理论建立的是生成数据模型，不是原始数据模型，因此，灰色预测是一种对含有不确定因素的系统进行预测的方法。同隐形马尔科夫理论相似，都是具有不确定性的随机过程。3. 层次分析法所谓层次分析法，是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，通过定性指标模糊量化方法算出层次单排序（权数）和总排序，以作为目标（多指标）、多方案优化决策的系统方法。层次分析法是将决策问题按总目标、各层子目标、评价准则直至具体的备投方案的顺序分解为不同的层次结构，然后得用求解判断矩阵特征向量的办法，求得每一层在预测中常常是结合马尔科夫的概率转移矩阵进行计算。