马尔可夫链模型讲解Word文档格式.docx
《马尔可夫链模型讲解Word文档格式.docx》由会员分享，可在线阅读，更多相关《马尔可夫链模型讲解Word文档格式.docx（11页珍藏版）》请在冰豆网上搜索。
马尔可夫链是满足下面两个假设的一种随机过程：
1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；
2、从t时刻到t+l时刻的状态转移与t的值无关。
一个马尔可夫链模型可表示为=（S,P，Q）,其中各元的含义如下：
1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系
统的状态空间，它可以是有限的、可列的集合或任意非空集。
本文中假定S是可数集（即有限或可列）。
用小写字母i,j（或s,S）等来表示状态。
2）f切|是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态
的个数。
对于任意i€s，有Io
3）目二［①，血…缶］是系统的初始概率分布，q是系统在初始时刻处
Qi=1
于状态i的概率，满足
马尔可夫链模型的性质
马尔可夫链是由一个条件分布来表示的
P（Xn+1|Xn）
这被称为是随机过程中的“转移概率”。
这有时也被称作是“一步转移
概率”。
二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：
同样:
来时间n+k。
边际分布P（XO是在时间为n时的状态的分布。
初始分布为P（X）。
该过
程的变化可以用以下的一个时间步幅来描述：
P（X卄」=/P（乙』乙
这是Frobenius-Perronequation的一个版本。
这时可能存在一个或多
个状态分布n满足:
7T（X）=/
其中丫只是为了便于对变量积分的一个名义。
这样的分布n被称作是
“平稳分布”（StationaryDistribution）或者“稳态分布”（Steady-state
Distribution）。
一个平稳分布是一个对应于特征根为1的条件分布函数的特征
方程。
平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决
定的。
“不可约”是指每一个状态都可来自任意的其它状态。
当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
离散状态空间中的马尔可夫链模型
如果状态空间是有限的，则转移概率分布可以表示为一个具有（i,j）元
素的矩阵，称之为“转移矩阵”：
Pj=P（Xn+1=i|Xn=j）
对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幕来求得。
就是说，如果1'
是一步转移矩阵，V就是k步转移后的转移矩阵。
平稳分布是一个满足以下方程的向量：
在此情况下，稳态分布n*是一个对应于特征根为1的、该转移矩阵的特征向量。
如果转移矩阵E不可约，并且是非周期的，则因收敛到一个每一列都是不同的平稳分布n*，并且，
lim卩"
打=开車
h—|
独立于初始分布n。
这是由Perron-Frobeniustheorem所指出的。
正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。
矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。
注意：
在上面的定式化中，元素（i,j）是由j转移到i的概率。
有时候一个由元素（i,j）给出的等价的定式化等于由i转移到j的概率。
在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。
另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。
转移概率独立于过去的特殊况为熟知的Bernoullischeme。
仅有两个
可能状态的Bernoullischeme被熟知为贝努利过程
马尔可夫链模型的应用
科学中的应用
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。
马尔可夫链也有众多的生物学应用，特别是人
口过程，可以帮助模拟生物人口过程的建模。
隐蔽马尔可夫模型还被用于生物信
息学，用以编码区域或基因预测。
马尔可夫链最近的应用是在地理统计学（geostatistics）中。
其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。
这一应用类似于
“克里金”地理统计学（Kriginggeostatistics），被称为是“马尔可夫链地
理统计学”。
这一马尔可夫链地理统计学方法仍在发展过程中。
人力资源中的应用
马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一
个职位的可能性，即调动的概率。
该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。
实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。
它的基本思想是：
通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。
马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。
具体做法是：
将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。
其基本表达式为：
叫（±
）=另吗+冷£
）
2^1
N（t）:
t时间内I类人员数量；
Pji:
人员从j类向I类转移的转移率；
V（t）:
在时间（t-1,t）I类所补充的人员数。
企业人员的变动有调出、调入、平调、晋升与降级五种。
表3假设一家零售公司在1999至2000年间各类人员的变动情况。
年初商店经理有12人，在当年期间平均90%的商店经理仍在商店内，10%的商店经理离职，期初36位经理助理有11%晋升到经理，83%留在原来的职务，6%离职；
如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12X90%），另外，经理助理中有4人（36X83%）晋升到经理职位，最后经理的总数是15人（11+4）。
可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时
期的预测结果。
假设的零售公司的马尔可夫分析，见下表:
1999~200
商店
经理
区域
部门
销售
离
助理
员
职
商店经理
90%
10%
（n=12）
11
1
经理助理
11%
83%
6%
（n=36）
4
30
2
区域经理
66%
8%
15%
（n=96）
63
8
14
部门经理
72%
2%
16%
（=288）
29
207
6
46
销售员
74%
25%
（=1440）
86
1066
228
供给预测
15
41
92
301
1072
351
马尔可夫模型案例分析⑴
案例：
在信用卡账户行为变化预测中的应用
信用卡业务是商业银行的零售业务，信用卡的消费金额是银行的应收账款.在此，我们可以借鉴零售行业应收账款状态变化的预测方法对信用卡账户的行为变化进行描述和预测。
对信用卡账户的马尔可夫过程进行研究，主要解决新增贷款发生周期性变化的情况下利用马尔可夫过程预测不同时刻的信用卡账户各状态下的金额、已
偿付态和坏帐态的金额、全部应收款的现值及它们的方差计算等内容，以为商业
银行信用卡账户的行为风险管理提供方法依据。
马尔可夫模型的建立
马尔可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立
的.假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与上期逾期贷款的数量与结构有关，而与前期的状态无关，这就满足了“马氏性”。
同时，在外部经济环境稳定、人口特征比较稳定、银行的信用卡管理技术和方法没有发生重大变化的情况下，可以认为逾期贷款由一种状态转移到另一种状态的概率在各期是保持不变的，即每年的转移概率矩阵基本保持稳定，满足了马氏链的“平稳性”要求.这样,银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵，对
信用卡账户的行为状态做出预测和评估，下面给出具体分析。
假设某一银行在时间i有一定的信用卡应收账款，当前或者随后的时间内这些余额都可以划分为n个时间段（即状态。
对于这批在时间i的应收账款而言,有：
B0=逾期为0期的应收账款余额（也就是当前期）;
B=逾期为1期的应收账款余额；
B=逾期为j期的应收账款余额；
Bn-1=逾期为n-1期的应收账款余额；
Bn=逾期为n期的应收账款余额。
实践中,时间段的数目将视情况而定，最后一个时间段主要依赖于银行应收账款的“冲销”原则,美国的信用卡贷款一般拖欠180天以上即成为呆账予以“冲销”•虽然拖欠账款最终也可能得到偿还，但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的会计程序。
时刻k状态的金额，如下所示:
一般而言，我们可以让Bjk表示从i时刻处于j状态转移到i+1时刻处于k状态的账户的金额.用这种方法，我们可以对处于i时刻的所有应收账款做出在i+1时刻的一步转移账户.需要注意的是，还应该有一个“时间”状态应该加入到先前所描述的分类中，这一状态就是已付款状态，用「表示.在i时刻任何一种分类状态从0到n的账户在i+1时刻都可以转移到状态LL.这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示，矩阵中的每一项Bjk表示i时刻j状态转移为i+1时刻k状态的金额，如下所示：
对信用卡账户而言,需要注意的是,当状态Bk中的j<
i时，应理解为i时刻处于状态j的账户，在随后的i+1时刻（一般为30天后）偿还了部分的利息，使得应收账款（贷款）又转变为k状态。
从n+2维应收账款矩阵B可以导出n+2维转移概率矩阵P.转移概率矩阵P中的每一项目表示在特定时间内某一账户由一种状态转移到另一状态的可能性.这样的话,一个隐含假设是，转移概率矩阵的考察周期和应收账款分类的考察周期是相同的.一般情况下，转移概率Pjk表示的是i时刻j状态的账款转移到i+1时刻k状态账款的可能性.根据应收账款矩阵B及Bk,转移概率Pjk可被定义为：
p*—承
在应用转移概率矩阵时需要注意两点。
一是网状态的账款不可能转移到
其它的状态，它只能停留在已付款状态/状态账户的转移概率依次
怖=°
颅L=°
…际=q…
JJ1JJ
为:
匾三勺。
二是呆账类账
户的状态，虽然有时候坏呆账类账款仍能收回现金，但在我们的模型里边假设呆账类账款只能停留在呆账类的状态,即：
P而=qpno=0,pni=0,…,pnn=1.00。
上面描述的模型可以被看作一个有n+2个状态的马尔可夫链过程，其转移概率矩阵为P.而且,它有两个吸收态（偿付态0和呆账态n）,从其他任何一个暂态（非吸收态）都可以到达这两个吸收态，因此它是一个具有两个吸收态的马尔可夫链.我们将在充分利用马尔可夫理论和已有研究的基础上，研究如何利用马尔可夫链方法预测和估计信用卡账户行为的变化。
马尔可夫模型的应用
在此,采用Kemeny和Snell的部分研究成果.为便于计算，将n+2维转移概率方阵重新排列，将吸收态的偿付态和呆账态放在一起，将另外的暂态0,1,2,-,n-1放在一起.这样矩阵P就可以被分割为：
\p=\I
|RQ
其中I是一个2X2阶单位矩阵,0是一个2Xn阶0矩阵,R是一个nX2
阶矩阵,Q是一个nXn阶矩阵.其中，我们定义矩阵：
-Q）F=八Q+Qj|••
一定存在,并将其称为吸收态马尔可夫链的基本矩阵
对于nx2阶矩阵的所有分项,NR给出了每一状态转移到吸收态口和n的吸收概率.NR中的第一列给出了每一个状态转移到已偿付状态的概率，第二列给出了每一个状态下转移到呆账的概率。
1.无新增贷款的情况
假设在时刻i,具有n个分项向量的妙*=（耳伽"
订，…]r"
心訂给出
来每一状态下应收账款的余额.让b等于所有这些余额之和,则向量一b是一个没有非负分量且全部之和为1的概率向量，向量的分量代表了每一状态下应收账款的比例.如果我们假设上述状态中的余额的移动是独立的，那么我们就可以认定向量n为马尔可夫链的初始向量.另外,还假定：
如果A是任一矩阵，那么我们让A表示A中每一项平方后的结果；
让Art表示A中每一项取平方根后的结果.则有如下结论：
结论1
二维向量BNF中的分量可以给出来自应收账款向量B的期望还款和坏帐金额；
分量给出来偿还态和呆帐态的方差，人给出了这两种状态的标准差。
A=胡
（2）
证明如上所述,矩阵NR中第一列的分量给出来应收账款从每一暂态
转移到吸收态（偿付态）的概率.向量的分量给出了每次过程开始时
账款转移到每一暂态的初始概率.因此，账款在最终时偿付态的概率可以由向量nNR的第一列分量给出.如果这一过程开始了b次,那么在最终时偿付态的平均数就是向量bnNR=BNR勺第一列分量.向量nNR的第一分量是函数f的平均值,其中f表示在最终结束时偿付态的价值为全部价值，其它状态的价值为零.这一函数的方差可以由下式的第一分量给出：
帀）=M（鬥一肿（力
因为f2=f,所以M（f2）=Mf）,因此f的方差可以由nNR-（n
NRsq的第一分量给出.如果过程开始了b次,那么偿付态的全部金额的方差可以由力=中仲_的第一分量给出.有关呆帐态的分析与偿付态的分析类似。
此外，还可以对应收账款现值的计算进行了研究.如果r是利率,则
（1+尸）就表示了贴现率,应收账款现值的计算就可以由下面的计算给出。
假定B是应收账款向量，R是矩阵R的第一列分量,则BR表示当前时期的收现额；
从下一期的BQR的价值就只有BBQR1依此类推,在（k+1）周期时BQR的价值就只有BkBQRi.将这些折现价值加在一起就可以得到应收账款的当前现值：
pR卄…卄…=I3[I+/3Q……10応炉I…讥=EN弹,其中的M表示『I0Qj'
俨Q"
匕…。
在实践当中，银行一般都要对信用卡客户收取一定的年费，假定银行对客户收取b的费率,则^=1+b,那么完全可以利用上述公式来计算应收账款
的现值.当然，如果考虑利率和年费率两种因素的话，将会有一个净折扣率或者一个费用率。
2.新增贷款固定不变的情况
假设每期又发生了金额为c的新应收款，这些新应收款被分不在不同的状态下,构成了向量C的各分量组成，即:
〔'
（"
h，…1G二』定义向量I，则n为概率向量并且被认为是马尔可夫链的初始向量•假设，马尔可夫过程每期以初始概率n开始了c次.那么应收账款的稳定态分布会怎么样，这些账户的方差又是多少？
每期期望付款和呆账的数量以及它们的期望方差又怎么样？
结论2
如果马尔可夫过程每期以初始概率n开始了c次,则向量CN的分量给出来所有时刻下稳定的应收账款金额，数值CNE给出了稳定态的全部应收账款金额,其中E是各项为1的n维列向量.二维向量CNR合出来每期偿付款和呆账的稳定态的金额。
证明如果上述马尔可夫过程进行了许多个周期，则各状态的金额由当前n一个月前的nQ二个月前的nQ,等等组成•那么这些数量之和为：
+7©
十…・="
仃+q++…j="
N
如果这个过程每周期开始了c次,每一状态下的应收账款可以由向量cnN=CN表示.如果E是一个各项为1的列向量,则CNE是向量CN的分量之和代表了应收账款的全部账户余额•
如果上述过程进行了很多周期，将会有nR的账款从第一期的新收款中转移到吸收态，将有nQR勺账款从接下来的一期的新收款中转移到吸收态，将有nQR的账款从过期两个月的新收款中转移到吸收态，依此类推，那么所有这些之和为：
I诃R+Mr+…•=讯』+Q丨Q2+/丨…）R=刁NR
如果这一过程开始了c次,每期稳定态的偿付款和呆账将有cn
NR=CNR合出。
证明完毕。
综合定理1和定理2,我们能够得出一下推论.让t=CN
Ef_（:
心I；
那么CNR和（开山?
）胡是偿付款和呆账的预测均值和方差.而且，可以根据对应收款的利率和费率来计算应收账款的现值。
3.新增贷款发生周期性变化的情况
上述讨论都没有考虑应收账款发生变化的情况，然而,在现实情况下，银行的信用卡消费呈现出一定的周期性，例如在春节、国庆节和秋季开学的时候消费比较高.除此之外，商业银行每年的消费贷款也可能因为经济增长或萧条等原因而扩张或收缩•因此,我们需要考虑这些因素对模型的一些影响•
具体来讲,让C是给定月份i的新应收款的向量；
e是全部应收款的金额；
n=（1/g）C是第i时刻的初始向量，假设：
ni-t=（ni）
其中a是增长系数的倒数,例如某一贷款机构的信用卡业务以2%勺年
证明让i，…二G—r+i|是第
i月份及其之前T-1月的真实新
收款•在知道增长率的情况下，根据（4）式能够推出以前月份的所有应收款，其中第i月份不同状态的应收款是
C；
第（i-1）月份的是C-iQ第（i-2）月份的是C-2Q,等等；
第（i-T+1）
月份的是
C-T+1d-1;
第（i-T）月份的是CQ（C-T=aC）,等等.将这些向
量加总后如下：
=q+G]QIOgQ-1**・+Gr+iQ+aC*Q+oG]Q++”**+qGt+i
:
G（/卜aQQ+•■+a+・…）+*…+Q_t+]Q+（f+
=+G一iQ+芸Q-!
■、••+C—thQ]A：
这就是A,ai和D的证明与A类似.
当然,对于i时刻的这些估计依赖于第i月及其前T-1月的新增应收款,上面给出的估计结果比结论2给出的结果更准确一些.当然,如果Q快速趋于0,则用过去几个月的应收账款来估计一个合理的结果也是可以的.
根据结论1和结论3的结论,我们可以用ANR和
其中ai=AE、ti=（1/alpha"
A来估计i
时刻偿付款和呆帐的均值和方差.而且也可以用ANR用来估计i时刻应收账款的现值.
升级会员 