（4）解：
由给出的
（1），
（2），…，（m）的联合概率密度函数可知
于是，
:
所以，
设有一参数离散、状态连续的随机过程，它的状态空间为，又的概率密度函数为
·
的m维联合概率密度为
（1）求边际概率密度
（2）求的概率密度；
（3）说明该过程是马尔可夫过程，并求其转移概率密度
}
（1）解：
由m维联合概率密度可得m-1维联合概率密度
（2）解：
同
（1）理可求得：
;
所以，
（3）解：
由条件概率的定义可得
。
由此可见，当m-1时刻的状态确定时，m时刻的状态与以前时刻的状态无关。
所以，该过程为马尔可夫过程。
其转移概率密度为
有三个黑球和三个白球。
把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：
0，1，2，3。
现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n次交换，过程的状态为（n=1，2，3，4，…）。
（1）试问此过程是否为马尔可夫链；
（2）计算它的一步转移概率矩阵。
]
（1）证明：
显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。
因此，该过程是为马尔可夫链。
（2）解：
以甲袋中的白球数i作为该过程的状态。
当和3时，过程状态由i转移到j概率为
当i=0时，，；当i=3时，，。
于是，一步转移概率矩阵为：
。
设是一马尔可夫链，它的状态转移空间为I：
{0，1，2}，它的初始状态的概率分布为，，；它的一步转移概率矩阵为
（1）计算概率；
（2）计算。
（1）解：
由马尔可夫性可得
；
其中，
于是
[
（2）解：
二步转移概率矩阵为
所以，
|
另一种解法是根据切普曼-柯尔莫哥洛夫方程得
设有马尔可夫链，它的状态转移空间为I：
{0，1，2}，它的一步转移概率矩阵为
（1）试求，并证明；
（2）[
（3）求。
（1）证明：
和分别为
所以，
#
（2）解：
实际上，一步转移概率矩阵可以经过行列变换为
由此可见，这是一个周期为2的马尔可夫链。
所以，当n为奇数时
.
n为偶数时
设有马尔可夫链，它的状态转移空间为I：
{0，1}，它的一步转移概率矩阵为
试用数学归纳法证明
!
证明：
当n=1时，显然是成立的。
假设成立，即
则当时
、
所以结论成立。
设有马尔可夫链，它的状态空间为，它的一步转移概率矩阵为
试求（利用矩阵的特征值、特征矢量方法计算）
-
解：
解算此题有以下三种方法：
[方法一]：
利用矩阵的相似变换：
首先，容易解得矩阵的两个特征值和对应的特征向量分别为
由这些特征向量做为列向量构成的矩阵Q和其逆阵Q-1为
]
与矩阵存在如下关系
并且
-
于是得
[方法二]：
利用矩阵的特征值、特征矢量：
首先，由下面的等价关系
可知是的特征值，的特征向量是的特征向量。
因此，可由的所有特征值和特征向量，利用这个等式解。
设
|
对于本题，可得方程组如下
解得的值与方法一的结果相同。
—
[方法三]：
利用母函数：
首先，转移概率矩阵对应的母函数为
将矩阵的第一行第一列元素展开成s的级数为
~
其中，sn项的系数就是的第一行第一列元素，即
同理可得。
天气预报问题。
其模型是：
今日是否下雨依赖于前三天是否有雨（即一连三天有雨；前面两天有雨，第三天是晴天；…），问能否把这个问题归结为马尔可夫链。
如果可以，问该过程的状态有几个如果过去一连三天有雨，今天有雨的概率为；过去三天连续为晴天，而今天有雨的概率为；在其它天气情况时，今日的天气与昨日相同的概率为。
求这个马尔可夫链的转移矩阵。
解：
此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，则可以认为是一个马尔可夫链。
每天的天气状况分为有雨（用“1”表示）和无雨（用“0”表示）两种情况，所以该马尔可夫链有23=8中状态。
将连续四天的天气情况用Y和N表示。
例如，前三天有雨，第四天无雨，则表示为YYYN。
根据题意可知，如果过去一连三天有雨，今天有雨的概率为；过去三天连续为晴天，而今天有雨的概率为；即
P{1111}=，P{0001}=，
在其它天气情况时，今日的天气与昨日相同的概率为，即
P{0011}=P{0111}=P{1011}=
P{1100}=P{0000}=P{0100}=P{1000}=
于是可得其它的概率值为
P{0000}=1-P{0001}=，P{0010}=1-P{0000}=，P{0101}=1-P{0100}=
P{0110}=1-P{0111}=，P{1001}=1-P{1000}=，P{1010}=1-P{1011}=
因此，概率转移矩阵为
设有马尔可夫链，它的状态空间为I：
{0，1}，它的一步转移概率矩阵为
试求，，，，，。
解：
，
另一种方法是利用母函数
由下面的关系
可得
就是项的系数，就是项的系数，就是项的系数。
所以，
同理可得，，。
两种方法的结果是一致的，但是后一种方法不会漏项，尤其在中n很大时只能采用这种方法。
设有一个三状态{0，1，2}的马尔可夫链，它的一步转移概率为
试求，，，，，。
解：
此题也可以用习题的方法，通过求获得上述值。
升级会员 