马尔可夫过程在信源编码中的应用.docx

1、马尔可夫过程在信源编码中的应用随机过程综述报告马尔可夫过程在信源编码中的应用院 系： 信息科学技术学院 专 业： 信息与通信工程 姓 名： 吕成鹏 学 号： 1120110201 摘要随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信

2、源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备。马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。随机过程理论是研究随机信号和信息论的数学工具，针对不同的通信系统我们可以建立相应的数学模型。马尔可夫过程是一类非常重要的随机过程。随着现代科学技术的发展，很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛

3、的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。关键字：随机过程、信源编码、马尔可夫信源、马尔可夫过程1.随机过程1.1随机过程发展简述在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。一些特殊的随机过程早已引起人们注意，例如1907年前后，马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链；又如1923年维纳给出了布朗运动的数学定义，后人称这种数学上的布朗

4、运动为维纳过程，这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于30年代。1931年，柯尔莫哥洛夫发表了概率论的解析方法；三年后，辛钦发表了平稳过程的相关理论。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，杜布的名著随机过程论问世，它系统且严格地叙述了随机过程的基本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法

5、国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、极限定理、随机微分方程等方面也做出了较好的工作。1.2 随机过程的数学描述设随机试验E的样本空间，T是一个数集（），如果对于每一个t T，都有一个定义在样本空间上的随机变量X(w,t)，w，则称依赖于t的一族随机变量X(w,t)，tT为随机过程或随机函数，简记为X(t)，tT 或X(t)，其中t称为参数，T称为参数集。当T=0,1,2,，T=1,2,，T=,-2,-1,0,1,2,时，X(w,t)t T称为随机序列或时间序列。 2. 马

6、尔可夫过程2.1 马尔可夫过程简介马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。2.2 马尔可夫过程的数学描述2.2.1 马尔可夫过程马尔可夫过程是下述这样的一种过程：在已经时刻t0系统所处状态的条件下，在时刻t0以后系统到达的情况与时刻t0以前系统所处的状态无关，完全取决于时刻t0系统所处的状态。这个特性称为无后效性，也称为“马尔可夫性”。马尔

7、可夫过程数学定义如下：设X(t),tT 为随机过程，如果对于任意正整数n及, ,并且其条件分布为则称X(t),tT为马尔可夫过程，或称该过程具有马尔可夫性。按照时间和状态的离散、连续情况马尔可夫过程可分为三类： (1) 时间与状态（空间）都离散的过程，称为马尔可夫链； (2) 时间连续与状态（空间）离散的过程，称为连续时间的马尔可夫过链； (3) 时间与状态（空间）都连续的马尔可夫过程。2.2.2 马尔可夫链 马尔可夫链的数学定义:设有随机过程Xn，nT，若对于任意的整数nT和任意的i0，i1，in+1I，条件概率满足则称为马尔科夫链，简称马氏链。2.3 马尔可夫过程的发展20世纪50年代以前

8、，研究马尔可夫过程的主要工具是微分方程和半群理论；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程扩散过程，开辟了研究马尔可夫过程的又一重要途径。出于扩大极限定理应用范围的目的，马尔科夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在大数定律关于相依变量的扩展一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某

9、个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里，马尔科夫建立了这种链的大数定律。 马尔科夫链的引入，在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应，很快地涌现出一系列新的课题、新的理论和新的学科，并揭开了概率论中一个重要分支随机过程理论蓬勃发展的序幕。3. 马尔可夫过程在信源编码中的应用3.1通信中研究随机过程的重要性在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后采取办法消

10、除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。图3.1是通信系统模型。从信息论的角度来说，通信的过程就是不确定度减小的过程。而不确定性就是过程的随机性，所以从这个角度来说通信过程的研究可以归结到对于随机过程特性的研究过程。图3.1 通信系统模型从图中可以看到，通信系统中用于表示信息的信号不可能是单一的确定的，

11、而是具有不确定性和随机性的。这种具有不确定性，随机性的信号即称为随机信号。同时通信系统中存在各种干扰和噪声，这些干扰和噪声的波形更具有随机性，是不可预测的,我们称其为随机噪声。尽管随机信号和随机噪声都是不可预测的，但是它们具有一定的统计规律性。在通信系统中，编码过程分为信源编码和信道编码两种，信源编码是为了压缩信息之间的相关性，最大限度提高传信率，目的在于提高通信效率；而信道编码则相反，通过引入相关性，使信息具有一定的纠错和检错的能力从而提高传输信息的可靠性。对于信源编码，实现降低相关性有两种途径，一种是信源概率分布均匀化，另一种是信源独立化。从概率论和随机过程的角度来说，概率分布均匀化就是每

12、个事件发生的概率大致相同，这样就会使每个信源携带的信息量基本相同，那么不确定性就达到最大，即传输过程中产生的信息量就最大；类似的信源独立化是通过对信源进行扩展达到的，通过信源的高次扩展，是扩展信源中每个符号出现的概率大致相同，这样也实现信息量最大化。对于信道编码，由于信道中存在随机噪声，或者随机干扰，使得经过信道传输后所接收到的码元与发送码元之间存在差异，这种差异就是传输产生的差错。一般信道噪声干扰越大，码元产生差错的概率也就越大。所以信道编码的任务就是构造出以最小冗余度代价换取最大抗干扰性能的码字组合。从信道编码的构造方法看，其基本思路是根据一定的规律在待发送的信息码中加入一些人为多余的码字

13、。这些码字的引入时信息之间具有相关性，虽然降低了信息所能携带的信息量，但是通过相关性可以克服由于随机噪声引入的误码情况。3.2 马尔可夫信源3.2.1马尔可夫信源概述马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。图3.2 马尔可夫信源模型我们把前面若干个符号看作一个状态，可以认为信源在某一时刻发出某一符号的概率除了与该符号有关外，只与该时刻信源所处的状态有关，而与过去的状态无关。信源发出一个符号后，信源所处的状态即发生改变，这些状态的变化组成了马氏链。马尔可夫信源有记忆的特点：有限记忆长度；信源输出不仅与符号集有关，而且

14、与状态有关；每发一个符号状态要发生转移。所谓状态，是指有限的相关符号组构成的序列。信源的状态集：信源基本符号集：在每一状态下可能输出的符号：输出随机符号序列： 输出随机状态序列： 设l时刻信源处于，输出的概率为在l时刻，其前一时刻的状态之下而转移到的状态转移概率为称为一步状态转移概率信源输出的随机状态序列：构成一个马尔可夫链一般与时刻l相关如果上述条件概率与时刻l无关，称随机过程为时齐的。即有：此时，信源输出的随机状态序列：构成时齐马尔科夫链马尔可夫信源：以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源，其满足下列条件：（1） 某时刻输出符号仅与此刻信源所处的状态有关；当具有时齐性

15、时，满足（2）某时刻所处状态由当前输出符号与前一时刻信源状态唯一确定。马尔可夫信源输出的状态序列呈时齐马尔科夫链。下面是一个马尔可夫信源的分析实例，马尔可夫信源的信源符号，其可能的状态，状态转移图及矩阵如下所示： a）状态转移图 b）矩阵表示c）一步转移矩阵图3.3 马尔可夫信源的状态转移图及相关矩阵 3.2.2 m阶马尔可夫信源信源输出当前符号仅与前面m个符号有关的马尔可夫信源，这m个符号为信源在当前时刻的状态。状态总数为n的m次方。信源输出长度为m+1的随机序列转化为对应的状态序列，其构成马尔科夫链。m阶马尔可夫信源的条件概率m阶马尔可夫信源的极限熵的计算：是马尔可夫信源稳定后（）各状态的极限概率3.2.3 各态历经定理对于有限齐次马尔科夫链，若存在正整数l01,对一切i，j=1,2，都有，则对每一个j都存在不依赖于i的极限称此马尔科夫链是各态历经的。其极限概率是约束方程组的解马氏链的各态历经定理说明：只有在转移了一定步数后各状态之间可相通的条件下，当转移步数足够大时，处于某一状态的概率才能稳定在某一极限值；各状态相通，均可经历；每个由各状态经历过程产生的序列都有同样的统计特性，即统计均匀性。3.2.4 信源的相关性和剩余度讨论信源最主要的目的是为