第三章信源熵率及冗余度.ppt

1、第三章：信源、熵率及冗余度第三章：信源、熵率及冗余度问题一问题一信息论对信源的研究内容包括哪几个方面？信息论对信源的研究内容包括哪几个方面？信息论对信源研究的内容信息论对信源研究的内容信源的建模：用恰当的随机过程来描述信号信源的建模：用恰当的随机过程来描述信号关心角度：信号中携带的信息关心角度：信号中携带的信息信源输出信号中携带信息的效率的计算信源输出信号中携带信息的效率的计算熵率、冗余度熵率、冗余度信源输出信息的有效表示信源输出信息的有效表示信源编码信源编码问题二从信息论的角度如何为信源建模？从信息论的角度如何为信源建模？信源的统计特性如何？信源的统计特性如何？如何对信源分类？如何对信源分类

2、？各类信源如何建模？各类信源如何建模？信源特性信源特性信源的统计特性信源的统计特性1）什么是信源？）什么是信源？信信源源是是信信息息的的来来源源，实实际际通通信信中中常常见见的的信信源源有有：语语音音、文文字字、图图像像、数数据据。在在信信息息论论中中，信信源源是是产产生生消消息息（符符号号）、消消息息（符符号号）序序列列以以及及连连续续消消息息的的来来源源，数数学学上上，信信源源是是产产生生随随机机变变量量X，随随机机序序列列 和和随随机机过过程程X(t,)的源。的源。2）信源的主要特性）信源的主要特性信信源源的的最最基基本本的的特特性性是是具具有有统统计计不不确确定定性性，它它可可用用概概

3、率率统计特性来描述。统计特性来描述。信源的分类离散信源与连续信源离散信源与连续信源离散信源离散信源单符号信源单符号信源序列信源序列信源平稳平稳&非平稳非平稳有记忆有记忆&无记忆无记忆连续信源连续信源连续信源连续信源波形信源波形信源离散信源单符号离散信源（1）它它是是最最简简单单也也是是最最基基本本的的信信源源，是是组组成成实实际际信信源源的基本单元。的基本单元。这这类类信信源源可可能能输输出出的的消消息息数数是是有有限限的的或或可可数数的的，而而且且每每次次只只输输出出其其中中一一个个消消息息。因因此此，可可以以用用一一个个离离散散型型随随机机变变量量X来来描描述述这这个个信信源源输输出出的的

4、消消息息。这这个个随随机机变变量量X的的样样本本空空间间就就是是符符号号集集A；而而X的的概概率率分分布布就就是是各各消消息息出出现现的的先先验验概概率率，信信源源的的概概率空间必定是一个完备集。率空间必定是一个完备集。离散信源单符号离散信源（2）当当信信源源给给定定，其其相相应应的的概概率率空空间间就就已已给给定定；反反之之，如如果果概概率率空空间间给给定定，这这就就表表示示相相应应的的信信源源已已给给定定。所所以以，概概率率空空间间能能表表征征离离散散信信源源的的统统计计特特性性，因因此此有时也把这个概率空间称为有时也把这个概率空间称为信源空间信源空间。在在实实际际情情况况中中，存存在在着

5、着很很多多这这样样的的信信源源。例例如如投投硬硬币币、书书信信文文字字、计计算算机机的的代代码码、电电报报符符号号、阿阿拉拉伯伯数数字字码码等等等等。这这些些信信源源输输出出的的都都是是单单个个符符号号(或或代代码码)的的消消息息，它它们们符符号号集集的的取取值值是是有有限限的的或或可可数数的的。我我们们可可用用一一维维离离散散型型随随机机变变量量X来来描描述述这这些些信信源源的的输输出出。它的数学模型就是离散型的概率空间：它的数学模型就是离散型的概率空间：离散信源单符号离散信源的数学描述对单符号离散信源对单符号离散信源U有：有：例例31：对于二进制数字信源：对于二进制数字信源：U=0,1，则

6、有，则有离散信源离散多符号信源实际的信源输出的消息是时间或空间上离散的一系列随机实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。个符号序列。在信源输出的序列中，每一位出现哪个符号在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为的。这种信源称为多符号离散信源多符号离散信源。例例32：THEY ARE MY FRIENDS.离散信源多符号离散信源的数学描述多符号离散信源可用多符号离

7、散信源可用随机矢量随机矢量/随机变量序列随机变量序列描述，描述，即即X=X1X2X3信源在不同时刻的随机变量信源在不同时刻的随机变量Xi和和Xi+r的概率分布的概率分布P(Xi)和和P(Xi+r)一般来说是不相同的，即随机变量的一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。统计特性随着时间的推移而有所变化。离散信源离散平稳信源若若信信源源输输出出的的随随机机序序列列X=(，)中中，每每个个随随机机变变量量 Xi(i=1,2,，N)都都是是取取值值离离散散的的离离散散型型随随机机变变量量，即即每每个个随随机机变变量量Xi的的可可能能取取值值是是有有限限的的或或可可数数的的。而

8、而且且随随机机矢矢量量X的的各各维维概概率率分分布布都都与与时时间间起起点点无无关关，也也就就是是在在任任意意两两个个不不同同时时刻刻随随机机矢矢量量X的的各各维维概概率率分分布布都都相相同同。这这样样的的信信源源称称为为离离散散平平稳稳信信源源。如如中中文文自自然然语语言言文文字字，离离散化平面灰度图像都是这种离散型平稳信源。散化平面灰度图像都是这种离散型平稳信源。一一般般来来说说，信信源源输输出出的的随随机机序序列列的的统统计计特特性性比比较较复复杂杂，分分析析起起来来也也比比较较困困难难。为为了了便便于于分分析析，我我们们假假设设信信源源输输出出的的是是平平稳稳的的随随机机序序列列，也也

9、就就是是序序列列的的统统计计性性质质与与时时间间的的推推移移无关。很多实际信源也满足这个假设。无关。很多实际信源也满足这个假设。离散信源平稳信源的数学模型（二维）最简单的离散平稳信源：二维平稳信源最简单的离散平稳信源：二维平稳信源 X=X1X2每两个符号看做一组，每组代表信源每两个符号看做一组，每组代表信源X=X1X2的一个消息；的一个消息；每组中的后一个符号和前一个符号有统计关联，这种概率每组中的后一个符号和前一个符号有统计关联，这种概率性的关系与时间起点无关；性的关系与时间起点无关；假定符号序列的组与组之间是统计独立的。假定符号序列的组与组之间是统计独立的。设设X1,X2 x1,x2,xn

10、,矢量矢量Xx1x1,x1xn,x2x1,x2xxn,xnx1,xn nxn 令令X的数学模型的数学模型离散信源离散平稳无记忆信源在在某某些些简简单单的的离离散散平平稳稳信信源源情情况况下下，信信源源先先后后发发出出的的一一个个个个符符号号彼彼此此是是统统计计独独立立的的。也也就就是是说说信信源源输输出出的的随随机机矢矢量量X=(XXX）中中，各各随随机机变变量量Xi(i=1,2,N)之之间间是是无无依依赖赖的的、统统计计独独立立的的，则则N维维随随机机矢矢量量的的联联合合概概率率分布满足分布满足P(X)=P（）P（）P（）我我们们称称由由信信源源空空间间X，P(x)描描述述的的信信源源X为为

11、离离散散无无记记忆忆信信源源。这这信信源源在在不不同同时时刻刻发发出出的的符符号号之之间间是是无无依依赖赖的的，彼此统计独立的。彼此统计独立的。离散信源离散无记忆信源的N次扩展信源离散无记忆信源离散无记忆信源X=x1,x2,xn，对它的输出消息序列，可以用对它的输出消息序列，可以用一组组长度为一组组长度为N的序列来表示它。这时它就等效成了一个新信的序列来表示它。这时它就等效成了一个新信源；源；新信源输出的符号是新信源输出的符号是N长的消息序列，用长的消息序列，用N维离散随机矢量来描维离散随机矢量来描述。述。ai=(xi1xi2xiN)i=1,2,n 每个分量每个分量xik(k=1,2,N)都是

12、随机变量，都取值于同一信源都是随机变量，都取值于同一信源X，并且分量之间统计独立。并且分量之间统计独立。由随机矢量由随机矢量X组成的新信源称为组成的新信源称为离散无记忆信源离散无记忆信源X的的N次扩展信次扩展信源源。离散无记忆信源的离散无记忆信源的N N次扩展信源的次扩展信源的数学模型数学模型是是X X信源空间的信源空间的N N重空重空间间。ABDACBBACCDX100000000000X211111111111X300000000000X400000000000X500000000000X600100000001X701001110110X810011001110X1、X2、X8,均为单符

13、号随机变量信源均为单符号随机变量信源X=0,1，P(X1X2X8)与时间起点无关与时间起点无关平稳平稳P(X1X2X8)P(X1)P(X2)P(X8)无记忆信源无记忆信源例例33：电文：电文：女女孩孩儿儿在在哭哭XCHUYJKOIUYHSFRTNHYTFSGTRWX1CKHNSX2H0SHGX3UIFYTX4YURTRX5JYTFWX1,X2,X3,X4,X5均为单符号随机变量均为单符号随机变量XA、B、CZP(X1X2X3X4X5)=P(X1)P(X2)P(X3)P(X4)P(X5)且与时间起点无关，且与时间起点无关，X为一无记忆平稳信源为一无记忆平稳信源例例34：离散信源二进制无记忆信源的

14、N次扩展信源把信源输出的序列看成是一组一组发出的。把信源输出的序列看成是一组一组发出的。电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。组成，把该信源称为二进制无记忆信源的二次扩展。如果把每三个二进制数字组成一组，这样长度为如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有的二进制

15、序列就有8种不同的种不同的序列，可等效成一个具有序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩个符号的信源，把它称为二进制无记忆信源的三次扩展信源。展信源。二进制无记忆信源的二进制无记忆信源的N次扩展：把每次扩展：把每N个二进制数字组成一个二进制数字组成一组，则信源等效成一个具有组，则信源等效成一个具有2N个符号的新信源，把它称为个符号的新信源，把它称为二二进制无记忆信源的进制无记忆信源的N次扩展信源次扩展信源。离散信源离散平稳有记忆信源 一一般般情情况况下下，信信源源在在不不同同时时刻刻发发出出的的符符号号之之间间是是相相互互依依赖赖的的。也也就就是是信信源源输输出出

16、的的平平稳稳随随机机序序列列X中中，各各随随机机变变量量Xi之之间是有依赖的。间是有依赖的。例例如如，在在汉汉字字组组成成的的中中文文序序列列中中，只只有有根根据据中中文文的的语语法法、习习惯惯用用语语、修修辞辞制制约约和和表表达达实实际际意意义义的的制制约约所所构构成成的的中中文文序序列列才才是是有有意意义义的的中中文文句句子子或或文文章章。所所以以，在在汉汉字字序序列列中中前前后后文文字字的的出出现现是是有有依依赖赖的的，不不能能认认为为是是彼彼此此不不相相关关的的。其其他他如如英英文文，德德文文等等自自然然语语言言都都是是如如此此。这种信源称为这种信源称为有记忆信源有记忆信源。我我们们需需在在N维维随随机机矢矢量量的的联联合合概概率率分分布布中中，引引入入条条件件概概率率分分布布来说明它们之间的关联。来说明它们之间的关联。女孩儿在哭女孩儿在哭XTHISGIRLISCRYINGX1TGICX2HISRX3IRYX4SLIX5NX6GX1,X2,X3,X4,X5均为单符号随机变量均为单符号随机变量XA、B、CZP(X1X2X3X4X5)P(X1)P(X2)P(X3)P(X4)P(X5