信息论基础教程.ppt

1、信息论基础信息论基础李刚李刚北京科技大学信息工程学院北京科技大学信息工程学院 信息论基础教程信息论基础教程李亦农李亦农 李梅李梅 编著编著北京邮电大学出版社北京邮电大学出版社 目录目录第一章第一章 绪论绪论第二章第二章 信息的度量信息的度量 第三章第三章 信源及信息熵信源及信息熵 第四章第四章 信道及信道容量信道及信道容量 第五章第五章 无失真信源编码无失真信源编码 第六章第六章 有噪信道编码有噪信道编码 第七章第七章 限失真信源编码限失真信源编码 1.1 信息的概念信息的概念1.2 信息论研究对象、目的和内容信息论研究对象、目的和内容第一章第一章 绪论绪论1.1 信息的概念信息的概念 信息论

2、信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴横断学科。信息论创立标志是1948年ClaudeShannon(香农香农)发表论文“AMathematicalTheoryofCommunication”。在这篇文章中香农创造性的采用概率论概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵信息熵的概念。1928年，哈特莱哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量信息量用它的可能值的个数的对数来表示。香农香农 (香农香农)信息信息：信息是事物运动状态或存在方式的不确定性的描述信息是事物运动状态或存在方式的不

3、确定性的描述。可运用研究随机事件的数学工具概率来测度不确定性大小。在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。我们把某个消息 出现的不确定性的大小，定义为自信息自信息，用这 个消息出现的概率的对数的负值来表示：自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。信源所含有的信信息息量量定义为信源发出的所有可能消息的平均不确定性，香农把信源所含有的信息量称为信信息息熵熵。自信息的统计平均定义为信源熵信源熵，即：这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小，同时表示

4、信源输出的消息所含的平均信息量。因此，虽然信源产生的消息可能会含有不同的信息量。在收信端，信源的不确定性得到部分或全部消除，收信者就得到信息。信息在数量上等于通信前后“不确定性”的消除量(减少量)1.2 信息论研究对象、目的和内容信息论研究对象、目的和内容 信息论研究对象信息论研究对象 广义的通信系统，它把所有的信息流通系统都抽象成如下模型：图1.1通信系统模型 这个通信系统主要分成五个部分：(1).信源信源 顾名思义，信源是产生消息和消息序列的源。(2).编码器编码器 编码就是把消息变成适合在信道传输的物理量信号信号。编码器可分为信源编码器和信道编码器。信源编码目的是提高通信系统有效性有效性

5、和提高信息传输的可靠性可靠性。实际通信系统中，可靠性和有效性常常相互矛盾。(3).信道信道 信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。(4).译码器译码器 译码就是把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。(5).信宿信宿信宿是消息传送的对象，即接受消息的人或机器。信息论研究的是关于这个通信系统的最根本、最本质的问题。例如：.什么是信息？如何度量信息？.怎样确定信源中含有多少信息量？.对于一个信道，它传输信息量的最高极限(信道容量)是多少？.为了能够无失真的传输信源信息，对信源

6、编码时所需的最少的码符号数是多少？(无失真信源编码即香农第一定理香农第一定理).在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？(有噪信道编码即香农第二定理香农第二定理).如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？(限失真信源编码即香农第三定理香农第三定理)目前，对信息论的研究内容一般有三种理解：(1)狭义信息论：狭义信息论：又称香农信息论香农信息论。主要通过数学描述与定量分析，研究通信系统从信源到信宿的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在这部分内

7、容是信息论的基础理论。(2)一般信息论：一般信息论：也称工程信息论工程信息论。主要也是研究信息传输和处理问题，除香农信息论的内容外，还包括噪声理论信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等(3)广义信息论：广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。2.1 自信息和互信息自信息和互信息 2.2 平均自信息平均自信息 2.3 平均互信息平均互信息 第二章第二章 信息的度量信息的度量关于信息的度量有几个重要的概念：（1）自自信信息息：一个事件(

8、消息)本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量（2）互信息互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。（3）平均自信息平均自信息（信息熵信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。（4）平均互信息平均互信息：一个事件集所给出关于另一个事件集的平均信息量比如今天的天气所给出关于明天的天气的信息量。2.1 自信息和互信息自信息和互信息2.1.1 自信息自信息随机事件的自信息量 是该事件发生概率 的函数，并且应该满足以下公理化条

9、件：1.是 的严格递减函数。当 时，概率越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大 2极限情况下当=0时，；当=1时，=0。3另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。定义定义2.1 随机事件的自信息量自信息量定义为该事件发生概率的对数的负值。事件 的概率为 ，则它的自信息定义为：从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。图2.1自信息量

10、自信息量的单位与所用对数的底有关。（1）常取对数的底为2，信息量的单位为比特(bit，binaryunit)。当 =1/2时，=1比特，即概率等于1/2的事件具有1比特的自信 息量。（2）若取自然对数（对数以e为底），自信息量的单位为奈特（nat，naturalunit）。1奈特=比特=1.443比特 （3）工程上用以10为底较方便。若以10为对数底，则自信息量的单位 为哈特莱（Hartley）。1哈特莱=比特=3.322比特（4）如果取以r为底的对数（r1），则=进制单位 1r进制单位=比特2.1.2 互信息互信息 定义定义2.2 一个事件 所给出关于另一个事件 的信息定义为互信息互信息，用

11、 表示。互信息 是已知事件 后所消除的关于事件 的不确定性，它等于事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性 。互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。2.2 平均自信息平均自信息 2.2.1 平均自信息平均自信息(信息熵信息熵)的概念的概念自信息量自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义平均自信息量平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵信息熵、信源熵信源熵，简称熵熵。因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量

12、的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对应的概率 称为它的概率空间概率空间。定义定义2.3 随机变量X的每一个可能取值的自信息 的统计平均值定义为随机变量X的平均自信息量平均自信息量:这里q为的所有X可能取值的个数。熵熵的单位也是与所取的对数底有关，根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。一般情况下，信息熵并不等于收信者平均获得的信息量，收信者不能全部消除信源的平均不确定性，获得的信息量将小于信息熵。2.2.2 熵函数的性质熵函数的性质 信息熵 是随机变量X的概率分布的函数，所以又称为

13、熵函数熵函数。如果把概率分布 ，记为 ，则熵函数又可以写成概率矢量 的函数的形式，记为 。熵函数 具有以下性质：1.对称性：对称性：对称性说明熵函数仅与信源的总体统计特性有关。2.确定性：确定性：在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。3.非负性：非负性：对确定信源，等号成立。信源熵是自信息的数学期望，自信息是非负值，所以信源熵必定是非负的。4.扩展性：展性：这个性质的含义是增加一个基本不会出现的小概率事件，信源的熵保持不变。5.连续性：连续性：即信源概率空间中概率分量的微小波动，不会引起熵的变化。6.递增性递增性

14、这性质表明，假如有一信源的n个元素的概率分布为 ，其中某个元素 又被划分成m个元素，这m个元素的概率之和等于元素 的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。7.极值性极值性：式中n是随机变量X的可能取值的个数。极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离散熵定理。连续信源的最大熵则与约束条件有关。8.上凸性上凸性:是严格的上凸函数，设 则对于任意小于1的正数 有以下不等式成立：凸函数在定义域内的极值必为极大值，可以利用熵函数的这个性质 可以证明熵函数的极值性。直观来看，随机变量的不确定程度并不都是一样的。香农香农指出，存在这样的不确定性度量，它是随机

15、变量的概率分布的函数，而且必须满足三个公理性条件 1.连续性条件连续性条件：应是的连续函数；2.等概时为单调函数等概时为单调函数：应是的增函数；3.递增性条件递增性条件：当随机变量的取值不是通过一次试验而是若干次试验才最后得到时，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的不确定程度相同，即：其中 2.2.3 联合熵与条件熵联合熵与条件熵 一个随机变量的不确定性可以用熵来表示，这一概念可以方便地推广到多个随机变量。定义定义2.4 二维随机变量 的概率空间表示为其中：满足概率空间的非负性和完备性：二维随机变量 的联合熵联合熵定义为联合自信息的数学期望，它是二维随机变量

16、的不确定性的度量。定义定义2.5 给定 时，的条件熵条件熵：其中，表示已知 时，的平均不确定性。各类熵之间关系：各类熵之间关系：1联合熵与信息熵、条件熵的关系：这个关系可以方便地推广到N个随机变量的情况：称为熵函数的链规则熵函数的链规则。推推论：当二维随机变量X,Y相互独立时，联合熵等于X,Y各自熵之和：2条件熵与信息熵的关系：3联合熵和信息熵的关系：当X、Y相互独立时等号成立。2.3 平均互信息平均互信息2.3.1 平均互信息的概念平均互信息的概念 为了从整体上表示从一个随机变量Y所给出关于另一个随机变量 的信息量，我们定义互信息 在的 联合概率空间中的统计平均值为随机变量X和Y间的平均互信息平均互信息：定义定义2.6 2.3.2 平均互信息的性质平均互信息的性质 1.非负性非负性:平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。2.互易性互易性(对称性对称性)：对称性表示从Y中获得的关于X信息量等于从X中获得的关于Y信息量3.平均互信息和各平均互信息和各类熵的关系的关系:当统计独立时，4.极值性极值性：极值性说明从一个事件提取关于另一个事件的信息量