信息论与编码复习总结.docx

1、信息论与编码复习总结信息论与编码复习总结 作者: 日期： 信息论与编码复习总结题型:填空、解答、计算1、 编码：无失真与限失真信源编码定理编码分为信源编码和信道编码,其中信源编码又分为无失真和限失真三大定理:无失真信源编码定理(第一极限定理)(可逆)信道编码定理（第二极限定理）限失真信源编码定理(第三极限定理） （不可逆)Shanno(香农)信息论：在噪声环境下,可靠地、安全地、有效地传送信息理论。 通信系统模型方框图： 信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类,例如：无干扰信道和有干扰信道、恒参信道和

2、变参信道、离散信道(ice Channe)和连续信道（ContiuouChnne)、单用户信道和多用户信道等。信源的描述:通过概率空间描述平稳包含齐次,而齐次不包含平稳 （重要,第二章计算题）定义:若齐次马尔可夫链对一切i,j存在不依赖于i的极限,则称其具有遍历性，p称为平稳分布(如下）设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为j=p（sj)自信息量的特性: p(xi)=1,I(xi); p(x）=0,I（i)=; 非负性;单调递减性；可加性;定义:联合概率空间中任一联合事件的联合(自）信息量为： 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信

3、息，单位为比特信道模型：二进制离散信道BSC;离散无记忆信道DC;波形信道信源编码器的目的:是使编码后所需的信息传输率R尽量小。信源编码:主要任务就是减少冗余，提高编码效率。唯一可译码：(任意有限长的码元序列,只能被唯一地分割成一个个的码字,便称为唯一可译码)0，10，11为唯一可译码, 任意有限长码序列:101100。（分类)即时码和非即时码变长编码定理：(解答,重要） ？?1、平均码长:、根据信源各个符号的统计特性,如概率大的符号用短码，概率小的用较长的码,使得编码后平均码长降低,从而提高编码效率。(统计匹配)变长码要求编码效率96时,序列长仅为2.随着的增加,编码效率可接近1，有效的利用

4、信道问：小信号集如何实现统计匹配的变长编码？答：基本思想为扩张信源,以实现统计匹配哈夫曼编码(例题） （重要）哈夫曼码是即时码例: 信源（u1，）,对应概率为p1=23，p2=/，取1,2,3，分别进行二进制哈夫曼编码。 L=1,编码u10，21, 对应平均码长1=1 信源熵=0.918bit 编码效率=0.9183 =2，每次取两个消息,组成新的联合信源 消息集 概率 编码 11 4/9 1 12 29 01 uu1 29 0 2u2 19 1 平均码长=0.94编码效率=0.9725 L3，三次扩展 消息集 概率 编码 u11u 8/27 01 u1uu2 4/27 00 u1u2u1 4/27 01 u22 2/27 0 u2u1u1 427 10 u2u1u2 2/2 11 2u2u1 /7 1010 uu2u2 /27 011 平均码长k=0.938 编码效率=0.9787纠错能力(汉明码)（重要）卷积码（编码状态图、网格图）：交织码、级连码(填空)交织码差错的两种类型：随机差错（独立差错)、突发差错 主要缺点:会带来较长的时延,在实时通信中会带来不利影响 改造方法：卷积交织器,可降低一半的时延级连码：既能纠随机独立差错又能纠单个或多个突发差错的码:交错码、乘积码、级连码