信息论与编码复习总结.docx

信息论与编码复习总结.docx

《信息论与编码复习总结.docx》由会员分享，可在线阅读，更多相关《信息论与编码复习总结.docx（8页珍藏版）》请在冰豆网上搜索。

信息论与编码复习总结

信息论与编码复习总结

————————————————————————————————作者:

————————————————————————————————日期：

信息论与编码复习总结

题型:

填空、解答、计算

1、编码：

无失真与限失真信源编码定理

编码分为信源编码和信道编码,其中信源编码又分为无失真和限失真

三大定理:

无失真信源编码定理（第一极限定理）（可逆）

信道编码定理（第二极限定理）

限失真信源编码定理（第三极限定理）（不可逆）

Shannoｎ（香农）信息论：

在噪声环境下,可靠地、安全地、有效地传送信息理论。

通信系统模型方框图：

信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。

也可以从信道的性质或其传送的信号情况来分类,例如：

无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（ＤiｓcｒeｔｅChanneｌ）和连续信道（Contiｎuouｓ　Chａnneｌ）、单用户信道和多用户信道等。

信源的描述:

通过概率空间描述

平稳包含齐次,而齐次不包含平稳（重要,第二章计算题）

定义:

若齐次马尔可夫链对一切i,j存在不依赖于i的极限,则称其具有遍历性，pｊ称为平稳分布（如下）

设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为ｗj=p（sj）

自信息量的特性:

p（xi）=1,I（xi）＝０;p（xｉ）=0,I（ｘi）=∞;非负性;单调递减性；可加性;

定义:

联合概率空间中任一联合事件的联合（自）信息量为：

定义：

对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特

信道模型：

二进制离散信道BSC;离散无记忆信道DＭC;波形信道

信源编码器的目的:

是使编码后所需的信息传输率R尽量小。

信源编码:

主要任务就是减少冗余，提高编码效率。

唯一可译码：

（任意有限长的码元序列,只能被唯一地分割成一个个的码字,便称为唯一可译码）｛0，10，11}为唯一可译码,任意有限长码序列:

1０0１110０0。

（分类）即时码和非即时码

变长编码定理：

（解答,重要）？

?

?

1、平均码长:

２、根据信源各个符号的统计特性,如概率大的符号用短码，概率小的用较长的码,使得编码后平均码长降低,从而提高编码效率。

（统计匹配）

变长码要求编码效率96％时,序列长仅为2.随着Ｌ的增加,编码效率可接近1，有效的利用信道

问：

小信号集如何实现统计匹配的变长编码？

答：

基本思想为扩张信源,以实现统计匹配

哈夫曼编码（例题）（重要）哈夫曼码是即时码

例:

信源（u1，ｕ２）,对应概率为p1=2／3，p2=１/３，取Ｌ＝1,2,3，分别进行二进制哈夫曼编码。

⏹L=1,编码u1→0，ｕ2→1,

⏹对应平均码长ｋ1=1

⏹信源熵Ｈ=0.918３bit

⏹编码效率=0.9183　

⏹Ｌ=2，每次取两个消息,组成新的联合信源

⏹消息集　　　概率　　　　　编码

⏹ｕ1ｕ1　　　4/9　1

⏹ｕ1ｕ2　　2／9　　　　01

⏹u２u1　　　　2／9　　　　　0００

⏹ｕ2u2　　　　　1／9　　　００1

⏹平均码长ｋ=0.94４

编码效率=0.9725

⏹L＝3，三次扩展

⏹消息集概率　　　编码

⏹u1ｕ1u１　　　　8/27　　　　　　01

⏹u1u１u2　4/27　　　　00０

⏹u1u2u1　　4/27　　　　　0０1

⏹u１ｕ2ｕ2　　　2/27　　　　　１0０

⏹u2u1u1　　　4／27　　　１10

⏹u2u1u2　2/2７　1１1

⏹ｕ2u2u1　　　２/２7　　　　　　1010

⏹u２u2u2１/27　　　１011

⏹平均码长k=0.938３

⏹编码效率=0.9787

纠错能力（汉明码）（重要）

卷积码（编码——状态图、网格图）：

交织码、级连码（填空）

交织码差错的两种类型：

随机差错（独立差错）、突发差错

⏹主要缺点:

会带来较长的时延,在实时通信中会带来不利影响

⏹改造方法：

卷积交织器,可降低一半的时延

级连码：

既能纠随机独立差错又能纠单个或多个突发差错的码:

交错码、乘积码、级连码