信息论与编码.docx

信息论与编码.docx

《信息论与编码.docx》由会员分享，可在线阅读，更多相关《信息论与编码.docx（12页珍藏版）》请在冰豆网上搜索。

信息论与编码

<信息论与编码>复习

Ch1:

1.通过系统的模型,主要性能指标;

Ch2:

1.自信息,联合自信息,条件自信息的求解;

2.自信息的物理含义;

3.互信息求解,物理含义,性质;

4.条件互信息求解;

5.信息熵,条件熵,联合熵的计算;

6.信息熵的物理含义;

7.平均互信息上的计算,与各熵的关系;

I:

单一事件对应的是上面的1,2,3,4;

II:

事件集合对应的是上面的5,6,7;

Ch3:

主要考虑;1.离散无记忆信源2.离散马尔可夫信源（离散有记忆信源）

离散无记忆信源:

信源符号的概率模型;H（X）,H（X

）的计算;

离散马尔可夫信源:

1.离散马尔可夫信源的定义;

2.状态转移概率矩阵,状态转移图,网格图互换关系;

3.平稳马尔可夫信源熵的计算;

4.状态平稳分布概率计算;

Ch5:

1.区分非奇异码与奇异码,异前置码;

2.区分即时码与非即时码;

3.判断唯一可译码;

对于定长码:

非奇异码即为唯一可译码;变长码:

1.非奇异码2.异前置码;

4.编码定理的掌握,kraft定理的理解;

5.变长码中求平均码长l;

6.二元,三元哈弗曼编码,编码的效率,信息传输效率的计算;

Ch6;

1.离散信道模型;

2.无噪声信道中,无损,确定,无损确定信道的判断,C的求解;

3.对称信道C的计算;

4.级联信道C的计算;

5.并联和信道C的计算;