信息论与编码理论1(B卷答案)Word文档格式.doc

信息论与编码理论1(B卷答案)Word文档格式.doc

《信息论与编码理论1(B卷答案)Word文档格式.doc》由会员分享，可在线阅读，更多相关《信息论与编码理论1(B卷答案)Word文档格式.doc（6页珍藏版）》请在冰豆网上搜索。

4．下列数组中（A）不满足二个字母上的Kraft不等式。

A（1，1，1）B（2,2,2,2）C（3,3,3）D（4，4，4）

5．下列（D）是只对输出对称的。

ABCD

二、填空题（每空2分，总计20分）

1．若二元离散无记忆中，，则当给出比特的信源序列，其中有个，则其自信息为比特，整个序列的熵为比特/符号.

2．若某离散信道信道转移概率矩阵为，则其信道容量为比特/符号；

转移概率矩阵为，则其信道容量为比特/符号。

3.两个相同的BSC做级联信道，其信道转移矩阵分别为，则级联信道的信道转移矩阵为，无穷多个级联后的矩阵为。

4．若一个信道的输入熵为比特/符号，输出熵为比特/符号，比特/符号，则3.2比特/符号，散布度为0.6比特/符号。

5．在二元LZ编码中，若信源有个，某段信源序列共有个字典，则码长

。

6．存在元唯一可译码，其平均码长必小于。

三、判断题（每题2分，总计10分）

1.概率小的事件自信息大（√）

2.若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。

（）

3.若码字都被配置在树的叶子节点处，则这种码一定是异字头码。

（√）

4.平均互信息是下凸函数。

（）

5.算数编码需要知道信源的分布。

（√）

四、计算题（55分）

1）（15分）设随机变量的联合概率分布如下：

1

分别求。

解:

的分布率为

则比特/符号.

的分布率为

=,=

=0,=

==比特/符号.

=1,=0

=0,=1

则=0比特/符号.

2）（20分）若离散无记忆信源的概率分布为

①分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias编码。

②并求①中二元Huffman编码的编码效率。

（只列出式子即可）

对信源按概率从大到小排序,,建立码树则有二元Huffman编码:

要进行三元Huffman编码,则需要添加一个空信源,成为,

建立码树则有三元Huffman编码:

Shannon编码如下:

信源

码长

累加概率

码字

2

00

0.4

01

3

0.7

101

4

0.9

1110

③Fano编码如下:

概率

第1次分组

第2次分组

第3次分组

0.3

10

0.1

110

111

④Shannon-Fano-Elias编码

二元

0.05

5

0.00001

00001

0.2

0.000100

0001

0.6

0.45

0.011

011

0.8

0.110

⑤二元Huffman编码的平均码长为==1.9

⑥编码效率为

3）（20分）若离散无记忆信道的信道转移矩阵为，用两种方法求该信道容量。

方法一:

方法二:

令输入概率为时达到了信道容量,则代入中,得到关于的函数,另其导数为0,解得=,则当=时达到信道容量,为.

第6页共5页