信息论与编码理论1(B卷答案)Word文档格式.doc
《信息论与编码理论1(B卷答案)Word文档格式.doc》由会员分享,可在线阅读,更多相关《信息论与编码理论1(B卷答案)Word文档格式.doc(6页珍藏版)》请在冰豆网上搜索。
![信息论与编码理论1(B卷答案)Word文档格式.doc](https://file1.bdocx.com/fileroot1/2022-10/22/e043ebad-9eeb-4d8e-8eca-4171a62cfb29/e043ebad-9eeb-4d8e-8eca-4171a62cfb291.gif)
4.下列数组中(A)不满足二个字母上的Kraft不等式。
A(1,1,1)B(2,2,2,2)C(3,3,3)D(4,4,4)
5.下列(D)是只对输出对称的。
ABCD
二、填空题(每空2分,总计20分)
1.若二元离散无记忆中,,则当给出比特的信源序列,其中有个,则其自信息为比特,整个序列的熵为比特/符号.
2.若某离散信道信道转移概率矩阵为,则其信道容量为比特/符号;
转移概率矩阵为,则其信道容量为比特/符号。
3.两个相同的BSC做级联信道,其信道转移矩阵分别为,则级联信道的信道转移矩阵为,无穷多个级联后的矩阵为。
4.若一个信道的输入熵为比特/符号,输出熵为比特/符号,比特/符号,则3.2比特/符号,散布度为0.6比特/符号。
5.在二元LZ编码中,若信源有个,某段信源序列共有个字典,则码长
。
6.存在元唯一可译码,其平均码长必小于。
三、判断题(每题2分,总计10分)
1.概率小的事件自信息大(√)
2.若一个码字集合中的码字长度满足Kraft不等式,则其必为逗点码。
()
3.若码字都被配置在树的叶子节点处,则这种码一定是异字头码。
(√)
4.平均互信息是下凸函数。
()
5.算数编码需要知道信源的分布。
(√)
四、计算题(55分)
1)(15分)设随机变量的联合概率分布如下:
1
分别求。
解:
的分布率为
则比特/符号.
的分布率为
=,=
=0,=
==比特/符号.
=1,=0
=0,=1
则=0比特/符号.
2)(20分)若离散无记忆信源的概率分布为
①分别构造二元,三元Huffman编码(要求码长方差最小,但不需求出),Shannon编码,Fano编码,Shannon-Fano-Elias编码。
②并求①中二元Huffman编码的编码效率。
(只列出式子即可)
对信源按概率从大到小排序,,建立码树则有二元Huffman编码:
要进行三元Huffman编码,则需要添加一个空信源,成为,
建立码树则有三元Huffman编码:
Shannon编码如下:
信源
码长
累加概率
码字
2
00
0.4
01
3
0.7
101
4
0.9
1110
③Fano编码如下:
概率
第1次分组
第2次分组
第3次分组
0.3
10
0.1
110
111
④Shannon-Fano-Elias编码
二元
0.05
5
0.00001
00001
0.2
0.000100
0001
0.6
0.45
0.011
011
0.8
0.110
⑤二元Huffman编码的平均码长为==1.9
⑥编码效率为
3)(20分)若离散无记忆信道的信道转移矩阵为,用两种方法求该信道容量。
方法一:
方法二:
令输入概率为时达到了信道容量,则代入中,得到关于的函数,另其导数为0,解得=,则当=时达到信道容量,为.
第6页共5页