西安邮电大学信息论与编码复习题.docx
《西安邮电大学信息论与编码复习题.docx》由会员分享，可在线阅读，更多相关《西安邮电大学信息论与编码复习题.docx（11页珍藏版）》请在冰豆网上搜索。
西安邮电大学信息论与编码复习题
一、选取题（共15题）
1、有一离散无记忆信源X，其概率空间为
，则其无记忆二次扩展信源熵H（X2）=（B）
A、1.75比特/符号；B、3.5比特/符号；
C、9比特/符号；D、18比特/符号。
2、信道转移矩阵为
，其中
两两不相等，则该信道为D
A、一一相应无噪信道
B、具备并归性能无噪信道
C、对称信道
D、具备扩展性能无噪信道
3、设信道容量为C，下列说法对的是：
（A）
A、互信息量一定不不不大于C
B、交互熵一定不不大于C
C、有效信息量一定不不不大于C
D、条件熵一定不不不大于C
4、在串联系统中，有效信息量值（B）
A、趋于变大
B、趋于变小
C、不变
D、不拟定
5、若BSC信道差错率为P，则其信道容量为：
（C）
A、
B、
C、
D、
6、设信道输入为xm，输出为y，若译码准则是当P（y|xm’）≥P（y|xm），对所有m≠m’时，将y判为
m’，则称该准则为（D）
A最大后验概率译码准则B最小错误概率准则
C最大有关译码准则D最大似然译码准则
7、线性分组码不具备性质是（C）
A任意各种码字线性组合仍是码字
B最小汉明距离等于最小非0重量
C最小汉明距离为3
D任一码字和其校验矩阵乘积cmHT=0
8.条件熵H（X∣Y）CH（X）。
（A）不大于（B）不不大于
（C）不大于等于（D）不不大于等于
9.联合熵
C
。
（A）不大于（B）不不大于
（C）不大于等于（D）不不大于等于
10.相对熵总是D。
（A）为正（B）为负
（C）非正（D）非负
11.B是最佳码。
（A）Fano编码（B）Huffman编码
（C）Shannon编码（D）算术编码
12.字母表为∑＝｛0，1｝，状况下Shannon编码码长为B。
（A）
（B）
（C）
（D）
13.字母表为∑＝｛0，1｝，状况下Shannon-Fano-Elias编码码长为A。
（A）
（B）
（C）
（D）
14.译码错误概率最小译码为B。
（A）最大似然译码（B）最大后验概率译码
（C）最小距离译码（D）择多译码
15.下列D不属于距离空间公理。
（A）非负性（B）对称性
（C）三角不等式（D）反对称性
二、填空题（共29题）
1、（7,4）线性分组码中，接受端收到分组R位数为_7___，随着式S也许值有____8种,差错图案e长度为7，系统生成矩阵Gs为__4*7__行矩阵，系统校验矩阵Hs为____3*7行矩阵，Gs和Hs满足关系式是。
2、一张1024×512像素16位彩色BMP图像能包括最大信息量为。
3、香农编码中,概率为
信源符号xi相应码字Ci长度Ki应满足不等式。
4、设有一种信道，其信道矩阵为
，则它是信道（填对称，准对称），其信道容量是比特/信道符号。
5、1948年，美国数学家香农刊登了题为“通信数学理论”长篇论文，从而创立了信息论。
6、必然事件自信息是0。
7、离散平稳无记忆信源XN次扩展信源熵等于离散信源X熵N倍。
8、对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
9、若一离散无记忆信源信源熵H（X）等于2.5，对信源进行等长无失真二进制编码，则编码长度至少为3。
10、对于香农编码、费诺编码和霍夫曼编码，编码办法惟一是香农编码。
11、已知某线性分组码最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
12、设有一离散无记忆平稳信道，其信道容量为C，只要待传送信息传播率R__不大于___C（不不大于、不大于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
13、平均错误概率不但与信道自身记录特性关于，还与___译码规则____________和___编码办法___关于
14、必然事件自信息量是________，不也许事件自信息量是_________。
15、一信源有五种符号{a，b，c，d，e}，先验概率分别为Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625。
符号“a”自信息量为________bit，此信源熵为________bit/符号。
16、如某线性分组码最小汉明距dmin=6，最多能纠正______个随机错。
17、平均互信息量I（X;Y）与信源熵和条件熵之间关系是________________。
18、克劳夫特不等式是唯一可译码_________充要条件。
{00，01，10，11}与否是唯一可
译码？
_________。
19、在Shannon信息论中，最重要概念是
20、通信系统普通由5个某些构成。
21、字母表为∑＝｛0，1｝，且取值空间χ=｛a，b，c，d，e｝下概率分布为
P（a）=0.2，P（b）=0.5，P（c）=0.1，P（d）=0.1，P（e）=0.1
则C（χ）一种可行Huffman编码是。
22、唯一可译码码长必要满足。
23、二元无噪信道信道转移矩阵为。
24、二元对称信道信道转移矩阵为。
25、二元删除信道信道转移矩阵为。
27、信道转移矩阵为
p（y|x）=
时，该信道容量为。
28、信道转移矩阵为
P（y|x）=
时，该信道容量为。
29、（2nR，n）码码率为。
三、判断题（共15题）
1信息就是一种消息。
（⨯）
2信息论研究重要问题是在通信系统设计中如何实现信息传播、存储和解决有效性和可靠性。
（√）
3概率大事件自信息量大。
（⨯）
4互信息量可正、可负亦可为零。
（√）
5信源剩余度用来衡量信源有关性限度，信源剩余度大阐明信源符号间依赖关系较小。
（⨯）
6对于固定信源分布，平均互信息量是信道传递概率下凸函数。
（√）
7非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（⨯）
8信源变长编码核心问题是寻找紧致码（或最佳码），霍夫曼编码办法构造是最佳码。
（√）
9信息率失真函数R（D）是关于平均失真度D上凸函数.（⨯）
10校验矩阵各行是线性无关。
（）
11冗余度是表征信源信息率多余限度物理量，它描述是信源剩余。
（）
12当信道固定期，平均互信息是信源分布∪型凸函数。
（）
13互信息I（X;Y）与信息熵H（Y）关系为：
I（X;Y）≤H（Y）。
（）
14信道容量随信源概率分布变化而变化。
（）
15一种唯一可译码成为即时码充要条件是其中任何一种码字都不是其他码字前缀。
（）
三、计算题（共6题）
【2.5】设离散无记忆信源
=
其发生消息为（10），求：
（1）此消息自信息是多少？
（2）在此消息中平均每个符号携带信息量是多少？
【3.1】设信源
通过一干扰信道，接受符号为Y=
，信道传递概率如图3.2
所示，求
（1）信源X中事件
和
分别具有自信息。
（2）收到消息
（J=1，2）后，获得关于
（i=1,2）信息量。
（3）信源X和信源Y信息墒。
（4）信道疑义度H（X︱Y）和噪声熵H（Y︱X）。
（5）接受到信息Y后获得平均互信息。
5设二元对称信道传递矩阵为
（1）若P（0）=3/4，P
（1）=1/4，求H（X），H（X︱Y），H（Y︱X）和I（X；Y）;
（2）求该信道信道容量及其达到信道容量时输入概率分布。
【5.22】有两个信源X和Y如下：
（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。
（2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选用
是不不大于或等于
整数）。
（3）分别用费诺编码办法编成二元变长唯一可译码，并计算编码效率。
（4）从X，Y两种不同信源来比较这三种编码办法优缺陷。
【5.12】求概率分布为
信源二元霍夫曼码。
讨论此码对于概率分布为
信源也是最佳二元码。
【5.14】设信源符号集
（1）求H（S）和信源剩余度。
（2）设码符号位X={0，1}，编出S紧致码，并求S紧致码平均码长
。
（3）把信源N次无记忆扩展信源
编成紧致码，试求N=2，3，4，时平均码长
。
（4）计算上述N=1，2，3，4这四种码编码效率和码剩余度。
【6.1】设有一离散信道，其信道传递矩阵为
并设
，
，试分别按最小错误概率准则与最大似然译码准则拟定译码规则，并计算相应平均错误概率。
升级会员 