西安邮电大学信息论与编码复习题.docx

1、西安邮电大学信息论与编码复习题一、选取题（共15题）1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源熵H(X2)=(B )A、1.75比特/符号； B、3.5比特/符号；C、9比特/符号； D、18比特/符号。2、信道转移矩阵为，其中两两不相等，则该信道为DA、一一相应无噪信道B、具备并归性能无噪信道C、对称信道D、具备扩展性能无噪信道3、设信道容量为C，下列说法对的是：（ A ）A、互信息量一定不不不大于CB、交互熵一定不不大于CC、有效信息量一定不不不大于CD、条件熵一定不不不大于C4、在串联系统中，有效信息量值（ B）A、趋于变大B、趋于变小C、不变D、不拟定 5、若BSC

2、信道差错率为P，则其信道容量为：（ C ）A、B、C、D、6、设信道输入为 xm，输出为y，若译码准则是当P(y | xm)P(y | xm)，对所有m m时，将 y判为m，则称该准则为（ D ） A 最大后验概率译码准则 B 最小错误概率准则 C 最大有关译码准则 D 最大似然译码准则 7、线性分组码不具备性质是（ C ） A 任意各种码字线性组合仍是码字 B 最小汉明距离等于最小非 0重量 C 最小汉明距离为3 D 任一码字和其校验矩阵乘积 cmHT=08.条件熵H（XY） C H（X）。 （A）不大于 （B）不不大于 （C）不大于等于 （D）不不大于等于9.联合熵 C 。 （A）不大于

3、（B）不不大于 （C）不大于等于 （D）不不大于等于10.相对熵总是 D 。 （A）为正 （B）为负 （C）非正 （D）非负11. B 是最佳码。 (A)Fano 编码 (B)Huffman编码 (C)Shannon编码 (D)算术编码12.字母表为0，1，状况下Shannon编码码长为 B 。 (A) (B) (C) (D) 13.字母表为0，1，状况下Shannon-Fano-Elias编码码长为 A 。 (A) (B) (C) (D) 14.译码错误概率最小译码为 B 。 (A) 最大似然译码 (B)最大后验概率译码 (C) 最小距离译码 (D)择多译码15.下列 D 不属于距离空间公理

4、。 (A) 非负性 (B)对称性 (C) 三角不等式 (D)反对称性二、填空题（共29题）1、(7,4)线性分组码中，接受端收到分组R位数为_7_ ，随着式S也许值有_8 种,差错图案e长度为 7 ，系统生成矩阵Gs为_4*7_ 行矩阵，系统校验矩阵Hs为_ 3*7 行矩阵，Gs和Hs满足关系式是 。2、一张1024512像素16位彩色BMP图像能包括最大信息量为 。3、香农编码中,概率为信源符号xi相应码字Ci长度Ki应满足不等式 。4、设有一种信道，其信道矩阵为 ，则它是 信道（填对称，准对称），其信道容量是 比特/信道符号。5、 1948年，美国数学家 香农 刊登了题为“通信数学理论”长

5、篇论文，从而创立了信息论。6、 必然事件自信息是 0 。 7、离散平稳无记忆信源XN次扩展信源熵等于离散信源X熵 N倍 。 8、对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。9、若一离散无记忆信源信源熵H（X）等于2.5，对信源进行等长无失真二进制编码，则编码长度至少为 3 。10、对于香农编码、费诺编码和霍夫曼编码，编码办法惟一是 香农编码 。11、已知某线性分组码最小汉明距离为3，那么这组码最多能检测出_2_个码元错误，最多能纠正_1_个码元错误。12、设有一离散无记忆平稳信道，其信道容量为C，只要待传送信息传播率R_不大于_C（不不大于、不大于或者等于），则存在

6、一种编码，当输入序列长度n足够大，使译码错误概率任意小。13、平均错误概率不但与信道自身记录特性关于，还与_译码规则_和_编码办法_关于14、必然事件自信息量是_，不也许事件自信息量是_。 15、一信源有五种符号a， b， c， d， e，先验概率分别为 Pa=0.5， Pb=0.25， Pc=0.125， Pd=Pe=0.0625。符号“a”自信息量为_bit，此信源熵为_bit/符号。 16、如某线性分组码最小汉明距 dmin=6，最多能纠正_ _个随机错。 17、平均互信息量 I(X;Y)与信源熵和条件熵之间关系是_。 18、克劳夫特不等式是唯一可译码_充要条件。00，01，10，11与

7、否是唯一可译码？_。 19、在Shannon信息论中，最重要概念是 20、通信系统普通由 5个某些构成。21、字母表为0，1，且取值空间=a，b，c，d，e下概率分布为 P(a)=0.2， P(b)=0.5， P(c)=0.1， P(d)=0.1， P(e)=0.1则C（）一种可行Huffman编码是 。22、唯一可译码码长必要满足 。23、二元无噪信道信道转移矩阵为 。24、二元对称信道信道转移矩阵为 。25、二元删除信道信道转移矩阵为 。27、信道转移矩阵为 p(y|x)= 时，该信道容量为 。 28、信道转移矩阵为 P(y|x)=时，该信道容量为 。 29、（2nR，n）码码率为 。三、

8、判断题 （共15题）1信息就是一种消息。 （ ）2信息论研究重要问题是在通信系统设计中如何实现信息传播、存储和解决有效性和可靠性。 （ ）3概率大事件自信息量大。 （ ）4互信息量可正、可负亦可为零。 （ ）5信源剩余度用来衡量信源有关性限度，信源剩余度大阐明信源符号间依赖关系较小。 （ ） 6对于固定信源分布，平均互信息量是信道传递概率下凸函数。 （ ） 7非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ）8信源变长编码核心问题是寻找紧致码（或最佳码），霍夫曼编码办法构造是最佳码。 （ ）9信息率失真函数R(D)是关于平均失真度D上凸函数. ( )10校验矩阵各行是线性无关。（

9、） 11冗余度是表征信源信息率多余限度物理量，它描述是信源剩余。（ ） 12当信道固定期，平均互信息是信源分布型凸函数。 （ ） 13互信息 I(X;Y)与信息熵 H(Y)关系为：I(X;Y)H(Y)。（ ）14信道容量随信源概率分布变化而变化。（ ） 15一种唯一可译码成为即时码充要条件是其中任何一种码字都不是其他码字前缀。（ ） 三、计算题（共6题）【2. 5】设离散无记忆信源=其发生消息为（10），求：（1）此消息自信息是多少？（2）在此消息中平均每个符号携带信息量是多少？【3.1】 设信源 通过一干扰信道，接受符号为Y=，信道传递概率如图3. 2所示，求 (1)信源X中事件和分别具有自

10、信息。(2)收到消息 (J=1，2)后，获得关于（i=1,2)信息量。 (3)信源X和信源Y信息墒。 (4)信道疑义度H(XY)和噪声熵H(YX)。 (5)接受到信息Y后获得平均互信息。5 设二元对称信道传递矩阵为(1)若P(0)=3/4，P(1)=1/4，求H(X)，H(XY)，H(YX)和I(X；Y);(2)求该信道信道容量及其达到信道容量时输入概率分布。【5.22】有两个信源X和Y如下：（1）分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。（2）分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选用是不不大于或等于整数）。（3）分别用费诺编码办法编成二元变长唯一可译码，并计算编码效率。（4）从X，Y两种不同信源来比较这三种编码办法优缺陷。【5.12】求概率分布为信源二元霍夫曼码。讨论此码对于概率分布为信源也是最佳二元码。【5.14】设信源符号集 （1）求H(S)和信源剩余度。（2）设码符号位X=0，1，编出S紧致码，并求S紧致码平均码长。（3）把信源N次无记忆扩展信源编成紧致码，试求N=2，3，4，时平均码长。（4）计算上述N=1，2，3，4这四种码编码效率和码剩余度。【6.1】设有一离散信道，其信道传递矩阵为并设，试分别按最小错误概率准则与最大似然译码准则拟定译码规则，并计算相应平均错误概率。