信息论与编码期末考试题全套.docx

1、信息论与编码期末考试题全套、判断题共10小题，满分20分.7、某二元信源X I 0 1 I，其失真矩阵Ip（X）1/2 1/2J1.当随机变量X和丫相互独立时，条件熵H (X |Y)等D =0 a,则该信源的Dmax怡0于信源熵H（X）.、本题共4小题，满分50分.2.由于构成同一空间的基底不是唯一的， 底或生成矩阵有可能生成同（）3.般情况下，用变长编码得到的平均码长比定长编码大得多. （）4.只要信息传输率大于信道容量，总存在一种信道编译 码，可以以所要求的任意小的误差概率实现可靠的通信 .（）5.各码字的长度符合克拉夫特不等式， 是唯一可译码存在的充分和必要条件.（）6.连续信源和离散信

2、源的熵都具有非负性. （）7.信源的消息通过信道传输后的误差或失真越大， 收到消息后对信源存在的不确定性就越小，8.汉（）9.率（）10.必然事件和不可能事件的（）获得的信息量就越小 . 明码是一种线失真函数的最所以不同的基 一码集.信宿自信息量都是0 .、填空题共 6小题，满分20分.1 、 码的检于 2、信源编码的目的是的目的是 纠错能力取决;信道编码3、把信息组原封不动地搬到码字前 k位的（n, k）码就叫做 .4、 香农信息论中的三大极限定理是 、 、5、设信道的输入与输出随机序列分别为X和丫，则I(XN, Yn) =NI(X, Y)成立的条件 .6、对于香农-费诺编码、原始香农-费诺

3、编码和哈夫曼编码, 编码方法惟一的是 .某信源发送端有3种2种符号Xi (i yi (j =1,2,3) 0 1= 1,2）, p（x） = a ;接收端，转移概率矩阵为1/2=I1/2计算接收端的平均不确 定度H （Y）；计算由于噪声产生的不 确定度H （Y |X）； 计算信道容量以及最佳 入口分布.2、一阶马尔可夫信源的状态转移(1)(2)1/21/41/4图如右图所示,信源X的符号集为0,1,2.（1）求信源平稳后的概率分布；（2） 求此信源的熵；（3） 近似地认为此信源为无记忆时，符号的概率分布为稳分布.求近似信源的熵 H （X）并与Hoc进行比较.101L1（7,4）线性分组码的生成

4、矩阵为（1）之相对应的伴随式;给出该码的一致校验矩阵，写出所有的陪集首和与（2）若接收矢量V =（0001011），试计算出其对应的伴随式S并按照最小距离译码准则 试着对其译码.、填空题（共15分，每空1 分）1、 信源编码的主要目的是 是 。2、 信源的剩余度主要来自两个方面，一是，信道编码的主要目的信道可以分为编码可分为则输出信号幅度时，信源具有最大熵，其值为3、 三进制信源的最小熵为 ，最大熵为 。4、 无失真信源编码白齐均码长最小理论极限制为 。5、 当 时，信源与信道达到匹配。6、 根据信道特性是否随时间变化，和 。7、 根据是否允许失真，信源和 。8、 若连续信源输出信号的平均功率

5、为 CT2，的概率密度是 值 。12z1212 /12 /12七、（16分）设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量 Z=XY（ 一般乘积）。试计算9、 在下面空格中选择填入数学符号“ awY或“”（1 ）当 X 和 丫 相互独立时， H（ XY） _HX）+H（X/Y）H（Y）+H（X）。（2） H2（X）/d2 H(X1X2X3 H3(X )二 1 1 2 3 J（3） 假设信道输入用 X表示，信道输出用损信道中，H（X/Y） 0,H（Y/X） 0J（X;Y） H（XL 。3Y表示。在无噪有(1)H(X|Y),H(Z|X );、（16分）已知信源八

6、、（10分）设离散无记忆信源的概率空间为s _ r S1 S2 S3 S4 S5 S6 po.2 0.2 0.2 0.2 0.1 0.1J通过干扰信道，信道输出端的接收符号(1)用霍夫曼编码法编成二进制变长码;(6 分)集为Y =【, y2 ，信道传输概率如下图所示。5/6计算平均码长L;（ 4分）(3)(4)(5)计算编码信息率R； （2分） 计算编码后信息传输率 R;计算编码效率n。（ 2分）(2 分)四、（10分）某信源输出 A B、 符号独立出现，出现概率分别为 如果符号的码元宽度为 0.5出。计算:C D E五种符号，每一个1/8 、 1/8 、 1/8 、 1/2 、 1/8 。1

7、/6(1)14计算信源X中事件X1包含的自信息量;* y2计算信源X的信息熵;（1）信息传输速率Rt。（ 5分）五、（16分）一个一阶马尔可夫信源，转移概率为2 1p（S|S1）=3,PglE ）=3,P（S|S2 ）=1,p（S2|S2）=o。3 3画出状态转移图。（4分）计算稳态概率。（4分）计算马尔可夫信源的极限熵。 （4分）(1)计算信道疑义度H(X|Y )；计算噪声熵H （Y|X ）；计算收到消息丫后获得的平均互信息量。信息论基础2参考答案是信源符号间的相关计算稳态下H1, H 2及其对应的剩余度。（4分）六、设有扰信道的传输情况分别如图所示。试求这种信道的 信道容量。一、填空题（共

8、15分，每空1分）1、 信源编码的主要目的是提高有效性， 信道编码的主要目的 是提高可靠性。2、 信源的剩余度主要来自两个方面， 性，二是信源符号的统计不均匀性。3、三进制信源的最小熵为 0，最大熵为log23bit/ 符号Q(2)一 6 一=2 PPi =0.4x2 +0.6x3 = 2.6码元符号4、 无失真信源编码的平均码长最小理论极限制为信源* H(S)/logr= H r(S)。5、 当R=C或(信道剩余度为 0)时，信源与信道达到匹配。6、 根据信道特性是否随时间变化，信道可以分为恒参信道和 随参信道。7、 根据是否允许失真，信源编码可分为无失真信源编码和限 失真信源编码。8、 若

9、连续信源输出信号的平均功率为(或R=L log r=2.6b舲号心芈)Jg973b%元其中， H (S )=H (0.2,020.2,0.2,0.1,0.1 ) = 2.53b%号(4)的概率密度是高斯分布或正态分布或2c，则输出信号幅度X2f(x)=e花时,n 二二)=0.973Llog r L信源具有最大熵，其值为值 1log2;reL。评分：最短四、(10分)某信源输出 A、B、 符号独立出现，出现概率分别为 如果符号的码元宽度为 0.5 As。其他正确的编码方案：1,要求为即时码2 ,平均码长9、在下面空格中选择填入数学符号“ 弓3,兰或“”(1)当 X和 丫相互独立时，H(XY) =

10、H(X)+H(X/Y)=H(Y)+H(X)。HfX1X2) H (X1X2X3 (2)H2(X )= 2 2 仝 H3(X )= 3 2 3 (3)假设信道输入用 X表示，信道输出用丫表示。在无噪有损信道中，H(X/Y)0, H(Y/X)=0,l(X;Y)H(X)_ 。三、(16分)已知信源(1)信息传输速率 Rt。( 5分)S _ r 3 S2 S3 S4 S5 56 p0.2 0.2 0.2 0.2 0.1 0.1J(1)用霍夫曼编码法编成二进制变长码； (6分)计算平均码长L;( 4分)(3)(4)(5)计算编码信息率R; (2分)计算编码后信息传输率 R； (2分) 计算编码效率n。(

11、 2分)(1)51525S460.20.20.20.20.11.0编码结果为:S60.1C、D E五种符号，每一个1/8 、 1/8 、 1/8 、 1/2 、 1/8 Q计算：(1) R Wh(x)h(XY)1 1 1H (X )=-8log 8X4_-log1 1 =_ Iog8 +_ log 2 2 23 1=log 2 + log 2=2 log 2= 2bit2 bit 6Rt = =4 X106bpst 0.5 As五、(16分)一个一阶马尔可夫信源，转移概率为2 1P(S 13 )=7, P( Sd 3 )=, P( S 15 尸 1,p( S21 S2 )= 0 Q画出状态转移

12、图。(4分)计算稳态概率。(4分)计算马尔可夫信源的极限熵。 (4分)(1)解:计算稳态下H1, H2及其对应的剩余度。(4分)(1)SIS2SS2Sb54554=00=01=100= 101=110=1112由公式 P(Si )=送 P(Si |Sj p(Sj )2 2P(S1 )=2 p(s is)p(S 戶-P(S )+P(S2 )i 4 32 1P(S2)=s P(S2|S 尸(S 戶-pg )i 2 3P(S )+P(S2 )=1解：信道传输矩阵如下Rix1212该马尔可夫信源的极限熵为:22Hk = 1:2 P(S )P(Sj|Si )log P(Sj|Si) y j432 2 3

13、 1 1X X log X X log 43 3 4 3 31 10.578+ 一咒 1.5992 4= 0.681bit / 符号= 0.472 nat/ 符号= 0.205hart/ 符号(4)在稳态下：=乏 P(x JogP(x)=x|og4+-.81bif符号H2 =H=0.205hart/ 符号=0.472naV 符号=0.681bit/ 符号对应的剩余度为Hi0.811n =1_A =1 =0 1891 H0 -盼町=1 旦=1H0 -曰og匕0.6816 f1 1 6 Y) 0.319六、设有扰信道的传输情况分别如图所示。试求这种信道的 信道容量。1121/2n 1212 121

14、2.1fe可以看出这是一个对称信道，HX-HX|Y0.0050t符号0.00340符号0.00152符 号集为Y =丫仆丫2】，信道传输概率如下图所示。5/6X21/6 .3/4.”(8)(9)1/4A 12计算信源X中事件X1包含的自信息量;计算信源X的信息熵;计算信道疑义度H (X |丫)；计算噪声熵H (Y|X )；(10)计算收到消息丫后获得的平均互信息量。 解：(1) I (X, )=Iog0.8 =0.322bit = 0.0969hart =0.223nat(2) H(X )=H(0.8,0.2=0.722it符号=0.5iat符号=0.217art符号(3)转移概率:联合分布:

15、1112X15/61/6X23/41/41112X12/312/154/5X13/201/201/549/6011/601/5h(xy戶订2?2丄113 15 20 20丿 = 1.404bit/ 符号 =0.973nat/符号 =0.423hart/ 符号HY=H (49/60,11/600.6871 符号 0.4761符号0.20t7ari符号(二)选择题(共10分，每小题2分)1、有一离散无记忆信源X，其概率空间为$1=卜X2 X3 X4 1，则其无记忆二P0.5 0.25 0.1250.125J次扩展信源的熵H(X2)=()A、1.75比特/符号；C、9比特/符号；道 转2、信P( 1

16、 y/0I 0X) 2P(0P 30B 、3.5比特/符号; D 、18比特/符号。 移X)/4P)P 52y其中P(yj/Xi)两两不相等，则该信道为3、3、A、 对应的无噪信道B、 具有并归性能的无噪信道C、 对称信道D具有扩展性能的无噪信道设信道容量为C,下列说法正确的是: 互信息量一定不大于C 交互熵一定不小于C 有效信息量一定不大于C 条件熵一定不大于CA、B、C、D4、A、B、C、D在串联系统中，有效信息量的值( 趋于变大 趋于变小 不变不确定5、 若BSC信道的差错率为P,则其信道容量为: ()H(p) 产1 log2 (1 - P )pT ID -P log(P)）丿才1I 1

17、2X3 X4 X51 1 18 16 32X6 X71 1，64 64、填空题（20分，每空2分）1、（7,4）线性分组码中，接受端收到分组 R的位数为 ，伴随式S可能的值有 种,差错图案e的长度为 ，系统生成矩阵Gs为 行的矩阵，系统校验矩阵Hs为 行的矩阵，Gs和Hs满足的关系式是2、香农编码中，概率为P（Xi）的信源符号Xi对应的码字Ci的长度Ki应满足不等式 3、设0.250.25|_0.5对称,0.50.250.25个信道，其信道矩阵为0.2510.5 ，则它是0.25信道（填对其进行费诺编码,写出编码过程,求出信源熵、平均码长和编码效率。七、信道编码（21分）100L0现有生成矩阵

18、Gs =010000100001110111101011Hso1.求对应的系统校验矩阵2求该码字集合的最小码字距离力 l max2.（2分）d、最大检错能、最大纠错能力t max o （ 3分）准对称），其信道容量是 特/信道符号。三、（20分）爲彳。；X20.5i，通过一个干扰信道，接受符号集为 丫二1y，信道转移矩阵为es00000000000001000001000001000001000001000001000001000000填写下面的es表（8分）143L434144.5.现有接收序列为r =（1100100），求纠错译码输 出?o （4分）画出该码的编码电路 （4分）试求（1）

19、H（X）,H（Y）,H（XY）; H（Y|X）,H（X|Y）; I（Y;X） O （3 分）（4）该信道的容量C （3分）（5）当平均互信息量达到信道容量时，接收端 丫的熵H （Y）o （2分）计算结果保留小数点后 2位,单位为比特/符号。（7 分）（5分）（四）四、简答题（共20分，每题10分1.四、（9分）简述平均互信息量的物理意义，并写出应公式。利用公式介绍无条件熵、条件熵、联合熵和平均互信息 量之间的关系。简单介绍哈夫曼编码的步骤 计算题（共40分） 某信源含有三个消息，概率分别为4p（2）=0.5，失真矩阵为D = 0L2求 DmaX、D min 和 R （Dmax）o（ 10 分）

20、2.五、1 .p(0)=0.2 , P(1)=0.3 ,1121六、（10分）设有离散无记忆信源，其概率分布如下:2 .设对称离散信道矩阵为 P =131L61613613j，求信道容（P ）信源剩余度用来衡量信源的相关性程度， 信源剩余度大说明信源符号间的依赖关系较小。量C。（ 10分）3.有一稳态马尔可夫信源，已知转移概率为P（S1/S2）= 1。求：（1） 画出状态转移图和状态转移概率矩阵。（2） 求出各状态的稳态概率。（3） 求出信源的极限熵。（20 分）p(Si/ Si)= 2/3,(7)(1)(6)(7)对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （P ）非奇异码一

21、定是唯一可译码，唯一可译码不一定是非奇异码。（11填空题(五)(8)信源变长编码的核心问题是寻找紧致码 （或最佳码），霍夫曼编码方法构造的是最佳码。1948年，美国数学家 香农“通信的数学理论”必然事件的自信息是发表了题为 的长篇论文，从而创立了信息论。离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍对于离散无记忆信源，当信源熵有最大值时， 满足条件为信源符号等概分布_。对于香农编码、费诺编码和霍夫曼编码，编码方法惟的是 香农编码已知某线性分组码的最小汉明距离为 3,那么这组码最多能检测出 21个码元错误。个码元错误，最多能纠正设有一离散无记忆平稳信道， 其信道容量为C，只要待传

22、送的信息传输率 R _小于 _ C（大于、小于或者等于），则存在一种编码，当输入序列长度 n足够大，使译码 错误概率任意小。(8)平均错误概率不仅与信道本身的统计特性有关,还与(1)译码规，则（9 J判断题禾n 编码方法 有关信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。大的事件自信息量大。息量可正、可负亦可为零。（9）信息率失真函数 R（D）是关于平均失真度 D的上凸函数.五、（18.黑白气象传真图的消息只有黑色和白色两种,求:1）黑色出现的概率为个只有两个符号的信源现前后没有关联，求熵0.3，白色出现的概率为 0.7。给出这X的数学模型。假设图上黑白消

23、息出H(X );3）分别求上述两种信源的冗余度, 物理意义。比较它们的大小并说明其解：1）信源模型为分）=黑务二白”0. 3 0.T(1Hg =-工尸（他）强2 P（码）=0.881加打符号（2 分） H2）由题意可知该信源为一阶马尔科夫信源。(2 分)由3=1,21 Al J十P)=14分)得极限状态概率2 分)2 3禺（X）二龙Z叫）g）呃勒蚀=0.5533刼俯号3 分)里X2=0.119log2 2(1分)0,200J90J80J70.20 ,0.26a 35丫2 =1 _H/X)=0.4 4 7丫2丫1。说明：当信源的符号之间有依赖时， 信源输出消息的不确定性减弱。而信源冗余度正是反映

24、信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。(2分)0.150.01U六、（18.信源空间为X 1_X1 X2 X3 XLP(XH 1_0.2 0.19 0.18 0.17X X6 X70.15 0.1 0.01，试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率（要求有编码过程）。信源消总符号椰 率也）累M 率t规肌）码字长码字(120fl2J2300(1(U90,22J930010J8(LJ92473Oil05725631U(IftJ5(L7417431()1%ftJO0.893J24111(1ib(KOI(L996*647llllliO_ 7匹 P佝)1广3.14 r=

25、H1=2=0831y L 3.14 39 A ；订/ 丸00.19 (0.20 M. 26 /0,35q/0J9-d0.18 0.19 / Q 20 a 26 丄0,17 I 0.18 40.1510.19 丄I匚羽（训二2721码元/符号2）L 2.72比特第号信源符号概率/啊）码字码长、0,21102a0.19112叮8U(W5U7m3心LIL 15IIWJ%ILW111 104lun111H40.17x1（3分）最大后验概率准则下，有,（10） 二元对称信道如图。311 )若 P(0)= , P(1 )=，求 H(X )、H(X I Y )和 l(X;Y )；442)求该信道的信道容量。0丹（ = 0別13