信息论与编码姜丹第三版答案.docx

1、信息论与编码姜丹第三版答案信息论与编码姜丹第三版答案2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 信息论与编码作业是74页，的，,还有证明熵函数的连续性、扩展性、可加性 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： 11样本空间：N?c6c6?6?6?36n12 ?I(a)?logP1?log18?(2)P2?2?I(a)?logP2?log36?(1)P1

2、?(3)信源空间： X P(X) X P(x) X P(x) X P(x) X P(x) (1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 (1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 (1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36(1,6) 2/36 2361?log?6?log36? 36236(4

3、)信源空间： X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 ?H(x)?15?2436636836?log36?log?log?log 36362363364 1036636?log?log?(5) P3?3?I(a)?logP3?log? N3611?H(x)? 2002 Copyright EE Lab508 如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为, ,但A，B不能同时落入同一方格内。 若仅有质点A，求A落入任一

4、方格的平均信息量； 若已知A已落入，求B落入的平均信息量； 若A，B是可辨认的，求A，B落入的平均信息量。 解： 1(1)?A落入任一格的概率:P(ai)?I(ai)?logP(ai)?log4848 ?H(a)?P(ai)logP(ai)?log48?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)?I(bi)?logP(bi)?log47?H(b)?P(bi)logP(bi)?log47?148147(3)AB同时落入某两格的概率是P(ABi)?I(ABi)?logP(ABi)48?47i?111?4847 H(ABi)?P(ABi)logP(ABi)?log(4

5、8?47)?从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： 对于男士:回答“是”的信息量：I(my)?logP(my)?log7%?回答“不是”的信息量：I(mn)?logP(mn)?log93%?平均每个回答信息量：H(m)?P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?对于女：回答“是”的信息量：I(wy)?logP(

6、wy)?%回答“不是”的信息量：I(mn)?logP(mn)?%平均每个回答信息量：H(m)?P(wy)?logP(wy)?P(wn)?logP(wn)?-%?%-%?%? ? 2002 Copyright EE Lab508 某一无记忆信源的符号集为0，1，已知p0?13，p1?23 。 求符号的平均信息量； 1000个符号构成的序列，求某一特定序列个“1”）的自信量的表达式； 计算中序列的熵。 解： 1122H(x)?p0logp0?p1logp1?log?log? bit/symble333312I(A)?mlogp0?(1000?m)logp?mlog?(1000?m)logbit 3

7、3H(A)?1000H(X)?1000?918 bit/sequence H(A)?p0logp0?i?1m1000?m?i?1p1logp1?m12(1000?m)2log?设信源X的信源空间为： a1 a2 a3 a4 a5a6 ?X： x?p：?p(X) 求信源熵，并解释为什么H(X)log6，不满足信源熵的极值性。 解： H(X)?p(ai)logp(ai)i?16?2?bit/symble 可见H(X)?log6? 不满足信源熵的极值性， 这是因为信源熵的最大值是在?pi?1 的约束条件下求得的，但是本题中i?1r ?pi?16i?不满足信源熵最大值成立的约束条件，所以H(X)?lo

8、g6。 为了使电视图象获得良好的清晰度和规定的对比度，需要用5105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率。 解： 于亮度电平等概出现，熵的极值性：每个像素的熵是： H(x0)?p(ai)logp(ai)?log10? bit/pelsi?110每帧图像的熵是： H(X)?5?105?H(x0)?5?105?106 bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?106?107 bit/s? 2002 Copyright EE Lab508 设某彩电系统，

9、除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。 证: 增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化?每个像素的熵是： H(x1)?p(bi)logp(bi)?log300bit/pelsi?1300?H(x1)log300?(x0)log10 ?彩色电视系统每个像素信息量比黑白电视系统大倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高倍左右.每帧电视图像可以认为是3105个像素组成，所以像素均是独立变化，且每像素又取128个

10、不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 每帧图象所含信息量:H(X)?3?105?H(x)?3?105?log128?106bit/symble1000?每个汉字所包含信息量:H(c)?logp每个汉字所出现概率p?描述一帧图像需要汉字数n,H(X)?nH(c)H(X)?106n?105/frameH(c)?最少需要?105个汉字 给定一个概率分布(p1,p2,.,pn)和一个整数m，0?m?n。定义qm?1?p，证明：ii?1

11、mH(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)。并说明等式何时成立？ 证： 先证明f(x)?xlogx(x?0)为凸函数，如下：loge又x?0x loge?f?(x)?(?xlogx)?0 即f(x)?xlogx(x?0)为凸函数。x?f?(x)?(?xlogx)?又?H(p1,p2,.,pn)?pilogpi?i?1mi?m?1?plogpini? 2002 Copyright EE Lab508 凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：?i?m?1?pilogpi?(n?m)i?m?1ni?m?1?f(p)inn?m?(n?m

12、)f(i?m?1?pnin?m)?(n?m)i?m?1?pnin?mlogi?m?1?pnin?m?qmlogqmn?m即?plogpini?qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。?H(p1,p2,.,pn)?pilogpi?m?plogpini?pilogpi?qmlogqm?qmlog(n?m)mi?1i?m?1i?1m?H(p1,p2,.,pm,qm)?pilogpi?qmlogqmi?1?H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。 找出两种特殊分布: p

13、1p2p3pn，p1p2p3pm,使H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。解：nmH(p1,p2,.,pn)?pilogpi?H(q1,q2,.,qm)?qilogqi i?1i?1 ? 2002 Copyright EE Lab508 解： 题意?I(A;B)?logp(AB)p(A)?1?p(AB)?2p(A) ?p(A)?10?2时,p(AB)?2?10?2 p(A)?132时,p(AB)?116 p(A)?时,p(AB)?1 某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求： 消息 概率 码字 a1 1/4 000 a2 1/4 001

14、 a3 1/8 010 a4 1/8 011 a5 1/16 100 a6 1/16 101 a7 1/16 110 a8 1/16 111 (1) 在W4011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)； (2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)； (4) 从码字W4011中获取关于a4的信息量I(a4;011)。 解： (1)I(a4;0)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)

15、4?log? bit1/83(1/8)/(1/8?1/8)?log3? bit(1/8)/(1/4?1/4?1/8?1/8)1?log2?1 bit(1/8)/(1/8?1/8)1?log8?3 bit1/8n(2)I(a4;10)?logp(a401)p(a40)?log(3)I(a4;101)?log(4)I(a4;011)?logp(a4011)p(a401)p(a4011)p(a4) ?log?把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0? 2002 Copyright EE Lab508 解： 用数学归纳法证明:当n?2时:p?1?pp?2p?2p21?2p

16、?2p2?1?pP2?p1?p?2p1?p2p?2p2?1?2p?2p1?p2?2p?2p2?1?(1?2p)22假设n?k时公式成立,则?1k1?(1?2p)?2Pk?1?1k?1?(1?2p)?2?1k?11?(1?2p)?2 ?1k?1?1?(1?2p)?21?Pk?1?1?(1?2p)k?121故Pn?1?(1?2p)n21?1?(1?2p)k?1?pp?2?p1?p?1k?1?(1?2p)?2?1?1?(1?2p)k?1?2?1k?11?(1?2p)?2?11?1?2p?1?limPn?lim1?(1?2p)n?n?n?22设输入信源空间X0:p(X0?0)?a,p(X0?1)?1?

17、a(其中0?a?1)则输出信源X?:p(X?0)?p(X0?0)?p(X?0X0?0)?p(X0?0)?p(X?0X0?1)?12?p(x?x0)?p(x?)(x0、x?取0或1)p(X?1)?limI(X0;Xn)?p(X0iX?j)logn?i?1j?1222212p(X?jX0i)p(X?j)?p(X0iX?j)logi?1j?122p(X?jX0i)p(X?j) ?p(X0iX?j)log1?0i?1j?1 ? 2002 Copyright EE Lab508 试求下列各信道矩阵代表的信道的信道容量： (1) b1 b2 b3 b4 a1?0010?P?a2?1000?1a? 3?00

18、01?a?0100?4?(2) b1 b2 b3 a1?100?a2?100Pa?010? 2?3a?010?4?a5?001a?001?6?(3) b1b2b3b4b5b6b7b8b9a1?P3?a2?70003?解： (1)信道为一一对应确定关系的无噪信道?C?logr?log4?2 bit/symble(2)信道为归并性无噪信道?C?logs?log3?bit/symble (3)信道为扩张性无噪信道:?C?logr?log3?bit/symble 设二进制对称信道的信道矩阵为： 0 1P?0?3/41/4? 1?1/43/4?(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H

19、(X/Y)，H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到的输入概率分布。b10 0?0? ? 2002 Copyright EE Lab508 解： 2211(1)H(X)?p(xi)logp(xi)?(?log?log)? bit/symble3333i?1py(0)?p(xi)p(y?0xi)?i?122223117?34341221135?3434127755?log?log)?bit/symble1212121222py(1)?p(xi)p(y?1xi)?i?12 H(Y)?p(yj)logp(yj)?(j?122H(YX)?p(xiyj)logp(yjxi)?p(

20、xi)p(yjxi)logp(yjxi)i?1j?1i?1j?1233111211133 ?(?log?log?log?log)?bit/symble344344344344?I(X;Y)?H(Y)?H(YX)? bit/symbleH(XY)?H(X)?I(X;Y)? bit/symble(2)本信道为强对称信道?C?logr?H(?)?log(r?1)?log2?H()?/symble1信源输入为等概分布,即p(X?0)?p(X?1)?时达到信道容量 设某信道的信道矩阵为 b1b2b3b4b5 a1?a2? P?a3?a4?a5?试求： (1) 该信道的信道容量C； (2) I(a3;Y)

21、； (3) I(a2;Y)。 解: (1)本信道为强对称离散信道?C?logr?H(?)?log(r?1)?log5?H()?/symble (2)、(3)I(a3;Y)?I(a5;Y)?C?/symble? 2002 Copyright EE Lab508 设某信道的信道矩阵为 b1 b2 b3 b4 a1?1/31/31/61/6? P?a2?1/61/61/31/3?试求： (1)该信道的信道容量C； (2)I(a1;Y)； (3)I(a2;Y)。 解: 本信道为对称离散信道1111?,p2?,p3?,p4?)?log4?H(,)?/symble ?C?logs?H(p13366(2)、

22、(3)I(a1;Y)?I(a2;Y)?C?/bymble 设某信道的信道矩阵为 ?1/21/41/81/8?P? 1/41/21/81/8?试该信道的信道容量C； 解: 此信道为准对称离散信道,且s1?2,s2?2111133?p(bl)l?1r24248111111p(b12)?p(b22)?p(bl)l?2r88248p(b11)?p(b21)?33111111?,p2?,p3?,p4?)?2?log?2?log?H(,)?C?slp(bl)logp(bl)?H(p188882488l?1 ?/symble 求下列二个信道的信道容量，并加以比较(其中0p?q? 2002 Copyright

23、 EE Lab508 解: (1)此信道为准对称离散信道,且s1?2,s2?111p(bl)l?1?(p?q?)?(p?q?2?)r211p(bl)l?2?(2?)?2?r2?,p2?,p3?)?C1?slp(bl)logp(bl)?H(p1l?1211?2?(p?q?2?)log?(p?q?2?)?log?H(p?,q?,2?)22p?q?2?(p?q?2?)log?(p?)log(p?)?(q?)log(q?)?2?log?2(2)此信道为准对称离散信道,且s1?2,s2?211p(bl)l?1?(2?0)?2?r211p(bl)l?2?(p?q?)?(p?q?2?)r2?,p2?,p3?

24、,p4?)?C2?slp(bl)logp(bl)?H(p1l?1211?2?log?2?(p?q?2?)log?(p?q?2?)?H(p?,q?,2?,0)22p?q?2?(p?q?2?)log?(p?)log(p?)?(q?)log(q?)?2?2上面C1、C2表达式可知:C1?C2且当?0时等号成立.设某信道的信道矩阵为 ?p1P?00p20?0?0?其中P1,P2，?，PN是N个离散信道的信道矩阵。令C1，C2，?，?pN?CN表示N个离散信道的容量。试证明，该信道的容量C?logCi-C?2i?1Nci比特/符号，且当每个信道i的利用率pi2证明: (i1,2,?,N)时达其容量C。

25、设:Pm为lm行?km列(m?1,2,?N)方程组?p(bj/ai)?j?p(bj/ai)logp(bj/ai)(i?1,2,?r)?(1)j?1j?1ss解出?j可得C?log?2j(其中s?km,r?lm)j?1m?1m?1s?NN P特点,方程组(1)可以改写为:? 2002 Copyright EE Lab508 s?k1p1p1p1p1p(b/a)?p(b/a)logp(bjjjj/ai)?ii?j1?1?j?1s?k2p2p2p2p2?p(bj/ai)?j?p(bj/ai)logp(bj/ai)(i?1,2,?r)?(2)j1?1?j?1?s?kNpnpnpnpn?p(bj/ai)

26、?j?p(bj/ai)logp(bj/ai)j1?1?j?1其中Cm?log?2j?1skm?pmj(m?1,2,?,N),即?2j?1Nkmkm?pmj?2Cm?C?log?2?log?(?2j?1m?1j?1km?j?pmj)?log?2Cmm?1kmN且在各信道利用率为:pm?2j?1(?pmj?C)?2(?log2j?1?pmj?C)?2(Cm?C)(m?1,2,?,N)时取得信道容量C?log?2Cmm?1N 第三章 多符号离散信源与信道 设XX1X2?XN是平稳离散有记忆信源，试证明： H(X1X2?XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+?+H(XN

27、/ X1 X2?XN-1)。 (证明详见p161-p162) 试证明：logrH(X) H(X2/ X1) H(X3/ X1 X2) ?H(XN / X1 X2?XN-1)。 证明: ? 2002 Copyright EE Lab508 离散平稳有记忆信源条件概率的平稳性有:p(aik/ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)?r?H(Xk/X1X2?Xk?1)?p(ai1?aik?1)?p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?i1?1ik?1?1?ik?1?i1?1rrik?1?1ik?1rrrr?p(a?p(a?p(

28、ari1i2rri1i2a?aik?1aik)logp(aik/ai2ai3?aik?1)a?aik?1aik)logp(aik?1/ai1ai2?aik?2)?i1?1ri1i2ik?1?1ik?1?i1?1a?aik?1)logp(aik?1/ai1ai2?aik?2)ik?1?1?H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)?H(XN/X1X2?XN?1)又仅当输入均匀分布时，H(X)达到最大logr，即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)?H(XN/X1X2?XN?1) 试证明离散平稳

29、信源的极限熵： H?limH(XN/X1X2XN?1) n?(证明详见p165-p167) 设随机变量序列(XYZ)是马氏链，且X：a1, a 2,?, a r，Y：b1,b2, ?,bs,Z:c1,c2, ?,cL。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, ?,r;j=1,2, ?,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,?,L;j=1,2, ?,s)。试证明：X与Z之间的转移概率： p(ck/ai)?p(bj/ai)p(ck/bj) j?1s 证明: ? 2002 Copyright EE Lab508 p(ck/ai)?p(Z?ck/X?ai)?p(Z?

30、ck,?Y?bj/X?ai)?p(Z?ck,Y?bj/X?ai)j?1j?1ss?p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai)j?1s ?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)?p(ck/ai)?p(Y?bj/X?ai)P(Z?ck/Y?bj)j?1s 试证明：对于有限齐次马氏链，如果存在一个正整数n01，对于一切i，j1，2，?，r，都有pij(n0)0，则对每个j1，2，?，r都存在状态极限概率： limpij(n)?pj(j?1,2,?,r) n?(证明详见:p171175) 设某齐次马氏链的第一步转移概率矩阵为： 012 0?qp0?1?q0p? ?2?0qp?试求： (1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。