信息论与编码姜丹第三版规范标准答案.docx

1、信息论与编码姜丹第三版规范标准答案信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1)“ 2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；两个点数之和的熵；(5) “两个点数中至少有一个是 1 ”的自信息量。解：样本空间：N c6c6 6 6 36(1)P n1 I (a) logR Iog18 4.17bitN 36n2 1(2)F2 2 I (a) log F2 lo

2、g36 5.17bitN 36(3)信源空间：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/362 36 1H(x) 15 log 6 log 36 4.32bit36 2 36（4）信源空间:X2345678910111

3、2P(x)1/32/33/34/35/36/35/34/33/32/31/3666666666662,“ 4,366 ,368,36H(x)log 36+log loglog -3636236336410,36 6,36log +log -3.71bit365 366P3n311I(a)log R1.17bitN36111.2如有6行、8列的棋型方格，若有两个质点 A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya） , （Xb，Yb），但A，B不能同时落入同一方格内。（1） 若仅有质点A，求A落入任一方格的平均信息量；（2） 若已知A已落入，求B落入的平均信息量;解：1(1)A

4、落入任一格的概率 ：P(aJ I (aj log P(aJ log 484848H(a) P(ai)log P(ai) log 48 5.58biti 11(2)在已知A落入任一格的情况下,B落入任一格的概率是 ：P(bJ 47I(b) logP(bi) log 4748H (b) P(bi)log P(bi) log 47 5.55biti 11 1(3)AB同时落入某两格的概率 是P(ABi) - 7 48 47I(ABi) log P(ABi)48 47H (ABi) P(ABi)log P(ABJ log(48 47) 11.14biti 11.3从大量统计资料知道，男性中红绿色盲的发

5、病率为 7%,女性发病率为0.5%.如果你问一位 男士： “你是否是红绿色盲？ ”他的回答可能是： “是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士， 则她的答案中含 有多少平均信息量?解:对于男士 ：回答“是”的信息量：I (my) log P(my) log 7% 3.84bit回答“不是”的信息量 平均每个回答信息量：:I (mn) log P(mn) log 93% 0.105bitH(m) P(my) logP(my) P(mn) log P(mn)-7% log7% - 93% log93% 0.366bit对于女:回答“是”

6、的信息量：l(wy) log P(wy) log 0.5%回答“不是”的信息量 平均每个回答信息量：:I (mn) log P(mn) log 99.5%H(m) P(Wy) log P(Wy) P(Wn) log P(Wn)-0.5% log0.5% - 99.5% log99.5% 0.0454bit1.4某一无记忆信源的符号集为1 20,1 ,已知 po - , pi 一。3 3(1) 求符号的平均信息量;(2) 由1000个符号构成的序列，求某一特定序列(例如有m 个“ 0 ” , (1000-m )个1”)的自信量的表达式;(3) 计算(2)中序列的熵。解：P0 log p0P1 l

7、og p13log-3 3log30.918bit /symblemlog P0(1000m)log p.1 m log -y 3(1000m) log-bit31000H (X)10000.918918 bit/sequenee(1) H(x) 1(A)(3) H(A)1 1 2 21000 mH(A)P0 log P0i 1P1 log P1i 1m 1 2(1000 m) 2log log -3 3 3 31.5设信源X的信源空间为:X: a1x?P： p(X) 0.17a3a4asa60.180.160.180.3a20.19求信源熵，并解释为什么H(X)log6 ，不满足信源熵的极值

8、性。解：H(X)p(ajlog p(aji i0.17log0.17 0.19 log 0.19 2 0.18log0.18 0.16 log 0.16 0.3log 0.32.725 bit/symble可见H(X) 2.725 log6 2.585不满足信源熵的极值性 ，r这是因为信源熵的最大 值是在 pi 1的约束条件下求得的， 但是本题中i 16pi 1.18不满足信源熵最大值成 立的约束条件，所以 H(X) log6。i 11.6为了使电视图象获得良好的清晰度和规定的对比度， 需要用5 X105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平

9、等概出现。 求传输此图象所需要的信息率(bit/s )。解：由于亮度电平等概出现，由熵的极值性：10每个像素的熵是：H(x0) p(ai)logp(ai) log 10 3.322 bit/pelsi 1每帧图像的熵是：H(X) 5 105 H(xo) 5 105 3.322 1.661 106 bit/frame所需信息速率为： R r (frame/s) H (X )(bit / frame) 30 1.661 106 4.983 1 07 bit/s30个不同的色彩1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有2.5倍左右。度。试证明传输这种彩电系统的信息率要比黑白系

10、统的信息率大增加30个不同色彩度,在满足黑白电视系统要 求下，每个色彩度需要10个亮度,所以每个像素需要用30 10300bit量化每个像素的熵是：H(xJ300p(bi)log p(b) log 300bit / pelsi 1H(xJlog 3002.4772.5H(x)log 10彩色电视系统每个像素 信息量比黑白电视系统 大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要 比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由 3 X105个像素组成，所以像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。 问每帧图像含有多少信息量？若现在有 一

11、个广播员，在约 10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描每帧图象所含信息量：5H(X) 3 10 H(x)每个汉字所出现概率p述此图像，广播员在口述中至少需要多少汉字?610 log 128 2.1 10 bit/symble 10000.110000每个汉字所包含信息量：H(c) log p 描述一帧图像需要汉字 数n,H(X) nH(c) n 迪 2 6.322 105/frameH(c) log 0.1最少需要6.322 105个汉字m1.9给定一个概率分布(p1,p2,.,pn)和一个整数m ,0 m n。定义cm 1 p，证明:i 1H (P1, P2,.

12、, Pn)Hg, p2,., pm，Cm)Cm log( n m)。并说明等式何时成立?证：先证明f (x) x log x(x 0)为凸函数，如下:f (x) ( x log x) f (x) ( xlog x)logexm又 H(P1, P2,.,Pn)Pi log Pi0即f (x) xlogx(x 0)为凸函数。npi log PinPi log Pii m 1n即 Pi log Pii m 1当且仅当Pm 1nf (Pi)(n m) (nn mqmlogqm qm log(ni m 1m)f (nm)nPi-)m(nnPim 1m) logn m nnPii m 1mqmlogqmn

13、 mPn时等式成立。nPi log Pii m 1Pm 2 .mPi log Pii 1mPi log Pi qm log qmi 1H (P1, P2,，Pn) H(P1, P2，., Pm，qm) QmlOg5当且仅当 Pm 1 pm 2 . Pn时等式成立。H (Pi, P2,，Pn)H (Pi, P2,，Pm2m)1.10找出两种特殊分布Pi log Pi1m)qm log qm qmlog(nm)P 1 刊2邛3初,P1 P2 P3书 m,使 H(p 1,p2,p3,pn)=H(p 1 ,p 2 ,p 3,p m )。n m解：H(P1, p2,.,Pn) Pi log Pi H,q

14、2,.,qm) q logq1.15两个离散随机变量 X和Y,其和为Z = X + Y,若X和Y统计独立，求证: H(X) WH(Z), H(Y) WH(Z)(2)H(XY) H(Z) 证明：设X、Y的信源空间为:XX ?P:a1 a2P(X) P1 P2又X, 丫统计独立tpZk log pZkk 1t又 H(Z) = pzklog pZkk 1r s(p iog( pii 1 j 1r sqjiog(pi 1 j 1H(Z)arPrY ?P : YbiP(Y) qisP(ai bj)logp(q bj) j 1s sqj)qj)Piqj) iog(j 1 i 1r sqj iog(pi 1

15、 j 1sqjiog(qj)Piqj)j 1qj)b2 . bsq2 . qsr s(Pi qj)log(Pi qj) H(XY)i 1 j 1第二章单符号离散信道2.1设信源X ?P： X 厲P(X) 0.792 通过一信道，信道的输出随机变量0.3Y的符号集b1bsa1 5/61/6P 一3/4a2 1/4Y:bb2，信道的矩阵:试求:(1)信源X中的符号 1和2分别含有的自信息量； 收到消息Y = b1, Y= b2后，获得关于 1、 2的互交信息量：1( 1；b1)、1( 1；b2)、I( 2；b1)、I( 2；b2)；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵

16、H(Y/X);(5)接收到消息Y后获得的平均互交信息量 l(X;Y)。(1)l(aJ log p(aj log0.7 0.5415 bitlog 0.3 1.737 bit5/6I (a?) logp21) l,P(b) log P(G,p(b2 &1) log(2) g;bi)log0.7 5/6 0.3 1/40.34 bitI(ai；b2)1/6P(b2)log 心 a2)log0.7 1/6 0.3 3/41.036 bitI)P(bJ,P(b2 a?) logP(b2)1/4log0.7 5/6 0.3 1/40.766 bit3/4log0.7 1/6 0.3 3/41.134 b

17、it(3)由上：p(b)P(b2)P(ai)P(b1ai) 120P(ai)P(b2ai) 1102H(X)i 12p(alog p(a) (0.7log0.70.3log0.3) 0.881 bit/symbleH(Y)jp(bj)log p(bj)12 2/ 79 | 79(log120 1202 2dog 空)0.926 bit/symble120 120(4)H(YX)又 I(X;Y)H(XY)(5) I(X;Y)P(abj)log p(bj ai)j 1 i 1H(Y) H(YX) H(X)H(X) H(YX) H(Y)H(Y) H(YX) 0.926p(ai )p(bj ai )l

18、og p(bj ai) 0.698 bit/symblej 1 i 1H(XY)0.881 0.698 0.926 0.653 bit/symble0.6980.228 bit/symble2.2某二进制对称信道，其信道矩阵是:0 0.98P 1 0.020.020.98设该信道以1500个二进制符号/秒的速度传输输入符号。 现有一消息序列共有 14000个二 进制符号，并设在这消息中 p(0)= p(1)=0.5 。问从消息传输的角度来考虑， 10秒钟内能否将这消息序列无失真的传送完。由于二进制对称信道输入等概信源l(X;Y) C 1 H( ) 1 log (1 )log(1 )1 0.02

19、log0.02 0.98log0.98 0.859 bit/symble信道在10秒钟内传送14000个二进制符号最大码率 为:Ct C 14000symble/10s 1201.98 bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率，故不可能无失真传输2.3有两个二元随机变量 X和Y,它们的联合概率为 PX=0,Y=0=1/8 , PX=0,Y=1=3/8 ，PX=1,Y=1=1/8 ，PX=1,Y=0=3/8 。定义另一随机变量 Z=XY，试计算:(1)H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);H(X/Y),H(Y/X),H(X/Z),H

20、(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)(1)由题意：X的分布：p(XY的分布：p(Y38381;P(X1;P(Y且 p(X 0,Zp(Y 0,ZH(X)H(Y)H(Z)H(XZ)由上面X、丄2.12.fp(Z 1)3838381)11) 11 38 818.1,Z 0) f ;p(X 1,Z80) p(Y 0) ;p(Y 0,Z 1) 0; p(Y 1,Z 0) -;p(Y 1,Z 1)2 8XY的分布为:X的分布:p(Z 0)10) p(x 0)p(

21、x 1 ，0,Z 1) 0; p(X1)18; - -2 1111(log log?) 1 bit/symble;1111(log log-) 1 bit/symble2 2 2 277 11(log log-) 0.544 bit/symble88 8 82 2p(XiZ)log p(XiZ)i 1 k 1(Pxz(00)log Pxz(00) Pxz(10)log p/10) Pxz(01)log Pxz(01) Pxz(11)log Pxz(11)1 3 1 3 3 3 1 1( )log( ) log 0 log 1.406bit/symble8 8 8 8 8 8 8 8Y、Z的概率

22、分布：H(YZ) H(XZ) 1.406bit/symble(2)p(X 0Y 0)Pxy (00)Pxy (00)Py(0)1/81/214；Pxy(10)Pxy (10) 3/8 3Py(0) 1/2 4Pxy(01)Pxy(01)Py(1)3/8 3证 4；Pxy(11)Pxy (11)Py(1)1/8 112 42 2H(X Y) P(yj)log p(Xi yj)i 1 j 1Pxy (00) log Pxy (00) Pxy(01)log Pxy (01) Pxy(10)log Pxy (10) Pxy(11)切 Pxy (11)1 - 4og3 一 4og3 - 003 - 4o

23、g3 - 001 一 4og0811bit/symbleI(X;Y)H(YX)同理：H(X) H(X Y) H(Y) H(YX)且H (X) H (Y)H(X Y) 0.811bit/symble2p(xz)og P：) k 1 P(zQPxz(00)log Pxz(00) Pxz(01) log Pxz(01) Pxz(10)log Pxz(10) Pxz(11)log Pxz(11)11/2 3 3/8 1 1/8(log 0 log log ) 0862 bit/symble27/8 8 7/8 8 1/82 2 2 2p(zM)log 呼：k 1 i 1 k 1 i 1 P(Xj )P

24、zx(00)log Pzx(00) Pzx(01)log Pzx(01) Pzx(10)log Pzx(10) Pzx(11)log Pzx(11)11/2 3 3/8 1 1/8(log 0 log log ) 0.406 bit/symble21/2 8 1/2 8 1/2由 X、Y、Z的概率:H(YZ) H(XZ) 0862H(ZY) H(ZX) 0406Pxyz(001) Pxyz(101) Pxyz(011) Pxyz(110)2 2 2H(XZ)H(ZX)2 2p(xZk)log p(Xi Zk)i 1 k 1pSJIog p(Zk xi)bit/symble bit/symble

25、 02H (X YZ) p(xyjZk)log p(xi y Zk)i 1 j 1 k 1 iPxyz(000) Pxyz(010)(Pxyz(000) log Pxyz(010)log Pyz(00) Pyz(10)1 1/8 3 3/8 3 3/8 1 1/8(log log log log )(8 1/2 8 3/8 8 1/2 8 1/8H (YXZ) H (X YZ) 0.406 bit/symble2 2 2 “ p(xyjZk)p(XiyjZQlog j 1 k 1 p(yjZk)Pxyz(100) Pxyz(111)、Pxyz(100)log Pxyz(111)log )Pyz

26、(00) Pyz(11)0.406 bit/symbleH (Z XY) p(Xiyjzk)logp(Zk 为比)i 1 j 1 k 1 iPxyz(000) Pxyz(010)(Pxyz(000) log 一 Pxyz(010)log 一Pxy (00) Pxy(01)J , 1/8 3 3/8 3 3/8 1 , 1/8、c(log log log log ) 08 1/8 8 3/8 8 3/8 8 1/8p(yjzk)p(Xiyjzk)logj 1 k 1 p(xyj)Pxyz(100) Pxyz(111)、Pxyz(100)log一 Pxyz(111)log一 )Pxy(10) Px

27、y(11)bit/symble(3)由上:I (X;Y )H (X) H(X Z) 1 0.862 0.138 bit /symbleH(X YZ)0.8620.4060.456bit / symbleH(Y XZ)0.8110.4060.405bit /symbleH(X YZ)0.8110.4060.405bit /symble1 0.862 0.138 bit /symbleX ?P:a1P(X): 0.1a20.3 0.2a3a40.4H(X) H(XY) 1 0.811 0.189 bit/symbleI(X;Z)I(Y;Z) H(Y) H(YZ) I(X;YZ) H(X Z) I(Y;Z X) H(YX) I(X;Z Y) H(XY)2.4已知信源X的信源空间为某信道的信道矩阵为:b1b2b3b4a10.20.30.10.4a20.60.2