信息论与编码习题参考答桉1.docx

1、信息论与编码习题参考答桉1信息论与编码习题参考答桉12002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： 样本空间：(1)P1?(2)P2?n1Nn2N?N?c6c6?6?6?36236136?I(a)?logP1?log18?I(a)?logP2?log36? (3)信源空间： X P(X) X P(x) X P(x)

2、 X P(x) X P(x) ?H(x)?15?236(1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 ?log362(1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 ?6?136(1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36(1,6) 2/36 ?log36? (4)信源空间： X P(x) 2 3 4

3、5 6 7 8 9 10 11 12 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 236?log36?log365436?log636362?636?log363?836?log364 ?H(x)? ?1036?log366?(5) P3? n3N?1136?I(a)?logP3?log3611? ? 2002 Copyright EE Lab508 如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为, ,但A，B不能同时落入同一方格内。 若仅有质点A，求A落入任一方格的平均信息量； 若已

4、知A已落入，求B落入的平均信息量； 若A，B是可辨认的，求A，B落入的平均信息量。 解： (1)?A落入任一格的概率48:P(ai)?148?I(ai)?logP(ai)?log48 ?H(a)?P(ai)logP(ai)?log48?1(2)?在已知A落入任一格的情况下?I(bi)?logP(bi)?log4748,B落入任一格的概率是:P(bi)?147?H(b)?P(bi)logP(bi)?log47?1(3)AB同时落入某两格的概率?I(ABi)?logP(ABi)48?47是P(ABi)?148?147 H(ABi)?P(ABi?1i)logP(ABi)?log(48?47)?从大量

5、统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： 对于男士:回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I(my)?logP(my)?log7%?：I(mn)?logP(mn)?log93%?(m)?P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?对于女：回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I

6、(wy)?logP(wy)?%：I(mn)?logP(mn)?%H(m)?P(wy)?logP(wy)?P(wn)?logP(wn)? ?-%?%-%?%? 2002 Copyright EE Lab508 某一无记忆信源的符号集为0，1，已知p0?13，p1?23 。 求符号的平均信息量； 1000个符号构成的序列，求某一特定序列个“1”）的自信量的表达式； 计算中序列的熵。 解： H(x)?p0logp0?p1logp1?13?log13?231313?log23? bit/symble23bitI(A)?mlogp0?(1000?m)logp?mlog?(1000?m)log H(A)?

7、1000H(X)?1000?918 bit/sequence m1000?mH(A)?p0logp0?i?1?i?1p1logp1?m3log?2(1000?m)设信源X的信源空间为： a1 a2 a3 a4 a5a6 ?X： x?p：?p(X) ?求信源熵，并解释为什么H(X)log6，不满足信源熵的极值性。 解： 6H(X)?p(ai)logp(ai)i?1?2?bit/symble 可见H(X)?log6? 不满足信源熵的极值性r， 但是本题中 这是因为信源熵的最大6值是在?i?1pi?1 的约束条件下求得的，立的约束条件，所以?i?1pi?不满足信源熵最大值成H(X)?log6。 为了

8、使电视图象获得良好的清晰度和规定的对比度，需要用5105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率。 解： 于亮度电平等概出现，熵的极值性：10每个像素的熵是： H(x0)?i?1p(ai)logp(ai)?log10? bit/pels556每帧图像的熵是： H(X)?5?10?H(x0)?5?10?10 bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?106?10 bit/s 7 ? 2002 Copyright EE Lab508 设某彩电系统，除了满足

9、对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。 证: 增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?10?300bit量化300求下,每个色彩度需要10个亮度,?每个像素的熵是： H(x1)?H(x1)H(x0)?log300log10?i?1p(bi)logp(bi)?log300bit/pels?信息量比黑白电视系统比黑白电视系统高大倍作用,所以传输相同的倍左右. ?彩色电视系统每个像素图形,彩色电视系统信息率要每帧电视图像可以认为是3105个像素组成，所以像素均是独立变化，且每像素又取128个不同

10、的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 每帧图象所含信息量5:56H(X)?3?10?H(x)?3?10?log128?10bit/symble每个汉字所出现概率p?100010000? ?每个汉字所包含信息量描述一帧图像需要汉字n?H(X)H(c)?106:H(c)?logp数n,H(X)?nH(c)?10/frame55?最少需要?10个汉字给定一个概率分布(p1,p2,.,pn)和一个整数m，0?m?n。定义qm?1?pi，证

11、明：i?1H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)。并说明等式何时成立？ 证： 先证明f(x)?xlogx(x?0)为凸函数，如下：?f?(x)?(?xlogx)?f?(x)?(?xlogx)?logexlogexm又x?0 ?0 即f(x)?xlogx(x?0)为凸函数。n又?H(p1,p2,.,pn)?pilogpi?i?1?i?m?1pilogpi? 2002 Copyright EE Lab508 凸函数的性质，变量n函数的平均值小于变量n的算术平均值的函数，nn可得：n?pilogpi?(n?m)ni?m?1f(pi)?i?m?1n?mqm?

12、(n?m)f(i?m?1)?(n?m)i?m?1logi?m?1?qmlogn?mn?mn?mn?m?pi?pi?pi即?i?m?1pilogpi?qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。mnm?H(p1,p2,.,pn)?pilogpi?pilogpi?pilogpi?qmlogqm?qmlog(n?m)i?1i?m?1i?1m?H(p1,p2,.,pm,qm)?pilogpi?qmlogqmi?1?H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。 找出两种特殊分布:

13、 p1p2p3pn，p1p2p3pm,使H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。nm解：H(p1,p2,.,pn)?pilogpi?H(q1,q2,.,qm)?qilogqi i?1i?1 ? 2002 Copyright EE Lab508 两个离散随机变量X和Y，其和为ZXY，若X和Y统计独立，求证： (1) H(X)H(Z), H(Y)H(Z) (2) H(XY)H(Z) 证明： 设X、Y的信源空间为：?Yb1b2.bs?Xa1a2.arX?P:?Y?P:?P(X) p1p2. pr ?P(Y)q1q2. qs 又X,Y统计独立trsrs?H(Z)?pzklogpzk

14、?k?1ti?1?j?1si?1p(ai?bj)logp(ai?bj) ?i?1sss?(pj?1i?qj)log(pi?qj)?H(XY) 又H(Z) ?r?k?1spzklogpzk?(?(pilog(pi?qj)?j?1ri?1spiqj)?log(sj?i?1j?1piqj)? ?i?1r?j?1sj?1?qj?1j?1log(pi?qj)? ?qi?1jlog(pi?qj)?-?qjlog(qj)第二章 单符号离散信道 ?Xa1a2 设信源X?P:? 通过一信道，信道的输出随机变量Y的符号集 P(X)? b1 b2Y:b1,b2,信道的矩阵：P?a1?5/6?a2?1/41/6? ?

15、3/4?试求： (1) 信源X中的符号?1和?2分别含有的自信息量； (2) 收到消息Yb1，Yb2后，获得关于?1、?2的互交信息量：I(?1;b1)、I(?1;b2)、I(?2;b1)、I(?2;b2)； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解: ? 2002 Copyright EE Lab508 (1) I(a1)?logp(a1)? bitI(a2)?logp(a21)? bit(2) I(a1;b1)?logI(a1;b2)?logI(a2;b1)?logI(a2;b2)?

16、log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/?5/6?1/41/?1/6?3/41/4?bit?log?bitp(b1a2)p(b1)p(b2a2)p(b2)?5/6?1/43/?1/6?3/47912041120? bit?log?bit(3)上:p(b1)?p(b2)?2?i?12p(ai)p(b1ai)?p(ai)p(b2ai)?i?1?H(X)?p(ai)logp(ai)?(?)? bit/symblei?12 H(Y)?p(bj)logp(bj)?(j?12279120log791202?241120log41120)? bit/symble(4)H(YX)?

17、j?1i?1p(aibj)logp(bjai)?j?1i?1p(ai)p(bjai)logp(bjai)? bit/symble又I(X;Y)?H(Y)?H(YX)?H(X)?H(XY)?H(XY)?H(X)?H(YX)?H(Y)? bit/symble(5)?I(X;Y)?H(Y)?H(YX)? bit/某二进制对称信道，其信道矩阵是： 0 10?P?1? ?设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)= p(1)=。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解: 于二进制对称信道输入等概信

18、源?I(X;Y)?C?1?H(?)?1?log?(1?)log(1?)?1? bit/symble?信道在10秒钟内传送14000个二进制符号最大码率Ct?C?14000symble/10s? bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.为:? 2002 Copyright EE Lab508 有两个二元随机变量X和Y，它们的联合概率为PX=0,Y=0=1/8，PX=0,Y=1=3/8，PX=1,Y=1=1/8，PX=1,Y=0=3/8。定义另一随机变量Z=XY，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XY

19、Z); (2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解: (1)题意: X的分布:p(X?0)?Y的分布:p(Y?0)?1818?3838?1212;p(X?1)?1818?38838?1212.;p(Z?1)?;.;p(Y?1)?18Z?XY的分布为:X的分布:p(Z?0)?且p(X?0,Z?0)?p(X?0)? p(Y?0,Z?0)?p(Y?0)?H(X)?( H(Y)?(12log121

20、2?1212log12121212?38?378;p(X?0,Z?1)?0;p(X?1,Z?0)?38;p(X?1,Z?1)?18;p(Y?0,Z?1)?0;p(Y?1,Z?0)?;p(Y?1,Z?1)?)?1 bit/symble; 12loglog)?1bit/symble7711 H(Z)?(log?log)?bit/symble888822H(XZ)?p(xizk)logp(xizk)i?1k?1 ?(pxz(00)logpxz(00)?pxz(10)logpxz(10)?pxz(01)logpxz(01)?pxz(11)logpxz(11)133311?13 ?(?)log(?)?l

21、og?0?log?/symble?88?888888?上面X、Y、Z的概率分布:H(YZ)?H(XZ)?/symble ? 2002 Copyright EE Lab508 (2)p(X?0Y?0)?pxy(00)?pxy(01)py(1)2pxy(00)py(0)?1/81/2?14;pxy(10)?14pxy(10)py(0)?3/81/2?34;pxy(01)?23/81/2?34;pxy(11)?pxy(11)py(1)?1/81/2?.?H(XY)?i?1?j?1p(xiyj)logp(xiyj)?pxy(00)logpxy(00)?pxy(01)logpxy(01)?pxy(10)

22、logpxy(10)?pxy(11)logpxy(11)?(18?log14?38?log34?38?log34?18?log14)?/symble?I(X;Y)?H(X)?H(XY)?H(Y)?H(YX)且H(X)?H(Y)?H(YX)?H(XY)?/symble同理:2222H(XZ)?p(xizk)logp(xizk)?p(xizk)logp(xizk)p(zk)i?1k?1i?1k?1?pxz(00)logpxz(00)?pxz(01)logpxz(01)?pxz(10)logpxz(10)?pxz(11)logpxz(11)?(12?log1/27/82?0?238?log3/87/

23、8?18?log1/81/82)? bit/symble2H(ZX)?p(zkxi)logp(zkxi)?p(zkxi)logp(zkxi)p(xi)k?1i?1k?1i?1?pzx(00)logpzx(00)?pzx(01)logpzx(01)?pzx(10)logpzx(10)?pzx(11)logpzx(11)?(12?log1/21/2?0?38?log3/81/2?18?log1/81/2)? bit/symbleX、Y、Z的概率: H(YZ)?H(XZ)? bit/symbleH(ZY)?H(ZX)? bit/symble?pxyz(001)?pxyz(101)?pxyz(011)

24、?pxyz(110)?0222222?H(XYZ)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)p(yjzk)?pxyz(111)logpxyz(111)pyz(11)?(pxyz(000)logpxyz(000)pyz(00)?pxyz(010)logpxyz(010)pyz(10)?pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8?(log?log?log?log)? bit/symble81/283/881/281/8H(YXZ)?H(XYZ)? bit/symble

25、222222?H(ZXY)?i?1?j?1k?1p(xiyjzk)logp(zkxiyj)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)p(xiyj)?pxyz(111)logpxyz(111)pxy(11)?(pxyz(000)logpxyz(000)pxy(00)?pxyz(010)logpxyz(010)pxy(01)?pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8?(log?log?log?log)?0 bit/symble81/883/883/881/8? 2002 Copyright EE Lab508 (3)上:I(X;

26、Y)?H(X)?H(XY)?1? bit/symbleI(X;Z)?H(X)?H(XZ)?1? bit/symbleI(Y;Z)?H(Y)?H(YZ)?1? bit/symbleI(X;YZ)?H(XZ)?H(XYZ)? bit/symbleI(Y;ZX)?H(YX)?H(YXZ)? bit/symbleI(X;ZY)?H(XY)?H(XYZ)? bit/symble 已知信源X的信源空间为 ?X:a1 a2 a3 a4 X?P:?P(X): 某信道的信道矩阵为： b1 b2 b3 b4 a1?a3?a4? ?试求： (1)“输入?3，输出b2的概率”； (2)“输出b4的概率”； (3)“收

27、到b3条件下推测输入?2”的概率。 解： (1)p(a3;b2)?p(a3)p(b2a3)?(2)p(b4)?(3)p(b3)?i?14p(aib4)?p(aib3)?i?14p(ai)p(b4ai) ?(ai)p(b3ai)?i?1?i?1p(a2b3)?p(a2)p(b3a2)p(b3) 已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=。 ? 2002 Copyright EE Lab508 解: (1)此信道为准对称离散信p(bl)

28、l?1?p(bl)l?2?2道,且s1?2,s2?112?(p?q?2?)1r1r?(p?q?)?(2?)?12?2?,p2?,p3?)?C1?slp(bl)logp(bl)?H(p1l?1?2?12?(p?q?2?)log12?(p?q?2?)?log?H(p?,q?,2?)?(p?)log(p?)?(q?)log(q?)?2?log?(p?q?2?)log(2)此信道为准对称离散信p(bl)l?1?p(bl)l?2?2p?q?2?212道,且s1?2,s2?2?2?12?(p?q?2?)1r1r?(2?0)?(p?q?)?,p2?,p3?,p4?)?C2?slp(bl)logp(bl)?H

29、(p1l?1?2?log?2?12?(p?q?2?)logp?q?2?212?(p?q?2?)?H(p?,q?,2?,0) ?(p?q?2?)log上面C1、C2表达式可知?(p?)log(p?)?(q?)log(q?)?2?:C1?C2且当?0时等号成立.设某信道的信道矩阵为 ?p1?P?00p20?0?0?其中P1,P2，?，PN是N个离散信道的信道矩阵。令C1，C2，?，?pN?NCN表示N个离散信道的容量。试证明，该信道的容量C?logCi-C?2i?1ci比特/符号，且当每个信道i的利用率pi2证明: (i1,2,?,N)时达其容量C。 设:Pm为lm行?km列(m?1,2,?N)s

30、s方程组?j?1p(bj/ai)?j?s?j?1jp(bj/ai)logp(bj/ai)(i?1,2,?r)?(1)NNm m解出?j可得C?log?j?12?(其中s?:?km?1,r?lm?1)P特点,方程组(1)可以改写为? 2002 Copyright EE Lab508 s?k1p1p1p1p1p(b/a)?p(b/a)logp(bjjjj/ai)?ii?j1?1?j?1s?k2p2p2p2p2?p(bj/ai)?j?p(bj/ai)logp(bj/ai)(i?1,2,?r)?(2)j1?1?j?1?s?kNpnpnpnpn?p(bj/ai)?j?p(bj/ai)logp(bj/ai)j1?1?j?1km其中Cm?logs?j?12?pmkmj(m?1,2,?,N),即?2j?1Nkm?pmj?2Cm?C?log?j?12?j?log?m?1(?2j?1km?pmNj)?log?m?1kmj?12Cmpmj且在各信道利用率为:pm?N?j?12(?pmj?C)(?log2?C)?2?2(Cm?C)(m?1,2,?,N)