《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社.docx

1、信息论与编码理论王育民李晖梁传甲课后习题答案高等教育出版社信息论与编码理论习题解第二章 -信息量和熵2.1 解: 平均每个符号长为 : 20.210.44 秒3315每个符号的熵为 2 log 31log 30.9183 比特 /符号323所以信息速率为 0.9183153.444 比特 /秒42.2 解: 同步信号均相同不含信息 ,其余认为等概 ,每个码字的信息量为 3*2=6 比特；所以信息速率为 6 1000 6000 比特 /秒2.3 解:(a) 一对骰子总点数为 7 的概率是 636所以得到的信息量为log 2( 6 ) 2.585 比特36(b) 一对骰子总点数为 12 的概率是

2、136所以得到的信息量为log 21比特5.17362.4 解: (a)任一特定排列的概率为 1 ,所以给出的信息量为52!1log 2 52 ! 225.58 比特(b) 从中任取 13 张牌 ,所给出的点数都不相同的概率为13! 413 413A5213 C135213所以得到的信息量为 log2 C52 13.21 比特 .4132.5 解:易证每次出现 i 点的概率为 i ,所以21I (xi )log 2 i , i 1,2,3,4,5,621I (x1)4.392 比特I (x2)3.392 比特I (x3)2.807 比特I (x4)2.392比特I (x5)2.070 比特I

3、(x6)1.807 比特6ilog 2i比特H(X)212.398i 1212.6 解: 可能有的排列总数为12!277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中 X 表示白杨或白桦， 它有 73种排法， Y 表示梧桐树可以栽种的位置，它有 8 种排法，所以共有 8 * 7 =1960 种排法保证没有5 5 3两棵梧桐树相邻， 因此若告诉你没有两棵梧桐树相邻时， 得到关于树排列的信息为 log2 27720 log 2 1960 =3.822 比特2.7 解: X=0 表示未录取， X=1 表示录取；Y=0 表示本

4、市， Y=1 表示外地；Z=0 表示学过英语， Z=1 表示未学过英语，由此得p( x0)3 ,p(x1)4p( y0)p( x0) p( y113142410p( y1)114 ,55p( z0)p( y0) p(z144055100p( z1)11312,2525(a) p( x0 y0)p( yp( x1 y0)p( y1 ,40 x 0) p( x 1) p( y 0 x 1)1 ,5 0 y 0) p( y 1) p( z 0 y 1)13 ,250 x0) p( x0) / p( y0)131310/5840 x1) p( x1) / p( y0)11 / 152458I ( X

5、; y0)p(x0 yp(x 0 y 0)p( x 1 y 0)0) log2p(x 1 y 0) log 2p( x 0)p( x 1)3 log 235 log25888381440.4512比特(b) p( x0 z0)( p( z 0 y 0, x 0) p( y 0 x 0) p( z 0 y 1, x 0) p( y 1x 0) p(x 0) / p( z 0)( 194 )3/1369101010425104p( x1z0)( p( z0 y0, x1) p( y 0 x 1) p(z 0 y1, x1) p( y 1 x 1) p( x1) / p(z 0)( 112)1/13

6、35225425104I ( X ; z0)p( x0 zp( x 0 z 0)p( xp(x 1 z 0)0) log 21z 0) log 21)p( x 0)p( x6969 log 2 104104343510435log 2 104140.02698比特(c) H ( X )3log 241log 2 40.8113比特434H(Y X)p( x0) p( y0 x0) log 2 p( y0 x0)p( x 0) p( y1 x 0) log 2 p( y1x 0)p( x1) p( y0 x1) log 2 p( y0 x 1)p( x1) p( y 1 x1) log 2 p(

7、 y 1 x1)31 log 2 1039 log 21011 log2 211 log 2 2410410942420.6017比特2.8 解:令 XA,B,YT,F,R ，则P(T)P(T A)P(A)P(T B)P(B)0.5 p0.3(1p)0.3 0.2 p同理P(F )0.50.2 p,P(R)0.2I ( p) I ( X ; Y)H (Y)H(Y X)(0.30.2p) log2 (0.30.2 p)(0.50.2p) log2 (0.50.2 p)0.2log 2 0.2(0.5 p log2 20.3 plog 21030.2 p log2 50.3(1p) log2103

8、 0.5(1 p) log2 20.2(1p) log2 5)0.3log 2 0.30.5log 2 0.5(0.30.2p) log2 (0.30.2 p)(0.50.2 p) log2 (0.5 0.2 p)令I( p)0.2 log2(0.50.2 p)0,得p0.50.30.2 pI ( p)maxI ( p) p0 .50.03645比特2.9 & 2.12解 :令 X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3,H(X 1)=H(X 2)=H(X 3)= log2 6 比特H(X)= H(X 1) = log2 6=2.585 比特H(Y)= H(X 2+X 3)=2

9、( 1 log 2 362 log 2363 log 2364 log 2365 log 236 )1 log 2 6363623633643656= 3.2744 比特H(Z)= H(X 1+X 2+X 3)=2( 1 log 22163 log 22166 log 221610log 221615log 2216216216321662161021615212162521627216)log 221log 2log 22721621625216= 3.5993 比特所以H(Z/Y)= H(X 3)= 2.585 比特H(Z/X) = H(X 2+X 3)= 3.2744 比特H(X/Y)=

10、H(X)-H(Y)+H(Y/X)= 2.585-3.2744+2.585 =1.8955 比特H(Z/XY)=H(Z/Y)= 2.585 比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805 比特I(Y;Z)=H(Z)-H(Z/Y)=H(Z)- H(X 3)= 3.5993-2.585 =1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3)

11、 =3.2744-2.585 =0.6894 比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10 解:设系统输出10 个数字 X 等概 ,接收数字为 Y,9191显然 w( j )Q(i ) p( j i )p( j i )i010 i 110H(Y)=log10H(YX)p( x, y) log 2 p( y x)p( x, y) log2 p( y x)y x 偶y x 奇0p( x) p( x x) log 2 p( x x)p(x) p( y x) log 2 p( y x)i奇y x,奇 x奇511log22 5 411log2 8102108

12、1 比特所以I(X;Y)= log 2 10 1 2.3219比特2.11 解:（a）接收前一个数字为 0 的概率81w( 0)q(ui ) p( 0 ui )2i 0I (u1 ;0)log2p(0 u1)1p(1 p) bitslog 211 log 2w(0)28（b） 同理w(00)q(ui ) p(00 ui ) 41i0I (u1;00)p(00u1)log 2(1p)222 log2 (1p)bitslog 2w(00)14（c） 同理 w(000)8q(ui ) p(000 ui )81i 0I (u1;000)log2p(000u1 )log 2(1p)333log 2 (1

13、p)bitsw(000)18（d） 同理 w(0000 )8q(ui ) p(0000 ui )81 (1p)66 p2 (1 p)2p4 )i0p(0000u1 )(1p)4I (u1;0000)log2 w(0000)log281 (1p)66 p2 (1p) 2p4 )log2 8(1p) 4bits(1p) 66 p2 (1p) 2p42.12 解:见 2.92.13 解:(b)H(YZ/ X)x y zx y zx y zH(Y/ X)1p( xyz)logp( yz / x)1p( xyz) logp( y / x) p(z / xy)11p( xyz) logp(xyz)logp

14、( y / x)x yzp( z / xy)H(Z/ XY)(c)H (Z / XY ) p(xy)p( z / xy) log1x y zp(xy)x y zH(Z / X)p(z / xy)1p( z/ xy) log （由第二基本不等式） p(z / x)或H(Z/XY)H(Z/X)p(xy)1p( z / xy) logxyzp(z / xy)p( xy)p( z/ xy) log1p( z / x)xyzp( xy)p( z/ xy) log p(z / x)（由第一基xyzp( z / xy )p( xy)p(z / xy) log e( p(z / x)1)xyzp(z / xy

15、)0本不等式）所以H(Z/XY) H(Z/X)(a)H(Y/ X) H(Z / X)H(Y/ X)H(Z/XY)H(YZ/X)等号成立的条件为p(z / xy)p( z / x) ,对所有 xX , y Y, z Z ,即在给定 X条件下 Y 与 Z 相互独立。2.14 解:(a) H ( X / Y ) H (Y / Z ) H ( X / YZ ) H (Y / Z) H ( XY / Z ) H ( X / Z)(b)H(X /Y) H(Y/Z) H(X /Y) H(Y/Z)H (XY) H (YZ) H (Y) H (X /Y) H (Y) H (Z /Y)H(X/Y) H(Y/Z)H

16、 (Y) H (X /Y) H(Z/Y) H (Y) H(Z/Y) H(X /Y)H (X /Y) H(Y /Z)H (Y) H(X /Y) H (Z /Y)H(X /Y) H(Y/Z)H(YZ) H (X /Y)H(X /Y) H(Y/Z)H(X /Y) H(Y/Z) H(Z)H(X /Y) H(Y/Z) H(X /Z) 0,H(Z) 0H(X /Y) H (Y/Z)H (XY) H (YZ)H (X /Y) H(Y/Z)H (X /Y) H(Y/Z) H (Z)H(X/Z)H(X /Z) H(Z)H(X/Z)H (XZ)注：a1 a2 0,b 0 a1b a2b a1b a1a2a2b a

17、1a2a1a2ba2 ba12.15 解:(a)d ( X , X ) H ( X / X ) H ( X / X ) 0d ( X ,Y ) H ( X / Y) H (Y / X ) 0(b)d ( X ,Y ) H ( X / Y) H (Y / X ) H (Y / X ) H ( X / Y) d (Y, X )(c)d ( X ,Y ) d (Y, Z ) H ( X / Y) H (Y / X ) H (Y / Z ) H (Z /Y )H(X /Y) H(Y/Z) H(X /YZ) H(Y/Z) H(XY/Z) H(X /Z)同理 H(Z/Y) H(Y/ X) H(Z/X)d(

18、 X ,Y) d (Y, Z) H ( X / Z) H ( Z / X ) d ( X , Z )2.16 解:(a)I(X,Y)H(X) H(Y) H (XY) H(X) H(Y) H(XY) H(X /Y) H(Y/ X)H (XY)S( X,Y)I (X,Y)1H (XY)又由互信息的非负性，即 I ( X ;Y) 0有 S(X ;Y) 0，所以0S(X;Y) 1(b)I(X,X) H(X) H(X/X)H(X)S(X,X)H(XX)1H(XX)H(X)(c) 当且仅当 X 和 Y 独立时， I （X ；Y） =0，所以当且仅当 X 和 Y 独立时， S( X ,Y)I(X,Y)0。H

19、 (XY)2.23 解:(a)pX ( x)21 ,1 x10 ,其它1HC(X)21 log 21 dx1比特1(b) 令 yx2 ,dx1dy 2 y1, y1pY ( y)2y0 ,其它HC(X 2)pY ( y) log pY ( y) dy11log 1dy0 2 y2y1log2 e0.443 比特(c)令 z x3 ,dx1 zdz323pZ ( z) pX (x) dx1 zdz3, z1260 ,其它HC(X3)pZ ( z) log pZ ( z) dz0221221 z 3 log( 6z3 )dz1 z 3 log( 6z 3 ) dz1 60 6log 2 62 log 2 e0.3 比特2.28 解:(a) 由已知，p( y x 1 )41 ,3y 10,其它p( y x 1)41 ,1y 30,其它w( y)pxy (xy)px ( x) py x ( y x)xxpx (x1) py x( y x1) px ( x 1) py x ( y x 1)81 ,3y141 ,1y181 ,1y30,其它