信息论基础各章参考答案doc.docx

1、信息论基础各章参考答案doc各章参考答案2. 1.（1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特；(4) 3.17 比特2. 2.1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4.(1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无秩码天平 的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3o从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为l

2、og24。冽31og3=log27log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的炳。 其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：平衡 左倾右倾。i）若结果为，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。订）若结果为或即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出

3、轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6.(1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7.证明： （略）2. 8.证明： （略）/ 、 111 、 12.9.P(dibi) = -

4、p(cibi)=12P(cM P(sb) , 12 , 6,2. 10.证明： （略）2. 11.证明： （略）2.12.证明： (略)2 3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406, H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) = 0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) = 0(3)1(X;K) = 0.188 Z(X;Z)

5、= 0.138 Z(K;Z) = 0.138 7(X;Y/Z) = 0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(ll)=服z(l 1)= 714. X 1 Z ,(2)P加()=P宓(111)= !(3)P加()= 加(。1)= Pm。1。)= Pm。11)T2. 15. (i) H(X) = 1.5 , H(K) = 1 , H(Z) = 1 , H(YZ) = 2(2)I(X;Y) = 0.5 . i(x；y)= i ；(3)I(X;Y/Z) = 0.5 , I(X;YZ) = 1.5(单位均为比特/符号)

6、32. 16. ( 1 ) 4 , ( 2)1(X；Y)= 9 比特 / 符号，13(3) 16 , /(X;K) = 0 ；(4 )第(3 )种情况天气预报准确率高，原来的天气预报有意义。2.17.(1 )提示：方差为。，表明随机变量是常数，设/(X；) = k)ga ；（2） /（X;Y） = loga . a = l表明工，）独立;1 3对于（b）有：m）=s=P（M=a ,；牛的2.18.证明： （略）2.19.证明： （略）2.20.证明： （略）3. 1证明： （略）3. 2 （ 1 ） 0 .811 比特/符号，（2 ） 41.48+1.58m比特（m为0的个数）（3） 81.1

7、比特/信源符号3.3证明： (略)3.4证明： (略)-(1 - p) (1 - p)H(S)= , 口 一 P)log(l - P)+ plogp = H(p)3.5 ( 1 ) P 1P3.63.7邸)=些(2 ) 1一 P证明:(1 )(2 )PP9p3= 16,16716916_1一2 1n 1 -g _ 一1 + 2- P = + 21-2一3. 8ttA5 12 16、 , 1 1 12 TT/1 1 1 16 TT/1 1 JH(,，)+ (T) H(, ,) + (一，一,一)+ (一,一，一)7 M，以3.9 (1) 1一 + ,43 43 43 43 3 3 3 43 2

8、4 4 43 2 4 4El-a + R 28孑矿 0，=!， = ，1，2,，TP TT ,、 l a ry/7 1 I =7贝心=7叩)，：。萝-判。昭3.io (1)丑(乂】乂双3)= 3.967比特/符号，H3(X) = 1.322比特/符号(2)H8(X) = 1.251 比特/符号(3)Ho = 1585比特/符号，Hi = 1414比特/符号，H?T.251比特/符号r = 0.2U3.U(2)Hg(X) = plog2+ H(p),2p 当 3时，Hs(X)达到最大值为Iog3,当P = 时，炳为o,当P = 1时，墙为lg2；2 3 2(_|，2，.3)=(待，打，了)3.1

9、2 (1) 7 7 7,P(Q1) = P(6h) = Ms) = H(U/S】)= L5比特/符号，H(t/S2)= l比特/符号，H(U/S3) = Q ；(3)时 U) = ?比特/信源符号3.13 (1)有;(2)f G，。，。，。，!】 n = 2kY 1 1 1i。,齐,w，i 9Z iPn)- 3 3 3 = 2* + l(3)25 Ilog 2 + 250 log 33.14 H(X) = 1.44l.ww 号3 15 10g813.16 (1)周期：3 ；1111 5 1 19 29(2)9,9,9,36,36,6，144，144 ；(3)0. 9477比特/符号3.17证明

10、：(略)3. 18过渡状态：C ； 遍历状态：A,B4.1 (1) H(X) = 0.811 比特/符号，/70/9 = 0.75比特/符号，H(Y/X) = 0.919比特/符号，/(X；y)= 0.061比特/符号;(2) C = 0.082比特/符号，P(0) = P(l) = ；4.2 0. 0817比特/符号4.3 (1) C = logU +(1 -)(1)；Po = l 一Pi =(i)1 + (1 )(I)1 0 |_2(1_就；必(I)(3)CTogH + 2一(I)，) 1 。 八【(I)(4)1 _ (If d)，C = log(l + 2(I)4.4(1) C = 0.

11、0488 比特/符号；3 58 85 11奇区；(3) 0.0032比特/符号，p()= 0.496 =0.5044.5 Iog2 H0)；3f c7 log 2(2) 4Q 3 1 “3(1-)1 3.、n - n ( ，,)(3) 8 8 4 4 4 4时，输入等概率。4.6。= 1理(1 + 25勺，Po = (l+21 项)，Pi = P2 = 2“)(1 + 25 勺.睛出0） （1 - $）（） 4.7。= 1。822心）+ 2而）比特/符号，其中 4.8证明：可求得n各级联信道转移概率矩阵为:(2)1 + (1-2p) 1-(1-2p) F (3)i-(-2p)n l + (l_

12、2p)C = l-H(l(12河)容景 2 ,C = 1-H(-) = O当moo 时， 26.5( 1 )证明：(略)(2) C = logK-H(Z)，输入等概率.6.6(1)准对称信道：2C = (1 一 2)log- + (1 - p - )log(l - p - )+ (p - )log(p - )1 一 2/(2)准对称：c = log2 + (1 - 26：)log+ (1 - p - )log(l - P - )+ (p - )log(p - )1 -7.2(1) /Z18；(2) 0.001677.3 M)= 18841； 0.99 x 214338 Ng 2162227.4

13、否；是；N = =5.4设长度为j的码序列个数为N，则Nj = 2N.T + Nj_ ,解得:+ j = l,2,;5.5(1)丑(，)=0.469比特/符号，r = 0.531(2) / =1,=0.469互= 0.645 = 0.533 A = 0.493 %(3)2 , 3 , 4 , oo(4)N = 1:0.469,0.531, TV = 2:0.727,0.273,N = 3:0.880,0.120 , N = 4:0.951,0.049 ,N = oo：l,07.10/ = 185, = 0.9542, R = 1.51 比特/符号7.117-100%7.12(1) H(S) =

14、 0.7853 比特/符号；(2) I = 2.72, = 0.959； / = 1.81, 77 = 0.915；(4) N = 2.02xl()47.1324种最优码，8种Huffman码。7.14(1) a, log2, ；7.14Si： Qi：。, S：】。,S2：。2：。，。3：1；S3：不编码1 = Hs(X) = =7.157273 o 547 P 7.15(1) 1024 2048；(2) 010*5. 12 (略)5. 13 2, 3, 3, 1, 3, 4, 5, 10, 11, 6, 105. 14 (略)955. 15 327688.21.6Kbps8.3(1) 200

15、bps; (2) 198.56bps8.4(1) G(y = 0) = 0G(y = l) = l co-ppE = 2pco col - p ,9.2G(y = 0) = 0, G(y = l) = l, pE = 2pa),9.3当一 P时，两准则同64 G(b)=。 GCWf G(03)= q311Pf(1) 0.5比特/符号(2对每个传送消息，译码后结果是唯一的，所以译码差错率为0厂! 5C = log-(1) 2；用1个符号传送2个消息，消息Mi编码为1,消息必2编码为3 ；5 个消息 = 1,234,5编为：11 ,肱2：22,肱3：33, m：44, *：55,Pe = 025采

16、用编码:初2：2气 ：31, 43,忆：55 各接收序列不相交，唯一，此时可译，所以译码差错为o。R = -(1) dmin = 3； (2) 5 ；(3) 10000 T1001001100-1110000100-00111 或 11100 （4）最多能纠1个错译码原则（）000 T 0101 , 0001T 0110, 0010 r 1001,0100-1010 , 1000-0000, 0011-0011,11001100 , 01111110 , 10111111, 1101111111 7Pe = PE =（1） 0.26 比特；（2）第 2 枚；（3） 20； （4） 16（1）

17、1- P ；（2）已给定R0,M = 2,采用如下编码方式：将信息编成长为m的二元序列，每个二元符号最多发送K次，若 其中有一个符号连续接收错误，则判定码字传输错误。设，i为消息序号，则盛=1-（1-pS = l-（l-p W 根据或令来选择Ko通过可得平均传输每个二元符号需要的传送符号数1 K1 一 P 1 M n = logW为 1 P _1 K l_p为1 一 P ,所以信道编码的平均码(】 P) / | 、 n满足设计要求。M = 2顽 2( P) 2o,16.11 (1) G(0) = 0,G(l) = l , G(2) =1 co-21 co 2 ；1， 2 ,（1 一刃）P，YP

18、e=刃p， G(0) = 0, G=1, G(2) = 0 或 iPe = 3P 或（1 一即）；（3）设重复码，1 ,长度为，接收当接收序列中含1个“0”，或“1”就判为“0”或 “I”，Pe= P ,当时，Pe）6.12 证明：（略）H(Z) = 6.13 (1)(i) 1一，其中 H(p) = plogp (1 p)log(l /?)；(ii)(iii)R = i_ P比特/符号2P =_ (i ) l 26.14 G(0) = 0, G=1 ；（2）Pe =（i-）（1-p）；(3) G(000) = 0 ? G(v 000) = 1 ,3 , Pe =(1-)(1-P)；9.4与“择

19、多译码”方式不同；19.5，Pe =(1 -。)(1-P),当Too时，R，Pe都趋于0。2，+1 . 1Pe= ZCeP(1-P)6.15证明： m+i ，其中第一次最大，所以pE(t +1):二t p+ (1-p) (= e)I ) 4* .可证明级数e收敛，所以当时，eTO6.16 (1)不能；(2) 10.87 秒 oX ax a26.17设信源模型为1尸L0*8 2，每秒发出2. 5个信源符号，将此信源的输出通过某 一个二元无噪信道传输，且每秒只传送两个符号；解：（1）不能；（2）2.5H（X） = 2.5 x0.72 = 1.8 2 ,采用适当编码可以通过信道无失真传输；（3）采用

20、二次扩展 Huffman 编码:。2。2：111 ,平均码长/=0.78 , 2.5x0.78 = 1.952，满足传输要求。i e log-7.1 (1) A ；,2e log (2) /log。/?(X) = log(m -0)h(Y) = log(但 一 h(XY) = log(a2-aM2b , 7(X;K) = 0c74馈龙（初=脸（狎）71/(x；r)= iog- eA(X) = log /?(/) = log 7.5 e , 271 z(x；y)= iog h(XY) = log(7nib) be27.6 证明：(略)7.7/?（X） = （3 + /）loge, ”（V）旋扼，

21、（后面两个没有答案）/?(Z) = ：log2(W + b；)7.8 2 or o /?(X) = logo h(Y) = 2log6 h(XY) = (/ + 2)loggz.y , ,/(X;Y) = (l-/)loge , /：欧拉常数2 + 2/(;U) = logo7.H /(X；K) = 10gTTU7.12证明：(略)1 (-y-Qfi)23= 2(必-亦)7 13 yj2兀(以2 Oi)./(x) = 一:,一; e ct1 、i / 次心) 满足(尤)1)=必，久(X) = plogQ + logr(p) + p -(p - Desloge oA(X) = log(2)(1)

22、 2 ；h(X) = log( J弟形)(2) 2 oI m y 1】、 v ii、C = log2 0；log(l + /) + /log(l + ey(dy8.1 (1) a + bb 八 b 八 ,In e r0 On c rk)g2a , a ；hPe = (2) ci + b(1)证明略； 1 2C = log(2)ON 段3司 sdgoIXVI (一) 6.X sdqso寸一 (S= sdqs寸寸一 (Z = sdqM.OS (I)OCOC(箜)Z/OC 学W夸 .寸 (& 6Z也-ffiw妄云 81 寸OHU& g*。一98(蜜)S(蜜)(蜜)(箜)建/J06 (蜜)s 9.8

23、(蜜)且 200(羹)20C(Z) + 一)宓000 彳。()N 08 ，岛2 社泛 目 ( + 一) 803n(一- + dxo-tuurKkr L206(蜜)曳.8 (蜜)二00 。ZH2Z.6 (Z)W2X866.I (一) 0一847?(D) = log-H(D)证明：(略)_4D_ 1 Qmax = min - 1 , 3 ,/?(D) = |log2-H(=)J J J9. 4 解：Omin= , Dmax = Q ,R(D) = H(co) - H() a o9. 5 解：Omin , Dmax 09.6解：(1 - D) log(l - D) + (D - 0.2) log(D

24、 -0.2) -0.8 log 0.4, 0.4 D 0.6R(D) = Llog5-(D + 0.8) log 2 - H(D), D 0.49. 7证明：(略)9.8解：(略)9. 9解：(略)9. 10 R(Q) = (1-D)log2 ；9. 11 (略)9.12证明：(略)9. 13 证明：。血一 , Omax 3 ；当D = Omin时，使用输出符号0, 1, 2, 3 ;当。=Omax时，使用输出符号6 ,R(D) = 21og2-Z)log2 (0Dl);D 3/?(O) = -ylog2 + -log2(io3)9. 14 解：风。)=-脸(如)，(F)。9. 15证明：（略）9. 16 解：（略）9. 17 解：（略）9. 18解：（略