信息论与编码曹雪虹课后习题答案.docx

1、信息论与编码曹雪虹课后习题答案信息论与编码-曹雪虹-课后习题答案第二章2.1 一个马尔可夫信源有3个符号“,呵，转移概率 为：（曲）= 1/2 , p（lllu） = /l， /?（M3l W1） = O , /2（Mll W2）= l/3 ,2.2由符号集0, 1组成的二阶马尔可夫链，其转移 槪率为：p（oioo）=0 8 9 p（oiii）=0 2, /?（i I oo）=0. 2, p（i 111）=0. 8, p（oioi）=0. 59 （oiio）=0 5, p（iioi）= 0. 5, p（iiio）=0. 5。iffll出 状态图，并计算各状态的稳态概率。/XOIOl) = p(

2、lOIOl)=O.5解: p（0100） = /?（00100） = 0.8状态图为:设各状态00, 01，10, 11的稳态分布概率为叽 w2w3,w4 有率都为1/6,求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合(无序)对的爛和平均信息 量；(4)两个点数之和(即2, 3,12构成的子集) 的嫡；(5)两个点数中至少有一个是1的自信息量。 17 17 17 解 d Q(3两个点数的排列如下:11 12 13 14 15 162122232425263132333435364142434445465152535455566162

3、63646566共有21种组合： 其中 11, 22, 33, 其他15个组合的概率是44, 55, 66的概率是殳丄=丄6 6 362x-x- = 6 6 181 1 1 1 A/(X) = -Vp(xi)logp(xl) = - 6x log 15x log = 4.337 bit/symboli I 36 36 18 18 ；(4)可以得出两个点数求和参考上面的两个点数的排列, 的概率分布如下：H(X) =-工”(兀)log (兀)iC 1 , 1 c 1 I 11, 1 c - 1 c 5( 5 1 1 =一 2xlog 2xlog + 2x log + 2xlos + 2x log

4、+ log 36 36 18 18 12 12 9 9 36 36 6= 3.274 bit!symbolpU) = lxlxll = Al/(兀)= -logp(兀) = log = l710 bit362-42.5居住某地区的女孩子有25%是大学生，在女大学 生中有75%是身高160厘米以上的，而女孩子中身高 160厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是大学生”的消息，问获得多 少信息量？解：设随机变量X代表女孩子学历尤/（是大学生）抢（不是大学生）P（X） 0.25 0.75设随机变量Y代表女孩子身高Y 戸（身 力（身高高160cm） 3/81/41/41/

5、8 )(1)求每个符号的自信息量(2)信源发出一消息符号序列为202 120 130213 001 203 210 110 321 010 021 032011 223 210,求该序列的自信息量和平均每个符号携带的信息量仰军:/(xi) = log 2 ! = log? = 1.415bit(xi) 3同理可 以求得 1(X2)= 2bitJ(X3)= 2bityI(X3)= 3bit因为信源无记忆，所以此消息序列的信息量就等于该 序列中各个符号的信息量之和就有:I = 14Z(xi) +13/(x2)+12/(x3)+ 67(X4)= 87.8bit平均每个符号携带的信息量为 = 1.95

6、bit/符号452.8试问四进制、八进制脉冲所含信息量是二进制脉 冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0, 1, 2,3八进制脉冲可以表示8个不同的消息，例如:0, 1, 2, 3, 4, 5, 6, 7二进制脉冲可以表示2个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，贝I：四进制脉冲的平均信息量H(X J = logn = log 4 = 2 hit/symbol八进制脉冲的平均S息量H(X2) = logn = log8 = 3 hit/symbol二进制脉冲的平均信息量H (X。)= log ” = log 2 = 1 bit! symbol所以：四进

7、制、八进制脉冲所含信息量分别是二进制脉冲信 息量的2倍和3倍。2-9 “一”用三个脉冲 “用一个脉冲2.11有一个可以旋转的圆盘，盘面上被均匀的分成 38份，用1,，38的数字标示，其中有两份涂绿色, 18份涂红色，18份涂黑色，圆盘停转后，盘面上的指 针指向某一数字和颜色。(1)如果仅对颜色感兴趣，则计算平均不确定度(2)如果仅对颜色和数字感兴趣，则计算平均不确定 度(3)如果颜色已知时，则计算条件燔解：令X表示指针指向某一数字，则 X 二1,2, .,38Y表示指针指向某一种颜色，则Y二1绿色，红 色，黑色Y是X的函数，由题意口丁知p(xiyj) = p(xt)(1)/7(丫)=力(另)1

8、隅亠=舟 log 孝+ 2x 磐 log 誥= 1.24bit/符号(2)H(X,Y) = H(X) = Iog238 = 5.25bit/符号(3 ) /7(Xiy)= H(X,y)-H(r)= H(X)-H(y)= 5.25-1.24 =4.01 bit/符 号2.12 两个实验 X 和 Y, X=X1 x2 x3,Y=yi y2 y3,l 联合概率心,) = rtj为mg、7/241/240 r2 r22r23=1/241/41/24P(Z).88 .H(Z) = -“(Za)= - log- + -log- = 0.544 bit!symbolP(E)= P(Xi3)+ P(X忆 2)

9、卩(和2)=。g) = P(xJ = 05P(Z) = p(xizl)+ p(X2Zx)7 3(今)=P(zJ 一 (X Z) = & - 0.5 = o op(z2) = p(v2) + p(x2z2)p(x2z2) = p(Z2) = o(i 1 3 3 1 i AH(XZ) = _ 工工(兀zjlogp(x 忆 Q = _ -loS- + log- + -log- =1406 hit/symbolP(y) = P() + p(yz2) p(y1z2)= P(ViZi)=P(Vi ) = 0.5 p(Z) = p(y】Z) + p(y2Z)7 3P( v2z)= ) - p(yz) = -

10、 -0.5 =-o op(z2) = p(ylz2) + p(y2z2)=1.406 bit/symbol/心)辰)=0卩(坷也)=p(兀忆2)= /心 N Z|) + 心 y 忆2) = /心 X)P(xlyizi) = p(xly) = l/SP(x儿勺)+ pUiJiZi) = PgZ)1 1 3(X|2 Zi)= (兀忆1) 一 /Xx.y.z,) = - = -pg yl) + I心2忆2 ) = I心2 Jl)3P2ylzl) = p(x2yl) = -P(x2y2zl) = oP(x2y2Zl) + p(x2y2z2) = p(x2y2)P(x2y2z2) = p(x2y2) =

11、 H (X YZ) = -m Pg 儿.Z 女)log M(x*j zk) i j k1 1 3 3 3 3 1 1=一 -log - + - log - + -log - + - log - = 1.811 bit!symbol (8 飞 888 8 8 8丿 *H(XX)= 一弓工p(Xi力)log2 P(E)=-log- + -log-4-log-+-fog-J = 1.811 bit!symbolH(x/y)= /(xy)-/7(r)= 1.811-1 = 0.811 bit/symbolH(y/X) = H(XY)-H(X) = 1.811 -1 = 0.811 bit/symbol

12、H(X/Z) = H(XZ)一H(Z) = 1.406-0.544 = 0.862 bit/symbolH(Z/X) = H(XZ)-H(X) = .406-1 = 0.406 bit/symbolH(Y/Z) = H(YZ)-H(Z) = 1.406-0.544 = 0.862 bit/symbolHZ/Y) = H(YZ)_H(Y) = 1.406-1 = 0.406 hit/symbolH(X/YZ) = H(XYZ)-H(YZ) = 1.811-1.406 = 0.405 bit/symbolH(Y/XZ) = H(XYZ)-H(XZ) = 1.81 l-l .406 = 0.405

13、bit/symbolH(z/xy)= /(xrz)-/7(xr)= 1.811-1.811 = 0 bit/symbol7(x;k)hh(x)ih(x、k71io811ho189 bi 二 symbol 二X;Z)HH(X)IH(X、Z)H1IO.862HO138 bi二symbol 7(y;z) H H(K) H(K、Z) H 110.862H 0 138 bi二symbo一 二x7、z)HH(x、z) H(x、KZ)H0.8620.405H0.457 b三symbol 、(KN、X) H H (K、X) H (K、xz) H 00062 0.405 n 0.457 bii _ symbol

14、 二 x;z、K)HH(x、y)IH(x、yzHOoolllo405HO406 b 三 symbol214Ap(ijYi 一 p(i、jY r16 J3 1 7I + J Z 16 16(2)过屮 1 -sYllPMW+p(es5H i+T36 n 7)log2 V pg yj)=0.9143 X 0.7 log 2 ! + 0.0857 X 0.7 log 2 ! + 0.2x0.3 log 2 J 0.9143 0.0857 0.2+0.8x0.3102 2!0.8=0. 512bit/符号 2. 17每帧电视图像可以认为是由3X105个像素组成 的，所有像素均是独立变化，且每像素又取12

15、8个不 同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个 汉字中选出1000个汉字来口述此电视图像，试问广播 员描述此图像所广播的信息量是多少(假设汉字字汇 是等概率分布，并彼此无依赖)？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？ 解：1)H(X) = log2 /? = log2128 = 7 bit/symbolH(X“)= NH(X) = 3x 10 x 7 = 2.1 x 1 ()6 bit!symbol2)H(X) = log2 n = log210000= 13.288 bit/symbolH(Xn) = NH(X)

16、= 1000x13.288=13288 bit (symbol3)2. 20给定语音信号样值X的概率密度为 /心)詁加呦，求Hc (X),并证明它小于同样方差 的正态变量的连续炳。解:KC +XHc(X) = 一 J px(x)logp.x(x)dx = 一 J px(x)log Aedx Y Y 2-KC | +0C=_ J /?.t(x) log Adx _ j /?a(x)(-2 卜|) log edxY 2 y1Y 1=-log + log e j 2z(A|x|)tZv2y 21o w 1=_ log A + log j 2ezv A(-x)dx + log J AeAX (Ax)d

17、x2y 2 o 2-+X-0= -log-2 + 21og j -xeAxdx =-log 2 - log e (1 + Ax)e/X1 a 】 、2e=_ log _几 + log e = log 2 AE(X) = O,D(X) = *、 1 i 2 1. 7te , 2/7 , 2le-e ”小八H(X ) = -log2y = -log = log- log - = H(X)2 人 2 AT A a2. 24连续随机变量X和卩的联合概率密度为:/心刃=去宀yf ,求 h(X), H(Y)f H(XYZ)和 o 其他I(X;Y)o解:2PW = I rrJT -X ；HC(X) = -

18、p(x)log p(x)dx=-f p(x)log厶 kt-x2dx=- p(x) log 十 dx_ p(x) log Vr72 =log _ P p(x) log 7/*2 - x dx 2 岔2 |=log log r +1 log 2 e2 2=log 2 加一丄 log 2 e bit I symbol2其中：J /?(x) log -Jr1 - x1 dx=J log J/ 2 一 dx=戈Jr1 -x2 log 7r2 -x2dx岔-Jo令 x = rcosO -ij- L r sin 0 log rsin Ocl(rcosO)=-log do - - log rpCOS2&/&

19、 + -X / 2 log sin OclO 2 cos21ogsin OclO=log r -丄 log r2 d sin 2 + (- y log, 2) - J： cos2& log sin Oil02 =logr-1 - |2cos2 log sin OclO=log 厂 一 1 + g log, e其中：2 cos21ogsin OdO1 c-=2 log sin Ocl sin 2&1 ( 、=sin 20 log sin Op - f2 sin 26cl log sin 0兀 J) jHcos2 aio1()b 2 =-log, e2(10 log2 cos2&/&1 1 = -

20、log2- log2 esin 2 踊= -og2ep=器卩(Q)必=匸总存=2 ry (y)“(y) = pWHC(Y) = HC(X) = log2 nr log2 e bit/symbolH(XY) = -jj /?(xy)log p(xy)dxdy K=_JJ ”5)log dxdy R 加=logr2 jj p(xy)clxdyK=log 2 70bit/symbolZr(X；r)= He(X) + HC(Y) - HC(XY) =21og2 zzr _ log2 e _ log 岔？ =log2-log2e bit/symbol2. 25某一无记忆信源的符号集为0, 1,已知P(0

21、) = 1/4, P(l) = 3/4o(1)求符号的平均爛；(2)有100个符号构成的序列，求某一特定序列(例 如有加个“0”和(100 -加)个“1”)的自信息量的 表达式；计算中序列的嫡。解：z I 1 3 3 bit/ symbol*H(X) = -/7(xr.)log/9(xJ.) = -log- + -log-J = 0.81131 (Xi43】00t”/(召)=-log /?(x() = -log - = 41.5 + 1.585加 bitH(XIW) = 100/(X) = 100 x 0.811 =81.1 bit/symbol2-26H(IJ)二4-Los(8) +2 Lo

22、sf 10) + 2 Loafli) + 3 Loe/36) 4- Lofi/12) = 3.415g 10 15 36 122. 29有一个一阶平稳马尔可夫链Xi.X2,Xr,，各Xr取 值于集合A = cn.(i2.(n,已知起始概率P (Xr)为11/21/41/422/301/332/31/30（1） 求（X】,X2,X3）的联合嫡和平均符号炳（2） 求这个链的极限平均符号嫡（3） 求Ho,Hi,Hi和它们说对应的冗余度 解：（1）那么H(X2lXi) = llog4 + hog4 + llog4 + llog| + log3 + llog| + log3=1. 209bit/符号良见

23、的联合概率分布为P（X2iX3j）12317/247/487/4825/3605/1235/365/120那么/7（X3lX2）= log2 + Iog4 + hog4 + log- + loe3 +loe- + log324 J 48 8 36 2 72 36 2 72 =1. 26bit/符号H（X】,X2,X3）= 1.5 + 1.209 + 1.26 = 3.969b/符号 所以平均符号爛H3（Xi,X2,X3）=竽 = 1.323M /符号（2）设ab a2, a3稳定后的概率分布分别为W1,W2, W3,又满足不可约性和非周期性H（X） = WiH（X |附）=/（*,*,*） + 2xh（|,*,0） = 1.25b”/符号H = .5bit / 符号（3） H（）= log3 = 1.58/?z7 / 符号1.5 + 1.