信息论基础各章参考答案doc.docx

信息论基础各章参考答案doc.docx

《信息论基础各章参考答案doc.docx》由会员分享，可在线阅读，更多相关《信息论基础各章参考答案doc.docx（16页珍藏版）》请在冰豆网上搜索。

信息论基础各章参考答案doc

各章参考答案

2.1.

（1）4.17比特；

（2）5.17比特；

（3）1.17比特；

（4）3.17比特

2.2.

1.42比特

2.3.

（1）225.6比特；

（2）13.2比特

2.4.

（1）24.07比特；

（2）31.02比特

2.5.

（1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。

如果我们使每次实验所获得的信息量最大。

那么所需要的总实验次数就最少。

用无秩码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3o从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。

冽31og3=log27>log24o所以在理论上用3次称重能够鉴别硬币并判断其轻或重。

每次实验应使结果具有最大的炳。

其中的一个方法如下：

第一次称重：

将天平左右两盘各放4枚硬币，观察其结果：

①平衡②左倾③右倾。

i）若结果为①，则假币在未放入的4枚币，第二次称重：

将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能判断出轻和重，第三次称重：

将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。

订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。

（2）第三次称重类似i）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。

对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.

2.6.

（1）log2“=15比特；

（2）

1比特；（3）15个问题

2.7.

证明：

（略）

2.8.

证明：

（略）

/、1

1

1、1

2.9.

P（dibi）=-p（ci\bi）=

12

P（cM——P（sb）<

12,6,

2.10.证明：

（略）

2.11.证明：

（略）

2.12.证明：

（略）

2[3.

（1）H（X）=H（Y）=1,H（Z）=0.544,H（XZ）=1.406,H（YZ）=1.406,H（XKZ）=1.812

（2）H（X/Y）=H（Y/X）=0.810fH（X/Z）=0.862,H（Z/X）=H（Z/Y）=0.405,H（Y/Z）=0.862,H（X/YZ）=H（Y/XZ）=0.405,H（Z/XY）=0

（3）1（X;K）=0.188Z（X;Z）=0.138Z（K;Z）=0.1387（X;Y/Z）=0.457,I（Y;Z/X）=I（X;Z/Y）=0.406

（单位均为比特/符号）

p游（000）=1）=Pg（l°l）=服z（l1°）=7

14.X1Z■,

（2）P加（°°°）=P宓（111）=!

（3）P加（°°°）=〃加（°。

1）=Pm。

1。

）=Pm。

11）T

2.15.（i）H（X）=1.5,H（K）=1,H（Z）=1,H（YZ）=2

（2）I（X;Y）=0.5.i（x；y）=i；

（3）I（X;Y/Z）=0.5,I（X;YZ）=1.5

（单位均为比特/符号）

3

2.16.

（1）4,

（2）1（X；Y）=°・°9比特/符号，

13

（3）16,/（X;K）=0；

（4）第（3）种情况天气预报准确率高，原来的天气预报有意义。

2.17.

（1）提示：

方差为。

，表明随机变量是常数，设/（X；'）=k）ga；

（2）/（X;Y）=loga.a=l表明工，）独立;

13

对于（b）有：

m）=s=P（M=a,"；牛的

2.18.证明：

（略）

2.19.证明：

（略）

2.20.证明：

（略）

3.1证明：

（略）

3.2

（1）0.811比特/符号，

（2）41.48+1.58m比特（m为0的个数）

（3）81.1比特/信源符号

3.3证明：

（略）

3.4证明：

（略）

-（1-p）（1-p）

H（S〃）=—,口一P）log（l-P）+plogp]=H（p）

3.5

（1）—P1—P

3.6

3.7

邸）=些

（2）1一P

证明:

（1）

（2）

P

P

9

p3=16

16

7

16

9

16_

1一21「

n1-g_一〃

1+2-〃]P="+2

1-2一"

3.8

ttA51216、,1112TT/11116TT/11J

H（——,——，——）+（〃T）——H（—,—,—）+——〃（一，一,一）+——〃（一,一，一）

[^^’7^]M，以

3.9

（1）1一°+,

434343433334324443244

E'l-a+R28'孑矿0，=!

，'=°，1，2,……，〃T

PTT,、l—ary//7\1—I

⑵=7贝心=7叩），：

。

萝-判。

昭

3.io

（1）丑（乂】乂双3）=3.967比特/符号，

H3（X）=1.322比特/符号

（2）H8（X）=1.251比特/符号

（3）Ho=1585比特/符号，Hi=1・414比特/符号，

H?

T.251比特/符号

r=0.2U

3.U

（2）Hg（X）=plog2+H（p）,

2

p——

⑶当3时，Hs（X）达到最大值为Iog3,

当P=°时，炳为o,

当P=1时，墙为l°g2；

232

（_|，—2，.3）=（待，打，了）

3.12

（1）777,

P（Q1）=~P（6h）=Ms）=~

⑵H（U/S】）=L5比特/符号，H（t//S2）=l比特/符号，

H（U/S3）=Q；

（3）

时U）=?

比特/信源符号

3.13

（1）有;

（2）

fG，。

，。

，。

，!

】n=2k

Y111

i。

齐,w，°i9Zi

P\n）-333〃=2*+l

（3）25Ilog2+250log3

3.14H（X）=1.44l.ww号

31510g81

3.16

（1）周期：

3；

1111511929

（2）9,9,9,36,36,6，144，144；

（3）0.9477比特/符号

3.17证明：

（略）

3.18过渡状态：

C；遍历状态：

A,B

4.1

（1）H（X）=0.811比特/符号，/70/}9=0.75比特/符号，

H（Y/X）=0.919比特/符号，/（X；y）=0.061比特/符号;

（2）C=0.082比特/符号，

P（0）=P（l）=；

4.20.0817比特/符号

4.3

（1）C=logU+（1-£）£

（1）］；

Po=l一

Pi=

£（i）

£

1+（1—£）£（I）

10

⑵|_2—（1_就；

必（I）'

（3）CTogH+2一（I），）

\1。

]八

〃【（I）]

（4）[1_（Ifd）〃」，C=log（l+2「（I）"）

4.4

（1）C=0.0488比特/符号；

35

88

511

⑵奇区」；

（3）0.0032比特/符号，

p（）=0.496=0.504

4.5⑴Iog2—H0）；

3fc

7log2

（2）4

Q31“3（1-£）13.、

n-n（，—,—）

（3）884444时，输入等概率。

4.6。

=1理（1+25勺，Po=（l+21项⑹）「'，

Pi=P2=2“）（1+25勺

...睛—出0）—（1-$）〃（£）4.7。

=1。

82[2’心）+2’而）]比特/符号，其中'4.8证明：

可求得n各级联信道转移概率矩阵为:

（2）1+（1-2p）〃1-（1-2p）〃F———

（3）i-（\-2p）nl+（l_2p）"

C=l-H（l—（1—2河）

容景2,

C=1-H（-）=O

当moo时，2

6.5

（1）证明：

（略）

（2）C=logK-H（Z），输入等概率.

6.6

（1）准对称信道：

2

C=（1一2^）log-—+（1-p-£）log（l-p-£）+（p-£）log（p-£）

1一2/

（2）准对称：

c=log2+（1-26：

）log+（1-p-^）log（l-P-£）+（p-£）log（p-£）

1-

7.2

（1）/Z18；

（2）0.00167

7.3⑴M）=18841；

⑵0.99x214338

7.4否；是；N==

5.4设长度为j的码序列个数为N，，则

Nj=2N.T+Nj_\,

解得:

+j=l,2,…;

5.5

（1）丑（，）=0.469比特/符号，r=0.531

（2）/=1,

=0.469

互=0.645—=0.533A=0.493%

（3）2,3,4,oo

（4）N=1:

0.469,0.531,TV=2:

0.727,0.273,

N=3:

0.880,0.120,N=4:

0.951,0.049,

N=oo：

l,0

7.10/=1・85,〃=0.9542,R=1.51比特/符号

7.117-100%

7.12

（1）H（S）=0.7853比特/符号；

（2）I=2.72,"=0.959；

⑶/=1.81,77=0.915；

（4）N=2.02xl（）4

7.1324种最优码，8种Huffman码。

7.14

（1）a"",log2,°；

7.14Si：

Qi：

。

S：

】。

S2：

。

2：

。

，。

3：

1；

S3：

不编码

1=Hs（X）==

7.157

273o547

7.15

（1）10242048；

（2）010********

5.12（略）

5.132,3,3,1,3,4,5,10,11,6,10

5.14（略）

95

5.1532768

8.21.6Kbps

8.3

（1）200bps;

（2）198.56bps

8.4

（1）G（y=0）=0

G（y=l）=lco<\一〃或G（），=l）=0co>\-p

pE=2pcocol-p,

9.2G（y=0）=0,G（y=l）=l,pE=2pa）,

9.3当一P时，两准则同

64G（b）=。

］GCWfG（03）=q3

11

Pf

（1）0.5比特/符号

（2对每个传送消息，译码后结果是唯一的，所以译码差错率为0

厂!

5

C=log-

（1）2；

用1个符号传送2个消息，消息Mi编码为1,消息必2编码为3；

5个消息'=1,234,5

编为：

"：

11,肱2：

22,肱3：

33,m：

44,*：

55,

Pe=025

采用编码:

初2：

2气％：

31,"43,忆：

55各接收序列不相交，唯一，此时可译，所以译码差错为o。

R=-

（1）dmin=3；

（2）5；

（3）10000T10010

01100->11100

00100-^00111或11100（4）最多能纠1个错

译码原则（）000T0101,0001T0110,0010r1001,

0100->1010,1000->0000,0011->0011,

1100^1100,0111^1110,1011^1111,11011111

117

Pe=PE=——

（1）0.26比特；

（2）第2枚；（3）'20；（4）16

]

（1）1-P；

（2）已给定R0,M=2"',

采用如下编码方式：

将信息编成长为m的二元序列，每个二元符号最多发送K次，若其中有一个符号连续接收错误，则判定码字传输错误。

设，i为消息序号，则

盛=1-（1-pS'=l-（l-pW根据或令

来选择Ko通过可得平均传输每个二元符号需要的传送符号数

1K

1一P1Mn=logW

为1—P_

1Kl_p

为1一P,所以信道编码的平均码

（】—P）/|、n

满足设计要求。

M=2顽>2（P）>2

o,

1

6.11

（1）G（0）=0,

G（l）=l,G

（2）=

1co<—

CD>-

2

1co<—

2；

1，2,

（1一刃）P，

Y

Pe=刃p，

⑵G（0）=0,G⑴=1,G

（2）=0或i

Pe=3P或（1一即）；

（3）设重复码，°，1,长度为〃，接收当接收序列中含1个“0”，或“1”就判为“0”

或“I”，Pe=P,当时，Pe»）°

6.12证明：

（略）

H（Z）=^^

6.13

（1）

（i）1一〃，其中H（p）=—plogp—（1—p）log（l—/?

）；

（ii）

（iii）

R=i_P比特/符号

2

P=£_⑵（i）£l2

6.14⑴G（0）=0,G⑴=1；

（2）Pe=（i-©）（1-p）；

（3）G（000）=0?

G（v000）=1,

3,Pe=（1-©）（1-P）；

9.4与“择多译码”方式不同；

1

9.5〃，Pe=（1-。

）（1-P）,

当"Too时，R，Pe都趋于0。

2，+1.1

Pe=ZC'eP'（1-P）

6.15证明：

m+i，其中第一次最大，所以

pE<（t+1）:

二tp'+'（1-p）'（=e）

I\）•4*.

可证明级数e收敛，所以当时，e

TO

6.16

（1）不能；

（2）10.87秒o

Xaxa2

6.17设信源模型为1尸」L0*8°・2」，每秒发出2.5个信源符号，将此信源的输出通过某一个二元无噪信道传输，且每秒只传送两个符号；

解：

（1）不能；

（2）2.5H（X）=2.5x0.72=1.8<2,采用适当编码可以通过信道无失真传输；

（3）采用二次扩展Huffman编码:

。

2。

2：

111,平均码长/=0.78,2.5x0.78=1.95<2，满足传输要求。

ielog-

7.1

（1）A；

2elog—

（2）/

log。

/?

（X）=log（m-0）h（Y）=log（但一％

h（XY）=log[（a2-aM2~b^,7（X;K）=0c

74馈龙（初=脸（狎）

71

/（x；r）=iog-e

A（X）=log—/?

（/）=log—7.5e,2

71z（x；y）=iog—h（XY）=log（7nib）be2

7.6证明：

（略）

7.7

/?

（X）=（3+/）loge,”（V）旋扼，（后面两个没有答案）

/?

（Z）=：

log[2^（W+b；）]

7.82o

ro/?

（X）=logoh（Y）=2log6^h（XY）=（/+2）logg

z.y,,

/（X;Y）=（l-/）loge,/：

欧拉常数

2+2

/（〃;U）=log—

o

7.H/（X；K）=—10gTTU

7.12证明：

（略）

1（-y-Qfi）2

3=2（必-亦）

713yj2兀（以2—Oi）

./（x）=一:

一;—ect\1、i/\

次心）满足"（尤）1"）=必，

久（X）=plogQ]+logr（p）+[p-（p-Deslogeo

A（X）=—log（2^）

（1）2；

h（X）=—log（J弟形）

（2）2o

Imy1】、vii、

C=log2[0；log（l+/»）+/»log（l+e~y（^]dy

8.1

（1）a+b

b八b八,

——Iner0——Oncrk）g2

a,a；

h

Pe=

（2）ci+b

（1）证明略；

〃12"

C=log——

（2）

ON段3司

•sdgoIXVI

（一）6.X

•sdqso寸一（S=sdqs寸寸一（Z=sdqM.OS（I）OCOC

・（箜）Z/OC学W夸

".寸（£

&6Z

也-ffiw妄云81寸OHU

&g*

。

一

98

（蜜）S

（蜜）

（蜜）

（箜）建/J06（蜜）s9.8（蜜）£且200

（羹）20C

（Z）+一）宓000彳。

（）N08，岛2社泛目（+一）803

rKkr^L

206

（蜜）曳.8•（蜜）二00。

ZH2Z.6（Z）

W2X866.I

（一）0一8

4

7?

（D）=log—-H（D）

证明：

（略）

_4

D

_1Qmax—=min-1,3,

/?

（D）=|[log2-H（^=^）J•JJ

9.4解：

Omin=°,Dmax=〃Q,

R（D）=H（co）-H（—）ao

9.5解：

Omin—°,Dmax—0

9.6

解：

[（1-D）log（l-D）+（D-0.2）log（D-0.2）-0.8log0.4,0.4

R（D）=Llog5-（D+0.8）log2-H（D）,D<0.4

9.7证明：

（略）

9.8解：

（略）

9.9解：

（略）

9.10R（Q）=（1-D）log2；

9.11（略）

9.12证明：

（略）

9.13证明：

。

血一°,Omax—3；

当D=Omin时，使用输出符号0,1,2,3;

当。

=Omax时，使用输出符号6,

R（D）=21og2-Z）log2（0

D3

/?

（O）=-ylog2+-log2（i〈o<3）

9.14解：

风。

）=-脸（如），（°"F）。

9.15证明：

（略）

9.16解：

（略）

9.17解：

（略）

9.18解：

（略