信息论与编码陈运主编答案完整版Word格式.docx

信息论与编码陈运主编答案完整版Word格式.docx

《信息论与编码陈运主编答案完整版Word格式.docx》由会员分享，可在线阅读，更多相关《信息论与编码陈运主编答案完整版Word格式.docx（61页珍藏版）》请在冰豆网上搜索。

Xx1（是大学生） x2（不是大学生）

P（X） 0.25 0.75

设随机变量Y代表女孩子身高

Yy1（身高>

160cm） y2（身高<

160cm）

P（Y） 0.5 0.5

已知：

在女大学生中有75%是身高160厘米以上的即：

py（1/x1）=0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量

pxpy

（1）（1/x1）log0.25×

0.75=1.415bit即：

Ix（1/y1）=−logpx（1/y1）=−log=−

py

（1） 0.5

2.3一副充分洗乱了的牌（含52张牌），试问

（1）任一特定排列所给出的信息量是多少？

（2）若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

（1）52张牌共有52！

种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

px（i）=

Ix（i）=−logpx（i）=log52!

=225.581bit

（2）52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

413px（i）=C5213

413

Ix（i）=−logpx（i）=−logC5213=13.208bit

2.4设离散无记忆信源⎢⎡⎣PX（X）⎥⎦⎤=⎨⎩⎧x31/=80

·

13·

x2=1x3=2x4=3⎫⎬，其发出的信息为1/41/41/8⎭

（202120130213001203210110321010021032011223210），求

（1）此消息的自信息量是多少？

（2）此消息中平均每符号携带的信息量是多少？

解：

（1）此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

p=⎛⎜3⎞⎟14×

⎛⎜1⎞⎟25×

⎛⎜1⎞⎟6

⎝8⎠ ⎝4⎠ ⎝8⎠

此消息的信息量是：

I=−logp=87.811bit

（2）此消息中平均每符号携带的信息量是：

In/=87.811/45=1.951bit

2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：

“你是否是色盲？

”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？

如果问一位女士，则答案中含有的平均自信息量是多少？

男士：

px（Y）=7%

Ix（Y）=−logpx（Y）=−log0.07=3.837bit

px（N）=93%

Ix（N）=−logpx（N）=−log0.93=0.105bit

HX（ ） px（ ）logpx（ ） （0.07log0.07 0.93log0.93） 0.366bitsymbol/

i

女士：

HX（ ） px（ ）logpx（ ） （0.005log0.005 0.995log0.995） 0.045bitsymbol/

⎡X⎤⎧x2.6设信源=1

x2 x3

x4 x5 x6⎫，求这个信源的熵，并解释为什么

⎢PX（ ）⎥⎦ ⎨⎩0.2 0.190.18 0.170.16 0.17⎬⎭

⎣

H（X）>

log6不满足信源熵的极值性。

HX px px

=−（0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17）=2.657bitsymbol/

HX（ ）>

log62=2.585

不满足极值性的原因是。

2.7证明：

H（X3/X1X2）≤H（X3/X1），并说明当X1,X2,X3是马氏链时等式成立。

证明：

HX（ 3/XX1 2）−HX（ 3/X1）

=−∑∑∑pxxx（i1i2 i3）logpx（i3/xxi1i2）+∑∑pxx（i1i3）logpx（i3/xi1）

i1 i2 i3 i1 i3

=−∑∑∑pxxx（i1i2 i3）logpx（i3/xxi1i2）+∑∑∑pxxx（i1i2 i3）logpx（i3/xi1）

i1 i2 i3 i1 i2 i3px（i3/xi1）

=∑∑∑i1 i2 i3pxxx（i1i2 i3）logpx（i3/xxi1i2）

⎛ px（i3/xi1） 1⎞⎟⎟log2e

≤∑∑∑i1 i2 i3pxxx（i1i2 i3）⎜⎜⎝px（i3/xxi1i2）−⎠

=⎜⎛∑∑∑pxx（i1i2）（pxi3/xi1）−∑∑∑pxxx（i1i2 i3）⎞⎟log2e

⎝i1 i2 i3 i1 i2 i3 ⎠

⎛ ⎡ ⎤ ⎞

=⎜⎜∑∑pxx（i1i2）⎢∑px（i3/xi1）⎥−1⎟⎟log2e

⎝i1 i2 ⎣i3 ⎦ ⎠

=0

∴HX（3/XX12）≤HX（3/X1）

px（i3/xi1） 1 0时等式等等当 −=px（i3/xxi12i）

⇒px（i3/xi1）=px（i3/xxi12i）

⇒pxx（i12i）（pxi3/xi1）=px（i3/xxi12i）（pxxi12i）

⇒px（i1）（pxi2/xi1）（pxi3/xi1）=pxxx（i123i i）⇒px（i2/xi1）（pxi3/xi1）=pxx（i23i/xi1）

∴等式等等的等等是X1,X2,X3是马氏链_

2.8证明：

H（X1X2。

。

Xn）≤H（X1）+H（X2）+…+H（Xn）。

HXX（ 1 2...Xn）=HX（ 1）+HX（ 2/X1）+HX（ 3/XX1 2）+...+HX（ n/XX1 2...Xn−1）

IX（ 2;

X1）≥0⇒HX（ 2）≥HX（ 2/X1）IX（ 3;

XX1 2）≥0⇒HX（ 3）≥HX（ 3/XX1 2）

...

IX（N;

XX12...Xn−1）≥0⇒HX（N）≥HX（N/XX12...Xn−1）

∴HXX（12...Xn）≤HX

（1）+HX

（2）+HX（3）++...HX（n）

2.9设有一个信源，它产生0，1序列的信息。

它在任意时间而且不论以前发生过什么符号，均按P（0）=0.4，P

（1）=0.6的概率发出符号。

（1）试问这个信源是否是平稳的？

（2）试计算H（X2）,H（X3/X1X2）及H∞；

（3）试计算H（X4）并写出X4信源中可能有的所有符号。

（1）

这个信源是平稳无记忆信源。

因为有这些词语：

“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”

（2）

HX（ 2）=2HX（ ）=−2×

（0.4log0.4+0.6log0.6）=1.942bitsymbol/

HX（ 3/XX1 2）=HX（ 3）=−∑px（i）logpx（i）=−（0.4log0.4+0.6log0.6）=0.971bitsymbol/

H∞=limHX（ N/XX1 2...XN−1）=HX（ N）=0.971bitsymbol/

N−>

∞

（3）

HX（ 4）=4HX（ ）=−4×

（0.4log0.4+0.6log0.6）=3.884bitsymbol/

X4的所有符号：

0000 0001 0010

0011

0100 0101 0110

0111

1000 1001 1010

1011

1100 1101 1110

1111

2.10一阶马尔可夫信源的状态图如下图所示。

信源X的符号集为{0,1,2}。

（1）求平稳后信源的概率分布；

（2）求信源的熵H∞。

（1）

⎧pe

（1）=pepe

（1）（1/e1）+pe

（2）（pe1/e2）

⎪

⎨pe

（2）=pe

（2）（pe2/e2）+pe（3）（pe2/e3）

⎪⎩pe（3）=pe（3）（pe3/e3）+pepe

（1）（3/e1）

⎧pe

（1）=ppe⋅

（1）+ppe⋅

（2）

⎪⎪

⎨pe

（2）=ppe⋅

（2）+ppe⋅ （3）

⎪⎪⎩pe（3）=ppe⋅ （3）+ppe⋅

（1）

⎧pe

（1）=pe

（2）=pe（3）

⎨

⎩pe

（1）+pe

（2）+pe（3）=1

⎧pe

（1）=1/3

⎨pe

（2）=1/3⎪⎩pe（3）=1/3

⎧px

（1）=pe

（1）（px1/e1）+pe

（2）（px1