信息论和编码陈运主编答案解析完整版.docx

信息论和编码陈运主编答案解析完整版.docx

《信息论和编码陈运主编答案解析完整版.docx》由会员分享，可在线阅读，更多相关《信息论和编码陈运主编答案解析完整版.docx（79页珍藏版）》请在冰豆网上搜索。

信息论和编码陈运主编答案解析完整版

信息论与编码课后习题答案详解

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：

{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量HX

（1）=logn=log4=2bitsymbol/八进制脉冲的平均信息量HX

（2）=logn=log8=3bitsymbol/

二进制脉冲的平均信息量HX（0）=logn=log2=1bitsymbol/

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

Xx1（是大学生）x2（不是大学生）

P（X）0.250.75

设随机变量Y代表女孩子身高

Yy1（身高>160cm）y2（身高<160cm）

P（Y）0.50.5

已知：

在女大学生中有75%是身高160厘米以上的即：

py（1/x1）=0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量

pxpy

（1）（1/x1）log0.25×0.75=1.415bit即：

Ix（1/y1）=−logpx（1/y1）=−log=−

py

（1）0.5

2.3一副充分洗乱了的牌（含52张牌），试问

（1）任一特定排列所给出的信息量是多少？

（2）若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

（1）52张牌共有52！

种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

px（i）=

Ix（i）=−logpx（i）=log52!

=225.581bit

（2）52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

413px（i）=C5213

413

Ix（i）=−logpx（i）=−logC5213=13.208bit

2.4设离散无记忆信源⎢⎡⎣PX（X）⎥⎦⎤=⎨⎩⎧x31/=80

x2=1x3=2x4=3⎫⎬，其发出的信息为1/41/41/8⎭

（202120130213001203210110321010021032011223210），求

（1）此消息的自信息量是多少？

（2）此消息中平均每符号携带的信息量是多少？

解：

（1）此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

p=⎛⎜3⎞⎟14×⎛⎜1⎞⎟25×⎛⎜1⎞⎟6

⎝8⎠⎝4⎠⎝8⎠

此消息的信息量是：

I=−logp=87.811bit

（2）此消息中平均每符号携带的信息量是：

In/=87.811/45=1.951bit

2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：

“你是否是色盲？

”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？

如果问一位女士，则答案中含有的平均自信息量是多少？

解：

男士：

px（Y）=7%

Ix（Y）=−logpx（Y）=−log0.07=3.837bit

px（N）=93%

Ix（N）=−logpx（N）=−log0.93=0.105bit

HX（

）px（）logpx（）（0.07log0.070.93log0.93）0.366bitsymbol/

i

女士：

HX（

）px（）logpx（）（0.005log0.0050.995log0.995）0.045bitsymbol/

i

⎡X⎤⎧x2.6设信源=1

x2x3

x4x5x6⎫，求这个信源的熵，并解释为什么

⎢PX（）⎥⎦⎨⎩0.20.190.180.170.160.17⎬⎭

⎣

H（X）>log6不满足信源熵的极值性。

解：

HX

pxpx

i

=−（0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17）=2.657bitsymbol/

HX（）>log62=2.585

不满足极值性的原因是

。

i

2.7证明：

H（X3/X1X2）≤H（X3/X1），并说明当X1,X2,X3是马氏链时等式成立。

证明：

HX（3/XX12）−HX（3/X1）

=−∑∑∑pxxx（i1i2i3）logpx（i3/xxi1i2）+∑∑pxx（i1i3）logpx（i3/xi1）

i1i2i3i1i3

=−∑∑∑pxxx（i1i2i3）logpx（i3/xxi1i2）+∑∑∑pxxx（i1i2i3）logpx（i3/xi1）

i1i2i3i1i2i3px（i3/xi1）

=∑∑∑i1i2i3pxxx（i1i2i3）logpx（i3/xxi1i2）

⎛px（i3/xi1）1⎞⎟⎟log2e

≤∑∑∑i1i2i3pxxx（i1i2i3）⎜⎜⎝px（i3/xxi1i2）−⎠

=⎜⎛∑∑∑pxx（i1i2）（pxi3/xi1）−∑∑∑pxxx（i1i2i3）⎞⎟log2e

⎝i1i2i3i1i2i3⎠

⎛⎡⎤⎞

=⎜⎜∑∑pxx（i1i2）⎢∑px（i3/xi1）⎥−1⎟⎟log2e

⎝i1i2⎣i3⎦⎠

=0

∴HX（3/XX12）≤HX（3/X1）

px（i3/xi1）10时等式等等当−=px（i3/xxi12i）

⇒px（i3/xi1）=px（i3/xxi12i）

⇒pxx（i12i）（pxi3/xi1）=px（i3/xxi12i）（pxxi12i）

⇒px（i1）（pxi2/xi1）（pxi3/xi1）=pxxx（i123ii）⇒px（i2/xi1）（pxi3/xi1）=pxx（i23i/xi1）

∴等式等等的等等是X1,X2,X3是马氏链_

2.8证明：

H（X1X2。

。

。

Xn）≤H（X1）+H（X2）+…+H（Xn）。

证明：

HXX（12...Xn）=HX

（1）+HX（2/X1）+HX（3/XX12）+...+HX（n/XX12...Xn−1）

IX（2;X1）≥0⇒HX

（2）≥HX（2/X1）IX（3;XX12）≥0⇒HX（3）≥HX（3/XX12）

...

IX（N;XX12...Xn−1）≥0⇒HX（N）≥HX（N/XX12...Xn−1）

∴HXX（12...Xn）≤HX

（1）+HX

（2）+HX（3）++...HX（n）

2.9设有一个信源，它产生0，1序列的信息。

它在任意时间而且不论以前发生过什么符号，均按P（0）=0.4，P

（1）=0.6的概率发出符号。

（1）试问这个信源是否是平稳的？

（2）试计算H（X2）,H（X3/X1X2）及H∞；

（3）试计算H（X4）并写出X4信源中可能有的所有符号。

解：

（1）

这个信源是平稳无记忆信源。

因为有这些词语：

“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”

（2）

HX

（2）=2HX（）=−2×（0.4log0.4+0.6log0.6）=1.942bitsymbol/

HX（3/XX12）=HX（3）=−∑px（i）logpx（i）=−（0.4log0.4+0.6log0.6）=0.971bitsymbol/

i

H∞=limHX（N/XX12...XN−1）=HX（N）=0.971bitsymbol/

N−>∞

（3）

HX（4）=4HX（）=−4×（0.4log0.4+0.6log0.6）=3.884bitsymbol/

X4的所有符号：

000000010010

0011

010001010110

0111

100010011010

1011

110011011110

1111

2.10一阶马尔可夫信源的状态图如下图所示。

信源X的符号集为{0,1,2}。

（1）求平稳后信源的概率分布；

（2）求信源的熵H∞。

解：

（1）

⎧pe

（1）=pepe

（1）（1/e1）+pe

（2）（pe1/e2）

⎪

⎨pe

（2）=pe

（2）（pe2/e2）+pe（3）（pe2/e3）

⎪⎩pe（3）=pe（3）（pe3/e3）+pepe

（1）（3/e1）

⎧pe

（1）=ppe⋅

（1）+ppe⋅

（2）

⎪⎪

⎨pe

（2）=ppe⋅

（2）+ppe⋅（3）

⎪⎪⎩pe（3）=ppe⋅（3）+ppe⋅

（1）

⎧pe

（1）=pe

（2）=pe（3）

⎨

⎩pe

（1）+pe

（2）+pe（3）=1

⎧pe

（1）=1/3

⎪

⎨pe

（2）=1/3⎪⎩pe（3）=1/3

⎧px

（1）=pe

（1）（px1/e1）+pe

（2）（px1/e2）=ppe⋅

（1）+ppe⋅

（2）=（p+p）/3=1/3

⎪⎪

⎨px

（2）=pe

（2）（px2/e2）+pe（3）（px2/e3）=ppe⋅

（2）+ppe⋅（3）=（p+p）/3=1/3

⎪⎪⎩px（3）=pe（3）（px3/e3）+pepx

（1）（3/e1）=ppe⋅（3）+ppe⋅

（1）=（p+p）/3=1/3

⎡X⎤⎧012⎫

⎢PX（）⎥⎦=⎨⎩1/31/31/3⎬⎭

⎣

（2）

H

pepe（）（/e）logpe（j/ei）ij

=−⎡⎢13pe（1/e1）logpe（1/e1）+13pe（2/e1）logpe（2/e1）+13pe（3/e1）logpe（3/e1）⎣

111⎤

+3pe（/e）logpe（1/e3）+3pe（2/e3）logpe（2/e3）+3pe（3/e3）logpe（3/e3）⎦⎥

⋅

33pp3pp33pp3⎤⎥⎦

⎣

=−（p⋅logp+p⋅logpbitsymbol）/

2.11黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。

设黑色出现的概率为

P（黑）=0.3，白色出现的概率为P（白）=0.7。

（1）假设图上黑白消息出现前后没有关联，求熵H（X）；

（2）假设消息前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，

P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H2（X）;

（3）分别求上述两种信源的剩余度，比较H（X）和H2（X）的大小，并说明其物理含义。

解：

（1）

HX（）=−∑px（i）logpx（i）=−（0.3log0.3+0.7log0.7）=0.881bitsymbol/

i

（2）

⎧pe

（1）=pepe

（1）（1/e1）+pe

（2）（pe1/e2）

⎨

⎩pe

（2）=pe

（2）（pe2/e2）+pepe

（1）（2/e1）

⎧pe

（1）=0.8（pe1）+0.1（pe2）

⎨

⎩pe

（2）=0.9（pe2）+0.2（pe1）

⎧pe

（2）=2（pe1）

⎨

⎩pe

（1）+pe

（2）=1⎧pe

（1）=1/3

⎨

⎩pe

（2）=2/3

H∞=−∑∑pepe（i）（j/ei）logpe（j/ei）

ij

=−⎛⎜1×0.8log0.8+1×0.2log0.2+2×0.1log0.1+2×0.9log0.9⎞⎟

⎝3333⎠

0.553=bitsymbol/

（3）

η1=H0−H∞=log2−0.881=11.9%

H0log2

44.7%

H（X）>H2（X）

表示的物理含义是：

无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。

2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息量；（4）两个点数之和（即2,3,…,12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息量。

解：

（1）

px（i）=

×

+

×

=

Ix（i）=−logpx（i）=−log

=4.170bit

（2）

px（i）=

×

=

Ix（i）=−logpx（i）=−log

=5.170bit

（3）

两个点数的排列如下：

11121314

15

16

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11，22，33，44，55，66的概率是

其他15个组合的概率是

HX（）=−∑px（i）logpx（i）=−⎛⎜6×361log361+15×181log181⎞⎟⎠=4.337bitsymbol/i⎝

（4）

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

⎡⎢PX（X）⎤⎦⎥=⎧⎪⎪⎨⎩36121813121419536561763685919101211811112361⎫⎪⎪⎭⎬⎣

HX（）=−∑ipx（i）logpx（i）

=−⎛⎜2×1log1+2×1log1+2×1log1+2×1log1+2×5log5+1log1⎞⎟

⎝36361818121299363666⎠

3.274=bitsymbol/

（5）

px（i）=

×

×11=

Ix（i）=−logpx（i）=−log

=1.710bit

2.13某一无记忆信源的符号集为{0,1}，已知P（0）=1/4，P

（1）=3/4。

（1）求符号的平均熵；

（2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；

（3）计算

（2）中序列的熵。

解：

（1）

HX（）=−∑px（i）logpx（i）=−⎛⎜14log14+43log34⎟⎞⎠=0.811bitsymbol/i⎝

（2）

px（i）=⎛⎜14⎞⎟⎠m×⎛⎜⎝34⎟⎠⎞100−m=34100100−m

⎝

3100−m

Ix（i）=−logpx（i）=−log4100=41.5+1.585mbit

（3）

HX（100）=100HX（）=100×0.811=81.1bitsymbol/

2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求：

（1）忙闲的无条件熵；

（2）天气状态和气温状态已知时忙闲的条件熵；（3）从天气状态和气温状态获得的关于忙闲的信息。

解：

（1）

根据忙闲的频率，得到忙闲的概率分布如下：

⎡X⎤⎧⎪x1忙闲x2⎫⎪

⎢PX（）⎥⎦=⎨⎪⎩1036310340⎬⎪⎭

⎣

HX（）=−∑2px（i）logpx（i）=−⎛⎜10363log10363+10340log10340⎞⎟⎠=0.964bitsymbol/i⎝

（2）

设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z

HXYZ（）=−∑∑∑pxyz（ijk）logpxyz（ijk）

ijk

=−⎛⎜12log12+8log8+27log27+16log16

⎝103103103103103103103103

+8log8+15log15+log5+12log12⎟⎞5

103103103103103103103103⎠

=2.836bitsymbol/

HYZ（）=−∑∑pyz（jk）logpyz（jk）jk

=−⎛⎜20log20+23log23+32log32+28log28⎟⎞

⎝103103103103103103103103⎠

1.977=bitsymbol/

HXYZ（/）=HXYZ（）−HYZ（）=2.836−1.977=0.859bitsymbol/

（3）

IXYZ（;）=HX（）−HXYZ（/）=0.964−0.859=0.159bitsymbol/

2.15有两个二元随机变量X和Y，它们的联合概率为

/8

并定义另一随机变量Z=XY（一般乘积），试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）和H（XYZ）；

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）和I（X;Z/Y）。

解：

（1）

px

pxypxypx

pxypxy

HX（）=−∑px（i）logpx（i）=1bitsymbol/

i

py

pxypxypy

pxypxy

HY（）=−∑py（j）logpy（j）=1bitsymbol/

j

Z=XY的概率分布如下：

⎡Z⎤⎧⎪z1=0z2=1⎫⎪

⎢⎣PZ（）⎥⎦=⎨⎪⎩7818⎬⎪⎭

HZ（）=−∑k2pz（k）=−⎛⎜⎝78log87+81log18⎞⎟⎠=0.544bitsymbol/

px

（1）=pxz（11）+pxz（12）pxz（12）=0pxz（11）=px

（1）=0.5pz

（1）=pxz（11）+pxz（21）

pz

（2）=pxz（12）+pxz（22）

HXZ（）=−∑∑pxz（ik）logpxz（ik）=−⎛⎜12log12+83log83+81log81⎠⎟⎞=1.406bitsymbol/

ik⎝

py

（1）=pyz（11）+pyz（12）pyz（12）=0pyz（11）=py

（1）=0.5pz

（1）=pyz（11）+pyz（21）

pz

（2）=pyz（12）+pyz（22）

HYZ（）=−∑∑kpyz（jk）log