信源及信源熵习题问题详解.docx

资源描述

信源及信源熵习题问题详解.docx

《信源及信源熵习题问题详解.docx》由会员分享，可在线阅读，更多相关《信源及信源熵习题问题详解.docx（41页珍藏版）》请在冰豆网上搜索。

信源及信源熵习题问题详解.docx

信源及信源熵习题问题详解

第二章：

2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?

解：

四进制脉冲可以表示

八进制脉冲可以表示

二进制脉冲可以表示

4个不同的消息，例如

8个不同的消息，例如

2个不同的消息，例如

{0,1,2,3}

{0,1,2,3,4,5,6,7}

{0,1}

四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：

假设每个消息的发出都是等概率的，则:

H（X1）=log2n=log24=2bit/symbol

H（X2）=log2n=log28=3bit/symbol

H（X0）=log2n=log22=1bit/symbol

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2居住某地区的女孩子有25淞大学生，在女大学生中有75艰身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量

X代表女孩子学历

X1（是大学生）

X2（不是大学生）

P（X）

0.25

0.75

设随机变量

Y代表女孩子身高

y1（身高>160cm）

y2（身高<160cm）

P（Y）

0.5

已知：

在女大学生中有75%是身高160厘米以上的

即：

p（y1/X1）=0.75

求：

身高160厘米以上的某女孩是大学生的信息量

即：

1（为/%）logp^/yj

P（X1）p（%/X1）

P（yJ

log2

0.250.75

0.5

1.415bit

2.3一副充分洗乱了的牌（含52牌），试问

（0）任一特定排列所给出的信息量是多少？

⑵若从中抽取13牌，所给出的点数都不相同能得到多少信息量？

解：

（1）52牌共有52!

种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:

1（xjlogp（xi）log252!

225.581bit

⑵52牌共有4种花色、13种点数，抽取13点数不同的牌的概率如下：

413

p（Xi）百

C52

413

I（X）log2p（Xi）g—13.208bit

C52

2.4设离散无记忆信源

P（X）

x-!

0x21x32x43

3/81/41/41/8

其发出的信息为

（202120130213001203210110321010021032011223210）求

（1）此消息的自信息量是多少？

（2）此消息中平均每符号携带的信息量是多少？

解：

（1）此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:

256

此消息的信息量是：

Ilog2p87.811bit

（2）此消息中平均每符号携带的信息量是：

I/n87.811/451.951bit

2.5从大量统计资料知道，男性中红绿色盲的发病率为7%女性发病率为0.5%，如果你问一

位男士：

“你是否是色盲？

”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？

如果问一位女士，则答案中含有的平均自信息量是多少？

解：

男士：

P（Xy）7%

I（xY）log2p（xY）log20.073.837bit

P（Xn）93%

I（xN）log2p（xN）log20.930.105bit

H（X）p（^）log2p（xi）（0.07log20.070.93log20.93）0.366bit/symbol

女士：

H（X）p（Xi）log2p（Xi）（0.005log2。

.0050.995log20.995）0.045bit/symbol

2.6设信源XX1X2X3X4X5X6，求这个信源的熵，并解释为什么

P（X）0.20.190.180.170.160.17

H（X）>log6不满足信源熵的极值性。

解：

H（X）p（Xi）log2p（Xi）

（0.2log20.20.19log20.190.18log20.180.17log20.170.16log20.160.17log20.17）

2.657bit/symbol

H（X）log262.585

不满足极值性的原因是p（xj1.071。

p（XiiXi2为3）logp（Xj3/Xi&）

i1i2i3

P（XiiXi2^3）logp（Xj3/Xi&）

i1i2i3

P（XiXi2Xi3）log

卩（冷人2洛3）

i2i3

P（Xi3/Xl）

P（为3/XiXi2）

P（Xi3/Xii）

P（Xi3/Xi&）

ilog2e

P（Xi&）p（Xi3/Xii）

iii2i3

p（XiiXi2冷）log2e

i2i3

2.7证明：

H（XXiX2）

证明：

H（Xs/X,X2）H（X3/XJ

p（XiiXi3）logp（&/XiJ

p（XiK2Xi3）log卩以彳/冷）

i2i3

p（XiXi2）p（Xi3/Xi）ilog2e

iii2i3

H（X3/XiX2）H（X3/Xi）

当P（Xi3/Xii）i0时等式成立

P（Xi3/Xi&）

P（X3/Xii）卩（冷/凶必2）

p（Xi&）P（Xi3/xGp（Xi3/Xi&）p（XiiN2）

P（Xi）P（K2/Xii）P（Xi3/Xii）p（Xi&Xi3）

P（X2/Ni）P（Xi3/Ni）P（Xi2^3/Xi）

等式成立的条件是Xi,X2,X3是马_氏链

2.8证明：

H（Xi人…X）

证明：

H（XiX2...XN）H（Xi）H（X2/Xi）H（X3/XiX2）...H（Xn/XiX2...XNi）

I（X2;Xi）0H（X2）H（X2/Xi）

l（X3；XiX2）0H（X3）H（X3/XiX2）

I（Xn；XiX2...Xni）0

H（Xn）H（Xn/XiX2...Xni）

H（XiX2...Xn）

H（Xi）H（X2）H（X3）...H（Xn）

2.9设有一个信源，它产生0,i序列的信息。

它在任意时间而且不论以前发生过什么符号均按P（0）=0.4，P（i）=0.6的概率发出符号。

（i）试问这个信源是否是平稳的？

⑵试计算H（X"）,H（X3/XiX）及I+;

（3）试计算出乂）并写出X4信源中可能有的所有符号。

解：

（i）

这个信源是平稳无记忆信源。

因为有这些词语：

“它在任意时间而且不论以前发生过什么符号……”

H（X）2H（X）2（0.4log20.40.6log20.6）1.942bit/symbol

Hg/XiXz）Hg）p（Xi）log2p（Xi）（0.4log20.40.6log20.6）0.971bit/symbol

HH（X）0.971bit/symbol

⑶

H（X）4H（X）4（0.4log20.40.6log20.6）3.884bit/symbol

X4的所有符号：

0000

0001

0010

0011

0100

0101

0110

0111

1000

1001

1010

1100

1101

1110

1111

1011

2.10一阶马尔可夫信源的状态图如下图所示。

信源X的符号集为{0,1,2}

（1）求平稳后信源的概率分布；

⑵求信源的熵讯。

解:

（1）

p（e）卩的卩⑥/巴）p6）p（e/曳）

P6）

p（e2）p（e2/e2）p（ejp（e2/氏）

PG）

p（es）p（e3/e3）p（e）p（e3/ej

PG）

PP（eJPPG）

P6）

PPG）pPG）

P（e3）

PP（e3）pp（e）

PG）

P（e2）PG）

PG）

pG）p（e3）1

P（e）

1/3

P6）

1/3

PG）

1/3

P（xJ

P（ei）p（x1/ej

POP%6）

P（X2）

p（e2）p（X2/e2）

p（e3）p（X2/e3）

P（X3）

p（es）p（X3/es）

p（e1）p（X3/eJ

012

P（X）

1/31/31/3

PP（eJ

PPG）

（P

P）/3

1/3

PPG）

（P

P）/3

1/3

PPG）

PP（eJ

（P

P）/3

1/3

（2）

HP（e）PG/ejlogp（ej/e）

3pG/eJlog?

p®/©）

-P（e2/©）log2P（e2/e）

3pG/e）log2P（e3/e）

3p（e/e2）log2P（0/e2）

3P（e2/e2）log2P（e2/e2）

3P（Q/e2）log?

P（f/e2）

严/沁…）

3P（e2/e3）bg2P（e2/e3）

-p（e3/e3）log2p（e3/e3）

3Plog2p

3plog2p

3Plog2p

Plog2p

plog2pbit/symbol

2.11黑白气象传真图的消息只有黑色和白色两种，即信源X=｛黑，白｝。

设黑色出现的概率为

P（黑）=0.3，白色出现的概率为P（白）=0.7。

（1）假设图上黑白消息出现前后没有关联，求熵H（X）；

（2）假设消息前后有关联，其依赖关系为P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，

P（黑/黑）=0.8，求此一阶马尔可夫信源的熵H（X）;

（3）分别求上述两种信源的剩余度，比较H（X）和H（X）的大小，并说明其物理含义。

解：

（1）

H（X）p（Xi）logp（Xi）（0.3log0.30.7log0.7）log2100.881bit/symbol

pG）

pG）p（eg）

p（e2）p（e/q）

pG）

p（e0p（e2/e2）

p（e）p（e2/e）

pG）

0.8p（ei）0.1p（e2）

P（e2）

0.9p（e2）0.2p（ei）

P（e2）

2p（e）

PG）

P@）1

PG）

1/3

P（e2）

2/3

HP（e）pG/ei）logpG/e）

0.8log0.8

0.2log0.2

0.1log0.1

0.9log0.9）log210

0.553bit/symbol

HoH

log220.881

log22

11.9%

HoH

也12***6°.55344.7%

log22

H（X）>H2（X）

表示的物理含义是：

无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多,能够进行较大程度的压缩。

2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求:

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息量;

（4）两个点数之和（即2,3,

（5）两个点数中至少有一个是

解：

（1）

…，12构成的子集）的熵;

1的自信息量。

5.170bit

H（X）

P（Xi）logp（Xi）

（6丄log丄

3636

15*log£）log210

1818

4.337bit/symbol

P（Xi）

l（Xi）

log2

P（Xi）

log2丄

⑵

P（Xi）

4.170bit

I（Xi）log2p（Xi）log2—

⑶

两个点数的排列如下:

共有21种组合：

⑷

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下:

12丄36

11丄18

10丄12

91-9

85一36

71-6

65一36

51-9

4丄12

3丄18

2丄36x（x

H（X）

p（x）logp（x）

（2

111

log2log

36361818

^log12

—log—-log-）log210

363666

3.274bit/symbol

（5）

P（Xi）

I（Xi）log2p（Xi）log21.710bit

2.13某一无记忆信源的符号集为｛0,1｝，已知P（0）=1/4,P

（1）=3/4。

（1）求符号的平均熵；

（2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m个“1”）的自信息量的表达式；

（3）计算⑵中序列的熵。

解：

（1）

H（X）

p（X）logp（Xi）

1133

（4log4;log;）log2100.811bit/symbol

（2）

1p（Xi）-

100m

100

41.51.585mbit

3100m

I（Xi）log2p（Xi）log2R

H（X100）

（3）

100H（X）1000.81181.1bit/symbol

2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态,调查结果得联合出现的相对频度如下：

1—暖8

忙

1—暖15

闲

厂冷27

雨

厂冷5

雨

1—暖16

（1）忙闲的无条件熵；

（2）天气状态和气温状态已知时忙闲的条件熵；

（3）从天气状态和气温状态获得的关于忙闲的信息

解：

（1）

根据忙闲的频率，得到忙闲的概率分布如下：

P（X）

H（X）

x/亡x2闲

6340

103103

p（x）

竺g竺

103103

0.964bit/symbol

（2）

设忙闲为随机变量

X,天气状态为随机变量

Y,气温状态为随机变量

H（XYZ）p（XiyjZk）log2p（XiyjZk）

ijk

103

log2

103

27271616

log2log2-

103103103103

103

dog2

103

log2

103

I（X;YZ）H（X）H（X/YZ）

0.9640.859

0.159bit/symbol

2.836bit/symbol

H（YZ）

P（yjZjog

2p（yjZk）

20,

2023,

28,

log2

103

103103

103

1.977bit/symbol

H（X/YZ）

H（XYZ）H（YZ）

2.836

1.977

0.859bit/symbol

2.15有两个二元随机变量X和丫，它们的联合概率为

Yf'-X-、

X1=0

X2=1

y1=0

1/8

3/8

y2=1

3/8

1/8

并定义另一随机变量Z=XY（一般乘积），试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）和H（XYZ）；

（2）

和H（Z/XY）；

H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）

⑶l（X;Y）,l（X;Z）,l（Y;Z）,l（X;Y/Z）,l（Y;Z/X）和I（X;Z/Y）。

解：

（1）

131

p（xjp（x°1）p（x』2）

882

P（X2）

311

p（X2%）p（X2y2）

882

H（X）P（N）log2p（xi）1bit/symbol

131

P（yi）P（xy）pXyJ

882

311

p（y2）p（x』2）P（x2y2）

882

H（Y）P（yj）log2p（yj）1bit/symbol

Z=XY的概率分布如下:

P（Z）

H（Z）

乙0z21

P（Zk）

7log27

1log2-1

0.544bit/symbol

p（xj

pg）

P（X1Z2）

P&1Z2）

P&1Z1）

P（xJ

0.5

P（Z1）

P&1Z1）

P（X2Zj

P（zJ

PE）|

0.5-

P（Z2）

P（X1Z2）

P（X2Z2）

P&2Z2）

PZ）

H（XZ）

p（XiZk）log2

P（XiZk）

p（y1）

PW1Z1）

p（yz）

PW1Z2）

pg）

p（w）

0.5

P（zJ

PW1Z1）

PW2Z1）

PM"

P（zJ

PW）7

0.5-

P（Z2）

PW1Z2）

PW2Z2）

P（Z2）

H（YZ）

p（yjZk）log2

p（yjZk）

（2log2

3,31,1

—log2——log2—

8888

1.406bit/symbol

（1log21

3log2?

-log21）

1.406bit/symbol

p（x』Z2）0

P（X°2Z2）0

P（X2%Z2）0

P（Xi%Zi）P（Xi%Z2）P（X』1）

P（X』Zi）卩（2乙）

卩（2乙）

P（Xiyi）1/8

卩（为％乙）P（XiZi）

113

P（XiZi）P（XiyiZi）

288

p（X2%Zi）p（X2yiZ2）P（X2yi）

P（X2yiZi）P（X2yi）8

P（X2y2Zi）0

P（X2y2Zi）卩&2丫2乙2）P（X2y2）

P（X2y2Z2）

P（x2y2）8

H（XYZ）P（XiyjZk）log2P（XyjZk）

ijk

1.811bit/symbol

⑵

H（XY）

p（W）log2P（Xiyj）

i,i3,3

log2log2-

8888

3,31,1

log2log

8888

bog?

8U28

3333

-log2log-

8y288y28

bog?

〕

8U28

1.811

bit/symbol

H（X/YZ）H（XYZ）

H（Y/XZ）H（XYZ）

H（Z/XY）H（XYZ）

H（YZ）1.8111.406

H（XZ）1.8111.406

H（XY）1.8111.811

0.405bit/symbol

0bit/symbol

H（X/Y）

H（XY）

H（Y）

1.811

10.811bit/symbol

H（Y/X）

H（XY）

H（X）

1.811

10.811bit/symbol

H（X/Z）

H（XZ）

H（Z）

1.406

0.5440.862bit/symbol

H（Z/X）

H（XZ）

H（X）

1.406

10.406bit/symbol

H（Y/Z）

H（YZ）

H（Z）

1.406

0.5440.862bit/symbol

H（Z/Y）

H（YZ）

H（Y）

1.406

10.406bit/symbol

⑶

I（X;Y）H（X）H（X/Y）10.8110.189bit/symbol

I（X;Z）H（X）H（X/Z）10.8620.138bit/symbol

I（Y;Z）H（Y）H（Y/Z）10.8620.138bit/symbol

I（X;Y/Z）H（X/Z）H（X/YZ）0.8620.4050.457bit/symbol

I（Y;Z/X）H（Y/X）H（Y/XZ）0.8620.4050.457bit/symbol

I（X;Z/Y）H（X/Y）H（X/YZ）0.8110.4050.406bit/symbol

H（X）

2.16有两个随机变量X和丫，其和为Z=X+丫（一般加法），若X和丫相互独立，求证:

证明：

p（Zk/x）P（ZkXi）

p（yj）（Zk^）Y

0（ZkXi）丫

P（x）p（Zk/x）log2p（Zk/Xi）

x，求H=（X），并

Hc（X）

p（X）log2p（x）dx

p（x）log2*

|Xdx

log

展开阅读全文