9fb884d174eeaeaad1f34693daef5ef7ba0d1216.docx
《9fb884d174eeaeaad1f34693daef5ef7ba0d1216.docx》由会员分享,可在线阅读,更多相关《9fb884d174eeaeaad1f34693daef5ef7ba0d1216.docx(145页珍藏版)》请在冰豆网上搜索。
信息论与编码陈运主编无水印完整版答案
2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:
{0,1,2,3}八进制脉冲可以表示8个不同的消息,例如:
{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息,例如:
{0,1}假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量H(X1)=logn=log4=2bit/symbol
八进制脉冲的平均信息量H(X2)=logn=log8=3bit/symbol
二进制脉冲的平均信息量H(X0)=logn=log2=1bit/symbol
所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
X
x1(是大学生)
x2(不是大学生)
P(X)
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1(身高>160cm)
y2(身高<160cm)
P(Y)
0.5
0.5
已知:
在女大学生中有75%是身高160厘米以上的
即:
p(y1/x1)=0.75bit
求:
身高160厘米以上的某女孩是大学生的信息量
即:
I(x
/y)=−logp(x
/y)=−logp(x1)p(y1/x1)=−log0.25×0.75=1.415bit
1111
p(y1)
0.5
2.3一副充分洗乱了的牌(含52张牌),试问
(1)任一特定排列所给出的信息量是多少?
(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?
解:
(1)52张牌共有52!
种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
p(xi)=
1
52!
I(xi)=−logp(xi)=log52!
=225.581bit
(2)52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:
p(xi)=
413
C
13
52
13
413
I(xi)=−logp(xi)=−log
=13.208bit
C
52
⎡X⎤
⎧x=0
x=1x=2
x=3⎫
2.4设离散无记忆信源⎢
⎥=⎨123
4⎬,其发出的信息为
⎣P(X)⎦
⎩3/8
1/4
1/4
1/8⎭
(202120130213001203210110321010021032011223210),求
(1)此消息的自信息量是多少?
(2)此消息中平均每符号携带的信息量是多少?
解:
(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:
1
1425
3
⎛⎞⎛⎞
6
⎛1⎞
p=⎜
⎟×⎜
⎟×⎜⎟
⎝8⎠
⎝4⎠
⎝8⎠
此消息的信息量是:
I=−logp=87.811bit
(2)此消息中平均每符号携带的信息量是:
I/n=87.811/45=1.951bit
2.5从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一
位男士:
“你是否是色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少
信息量,平均每个回答中含有多少信息量?
如果问一位女士,则答案中含有的平均自信息量
是多少?
解:
男士:
p(xY)=7%
I(xY)=−logp(xY)=−log0.07=3.837
p(xN)=93%
bit
I(xN)=−logp(xN)=−log0.93=0.105bit
2
H(X)=−∑p(xi)logp(xi)=−(0.07log0.07+0.93log0.93)=0.366bit/symbol
i
女士:
2
H(X)=−∑p(xi)logp(xi)=−(0.005log0.005+0.995log0.995)=0.045bit/symbol
i
⎡X⎤⎧xxxxxx⎫
2.6设信源⎢
⎥=⎨12345
6⎬,求这个信源的熵,并解释为什么
⎣P(X)⎦
⎩0.2
0.19
0.18
0.17
0.16
0.17⎭
H(X)>log6不满足信源熵的极值性。
解:
6
H(X)=−∑p(xi)logp(xi)
i
=−(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)
=2.657bit/symbol
H(X)>log26=2.585
6
不满足极值性的原因是∑p(xi)=1.07>1。
i
2.7证明:
H(X3/X1X2)≤H(X3/X1),并说明当X1,X2,X3是马氏链时等式成立。
证明:
H(X3/X1X2)−H(X3/X1)
=−∑∑∑p(xi1xi2xi3)logp(xi3/xi1xi2)+∑∑p(xi1xi3)logp(xi3/xi1)
i1i2i3
i1i3
=−∑∑∑p(xi1xi2xi3)logp(xi3/xi1xi2)+∑∑∑p(xi1xi2xi3)logp(xi3/xi1)
i1i2
=
i3
p(xx
x)log
p(xi3/xi1)
i1i2i3
∑∑∑
i1i2i3
i1i2i3
p(xi3/xi1xi2)
≤∑∑∑
p(xi1
xi2
⎛
xi3)⎜
p(xi3/
xi1)
⎞
−1⎟log2e
i1i2i3
⎛
⎜⎟
p(x/xx)
⎝i3i1i2⎠
⎞
=⎜∑∑∑p(xi1xi2)p(xi3/xi1)−∑∑∑p(xi1xi2xi3)⎟log2e
⎝i1i2i3
⎛⎡
i1i2i3⎠
⎤⎞
=⎜∑∑p(xi1xi2)⎢∑p(xi3/xi1)⎥−1⎟log2e
⎝i1i2
=0
⎣i3⎦⎠
∴H(X3/X1X2)≤H(X3/X1)
当p(xi3/xi1)
p(xi3/xi1xi2)
−1=0时等式等等
⇒p(xi3/xi1)=p(xi3/xi1xi2)
⇒p(xi1xi2)p(xi3/xi1)=p(xi3/xi1xi2)p(xi1xi2)
⇒p(xi1)p(xi2/xi1)p(xi3/xi1)=p(xi1xi2xi3)
⇒p(xi2/xi1)p(xi3/xi1)=p(xi2xi3/xi1)
∴等式等等的等等是X1,X2,X3是马_氏链
2.8证明:
H(X1X2。
。
。
Xn)≤H(X1)+H(X2)+…+H(Xn)。
证明:
H(X1X2...Xn)=H(X1)+H(X2/X1)+H(X3/X1X2)+...+H(Xn/X1X2...Xn−1)
I(X2;X1)≥0
I(X3;X1X2)≥0
...
⇒H(X2)≥H(X2/X1)
⇒H(X3)≥H(X3/X1X2)
I(XN;X1X2...Xn−1)≥0
⇒H(XN)≥H(XN/X1X2...Xn−1)
∴H(X1X2...Xn)≤H(X1)+H(X2)+H(X3)+...+H(Xn)
2.9设有一个信源,它产生0,1序列的信息。
它在任意时间而且不论以前发生过什么符号,
均按P(0)=0.4,P
(1)=0.6的概率发出符号。
(1)试问这个信源是否是平稳的?
(2)试计算H(X2),H(X/XX)及H;
312∞
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。
因为有这些词语:
“它在任.意.时.间.而且不.论.以.前.发.生.过.什.么.符.号.……”
(2)
H(X2)=2H(X)=−2×(0.4log0.4+0.6log0.6)=1.942bit/symbol
H(X3/X1X2)=H(X3)=−∑p(xi)logp(xi)=−(0.4log0.4+0.6log0.6)=0.971bit/symbol
i
H∞=limH(XN/X1X2...XN−1)=H(XN)=0.971bit/symbol
N−>∞
(3)
H(X4)=4H(X)=−4×(0.4log0.4+0.6log0.6)=3.884bit/symbol
X4的所有符号:
0000
0100
1000
1100
0001
0101
1001
1101
0010
0110
1010
1110
0011
0111
1011
1111
2.10一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0,1,2}。
(1)求平稳后信源的概率分布;
(2)求信源的熵H∞。
解:
(1)
⎧p(e1)=p(e1)p(e1/e1)+p(e2)p(e1/e2)
⎪
⎪
⎨p(e2)=p(e2)p(e2/e2)+p(e3)p(e2/e3)
⎩p(e3)=p(e3)p(e3/e3)+p(e1)p(e3/e1)
⎧p(e1)=p⋅p(e1)+p⋅p(e2)
⎪
⎨p(e2)=p⋅p(e2)+p⋅p(e3)
⎪
⎪⎩p(e3)=p⋅p(e3)+p⋅p(e1)
⎧p(e1)=p(e2)=p(e3)
⎨
⎩p(e1)+p(e2)+p(e3)=1
⎧p(e1)=1/3
⎪
⎪
⎨p(e2)=1/3
⎩p(e3)=1/3
⎧p(x1)=p(e1)p(x1/e1)+p(e2)p(x1/e2)=p⋅p(e1)+p⋅p(e2)=(p+p)/3=1/3
⎪
⎨p(x2)=p(e2)p(x2/e2)+p(e3)p(x2/e3)=p⋅p(e2)+p⋅p(e3)=(p+p)/3=1/3
⎪
p(x3)=p(e3)p(x3/e3)+p(e1)p(x3/e1)=p⋅p(e3)+p⋅p(e1)=(p+p)/3=1/3
⎡X⎤⎧012⎫
⎢⎥=⎨⎬
⎣P(X)⎦
(2)
⎩1/3
1/3
1/3⎭
33
H∞=−∑∑p(ei)p(ej/ei)logp(ej/ei)
ij
=−⎡1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)
311
11321
2133131
+1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)
312
12322
2233232
+1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)+1p(e
/e)logp(e
/e)⎤
313
13323
2333333
=−⎡1⋅p⋅logp+1⋅plogp+1⋅p⋅logp+1⋅p⋅logp+1⋅p⋅logp+1⋅p⋅logp⎤
333
333
=−(p⋅logp+p⋅logp)bit/symbol
2.11黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。
设黑色出现的概率为
P(黑)=0.3,白色出现的概率为P(白)=0.7。
(1)假设图上黑白消息出现前后没有关联,求熵H(X);
(2)假设消息前后有关联,其依赖关系为P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,
P(黑/黑)=0.8,求此一阶马尔可夫信源的熵H2(X);
(3)分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。
解:
(1)
H(X)=−∑p(xi)logp(xi)=−(0.3log0.3+0.7log0.7)=0.881bit/symbol
i
(2)
⎧p(e1)=p(e1)p(e1/e1)+p(e2)p(e1/e2)
⎨
⎩p(e2)=p(e2)p(e2/e2)+p(e1)p(e2/e1)
⎧p(e1)=0.8p(e1)+0.1p(e2)
⎨
⎩p(e2)=0.9p(e2)+0.2p(e1)
⎧p(e2)=2p(e1)
⎨
⎩p(e1)+p(e2)=1
⎧p(e1)=1/3
⎨
⎩p(e2)=2/3
H∞=−∑∑p(ei)p(ej/ei)logp(ej/ei)
ij
=−⎜1×0.8log0.8+1×0.2log0.2+2×0.1log0.1+2×0.9log0.9⎟
⎛
⎝33
=0.553bit/symbol
⎞
33⎠
(3)
η1
η1
=H0−H∞
H0
=H0−H∞
H0
=log2−0.881=11.9%
log2
=log2−0.553=44.7%
log2
H(X)>H2(X)表示的物理含义是:
无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。
2.12同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1)“3和5同时出现”这事件的自信息;
(2)“两个1同时出现”这事件的自信息;
(3)两个点数的各种组合(无序)对的熵和平均信息量;
(4)两个点数之和(即2,3,…,12构成的子集)的熵;
(5)两个点数中至少有一个是1的自信息量。
解:
(1)
()=1×1+1×1=1
pxi
666618
1
I(xi)=−logp(xi)=−log
18
=4.170bit
(2)
(
)=1×1=1
pxi
6636
1
I(xi)=−logp(xi)=−log
36
=5.170bit
(3)
两个点数的排列如下:
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合:
其中11,22,33,44,55,66的概率是
1×1=1
6636
其他15个组合的概率是2×
1×1=1
6618
⎛11
11⎞
H(X)=−∑p(xi)logp(xi)=−⎜6×
log
+15×
log
⎟=4.337
bit/symbol
i⎝3636
1818⎠
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
⎡X⎤⎧⎪2
=1
34567
11151
8910
511
1112⎫
11
⎪
⎢⎥⎨⎬
⎣P(X)⎦
361812
936
636
9121836
H(X)=−∑p(xi)logp(xi)
i
⎛
=−⎜2×
1log1
+2×1log1
+2×1log1
+2×1log1+2×
5log5
+1log1⎟
⎝3636
1818
121299
363666⎠
=3.274bit/symbol
(5)
(
)=1×1×
=11
pxi
11
6636
11
I(xi)=−logp(xi)=−log
36
=1.710bit
2.13某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P
(1)=3/4。
(1)求符号的平均熵;
(2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100-m)个“1”)
的自信息量的表达式;
(3)计算
(2)中序列的熵。
解:
(1)
ii⎜
H(X)=−∑p(x)logp(x)=−⎛1
log1+
3log
3⎞
⎞
⎟=0.811bit/symbol
i⎝4444⎠
(2)
m
⎛1⎞
100−m
3
⎛⎞
3100−m
p(xi)=⎜
⎟×⎜⎟
=
100
⎝4⎠
⎝4⎠
4
3100−m
I(xi)=−logp(xi)=−log
4100
=41.5+1.585m
bit
(3)
H(X100)=100H(X)=100×0.811=81.1bit/symbol
2.14对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,
调查结果得联合出现的相对频度如下:
若把这些频度看作概率测度,求:
(1)忙闲的无条件熵;
(2)天气状态和气温状态已知时忙闲的条件熵;
(3)从天气状态和气温状态获得的关于忙闲的信息。
解:
(1)
根据忙闲的频率,得到忙闲的概率分布如下:
⎡X⎤
⎧x1忙
x2闲⎫
⎬
⎢P(X)
⎪
⎥=⎨63
40⎪
⎣⎦103
2
103
⎛63
6340
40⎞
H(X)=−∑p(xi)logp(xi)=−⎜103log103+103log103⎟=0.964bit/symbol
i⎝⎠
(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
H(XYZ)=−∑∑∑p(xiyjzk)logp(xiyjzk)
ijk
⎛
=−⎜12log12+
8log8
+27log27
⎞
+16log16
⎝103
103
103
103
103