信息理论与编码参考答案docx.docx
《信息理论与编码参考答案docx.docx》由会员分享，可在线阅读，更多相关《信息理论与编码参考答案docx.docx（50页珍藏版）》请在冰豆网上搜索。
信息理论与编码参考答案docx
一副充分洗乱的牌（含52），：
（1）任一特定排列所出的不确定性是多少
（2）随机抽取13牌，13牌的点数互不相同的不确定性是多少
解：
（1）52扑克牌可以按不同的序排列，所有可能的不同排列数就是全排列种数，
P5252
52
8.066
1067
因扑克牌充分洗乱，
任一特定排列出的概率相等，
事件A任一特定排列，其生
概率
PA
1
1.24
1068
52
可得，排列生所出的信息量
IA
log2P
A
log252
225.58bit
67.91dit
（2）事件B从中抽取
13牌，所出的点数互不相同。
扑克牌52中抽取
13，不考排列序，共有
C5213
种可能的合。
13牌点数
互不相同意味着点数包括
A，2，⋯，K，而每一种点数有
4种不同的花色意味着每个点数可
以取4中花色。
所以
13牌中所有的点数都不相同的合数
413。
因每种合都是等
概率生的，所以
P
B
413
413
1339
1.0568104
C5213
52
生事件B所得到的信息量
IB
logPB
log
413
13.208bit
2C5213
3.976dit
在一只布袋中装有
100只人手的感完全相同的木球，
每只上涂有
1种色。
100
只球的色有下列三种情况：
（1）色球和白色球各50只；
（2）色球99只，白色球1只；
（3），黄，，白色各25只。
求从布袋中随意取出一只球，猜其色所需要的信息量。
解：
猜木球色所需要的信息量等于木球色的不确定性。
令
R——“取到的是球”，W——“取到的是白球”，
Y——“取到的是黄球”，B——“取到的是球”。
（1）若布袋中有色球和白色球各50只，即
PR
PW
50
1
100
2
1
IRI
W
log22
log221bit
（2）若布袋中色球99只，白色球1只，即
P
R
99
0.99
PW
1
0.01
100
100
则
I
R
log2P
R
log20.99
0.0145bit
I
W
log2PW
log20.01
6.644
bit
（3）若布袋中有红，黄，蓝，白色各
25只，即
PR
PY
PB
PW
25
1
100
4
则
1
I
R
I
Y
I
B
IW
log24
2bit
设信源为
X
x1
x2
x3
x4
x5
x6
PX
0.2
0.19
0.18
0.17
0.16
0.17
6
6
求
Pxilog2
P
xi，井解释为什么
P
xi
log2
P
xi
log26，不满足信源熵的
i
i
极值性。
6
解：
P
xi
log2
P
xi
i
0.2log20.2
0.19log20.190.18log20.18
0.17log20.17
0.16log20.160.17log20.17
2.657bit/symbol
6
i
P
xi
log2
P
xi
log2
6
2.585
6
不满足极值性的原因是
P
xi
1.07
1，不满足概率的完备性。
i
大量统计表明，男性红绿色盲的发病率为7%，女性发病率为%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量
（2）平均每个回答中含有多少信息量
（3）如果你问一位女同志，则答案中含有的平均信息量是多少
解：
对于男性，是红绿色盲的概率记作Pa17%，不是红绿色盲的概率记作
Pa293%，这两种情况各含的信息量为
I
a1
log2
1P
a1
log2
100
3.83bit
7
I
a2
log2
1P
a2
log2
100
0.105bit
93
平均每个回答中含有的信息量为
HAPa1I（a1）Pa2I（a2）
7
3.83
93
0.105
100
100
0.366bit/回答
对于女性，是红绿色盲的概率记作Pb1
0.5%，不是红绿色盲的记作
Pb299.5%，则平均每个回答中含有的信息量为
HB
Pb1I（b1）Pb2I（b2）
5
log2
1000
995
log2
1000
1000
5
1000
995
0.045
bit/
回答
H
A
H
B
联合熵和条件熵
任意三个离散随机变量
X、Y和Z，求证：
H（XYZ）H（XY）H（XZ）H（X）。
证明：
方法一：
要证明不等式HX,Y,ZHX,YHZ,XHX成立，等
价证明下式成立：
HX,Y,ZHX,YHX,ZHX0
根据熵函数的定义
HX,Y,ZHX,YHX,ZHX
p
xiyj
zk
logp
xiyjzk
p
xi
yj
zklogpxiyj
X
Y
Z
X
Y
Z
p
xi
yjzk
logp
xizk
p
xiyjzk
logpxi
X
Y
Z
X
Y
Z
p
xiyj
zk
p
xiyjzk
p
xi
log
pxizk
X
Y
Z
pxiyj
loge
p
x
y
z
p
xiyj
p
xizk
（信息论不等式）
1
X
Y
Z
i
jk
pxiyjzk
pxi
loge
p
xi
yj
pxizk
p
xiyjzk
p
xi
X
Y
Z
X
Y
Z
loge
p
yj
|xi
p
xizk
p
xi
yjzk
X
Y
Z
X
Y
Z
loge
1
1
0
所以
HX,Y,ZHX,YHX,ZHX
等号成立的条件为
p
xiyj
pxi
zk
p
xi
pxi
yjzk
得证
方法二：
因为
H（XYZ）H（XY）H（Z|XY）
H（XZ）H（X）H（Z|X）
所以，求证不等式等价于
H（Z|XY）H（Z|X）
因为条件多的熵不大于条件少的熵，上式成立，原式得证。
设随机变量X{x1,x2}{0,1}和Y{y1,y2}{0,1}的联合概率空间为
XY
（x1,y1）
（x1,y2）
（x2,y1）
（x2,y2）
PXY
18
38
38
18
定义一个新随机变量
Z
XY（普通乘积）。
（1）计算熵H（X）、H（Y）、H（Z）、H（XZ）、H（YZ）以及H（XYZ）；
（2）计算条件熵H（X|Y）、H（Y|X）、H（X|Z）、H（Z|X）、H（Y|Z）、H（Z|Y）、
H（X|YZ）、H（Y|XZ）以及H（Z|XY）；
（3）计算互信息量I（X;Y）、I（X;Z）、I（Y;Z）、I（X;Y|Z）、I（Y;Z|X）以及
I（X;Z|Y）；
解
（1）px0
px0,y0
1
3
1
px0,y1
8
2
1
8
px
1
1
p
x
0
2
H
X
Pxi
logPxi1bit/symbol
i
py0
px0,y0
1
3
1
px1,y0
8
2
1
8
py
1
1
p
y
0
2
H
Y
p
yjlogp
yj
1bit/symbol
j
P（z
0）
P（xy
00）
P（xy
01）
P（xy
1
3
3
7
10）
8
8
8
7
1
8
P（z
1）
1
P（z
0）
1
8
8
可得Z
XY的概率空间如下
Z
z
0
z
1
7
1
P（Z）
8
8
2
7
7
1
1
H（Z）
p（zk）
log
log
）
0.544bit/symbol
K
8
8
8
8
由p（xz）
p（x）p（zx）得
p（x0,z
0）
p（x
0）p（z
0x
0）
1
1
1
2
2
p（x
0,z
1）
p（x
0）p（z
1x
0）
10
0
2
p（x
1,z
0）
p（x
1）p（z
0x
1）
p（x
1）p（y
0x
1）
p（x
1,y
3
0）
8
p（x
1,z
1）
p（x
1）p（z
1x
1）
p（x
1）p（y
1x
1）
p（x
1,y
1
1）
8
H（XZ）
p（xizk）
1
1
3
3
1
1
1.406bit/symbol
log
2
log
8
log
8
i
k
2
8
8
由对称性可得
H（YZ）
1.406bt/symbol
由p（xyz）
p（xy）p（zxy）,又p（zxy）或者等于1，或者等于0.
p（x
0,y
0,z
0）
p（x
0,y
0）p（z
0x
0,y
0）
p（x
0,y
1
0）1
8
p（x
0,y
0,z
1）
p（x
0,y
0）p（z
1x
0,y
0）
1
0
0
8
p（x
0,y
1,z
0）
p（x
0,y
1）p（z
0x
0,y
1）
p（x
0,y
3
1）1
8
p（x
0,y
1,z
1）
p（x
0,y
1）p（z
1x
0,y
1）
3
0
0
8
p（x
1,y
0,z
0）
p（x
1,y
0）p（z
0x
1,y
0）
p（x
1,y
3
0）1
8
p（x
1,y
0,z
1）
p（x
1,y
0）p（z
1x
1,y
0）
3
0
0
8
p（x
1,y
1,z
0）
p（x
1,y
1）p（z
0x
1,y
1）
1
0
0
8
p（x
1,y
1,z
1）
p（x
1,y
1）p（z
1x
1,y
1）
p（x
1
1,y1）1
8
H（XYZ）
p（xiyjzk）
log2p（xi
yjzk）
i
j
k
1log1
3log3
3log3
1log1
1.811
bit/symbol
8
8
8
8
8
8
8
8
（2）
HXY
-
1log1
3log3
3log3
1log1
1.811bit/symbol
8
8
8
8
8
8
8
8
HX/Y=HXY-HY
1.811
1
0.811bit/symbol
根据对称性，
HY/X=HX|Y0.811bit/symbol
HX/Z=HXZ
HZ/X=HXZ
-H
Z
1.406
0.5440.862bit/symol
-H
X
1.406
10.406bit/symol
根据对称性，
HY/Z
=HX/Z
0.862bit/symbol
HZ/Y
=HZ/X
0.406bit/symol
HX/YZ
=HXYZ
-HYZ
1.811
1.406
0.405bit/symol
根据对称性，把
X和Y互换得
HY/XZ
=HX/YZ
0.405bit/symbol
HZ/XY
=HXYZ
-H
XY
1.811
1.811
0bit/symol
（3）
I
X;Y
H
X
H
X/Y
1
0.811
0.189bit/symbol
I
X;Z
H
X
H
X/Z
1
0.862
0.138bit/symbol
根据对称性，得
IY;Z
I
X;Z0.138bit/symbol
I
X;Y/Z
H
X/Z
H
X/YZ
0.862
0.405
0.457bit/symbol
I
Y;Z/X
H
Y/X
H
Y/XZ
0.811
0.405
0.406bit/symbol
根据对称性得
I
X;Z/Y
I
Y;Z/X
0.406bit/symbol
设信源发出二次扩展消息
xi
yi,其中第一个符号为A、B、C三种消息，第二个符号为
D、
E、F、G四种消息，概率
p（xi）
和
p（yi
xi）
如下：
p（xi）
A
B
C
1/2
1/3
1/6
D
1/4
3/10
1/6
p（yixi）
E
1/4
1/5
1/2
F
1/4
1/5
1/6
G
1/4
3/1
升级会员 