信息理论与编码参考答案docxWord格式文档下载.docx
《信息理论与编码参考答案docxWord格式文档下载.docx》由会员分享，可在线阅读，更多相关《信息理论与编码参考答案docxWord格式文档下载.docx（50页珍藏版）》请在冰豆网上搜索。
所以
13牌中所有的点数都不相同的合数
413。
因每种合都是等
概率生的，所以
P
B
413
1339
1.0568104
生事件B所得到的信息量
IB
logPB
log
13.208bit
2C5213
3.976dit
在一只布袋中装有
100只人手的感完全相同的木球，
每只上涂有
1种色。
100
只球的色有下列三种情况：
（1）色球和白色球各50只；
（2）色球99只，白色球1只；
（3），黄，，白色各25只。
求从布袋中随意取出一只球，猜其色所需要的信息量。
猜木球色所需要的信息量等于木球色的不确定性。
令
R——“取到的是球”，W——“取到的是白球”，
Y——“取到的是黄球”，B——“取到的是球”。
（1）若布袋中有色球和白色球各50只，即
PR
PW
50
100
2
IRI
W
log22
log221bit
（2）若布袋中色球99只，白色球1只，即
R
99
0.99
0.01
则
I
log20.99
0.0145bit
log2PW
log20.01
6.644
bit
（3）若布袋中有红，黄，蓝，白色各
25只，即
PY
PB
25
4
Y
IW
log24
2bit
设信源为
X
x1
x2
x3
x4
x5
x6
PX
0.2
0.19
0.18
0.17
0.16
6
求
Pxilog2
xi，井解释为什么
xi
log2
log26，不满足信源熵的
i
极值性。
0.2log20.2
0.19log20.190.18log20.18
0.17log20.17
0.16log20.160.17log20.17
2.657bit/symbol
2.585
不满足极值性的原因是
1.07
1，不满足概率的完备性。
大量统计表明，男性红绿色盲的发病率为7%，女性发病率为%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量
（2）平均每个回答中含有多少信息量
（3）如果你问一位女同志，则答案中含有的平均信息量是多少
对于男性，是红绿色盲的概率记作Pa17%，不是红绿色盲的概率记作
Pa293%，这两种情况各含的信息量为
a1
1P
3.83bit
7
a2
0.105bit
93
平均每个回答中含有的信息量为
HAPa1I（a1）Pa2I（a2）
3.83
0.105
0.366bit/回答
对于女性，是红绿色盲的概率记作Pb1
0.5%，不是红绿色盲的记作
Pb299.5%，则平均每个回答中含有的信息量为
HB
Pb1I（b1）Pb2I（b2）
5
1000
995
0.045
bit/
回答
H
联合熵和条件熵
任意三个离散随机变量
X、Y和Z，求证：
H（XYZ）H（XY）H（XZ）H（X）。
证明：
方法一：
要证明不等式HX,Y,ZHX,YHZ,XHX成立，等
价证明下式成立：
HX,Y,ZHX,YHX,ZHX0
根据熵函数的定义
HX,Y,ZHX,YHX,ZHX
p
xiyj
zk
logp
xiyjzk
yj
zklogpxiyj
Z
yjzk
xizk
logpxi
pxizk
pxiyj
loge
x
y
z
xiyj
（信息论不等式）
jk
pxiyjzk
pxi
yj
|xi
yjzk
等号成立的条件为
得证
方法二：
因为
H（XYZ）H（XY）H（Z|XY）
H（XZ）H（X）H（Z|X）
所以，求证不等式等价于
H（Z|XY）H（Z|X）
因为条件多的熵不大于条件少的熵，上式成立，原式得证。
设随机变量X{x1,x2}{0,1}和Y{y1,y2}{0,1}的联合概率空间为
XY
（x1,y1）
（x1,y2）
（x2,y1）
（x2,y2）
PXY
18
38
定义一个新随机变量
XY（普通乘积）。
（1）计算熵H（X）、H（Y）、H（Z）、H（XZ）、H（YZ）以及H（XYZ）；
（2）计算条件熵H（X|Y）、H（Y|X）、H（X|Z）、H（Z|X）、H（Y|Z）、H（Z|Y）、
H（X|YZ）、H（Y|XZ）以及H（Z|XY）；
（3）计算互信息量I（X;
Y）、I（X;
Z）、I（Y;
Z）、I（X;
Y|Z）、I（Y;
Z|X）以及
I（X;
Z|Y）；
解
（1）px0
px0,y0
3
px0,y1
8
px
Pxi
logPxi1bit/symbol
py0
px1,y0
py
yjlogp
1bit/symbol
j
P（z
0）
P（xy
00）
P（xy
01）
10）
1）
可得Z
XY的概率空间如下
P（Z）
H（Z）
p（zk）
）
0.544bit/symbol
K
由p（xz）
p（x）p（zx）得
p（x0,z
p（x
0）p（z
0x
0,z
1x
10
1,z
1）p（z
p（x
1）p（y
1,y
1）p（z
H（XZ）
p（xizk）
1.406bit/symbol
k
由对称性可得
H（YZ）
1.406bt/symbol
由p（xyz）
p（xy）p（zxy）,又p（zxy）或者等于1，或者等于0.
0,y
0）p（z
0）1
1）1
1,y1）1
H（XYZ）
p（xiyjzk）
log2p（xi
yjzk）
1log1
3log3
1.811
bit/symbol
（2）
HXY
-
1log1
1.811bit/symbol
HX/Y=HXY-HY
0.811bit/symbol
根据对称性，
HY/X=HX|Y0.811bit/symbol
HX/Z=HXZ
HZ/X=HXZ
-H
1.406
0.5440.862bit/symol
10.406bit/symol
HY/Z
=HX/Z
0.862bit/symbol
HZ/Y
=HZ/X
0.406bit/symol
HX/YZ
=HXYZ
-HYZ
0.405bit/symol
根据对称性，把
X和Y互换得
HY/XZ
=HX/YZ
0.405bit/symbol
HZ/XY
0bit/symol
（3）
X;
X/Y
0.811
0.189bit/symbol
Z
X/Z
0.862
0.138bit/symbol
根据对称性，得
IY;
Z0.138bit/symbol
Y/Z
X/YZ
0.405
0.457bit/symbol
Y;
Z/X
Y/X
Y/XZ
0.406bit/symbol
根据对称性得
Z/Y
设信源发出二次扩展消息
yi,其中第一个符号为A、B、C三种消息，第二个符号为
D、
E、F、G四种消息，概率
p（xi）
和
p（yi
xi）
如下：
p（xi）
C
1/2
1/3
1/6
D
1/4
3/10
p（yixi）
E
1/5
F
G
3/1
升级会员 