《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社.docx
《《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社.docx》由会员分享，可在线阅读，更多相关《《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社.docx（45页珍藏版）》请在冰豆网上搜索。
《信息论与编码理论》王育民李晖梁传甲课后习题答案高等教育出版社
信息论与编码理论习题解
第二章-信息量和熵
2.1解:
平均每个符号长为:
2
0.2
1
0.4
4秒
3
3
15
每个符号的熵为2log3
1
log3
0.9183比特/符号
3
2
3
所以信息速率为0.9183
15
3.444比特/秒
4
2.2解:
同步信号均相同不含信息,其余认为等概,
每个码字的信息量为3*2=6比特；
所以信息速率为610006000比特/秒
2.3解:
（a）一对骰子总点数为7的概率是6
36
所以得到的信息量为
log2
（6）2.585比特
36
（b）一对骰子总点数为12的概率是1
36
所以得到的信息量为log2
1
比特
5.17
36
2.4解:
（a）任一特定排列的概率为1,所以给出的信息量为
52!
1
log252!
225.58比特
（b）从中任取13张牌,所给出的点数都不相同的概率为
13!
413413
A5213C1352
13
所以得到的信息量为log2C5213.21比特.
413
2.5解:
易证每次出现i点的概率为i,所以
21
I（x
i）
log2i,i1,2,3,4,5,6
21
I（x
1）
4.392比特
I（x
2）
3.392比特
I（x
3）
2.807比特
I（x
4）
2.392比特
I（x
5）
2.070比特
I（x
6）
1.807比特
6
i
log2
i
比特
H（X）
21
2.398
i1
21
2.6解:
可能有的排列总数为
12!
27720
3!
4!
5!
没有两棵梧桐树相邻的排列数可如下图求得，
YXYXYXYXYXYXYXY
图中X表示白杨或白桦，它有7
3
种排法，Y表示梧桐树可以栽
种的位置，它有8种排法，所以共有8*7=1960种排法保证没有
553
两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树
排列的信息为log227720log21960=3.822比特
2.7解:
X=0表示未录取，X=1表示录取；
Y=0表示本市，Y=1表示外地；
Z=0表示学过英语，Z=1表示未学过英语，由此得
p（x
0）
3,
p（x
1）
4
p（y
0）
p（x
0）p（y
1
1
3
1
4
2
4
10
p（y
1）
1
1
4,
5
5
p（z
0）
p（y
0）p（z
1
4
40
5
5
100
p（z
1）
1
13
12
25
25
（a）p（x
0y
0）
p（y
p（x
1y
0）
p（y
1,
4
0x0）p（x1）p（y0x1）
1,
5
0y0）p（y1）p（z0y1）
13,
25
0x
0）p（x
0）/p（y
0）
1
3
1
3
10
/
5
8
4
0x
1）p（x
1）/p（y
0）
1
1/1
5
2
4
5
8
I（X;y
0）
p（x
0y
p（x0y0）
p（x1y0）
0）log2
p（x1y0）log2
p（x0）
p（x1）
3log2
3
5log2
5
8
8
8
3
8
1
4
4
0.4512
比特
（b）p（x
0z
0）
（p（z0y0,x0）p（y0x0）p（z0y1,x0）p（y1x0））p（x0）/p（z0）
（1
9
4）
3/13
69
10
10
10
4
25
104
p（x
1z
0）
（p（z
0y
0,x
1）p（y0x1）p（z0y
1,x
1）p（y1x1））p（x
1）/p（z0）
（1
1
2）
1/13
35
2
2
5
4
25
104
I（X;z
0）
p（x
0z
p（x0z0）
p（x
p（x1z0）
0）log2
1z0）log2
1）
p（x0）
p（x
69
69log2104
1043
4
35
104
35
log2104
1
4
0.02698
比特
（c）H（X）
3
log2
4
1
log24
0.8113
比特
4
3
4
H（YX）
p（x
0）p（y
0x
0）log2p（y
0x
0）
p（x0）p（y
1x0）log2p（y
1x0）
p（x
1）p（y
0x
1）log2p（y
0x1）
p（x
1）p（y1x
1）log2p（y1x
1）
3
1log210
3
9log2
10
1
1log22
1
1log22
4
10
4
10
9
4
2
4
2
0.6017
比特
2.8解:
令X
A,B,Y
T,F,R，则
P（T）
P（TA）P（A）
P（TB）P（B）
0.5p
0.3
（1
p）
0.30.2p
同理
P（F）
0.5
0.2p,
P（R）
0.2
I（p）I（X;Y）
H（Y）
H（YX）
（0.3
0.2p）log2（0.3
0.2p）
（0.5
0.2p）log2（0.5
0.2p）
0.2log20.2
（0.5plog22
0.3plog2
103
0.2plog25
0.3（1
p）log2
1030.5（1p）log22
0.2（1
p）log25）
0.3log20.3
0.5log20.5
（0.3
0.2p）log2（0.3
0.2p）
（0.5
0.2p）log2（0.50.2p）
令
I
'
（p）
0.2log2
（0.5
0.2p）
0,
得
p
0.5
0.3
0.2p
I（p）max
I（p）p
0.5
0.03645
比特
2.9&2.12
解:
令X=X1,Y=X1+X2,Z=X1+X2+X3,
H（X1）=H（X2）=H（X3）=log26比特
H（X）=H（X1）=log26
=2.585比特
H（Y）=H（X2+X3）
=
2（1log236
2log2
36
3log2
36
4log2
36
5log2
36）
1log26
36
36
2
36
3
36
4
36
5
6
=3.2744比特
H（Z）=H（X1+X2+X3）
=
2（1log2
216
3log2
216
6log2
216
10
log2
216
15
log2
216
216
216
3
216
6
216
10
216
15
21
216
25
216
27
216
）
log2
21
log2
log2
27
216
216
25
216
=3.5993比特
所以
H（Z/Y）=H（X3）=2.585比特
H（Z/X）=H（X2+X3）=3.2744比特
H（X/Y）=H（X）-H（Y）+H（Y/X）
=2.585-3.2744+2.585=1.8955比特
H（Z/XY）=H（Z/Y）=2.585比特
H（XZ/Y）=H（X/Y）+H（Z/XY）
=1.8955+2.585
=4.4805比特
I（Y;Z）=H（Z）-H（Z/Y）
=H（Z）-H（X3）
=3.5993-2.585=1.0143比特
I（X;Z）=H（Z）-H（Z/X）
=3.5993-3.2744
=0.3249比特
I（XY;Z）=H（Z）-H（Z/XY）
=H（Z）-H（Z/Y）
=1.0143比特
I（Y;Z/X）=H（Z/X）-H（Z/XY）
=H（X2+X3）-H（X3）=3.2744-2.585=0.6894比特
I（X;Z/Y）=H（Z/Y）-H（Z/XY）
=H（Z/Y）-H（Z/Y）
=0
2.10解:
设系统输出
10个数字X等概,接收数字为Y,
9
1
9
1
显然w（j）
Q（i）p（ji）
p（ji）
i
0
10i1
10
H（Y）=log10
H（YX）
p（x,y）log2p（yx）
p（x,y）log2p（yx）
yx偶
yx奇
0
p（x）p（xx）log2p（xx）
p（x）p（yx）log2p（yx）
i
奇
yx,奇x
奇
5
1
1
log2
254
1
1
log28
10
2
10
8
1比特
所以
I（X;Y）=log21012.3219比特
2.11解:
（a）接收前一个数字为0的概率
8
1
w（0）
q（ui）p（0ui）
2
i0
I（u1;0）
log2
p（0u1）
1
p
（1p）bits
log2
1
1log2
w（0）
2
8
（b）同理
w（00）
q（ui）p（00ui）4
1
i
0
I（u1;00）
p（00u1）
log2
（1
p）2
2
2log2（1
p）
bits
log2
w（00）
1
4
（c）同理w（000）
8
q（ui）p（000ui）
8
1
i0
I（u1;000）
log2
p（000u1）
log2
（1
p）3
3
3log2（1
p）
bits
w（000）
1
8
（d）同理w（0000）
8
q（ui）p（0000ui）
81（（1
p）6
6p2（1p）2
p4）
i
0
p（0000u1）
（1
p）4
I（u1;0000）
log2w（0000）
log2
81（（1
p）6
6p2（1
p）2
p4）
log
28
（1
p）4
bits
（1
p）6
6p2（1
p）2
p4
2.12解:
见2.9
2.13解:
（b）
H（YZ/X）
xyz
xyz
xyz
H（Y/X）
1
p（xyz）log
p（yz/x）
1
p（xyz）log
p（y/x）p（z/xy）
1
1
p（xyz）log
p（xyz）log
p（y/x）
xyz
p（z/xy）
H（Z/XY）
（c）
H（Z/XY）p（xy）
p（z/xy）log
1
xyz
p（xy）
xyz
H（Z/X）
p（z/xy）
1
p（z/xy）log（由第二基本不等式）p（z/x）
或
H（Z/XY）
H（Z/X）
p（xy）
1
p（z/xy）log
xy
z
p（z/xy）
p（xy）
p（z/xy）log
1
p（z/x）
x
y
z
p（xy）
p（z/xy）logp（z/x）
（由第一基
x
y
z
p（z/xy）
p（xy）
p（z/xy）loge
（p（z/x）
1）
x
y
z
p（z/xy）
0
本不等式）
所以
H（Z/XY）H（Z/X）
（a）
H（Y/X）H（Z/X）
H（Y/X）
H（Z/XY）
H（YZ/X）
等号成立的条件为
p（z/xy）
p（z/x）,对所有x
X,yY,zZ,即在给定X
条件下Y与Z相互独立。
2.14解:
（a）H（X/Y）H（Y/Z）H（X/YZ）H（Y/Z）H（XY/Z）H（X/Z）
（b）
H（X/Y）H（Y/Z）H（X/Y）H（Y/Z）
H（XY）H（YZ）H（Y）H（X/Y）H（Y）H（Z/Y）
H（X/Y）H（Y/Z）
H（Y）H（X/Y）H（Z/Y）H（Y）H（Z/Y）H（X/Y）
H（X/Y）H（Y/Z）
H（Y）H（X/Y）H（Z/Y）
H（X/Y）H（Y/Z）
H（YZ）H（X/Y）
H（X/Y）H（Y/Z）
H（X/Y）H（Y/Z）H（Z）
H（X/Y）H（Y/Z）H（X/Z）0,H（Z）0
H（X/Y）H（Y/Z）
H（XY）H（YZ）
H（X/Y）H（Y/Z）
H（X/Y）H（Y/Z）H（Z）
H（X/Z）
H（X/Z）H（Z）
H（X/Z）
H（XZ）
注：
a1a20,b0a1ba2ba1ba1a2
a2ba1a2
a1
a2
b
a2b
a1
2.15解:
（a）
d（X,X）H（X/X）H（X/X）0
d（X,Y）H（X/Y）H（Y/X）0
（b）
d（X,Y）H（X/Y）H（Y/X）H（Y/X）H（X/Y）d（Y,X）
（c）
d（X,Y）d（Y,Z）H（X/Y）H（Y/X）H（Y/Z）H（Z/Y）
H（X/Y）H（Y/Z）H（X/YZ）H（Y/Z）H（XY/Z）H（X/Z）
同理H（Z/Y）H（Y/X）H（Z/X）
d（X,Y）d（Y,Z）H（X/Z）H（Z/X）d（X,Z）
2.16解:
（a）
I（X,Y）
H（X）H（Y）H（XY）H（X）H（Y）H（XY）H（X/Y）H（Y/X）
H（XY）
S（X,Y）
I（X,Y）
1
H（XY）
又由互信息的非负性，即I（X;Y）0
有S（X;Y）0，所以
0
S（X;Y）1
（b）
I（X,X）H（X）H（X/X）
H（X）
S（X,X）
H（XX）
1
H（XX）
H（X）
（c）当且仅当X和Y独立时，I（X；Y）=0，所以
当且仅当X和Y独立时，S（X,Y）
I（X,Y）
0
。
H（XY）
2.23解:
（a）
pX（x）
21,
1x
1
0,
其它
1
HC（X）
21log21dx
1比特
1
（b）令y
x2,
dx
1
dy2y
1
y
1
pY（y）
2
y
0,
其它
HC（X2）
pY（y）logpY（y）dy
1
1
log1
dy
02y
2
y
1
log2e
0.443比特
（c）
令zx3,
dx
1z
dz
3
2
3
pZ（z）pX（x）dx
1z
dz
3
z
1
2
6
0,
其它
HC（X3）
pZ（z）logpZ（z）dz
0
2
2
1
2
2
1z3log（6z3）dz
1z3log（6z3）dz
16
06
log26
2log2e
0.3比特
2.28解:
（a）由已知，
p（yx1）
41,
3
y1
0,
其它
p（yx1）
41,
1
y3
0,
其它
w（y）
pxy（xy）
px（x）pyx（yx）
x
x
px（x
1）pyx（yx
1）px（x1）pyx（yx1）
81,
3
y
1
41,
1
y
1
81,
1
y
3
0,
其它
升级会员 