信息论与编码曹雪虹课后习题答案.docx
《信息论与编码曹雪虹课后习题答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码曹雪虹课后习题答案.docx（143页珍藏版）》请在冰豆网上搜索。
信息论与编码曹雪虹课后习题答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有
3个符号u1,u2,u3
，转移概率
为：
pu
|u
1
1/2，p
u
|u
1/2，pu
|u
0，pu|u
2
1/3
，
1
2
1
3
1
1
pu2|u20
，
，
，
|u32/3
，
|u3
0
，
pu3|u22/3
pu1
|u31/3pu2
pu3
画出状态图并求出各符号稳态概率。
解：
状态图如下
1/2
1/2
u1u2
1/3
1/32/3
2/3状态转移矩阵为：
u3
1/2
1/2
0
p1/3
0
2/3
1/3
2/3
0
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
1
1
1
10
W1
W2
W3W1
2
3
3
W1
WPW
1W1
2W3W2
25
由
计算可得
9
W1W2W3
得2
3
W2
1
25
2W2
W3
6
3
W3
W1W2W3
1
25
2.2由符号集{0，1}组成的二阶马尔可夫链，其转移
概率为：
p（0|00）=0.8，p（0|11）=0.2，p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。
画出
状态图，并计算各状态的稳态概率。
解：
p（0|00）p（00|00）0.8
p（0|01）p（10|01）0.5
p（0|11）
p（10|11）
0.2
p（0|10）
p（00|10）
0.5
p（1|00）
p（01|00）
0.2
p（1|01）
p（11|01）
0.5
p（1|11）
p（11|11）
0.8
p（1|10）
p（01|10）
0.5
0.80.200
于是可以列出转移概率矩阵：
p000.50.5
0.50.500
000.20.8
状态图为：
0.8
00
0.2
01
0.5
0.50.5
0.5
0.2
10110.8
设各状态00，01，10，11的稳态分布概率为
W1,W2,W3,W4有
5
W1
0.8W1
0.5W3
W1
14
WPW
0.2W1
0.5W3
W2
1
计算得到
W2
4
得0.5W2
0.2W4
W3
7
Wi1
0.5W2
0.8W4
W4
1
i1
W3
W1W2
W3
W4
1
7
5
W4
14
2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
（1）“3和5同时出现”这事件的自信息；
（2）“两个1同时出现”这事件的自信息；
（3）两个点数的各种组合（无序）对的熵和平均信息
量；
（4）两个点数之和（即2,3,,,12构成的子集）
的熵；
（5）两个点数中至少有一个是1的自信息量。
解：
（1）
p（xi）
1
1
1
1
1
6
6
6
6
18
I（xi）
logp（xi
）
log
1
4.170bit
18
（2）
p（xi）
1
1
1
6
6
36
I（xi）
logp（xi
）
log
1
5.170bit
36
（3）
两个点数的排列如下：
111213141516
212223242526
313233343536
414243444546
515253545556
616263646566
共有21种组合：
其中11，22，33，44，55，66的概率是1
1
1
6
6
36
其他15个组合的概率是2
1
1
1
6
6
18
H（X）p（xi）logp（xi）
6
1log
1
15
1log
1
4.337
bit/symbol
i
36
36
18
18
（4）
参考上面的两个点数的排列，可以得出两个点数求和
的概率分布如下：
X
2
3
4
5
6
7
8
9
10
11
12
P（X）
1
1
1
1
5
1
5
1
1
1
1
36
18
12
9
36
6
36
9
12
18
36
H（X）
p（xi）logp（xi
）
i
2
1log
1
2
1log1
2
1log1
21log1
2
5log
5
1log1
36
36
18
18
12
12
9
9
36
36
6
6
3.274bit/symbol
（5）
p（xi）
1
1
11
11
6
6
36
I（xi）
logp（xi）
log11
1.710bit
36
2-4
2.5居住某地区的女孩子有25%是大学生，在女大学
生中有75%是身高160厘米以上的，而女孩子中身高
160厘米以上的占总数的一半。
假如我们得知“身高
160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
Xx（1是大学生）x2（不是大学生）
P（X）
0.25
0.75
设随机变量Y代表女孩子身高
Yy1（身y2（身高
高>160cm）<160cm）
P（Y）
0.5
0.5
已知：
在女大学生中有75%是身高160厘米以上的
即：
p（y1/x1）0.75bit
求：
身高160厘米以上的某女孩是大学生的信息量
即：
I（x1/y1）
logp（x1/y1）
logp（x1）p（y1/x1）
log0.250.75
1.415bit
p（y1）
0.5
2.6掷两颗骰子，当其向上的面的小圆点之和是3时，
该消息包含的信息量是多少？
当小圆点之和是
7时，
该消息所包含的信息量又是多少？
解：
1）因圆点之和为3的概率p（x）
1
p（1,2）p（2,1）
18
该消息自信息量I（x）
logp（x）log184.170bit
2）因圆点之和为7的概率
p（x）p（1,6）p（6,1）p（2,5）
p（5,2）p（3,4）
1
p（4,3）
6
该消息自信息量I（x）
logp（x）log6
2.585bit
2.7设有一离散无记忆信源，其概率空间为
X
x0
x1
x2
x3
1
2
3
4
P
3/8
1/4
1/4
1/8
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202120130
213001203210110321010021032
011223210}，求该序列的自信息量和平均每个符号携带的信息量
解：
I（x1）log2
1
log2
8
1.415bit
p（x1）3
同理可以求得I（x
）2bit,I（x）
2bit,I（x）3bit
2
3
3
因为信源无记忆，所以此消息序列的信息量就等于该
序列中各个符号的信息量之和
就有：
I14I（x1）13I（x2）12I（x3）6I（x4）87.81bit
平均每个符号携带的信息量为87.811.95bit/符号
45
2.8试问四进制、八进制脉冲所含信息量是二进制脉
冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：
{0,1,2,
3}
八进制脉冲可以表示8个不同的消息，例如：
{0,1,2,
3,4,5,6,7}
二进制脉冲可以表示2个不同的消息，例如：
{0,1}假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量
八进制脉冲的平均信息量
二进制脉冲的平均信息量
H（X1）
logn
log4
2bit/symbol
H（X2）
logn
log8
3bit/symbol
H（X0）
logn
log2
1bit/symbol
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9“－”用三个脉冲“●”用一个脉冲
（1）I（
●）=Log（4）
2I（－）＝Log
4
0.415
3
（2）H=
1
3
4
4
4
3
Log（4）Log
0.811
2-10
（2）P（黑/黑）=P（白/黑）=
H（Y/黑）=
（3）P（黑/白）=P（白/白）=
H（Y/白）=
（4）P（黑）=P（白）=H（Y）=
2.11有一个可以旋转的圆盘，盘面上被均匀的分成
38份，用1，,，38的数字标示，其中有两份涂绿色，
18份涂红色，18份涂黑色，圆盘停转后，盘面上的指
针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定
度
（3）如果颜色已知时，则计算条件熵
解：
令X表示指针指向某一数字，则
X={1,2,,,,
.,38}
Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}
Y
是X的函数，由题意可知
p（xy）
p（x）
ij
i
3
1j
2log38
18log38
1.24bit/
符号
（1）H（Y）
p（yj）log
2
j1
p（y）
38
2
38
18
（2）H（X,Y）
H（X）
log238
5.25bit/
符号
（3）H（X|Y）
H（X,Y）
H（Y）
H（X）
H（Y）
5.25
1.24
4.01bit/
符
号
2.12
两个实验X和Y，X={x
1
x
x
},Y={y
1
y
2
y},l
2
3
3
联合概率rx,y
j
r
为
i
ij
r11
r12
r13
7/24
1/24
0
r21
r22
r23
1/24
1/4
1/24
r31
r32
r33
0
1/24
7/24
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：
联合概率p（xi,yj）为
y1y2y3
Y
X
H（X,Y）
p（xi,yj）log
1
2
ij
p（xi,yj）
2
7log2
24
4
1log224
1log24
24
7
24
4
x1
7/241/24
0
符号
x2
1/24
1/4
=2.3bit/
1/24
x3
0
1/247/24
X概率分布
X
x1
x2
x3
H（Y）3
1log23
1.58bit/
符
3
P
8/24
8/24
8/24
号
H（X|Y）
H（X,Y）
H（Y）2.3
1.58
Y
概
率
分
布
是
=0.72bit/符号
Y
y1
y2
y3
P
8/24
8/24
8/24
2.13有两个二元随机变量X和Y，它们的联合概率为
Y
x1=0x2=1
X
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量
Z=XY（一般乘积），试计算：
（1）
H（X）
H（Y）,H（Z）,H（XZ）,H（YZ）
和
；
H（XYZ）
（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,
H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；
（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）
和I（X;Z/Y）。
解：
（1）
p（x1）p（x1y1）p（x1y2）
1
3
1
8
8
2
p（x2）
p（x2y1）p（x2y2）
3
1
1
8
8
2
H（X）
p（xi）logp（xi）
1bit/symbol
i
p（y1）p（x1y1）p（x2y1）
1
3
1
8
8
2
p（y2）p（x1y2）p（x2y2）
3
1
1
8
8
2
H（Y）
p（yj）logp（yj）
1bit/symbol
j
Z=XY的概率分布如下：
Z
z1
0
z21
7
1
P（Z）
8
8
2
7log7
1log1
H（Z）
p（zk）
0.544bit/symbol
k
8
8
8
8
p（x1）
p（x1z1）
p（x1z2）
p（x1z2）
0
p（x1z1）p（x1）0.5
p（z1）p（x1z1）p（x2z1）
p（x2z1）
p（z1）
p（x1z1）
7
3
0.5
8
8
p（z2）
p（x1z2）
p（x2z2）
p（x2z2）
p（z2）
1
8
H（XZ）
p（xizk）logp（xizk）
1log1
3log3
1log1
1.406bit/symbol
ik
2
2
8
8
88
p（y1）p（y1z1）p（y1z2）
p（y1z2）
0
p（y1z1）p（y1）0.5
p（z1）p（y1z1）p（y2z1）
p（y2z1）p（z1）p（y1z1）
70.5
3
8
8
p（z2）p（y1z2）p（y2z2）
p（y2z2）
1
p（z2）
8
H（YZ）
p（yjzk）logp（yjzk）
1log1
3log3
1log1
1.406bit/symbol
jk
2
2
8
8
8
8
p（x1y1z2）
0
p（x1y2z2）
0
p（x2y1z2）
0
p（x1y1z1）p（x1y1z2）p（x1y1）
p（x1y1z1）
p（x1y1）
1/8
p（x1y2z1）p（x1y1z1）p（x1z1）
p（x1y2z1）
p（x1z1）
p（x1y1z1）
1
1
3
2
8
8
p（x2y1z1）p（x2y1z2）p（x2y1）
p（x2y1z1）
p（x2y1）
3
8
p（x2y2z1）
0
p（x2y2z1）p（x2y2z2）p（x2y2）
p（x2y2z2）
p（x2y2）
1
8
H（XYZ）
p（xiyjzk）log2
p（xiyjzk）
i
jk
1log1
3log3
3log3
1log1
1.811bit/symbol
8
8
8
8
8
8
8
8
（2）
H（XY）
p（xi
yj）log2p（xiy
升级会员 