信息论与编码曹雪虹课后习题答案.docx
《信息论与编码曹雪虹课后习题答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码曹雪虹课后习题答案.docx（27页珍藏版）》请在冰豆网上搜索。
信息论与编码曹雪虹课后习题答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有3个符号，转移概率为：
，，，，，，，，，画出状态图并求出各符号稳态概率。
解：
状态图如下
状态转移矩阵为：
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
由得计算可得
2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：
=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。
画出状态图，并计算各状态的稳态概率。
解：
于是可以列出转移概率矩阵：
状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有
得计算得到
2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
（1）“3和5同时出现”这事件的自信息；
（2）“两个1同时出现”这事件的自信息；
（3）两个点数的各种组合（无序）对的熵和平均信息量；
（4）两个点数之和（即2,3,…,12构成的子集）的熵；
（5）两个点数中至少有一个是1的自信息量。
解：
（1）
（2）
（3）
两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
（4）
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
（5）
2-4
2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
X
x1（是大学生）
x2（不是大学生）
P（X）
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1（身高>160cm）
y2（身高<160cm）
P（Y）
0.5
0.5
已知：
在女大学生中有75%是身高160厘米以上的
即：
求：
身高160厘米以上的某女孩是大学生的信息量
即：
2.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？
当小圆点之和是7时，该消息所包含的信息量又是多少？
解：
1）因圆点之和为3的概率
该消息自信息量
2）因圆点之和为7的概率
该消息自信息量
2.7设有一离散无记忆信源，其概率空间为
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量
解：
同理可以求得
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和
就有：
平均每个符号携带的信息量为bit/符号
2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：
{0,1,2,3}
八进制脉冲可以表示8个不同的消息，例如：
{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同的消息，例如：
{0,1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量
八进制脉冲的平均信息量
二进制脉冲的平均信息量
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9“－”用三个脉冲“●”用一个脉冲
（1）I（●）=I（－）＝
（2）H=
2-10
（2）P（黑/黑）=P（白/黑）=
H（Y/黑）=
（3）P（黑/白）=P（白/白）=
H（Y/白）=
（4）P（黑）=P（白）=
H（Y）=
2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度
（3）如果颜色已知时，则计算条件熵
解：
令X表示指针指向某一数字，则X={1,2,……….,38}
Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}
Y是X的函数，由题意可知
（1）bit/符号
（2）bit/符号
（3）bit/符号
2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率为
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：
联合概率为
Y
X
y1
y2
y3
x1
7/24
1/24
0
x2
1/24
1/4
1/24
x3
0
1/24
7/24
=2.3bit/符号
X概率分布
X
x1
x2
x3
P
8/24
8/24
8/24
bit/符号
Y概率分布是=0.72bit/符号
Y
y1
y2
y3
P
8/24
8/24
8/24
2.13有两个二元随机变量X和Y，它们的联合概率为
YX
x1=0
x2=1
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量Z=XY（一般乘积），试计算：
（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）和H（XYZ）；
（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；
（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）和I（X;Z/Y）。
解：
（1）
Z=XY的概率分布如下：
（2）
（3）
2-14
（1）
P（ij）=P（i/j）=
（2）方法1:
=
方法2:
2-15
P（j/i）=
2.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p（黑）＝0.3，白色出现的概率p（白）＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：
P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。
解：
（1）bit/符号
P（黑|白）=P（黑）
P（白|白）＝P（白）
P（黑|黑）＝P（黑）
P（白|黑）＝P（白）
（2）根据题意，此一阶马尔可夫链是平稳的（P（白）＝0.7不随时间变化，P（黑）＝0.3不随时
间变化）
＝0.512bit/符号
2.17每帧电视图像可以认为是由3☞105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？
若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？
若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
解：
1）
2）
3）
2.20给定语音信号样值X的概率密度为,,求Hc（X），并证明它小于同样方差的正态变量的连续熵。
解：
2.24连续随机变量X和Y的联合概率密度为：
，求H（X）,H（Y）,H（XYZ）和I（X;Y）。
（提示：
）
解：
2.25某一无记忆信源的符号集为{0,1}，已知P（0）=1/4，P
（1）=3/4。
（1）求符号的平均熵；
（2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；
（3）计算
（2）中序列的熵。
解：
（1）
（2）
（3）
2-26
P（i）=P（ij）=
H（IJ）=
2.29有一个一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P（Xr）为，转移概率如下图所示
j
i
1
2
3
1
2
3
1/2
2/3
2/3
1/4
0
1/3
1/4
1/3
0
（1）求的联合熵和平均符号熵
（2）求这个链的极限平均符号熵
（3）求和它们说对应的冗余度
解：
（1）
符号
X1，X2的联合概率分布为
1
2
3
1
1/4
1/8
1/8
2
1/6
0
1/12
3
1/6
1/12
0
1
2
3
14/24
5/24
5/24
X2的概率分布为那么
=1.209bit/符号
X2X3的联合概率分布为
1
2
3
1
7/24
7/48
7/48
2
5/36
0
5/12
3
5/36
5/12
0
那么
=1.26bit/符号
/符号
所以平均符号熵／符号
（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为
由得到计算得到
又满足不可约性和非周期性
/符号
（3）/符号/符号/符号
2-30
（1）求平稳概率P（j/i）=
解方程组
得到
（2）
信源熵为:
2-31
P（j/i）=解方程组得到W1=,W2=,W3=
2.32一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P（0）,P
（1）,P
（2）
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。
求近似信源的熵H（X）并与进行比较
解:
根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到计算得到
由齐次遍历可得
符号由最大熵定理可知存在极大值
或者也可以通过下面的方法得出存在极大值:
又所以当p=2/3时
02/3所以当p=2/3时存在极大值,且符号
所以
2-33
（1）
解方程组:
得p（0）=p
（1）=p
（2）=
（2）
（3）
当p=0或p=1时信源熵为0
练习题：
有一离散无记忆信源，其输出为，相应的概率为，设计两个独立的实验去观察它，其结果分别为，已知条件概率:
P（y1|x）
0
1
0
1
2
1
0
1/2
1
1
1/2
P（y2|x）
0
1
0
1
2
1
1
0
0
0
1
（1）求和，并判断哪一个实验好些
（2）求，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X的信息
（3
升级会员 