说明收到yi后使发送是否为xi的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答:
由图示可知：
31
P（X1|So）P（X2|So）
44
12
P（X1|S1）-P（X1|S1）-
33
13
P（X1IS2）-P（X2|S2）-
44
即:
1
P（So|S2）P（Sl|S2）0p（S2|S2）
4
可得：
31
P（So）-P（So）-P（S2）
44
11
P（Si）-P（So）-P（S1）
43
13
P（S2）3P（Sj4P（S2）
P（So）P（SjP（S2）1
P（So）
4
11
得:
P（3）
P（S2）
3
ii
4
11
Hp（s°）[p（s）IsJIogp（So|So）p（6|s°）logp（s,|sJ]
P（S1）[p（S11s,）logp（s|S1）p（S2|S1）Iogp（s?
|sj]
p（S2）[p（So|S2）logp（So|s）p（S2|S2）logp（S>|S2）]0.25（bit/符号）
21
28—个马尔可夫信源'已知：
ExD3，p（x2|xD尹（心2）1皿2|瀚°农线图，并求出信源熵。
答：
试画出它的香
2
p（x1）-p（x1）
3
1p（x2）-p（x1）
p（x2）
31
p（x1）4，p（x2）4
p（x1）p（x2）1
Hp（x1）[p（x11x1）logp（x11x1）p（x21x1）logp（x2|x1）]
P（x2）[p（x1|x2）logP（x1|x2）]0.82（bit/符号）
Xx“x2
2.9
（1）对于离散无记忆信源DMS[][12]，试证明：
q（x）p1p
H（X）H2（p）plogp（1p）log（1p）当p=1/2时，H（X）达到最大值。
（2）对
（1）中的DMS，考虑它的二次扩展信源
X⑵｛（X1,X1）,（X1,X2）,（X2,X1）,（X2,X2）｝，证明:
H（X
（2））2H（X）
证明：
（1）函数H（X）plogp（1p）log（1中的变量p在0到1中取值,
从函数的结构上可以知道该函数在区间
H（X）‘（plogp（1p）log（1p））'
.11logp
ln2ln2（1
1P
ln2（1p）
［0,1］上是关于p=1/2对称的函数。
P
在区间［0，0.5］上1-p>p，则（1-p）/p>1，所以log^-p0，在此区间上H（x）‘>0,p
H（x）单调递增。
又该函数是在区间［0,1］上是关于p=1/2对称的函数，那么在区间［0.5,1］上单调递减。
H（X
（2））
2
p
log
2
p
p（1
p）log
p（1p）log
p（1
p
）
（1
p
）2log（1
2plogp
2
（1
p）
log（
1
p）
p（1
2[plogp（1p）log（1p）]
p）2
2.10一副扑克牌（不用大小王），试问
（1）任意特定排列给出的信息量是多少？
（2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？
（3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？
（4）若（3）中不计颜色，熵又为多少？
1
解：
（1）l（xi）=—炯一=225.6（比特/符号）
52!
41352!
（2）I（Xi）=-炯（qj=-log（4ir）=log（i）
Os?
4*13!
*39!
11
（3）H（X）=N*H（X）=52*（-扩0g（W）=log52=2*|og13=7・4（比特/符号）
1
（4）H（x）=-log（-）=3.7（比特/符号）
13
2.11
（1）一个无偏骰子，掷骰子的熵为多少？
（2）如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？
（3）一对无偏骰子，个掷一次，得到总点数为7,问得到多少信息量?
解：
（1）H（X）=-log（1/6）=2.58（比特/符号）
⑵
-（1
符号）
H（X）=
122334455
*（iog1）+2*（iog2）+3伽7）+7*（iog4）+5*（iog5））=2.o68（比特/
666666666
11
⑶l（xi）=-log（—*—*3*2）=log6=2.585（比特/符号）
66
2.12一个盒子中放有100个球，其中60个是黑色，40个球是白色
（1）随机摸取一个球，求获得的自信息量。
（2）做放回摸取n次，求这n次所得到的平均互信息量。
1
解:
（1）l（xi）=-log（—）=log100
100
⑵I（x,y）=log100
2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。
化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。
问这项化验对查明病情提供了多少信息量
解：
病人：
y1,健康人:
y2
2.14一个8元编码系统，码长为4，每个码字的第一个字符相同（用于同步），若每秒产生1000个码字，求信息传输率Rt。
答：
信息传输率定义为Rt=H（x）/（t*n）
其中，H（x）=-二」logq（Xi）
所以Rt=9*1000/4=2250（Bit/Sec）
2.15一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有2块方形相邻，可以得到多少关于拼版排列的信息？
哲！
7!
诂！
弓
答：
I（X|Y）=-log!
=log-
3!
*4!
*5!
2.16设有一个传输系统，等概传输0、1、2、3、4、5六个数字，奇数在传输时以0.5的概
率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。
11
答：
由题意得：
H（Y）=（-—log—）*6=log6=2.585（bit/符号）
6j6
H（Y|X）=1:
P（xi）H（Y|xi）=0.75（bit/符号）
I（X;Y）=H（Y）-H（Y|X）=2.585-0.75=1.835（bit/符号）
2.17等概信源消息集：
uO,u1,…u7，编码为u0=000,u1=001,…u7=111，通过错误概率为p的二进制对称信道BSC传输，在接收u4=100的过程中，求：
（1）1与u4之间的互信息量；
（2）10与u4之间的互信息量；
3）100与u4之间的互信息量。
PC1M）
答:
（1）由I（1;u4）=log..;
又q
（1）=：
—P（1|ui）=5[4（1-p）+4p]=?
（1—p）
推出I（1;u4）=log=log2（1-p）
1/2
（2）同理，可得I（10;u4）=2log2（1-p）
（3）
同理，可得I（100;u4）=3log2（1-p）
大值。
答:
qkCeAk
1a
1（）k时取得最大；
1A1A
最大为：
Hm（U）
k1
qklog1Ak（LJ^
k0kqkk0（1A）k19Ak
2.19X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。
（1）H（YZ|X）v=H（Y|Z）+H（Z|X）
⑵H（YZ|X）=H（Y|X）+H（Z|XY）
⑶H（X|Z）v=H（X|Y）+H（Y|Z）证明：
（1）H（Y|Z）+H（Z|X）=
i
P（%Zj）log
1
（yiIZi）
P（ZXj）log
ij
1_
（Zi|xj
P（yiZj）log
ij
（Z|x）；（y|z）
H（YZ|X）
j
将其代入上式计算即可得原始成立；
（2）:
H（YZ|X）-（H（Y|Z）+H（Z|XY））=
p（xyjZk）logp（yjZk|片）
k
p（XiyjZQlogp（yj4|xj
ijk
p（XiyjZQlogp（Zk|xyj）
ijk
（3）：
H（X|Z）-H（X|Y）-H（Y|Z）
p（Xjyj）logp（yj|xj
ij
P（XiZk）logp（x|Zk）
i
P（Xiyj）logp（Xi|yj）
p（yjZjogp（yj|Zk）
p（XyjZjogPWj"k）
k
P（Xi|yj）
P（Xi|Zk）
<=0
2.20对任意概率事件集X,Y,Z,证明下述三角不等式成立
H（X|Y）H（Y|Z）H（X|Z）
H（XY）H（YZ）H（XZ）
答：
H（XY）=H（X）+H（Y|X）=H（Y）+H（X|Y）;
H（YZ）=H（Y）+H（Z|Y）=H（Z）+H（Y|Z）;
H（XZ）=H（Z）+H（Z|X）=H（Z）+H（X|Z）;
将以上三式代入原式可证得：
H（X|Y）H（Y|Z）H（X|Z）H（XY）H（YZ）H（XZ）
2.21令XYZ为马尔可夫链，证明:
（1）I（X;Z|Y）=O
（2）I（XY;Z）=I（Y;Z）
⑶I（Y;Z|X）=I（Y;Z）+I（X;Z）
⑷I（Y;Z|X）v=I（Y;Z）
（说明：
对本题的马尔可夫链了解不够，答案仅供参考）
答：
（1）I（X;Z|Y）=H（Z|Y）-H（Z|XY）;
H（Z|Y）p（Zk|yj）q（zjlogp（y」|互）
jk
根据马尔可夫链
H（Z|XY）p（Zk|Xiyj）q（xyj）log卩包|幼）
ijk
P（Zk|yj）q（Zi）logp（yj|Zk）
jk
因此：
I
升级会员 