信息论与编码理论第二章习题答案王育民.docx
《信息论与编码理论第二章习题答案王育民.docx》由会员分享，可在线阅读，更多相关《信息论与编码理论第二章习题答案王育民.docx（9页珍藏版）》请在冰豆网上搜索。
信息论与编码理论第二章习题答案王育民
信息论与编码理论第二章习题答案（王育民）
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量
点和划出现的信息量分别为
，
一秒钟点和划出现的次数平均为
一秒钟点和划分别出现的次数平均为
那么根据两者出现的次数，可以计算一秒钟其信息量平均为
2.3解：
（a）骰子A和B，掷出7点有以下6种可能：
A=1,B=6;A=2,B=5;A=3,B=4;A=4,B=3;A=5,B=2;A=6,B=1
概率为6/36=1/6，所以信息量
-log（1/6）=1+log3≈2.58bit
（b）骰子A和B，掷出12点只有1种可能：
A=6,B=6
概率为1/36，所以信息量
-log（1/36）=2+log9≈5.17bit
2.5解：
出现各点数的概率和信息量：
1点：
1/21，log21≈4.39bit；2点：
2/21，log21-1≈3.39bit；3点：
1/7，log7≈2.81bit；
4点：
4/21，log21-2≈2.39bit；5点：
5/21，log（21/5）≈2.07bit；
6点：
2/7，log（7/2）≈1.81bit
平均信息量：
（1/21）×4.39+（2/21）×3.39+（1/7）×2.81+（4/21）×2.39+（5/21）×2.07+（2/7）×1.81≈2.4bit
2.7解：
X=1:
考生被录取；X=0:
考生未被录取；
Y=1:
考生来自本市；Y=0:
考生来自外地；
Z=1:
考生学过英语；Z=0：
考生未学过英语
P（X=1）=1/4,P（X=0）=3/4;P（Y=1/X=1）=1/2；P（Y=1/X=0）=1/10；
P（Z=1/Y=1）=1,P（Z=1/X=0,Y=0）=0.4,P（Z=1/X=1,Y=0）=0.4,P（Z=1/Y=0）=0.4
（a）P（X=0,Y=1）=P（Y=1/X=0）P（X=0）=0.075,P（X=1,Y=1）=P（Y=1/X=1）P（X=1）=0.125
P（Y=1）=P（X=0,Y=1）+P（X=1,Y=1）=0.2
P（X=0/Y=1）=P（X=0,Y=1）/P（Y=1）=0.375,P（X=1/Y=1）=P（X=1,Y=1）/P（Y=1）=0.625
I（X ;Y=1）=
P（X=1,Y=0,Z=1）=P（Z=1/X=1,Y=0）*P（X=1,Y=0）=0.4*（0.25-0.125）=0.05
P（X=1,Y=0,Z=0）=P（Z=0/X=1,Y=0）*P（X=1,Y=0）=0.6*0.125=0.075
P（X=1,Y=1,Z=1）=P（X=1,Z=1）-P（X=1,Y=0,Z=1）=0.175-0.05=0.125
P（X=1,Y=1,Z=0）=0
P（X=0,Y=1,Z=0）=0
P（X=0,Y=1,Z=1）=P（X=0,Z=1）-P（X=0,Y=0,Z=1）=0.345-0.27=0.075
H（XYZ）=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log0.075=（113/100）+（31/20）log10-（129/50）log3=0.528+0.51+0.216+0.28+0.375+0.28=2.189bit
H（Z/XY）=H（XYZ）-H（XY）=-28/25+（4/5）log10-12/25log3=0.775bit
2.9解：
A，B，C分别表示三个筛子掷的点数。
X=A,Y=A+B,Z=A+B+C
由于P（A+B+C/A+B）=P（C/A+B）=P（C）
所以H（Z/Y）=H（A+B+C/A+B）=H（C）=log6=2.58bit
H（X/Y）=H（A/Y）
Y
组合数目
组合情况（A+B）
P（A=a/Y=y）
12
1
6+6
1
11
2
5+6,6+5
1/2
10
3
4+6,5+5,6+4
1/3
9
4
3+6,4+5,5+4,6+3
1/4
8
5
...
...
7
6
1+6,2+5,3+4,4+3,5+2,6+1
1/6
6
5
...
...
5
4
...
...
4
3
...
...
3
2
...
...
2
1
1+1
1
一共36种情况，每种情况的概率为1/36，即P（A=a,Y=y）=1/36
H（X/Y）=H（A/Y）=（1/36）[（-1*log1-2*log（1/2）-3*log（1/3）-4*log（1/4）-5*log（1/5））*2-6*log（1/6）]=1.89bit
由于P（A+B+C/A+B,A）=P（C/A+B,A）=P（C）
H（Z/XY）=H（C）=log6=2.58bit
由于P（A=x,A+B+C=z/A+B=y）=P（A=x,C=z-y/A+B=y）=P（A=x/A+B=y）P（C=z-y/A+B=y）=
P（A=x/A+B=y）P（C=z-y）=P（A/Y）P（C）
P（A/Y）上面已经给出。
Y
组合数目
组合情况（A+B+C）
P（A=x,A+B+C=z/A+B=y）
12
6
6+6+1,6+6+2,....,6+6+6
1/6
11
12
...
1/12
10
18
...
1/18
9
24
...
1/24
8
30
...
...
7
36
...
1/36
6
30
...
...
5
24
...
...
4
18
...
...
3
12
...
...
2
6
...
1/6
一共216种情况，每种情况的概率为1/216，即P（XYZ）=1/216
H（XZ/Y）=（1/216）[（-6*log（1/6）-12*log（1/12）-18*log（1/18）-24*log（1/24）-30*log（1/30））*2-36*log（1/36）]=
（1/36）*[（log6+2log12+3log18+4log24+5log30）*2+6log36]=4.48bit
由于P（Z/X）=P（B+C/A）=P（B+C）
B＋C的组合共36种:
B+C
组合数目
组合情况（B+C）
P（Z/X）
12
1
6+6
1/36
11
2
5+6,6+5
2/36
10
3
4+6,5+5,6+4
3/36
9
4
3+6,4+5,5+4,6+3
4/36
8
5
...
...
7
6
1+6,2+5,3+4,4+3,5+2,6+1
5/36
6
5
...
...
5
4
...
...
4
3
...
...
3
2
...
...
2
1
1+1
1/36
=（1/36）*{[log36+2log（36/2）+3log（36/3）+4log（36/4）+5log（36/5）]*2+6log（36/6）}bit
2.11解：
P（0/0）=P（1/1）=1-p,P（1/0）=P（0/1）=p
（a）P（ul）=1/8
P（ul，0）=P（ul）×P（0/ul）=（1/8）×（1-p）
接收的第一个数字为0的概率：
P（0）=P（ul）×P（0/ul）+P（u2）×P（0/u2）+…….P（u8）×P（0/u8）
=4×（1/8）×（1-p）+4×（1/8）×p=1/2
I（ul;0）=log[P（ul，0）/P（0）P（ul）]=1+log（1-p）
（b）P（ul，00）=P（ul）×P（00/ul）=（1/8）×（1-p）2
P（00）=P（ul）×P（00/ul）+P（u2）×P（00/u2）+…….P（u8）×P（00/u8）
=2×（1/8）×（1-p）2+4×（1/8）×p（1-p）+2×（1/8）×p2
=1/4
I（ul;00）=log[P（ul，00）/P（00）P（ul）]=2+2log（1-p）
（c）P（ul，000）=P（ul）×P（000/ul）=（1/8）×（1-p）3
P（000）=P（ul）×P（000/ul）+P（u2）×P（000/u2）+…….P（u8）×P（000/u8）
=（1/8）×（1-p）3+3×（1/8）×p（1-p）2+3×（1/8）×p2（1-p）+（1/8）×p3
=1/8
I（ul;000）=log[P（ul，000）/P（000）P（ul）]=3+3log（1-p）
（d）P（ul，0000）=P（ul）×P（0000/ul）=（1/8）×（1-p）4
P（0000）=P（ul）×P（0000/ul）+P（u2）×P（0000/u2）+…….P（u8）×P（0000/u8）
=（1/8）×（1-p）4+6×（1/8）×p2（1-p）2+（1/8）×p4
I（ul;0000）=log[P（ul，0000）/P（0000）P（ul）]=
2.12解：
Z
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
概率
1/63
3/63
6/63
10/63
15/63
21/63
25/63
27/63
27/63
25/63
21/63
15/63
10/63
6/63
3/63
1/63
I（Y;Z）=H（Z）-H（Z/Y）
I（X;Z）=H（Z）-H（Z/X）
I（XY ;Z）=H（Z）-H（Z/XY）
I（Y;Z/X）=I（XY;Z）-I（X;Z）
I（X;Z/Y）=I（XZ;Y）-I（Y;Z）=H（XZ）-H（XZ/Y）-I（Y;Z）＝H（X）+H（Z/X）-H（XZ/Y）-I（Y;Z）
以上可以根据2.9的结果求出
2.27解：
考虑到约束条件
采用拉格朗日乘子法
当且仅当
时，等式成立。
将
带入
：
实现最大微分熵的分布
，相应的熵值log（me）
2.29证明：
（a）
所以Q（x）为概率分布。
（b）即证明熵的凸性。
升级会员 