信息论与编码姜丹第三版规范标准答案.docx
《信息论与编码姜丹第三版规范标准答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码姜丹第三版规范标准答案.docx（104页珍藏版）》请在冰豆网上搜索。
信息论与编码姜丹第三版规范标准答案
信息论与编码习题参考答案
第一章单符号离散信源
信息论与编码作业是74页，1.1的
（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性
1.1同时掷一对均匀的子，试求：
（1）“2和6同时出现”这一事件的自信息量；
（2）“两个5同时出现”这一事件的自信息量；
（3）两个点数的各种组合的熵；
⑷两个点数之和的熵；
（5）“两个点数中至少有一个是1”的自信息量。
解：
样本空间：
Nc6c66636
（1）Pn1—I（a）logRIog184.17bit
N36
n21
（2）F22I（a）logF2log365.17bit
N36
（3）信源空间：
X
（1,1）
（1,2）
（1,3）
（1,4）
（1,5）
（1,6）
P（X）
1/36
2/36
2/36
2/36
2/36
2/36
X
（2,2）
（2,3）
（2,4）
（2,5）
（2,6）
P（x）
1/36
2/36
2/36
2/36
2/36
X
（3,3）
（3,4）
（3,5）
（3,6）
P（x）
1/36
2/36
2/36
2/36
X
（4,4）
（4,5）
（4,6）
P（x）
1/36
2/36
2/36
X
（5,5）
（5,6）
（6,6）
P（x）
1/36
2/36
1/36
2361
H（x）15log6log364.32bit
36236
（4）信源空间:
X
2
3
4
5
6
7
8
9
10
11
12
P（x）
1/3
2/3
3/3
4/3
5/3
6/3
5/3
4/3
3/3
2/3
1/3
6
6
6
6
6
6
6
6
6
6
6
2
“4
36
6,
36
8
36
H（x）
log36+
log—
log
log-
36
36
2
36
3
36
4
10
366
36
log+
log-
3.71bit
36
536
6
⑸P3
n3
11
I（a）
logR
1.17bit
N
36
11
1.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它
们的坐标分别为（Xa，Ya）,（Xb，Yb），但A，B不能同时落入同一方格内。
（1）若仅有质点A，求A落入任一方格的平均信息量；
（2）若已知A已落入，求B落入的平均信息量;
解：
1
（1）A落入任一格的概率：
P（aJI（ajlogP（aJlog48
48
48
H（a）P（ai）logP（ai）log485.58bit
i1
1
（2）在已知A落入任一格的情况下,B落入任一格的概率是：
P（bJ—
47
I（b）logP（bi）log47
48
H（b）P（bi）logP（bi）log475.55bit
i1
11
（3）AB同时落入某两格的概率是P（ABi）-—
74847
I（ABi）logP（ABi）
4847
H（ABi）P（ABi）logP（ABJlog（4847）11.14bit
i1
1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：
“你是否是红绿色盲？
”他的回答可能是：
“是”，也可能“不是”。
问这两个回答中各
含有多少信息量？
平均每个回答中各含有多少信息量？
如果你问一位女士，则她的答案中含有多少平均信息量?
解:
对于男士：
回答“是”的信息量：
I（my）logP（my）log7%3.84bit
回答“不是”的信息量平均每个回答信息量：
:
I（mn）logP（mn）log93%0.105bit
H（m）P（my）logP（my）P（mn）logP（mn）
-7%log7%-93%log93%0.366bit
对于女:
回答“是”的信息量：
l（wy）logP（wy）log0.5%
回答“不是”的信息量平均每个回答信息量：
:
I（mn）logP（mn）log99.5%
H（m）P（Wy）logP（Wy）P（Wn）logP（Wn）
-0.5%log0.5%-99.5%log99.5%0.0454bit
1.4某一无记忆信源的符号集为｛
12
0,1},已知po-,pi一。
33
（1）求符号的平均信息量;
（2）由1000个符号构成的序列，求某一特定序列（例如有
m个“0”,（1000-m）个
1”）的自信量的表达式;
（3）计算
（2）中序列的熵。
解：
P0logp0
P1logp1
3
log--
33
log3
0.918
bit/symble
mlogP0
（1000
m）logp
.1mlog-
y3
（1000
m）log
-bit
3
1000H（X）
1000
0.918
918bit/sequenee
（1）H（x）
⑵1（A）
（3）H（A）
1122
1000m
H（A）
P0logP0
i1
P1logP1
i1
m12（1000m）2
loglog-
3333
1.5设信源X的信源空间为:
X:
a1
[x?
P]：
p（X）0.17
a3
a4
as
a6
0.18
0.16
0.18
0.3
a2
0.19
求信源熵，并解释为什么
H（X）>log6，不满足信源熵的极值性。
解：
H（X）
p（ajlogp（aj
ii
0.17log0.170.19log0.1920.18log0.180.16log0.160.3log0.3
2.725bit/symble
可见H（X）2.725log62.585不满足信源熵的极值性，
r
这是因为信源熵的最大值是在pi1的约束条件下求得的，但是本题中
i1
6
pi1.18不满足信源熵最大值成立的约束条件，所以H（X）log6。
i1
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5X105个像素和10个不同
的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s）。
解：
由于亮度电平等概出现，由熵的极值性：
10
每个像素的熵是：
H（x0）p（ai）logp（ai）log103.322bit/pels
i1
每帧图像的熵是：
H（X）5105H（xo）51053.3221.661106bit/frame
所需信息速率为：
Rr（frame/s）H（X）（bit/frame）301.6611064.983107bit/s
30个不同的色彩
1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有
2.5倍左右。
度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大
增加30个不同色彩度,在满足黑白电视系统要求下，每个色彩度需要10个亮度,
所以每个像素需要用
3010
300bit量化
每个像素的熵是：
H（xJ
300
p（bi）logp（b）log300bit/pels
i1
H（xJ
log300
2.477
2.5
H（x°）
log10
彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的
图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.
1.8每帧电视图像可以认为是由3X105个像素组成，所以像素均是独立变化，且每像素又取
128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？
若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描
每帧图象所含信息量：
5
H（X）310H（x）
每个汉字所出现概率p
述此图像，广播员在口述中至少需要多少汉字?
6
10log1282.110bit/symble1000
0.1
10000
每个汉字所包含信息量：
H（c）logp描述一帧图像需要汉字数n,H（X）nH（c）n迪2±^6.322105/frame
H（c）log0.1
最少需要6.322105个汉字
m
1.9给定一个概率分布（p1,p2,...,pn）和一个整数m,0mn。
定义cm1p，证明:
i1
H（P1,P2,...,Pn）
Hg,p2,...,pm，Cm）
Cmlog（nm）。
并说明等式何时成立?
证：
先证明f（x）xlogx（x0）为凸函数，如下:
f（x）（xlogx）f（x）（xlogx）
loge
x
m
又H（P1,P2,...,Pn）
PilogPi
0即f（x）xlogx（x0）为凸函数。
n
pilogPi
n
PilogPi
im1
n
即PilogPi
im1
当且仅当Pm1
n
f（Pi）
（nm）（n
nm
qmlogqmqmlog（n
im1
m）f（——
n
m）
n
Pi
-）
m
（n
n
Pi
m1
m）log
nmn
n
Pi
im1
m
qmlog
qm
nm
Pn时等式成立。
n
PilogPi
im1
Pm2.
m
PilogPi
i1
m
PilogPiqmlogqm
i1
H（P1,P2,…，Pn）H（P1,P2，...,Pm，qm）QmlOg5
当且仅当Pm1pm2...Pn时等式成立。
H（Pi,P2,…，Pn）
H（Pi,P2,…，Pm2m）
1.10找出两种特殊分布
PilogPi
1
m）
qmlogqmqmlog（n
m）
P1刊2邛3》…初,P1>P2>P3》…书m,使H（p1,p2,p3,…,pn）=H（p1,p2,p3,…,pm）。
nm
解：
H（P1,p2,...,Pn）PilogPiH©,q2,...,qm）qlogq
1.15两个离散随机变量X和Y,其和为Z=X+Y,若X和Y统计独立，求证:
⑴H（X）WH（Z）,H（Y）WH（Z）
（2）H（XY）>H（Z）证明：
设X、Y的信源空间为:
X
[X?
P]:
a1a2
P（X）P1P2
又X,丫统计独立
t
pZklogpZk
k1
t
又H（Z）=pzklogpZk
k1
rs
（piog（pi
i1j1
rs
qjiog（p
i1j1
H（Z）
ar
Pr
[Y?
P]:
Y
bi
P（Y）qi
s
P（aibj）logp（qbj）j1
ss
qj））
qj）
Piqj）iog（
j1i1
rs
qjiog（p
i1j1
s
qjiog（qj）
Piqj）
j1
qj）
b2...bs
q2...qs
rs
（Piqj）log（Piqj）H（XY）
i1j1
第二章单符号离散信道
2.1设信源[X?
P]：
X厲
P（X）0.7
92通过一信道，信道的输出随机变量
0.3
Y的符号集
b1
bs
a15/6
1/6
[P]一
3/4
a21/4
Y:
{b「b2}，信道的矩阵:
试求:
（1）信源X中的符号1和2分别含有的自信息量；
⑵收到消息Y=b1,Y=b2后，获得关于1、2的互交信息量：
1（1；b1）、1（1；b2）、
I（2；b1）、I（2；b2）；
（3）信源X和信宿Y的信息熵；
（4）信道疑义度H（X/Y）和噪声熵H（Y/X）;
（5）接收到消息Y后获得的平均互交信息量l（X;Y）。
（1）l（aJlogp（ajlog0.70.5415bit
log0.31.737bit
5/6
I（a?
）logp@21）l
P（b®）log—P（G
p（b2&1）log
（2）g;bi）
log
0.75/60.31/4
0.34bit
I（ai；b2）
1/6
P（b2）
log心a2）
log
0.71/60.33/4
1.036bit
I®®）
P（bJ
P（b2a?
）log
P（b2）
1/4
log
0.75/60.31/4
0.766bit
3/4
log
0.71/60.33/4
1.134bit
（3）由上：
p（b）
P（b2）
P（ai）P（b1ai）120
P（ai）P（b2ai）110
2
H（X）
i1
2
p（a」logp（a）（0.7log0.7
0.3log0.3）0.881bit/symble
H（Y）
j
p（bj）logp（bj）
1
22
/79|79
（log
120120
22
dog空）0.926bit/symble
120120
（4）H（YX）
又I（X;Y）
H（XY）
（5）I（X;Y）
P（abj）logp（bjai）
j1i1
H（Y）H（YX）H（X）
H（X）H（YX）H（Y）
H（Y）H（YX）0.926
p（ai）p（bjai）logp（bjai）0.698bit/symble
j1i1
H（XY）
0.8810.6980.9260.653bit/symble
0.698
0.228bit/symble
2.2某二进制对称信道，其信道矩阵是:
00.98
[P]10.02
0.02
0.98
设该信道以1500个二进制符号/秒的速度传输输入符号。
现有一消息序列共有14000个二进制符号，并设在这消息中p（0）=p
（1）=0.5。
问从消息传输的角度来考虑，10秒钟内能否
将这消息序列无失真的传送完。
由于二进制对称信道输入等概信源
l（X;Y）C1H（）1log
（1）log
（1）
10.02log0.020.98log0.980.859bit/symble
信道在10秒钟内传送14000个二进制符号最大码率为:
CtC14000symble/10s1201.98bit/s
而输入信源码率为1500bit/s,超过了信道所能提供的最大码率，故不可能无失真传输
2.3有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8，
P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。
定义另一随机变量Z=XY，试计算:
（1）
H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）,H（XYZ）;
H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）,H（Z/XY）;
I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）,I（X;Z/Y）
（1）由题意：
X的分布：
p（X
Y的分布：
p（Y
3
8
3
8
1;P（X
1;P（Y
且p（X0,Z
p（Y0,Z
H（X）
H（Y）
H（Z）
H（XZ）
由上面X、
丄
2.
1
2.
fp（Z1）
3
8
3
8
3
8
1）1
1）1
13
88
1
8.
1,Z0）f;p（X1,Z
8
0）p（Y0）;p（Y0,Z1）0;p（Y1,Z0）-;p（Y1,Z1）
28
XY的分布为
:
X的分布:
p（Z0）
1
0）p（x0）〒p（x
1，…
0,Z1）0;p（X
1）
1
8;
‘---2''
1111
（loglog?
）1bit/symble;
1111
（loglog-）1bit/symble
2222
7711
（loglog-）0.544bit/symble
8888
22
p（XiZ<）logp（XiZ<）
i1k1
（Pxz（00）logPxz（00）Pxz（10）logp/10）Pxz（01）logPxz（01）Pxz（11）logPxz（11））
13133311
（）log（）log0log1.406bit/symble
88888888
Y、Z的概率分布：
H（YZ）H（XZ）1.406bit/symble
（2）p（X0Y0）
Pxy（00）
Pxy（00）
Py（0）
1/8
1/2
1
4；Pxy（10）
Pxy（10）3/83
Py（0）1/24
Pxy（01）
Pxy（01）
Py
（1）
3/83
证4；Pxy（11）
Pxy（11）
Py
（1）
1/81
124
22
H（XY）P（^yj）logp（Xiyj）
i1j1
Pxy（00）logPxy（00）Pxy（01）logPxy（01）Pxy（10）logPxy（10）Pxy（11）切Pxy（11）
1-4
og
3一4
og
3-00
3-4
og
3-00
1一4
og
0811bit/symble
I（X;Y）
H（YX）
同理：
H（X）H（XY）H（Y）H（YX）且H（X）H（Y）
H（XY）0.811bit/symble
2
p（xz）ogP"：
：
）k1P（zQ
Pxz（00）logPxz（00）Pxz（01）logPxz（01）Pxz（10）logPxz（10）Pxz（11）logPxz（11）
11/233/811/8
（—log0loglog）0862bit/symble
27/887/881/8
2222
p（zM）log呼：
k1i1k1i1P（Xj）
Pzx（00）logPzx（00）Pzx（01）logPzx（01）Pzx（10）logPzx（10）Pzx（11）logPzx（11）
11/233/811/8
（log0loglog）0.406bit/symble
21/281/281/2
由X、Y、Z的概率:
H（YZ）H（XZ）0862
H（ZY）H（ZX）0406
Pxyz（001）Pxyz（101）Pxyz（011）Pxyz（110）
222
H（XZ）
H（ZX）
22
p（xZk）logp（XiZk）
i1k1
pSJIogp（Zkxi）
bit/symblebit/symble0
2
H（XYZ）p（xyjZk）logp（xiyZk）
i1j1k1i
Pxyz（000）Pxyz（010）
（Pxyz（000）log——Pxyz（010）log
Pyz（00）Pyz（10）
11/833/833/811/8
（loglogloglog）（
81/283/881/281/8
H（YXZ）H（XYZ）0.406bit/symble
222
’“p（xyjZk）
p（XiyjZQlog—
j1k1p（yjZk）
Pxyz（100）Pxyz（111）、
Pxyz（100）log—Pxyz（111）log—）
Pyz（00）Pyz（11）
0.406bit/symble
H（ZXY）p（Xiyjzk）logp（Zk为比）
i1j1k1i
Pxyz（000）Pxyz（010）
（Pxyz（000）log一Pxyz（010）log一
Pxy（00）Pxy（01）
J,1/833/833/81,1/8、c
（loglogloglog）0
81/883/883/881/8
p（^yjzk）
p（Xiyjzk）log
j1k1p（xyj）
Pxyz（100）Pxyz（111）、
Pxyz（100）log一Pxyz（111）log一）
Pxy（10）Pxy（11）
bit/symble
（3）由上:
I（X;Y）
H（X）H（XZ）10.8620.138bit/symble
H（XYZ）
0.862
0.406
0.456
bit/symble
H（YXZ）
0.811
0.406
0.405
bit/symble
H（XYZ）
0.811
0.406
0.405
bit/symble
10.8620.138bit/symble
[X?
P]:
a1
P（X）:
0.1
a2
0.30.2
a3
a4
0.4
H（X）H（XY）10.8110.189bit/symble
I（X;Z）
I（Y;Z）H（Y）H（YZ）I（X;YZ）H（XZ）I（Y;ZX）H（YX）I（X;ZY）H（XY）
2.4已知信源X的信源空间为
某信道的信道矩阵为:
b1
b2
b3
b4
a1
0.2
0.3
0.1
0.4
a2
0.6
0.2
升级会员 