信息论与编码姜丹第三版答案.docx
《信息论与编码姜丹第三版答案.docx》由会员分享,可在线阅读,更多相关《信息论与编码姜丹第三版答案.docx(16页珍藏版)》请在冰豆网上搜索。
![信息论与编码姜丹第三版答案.docx](https://file1.bdocx.com/fileroot1/2023-6/16/13e43984-6e92-4674-9e85-b4f262a2a85d/13e43984-6e92-4674-9e85-b4f262a2a85d1.gif)
信息论与编码姜丹第三版答案
信息论与编码姜丹第三版答案
2002CopyrightEELab508 信息论与编码习题参考答案第一章单符号离散信源 信息论与编码作业是74页,的,,,,,还有证明熵函数的连续性、扩展性、可加性 同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量;
(2)“两个5同时出现”这一事件的自信息量;(3)两个点数的各种组合的熵;(4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。
解:
11样本空间:
N?
c6c6?
6?
6?
36n12 ?
?
I(a)?
?
logP1?
log18?
(2)P2?
2?
?
I(a)?
?
logP2?
log36?
(1)P1?
(3)信源空间:
XP(X)XP(x)XP(x)XP(x)XP(x)(1,1)1/36(2,2)1/36(3,3)1/36(4,4)1/36(5,5)1/36(1,2)2/36(2,3)2/36(3,4)2/36(4,5)2/36(5,6)2/36(1,3)2/36(2,4)2/36(3,5)2/36(4,6)2/36(1,4)2/36(2,5)2/36(3,6)2/36(6,6)1/36(1,5)2/36(2,6)2/36 (1,6)2/36 2361?
log?
6?
?
log36?
36236(4)信源空间:
X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36?
H(x)?
15?
2436636836?
log36+?
log?
?
log?
?
log363623633641036636 ?
?
log+?
log?
(5)P3?
3?
?
I(a)?
?
logP3?
log?
N3611 ?
H(x)?
?
2002CopyrightEELab508 如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为,,但A,B不能同时落入同一方格内。
若仅有质点A,求A落入任一方格的平均信息量;若已知A已落入,求B落入的平均信息量;若A,B是可辨认的,求A,B落入的平均信息量。
解:
1
(1)?
A落入任一格的概率:
P(ai)?
?
I(ai)?
?
logP(ai)?
log4848 ?
H(a)?
?
?
P(ai)logP(ai)?
log48?
?
148
(2)?
在已知A落入任一格的情况下,B落入任一格的概率是:
P(bi)?
?
I(bi)?
?
logP(bi)?
log47?
H(b)?
?
?
P(bi)logP(bi)?
log47?
?
148147(3)AB同时落入某两格的概率是P(ABi)?
?
I(ABi)?
?
logP(ABi)48?
47i?
111?
4847 H(ABi)?
?
?
P(ABi)logP(ABi)?
log(48?
47)?
从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:
“你是否是红绿色盲?
”他的回答可能是:
“是”,也可能“不是”。
问这两个回答中各含有多少信息量?
平均每个回答中各含有多少信息量?
如果你问一位女士,则她的答案中含有多少平均信息量?
解:
对于男士:
回答“是”的信息量:
I(my)?
?
logP(my)?
?
log7%?
回答“不是”的信息量:
I(mn)?
?
logP(mn)?
?
log93%?
平均每个回答信息量:
H(m)?
?
P(my)?
logP(my)?
P(mn)?
logP(mn) ?
-7%?
log7%-93%?
log93%?
对于女:
回答“是”的信息量:
I(wy)?
?
logP(wy)?
?
%回答“不是”的信息量:
I(mn)?
?
logP(mn)?
?
%平均每个回答信息量:
H(m)?
?
P(wy)?
logP(wy)?
P(wn)?
logP(wn) ?
-%?
%-%?
%?
?
2002CopyrightEELab508 某一无记忆信源的符号集为{0,1},已知p0?
13,p1?
23。
求符号的平均信息量; 1000个符号构成的序列,求某一特定序列个“1”) 的自信量的表达式; 计算中序列的熵。
解:
1122H(x)?
?
p0logp0?
p1logp1?
?
?
log?
?
log?
bit/symble333312I(A)?
?
mlogp0?
(1000?
m)logp?
?
mlog?
(1000?
m)log bit 33H(A)?
1000H(X)?
1000?
?
918bit/sequenceH(A)?
?
?
p0logp0?
i?
1m1000?
m?
i?
1p1logp1?
?
m12(1000?
m)2log?
设信源X的信源空间为:
a1 a2 a3 a4 a5 a6 ?
X:
[x?
p]:
?
?
p(X) 求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
H(X)?
?
?
p(ai)logp(ai)i?
16 ?
?
?
?
2?
?
?
?
bit/symble可见H(X)?
?
log6?
不满足信源熵的极值性,这是因为信源熵的最大值是在?
pi?
1的约束条件下求得的,但是本题中i?
1r ?
pi?
16i?
不满足信源熵最大值成立的约束条件,所以H(X)?
log6。
为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。
求传输此图象所需要的信息率。
解:
于亮度电平等概出现,熵的极值性:
每个像素的熵是:
H(x0)?
?
p(ai)logp(ai)?
log10?
bit/pelsi?
110每帧图像的熵是:
H(X)?
5?
105?
H(x0)?
5?
105?
?
?
106bit/frame?
所需信息速率为:
R?
r(frame/s)?
H(X)(bit/frame)?
30?
?
106?
?
107bit/s ?
2002CopyrightEELab508 设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。
证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?
10?
300bit量化?
每个像素的熵是:
H(x1)?
?
p(bi)logp(bi)?
log300bit/pelsi?
1300?
H(x1)log300?
?
?
(x0)log10 ?
彩色电视系统每个像素信息量比黑白电视系统大倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高倍左右.每帧电视图像可以认为是3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。
问每帧图像含有多少信息量?
若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字?
解:
每帧图象所含信息量:
H(X)?
3?
105?
H(x)?
3?
105?
log128?
?
106bit/symble1000?
?
每个汉字所包含信息量:
H(c)?
?
logp每个汉字所出现概率p?
描述一帧图像需要汉字数n,H(X)?
nH(c)H(X)?
106n?
?
?
?
105/frameH(c)?
?
最少需要?
105个汉字 给定一个概率分布(p1,p2,...,pn)和一个整数m,0?
m?
n。
定义qm?
1?
?
p,证明:
ii?
1mH(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)。
并说明等式何时成立?
证:
先证明f(x)?
?
xlogx(x?
0)为凸函数,如下:
loge 又x?
0x loge?
f?
?
(x)?
(?
xlogx)?
?
?
?
?
0即f(x)?
?
xlogx(x?
0)为凸函数。
x?
f?
?
(x)?
(?
xlogx)?
?
?
?
又?
H(p1,p2,...,pn)?
?
?
pilogpi?
i?
1mi?
m?
1?
plogpini?
2002CopyrightEELab508 凸函数的性质,变量函数的平均值小于变量的算术平均值的函数,可得:
?
i?
m?
1?
pilogpi?
?
(n?
m)i?
m?
1ni?
m?
1?
f(p)inn?
m?
?
(n?
m)f(i?
m?
1?
pnin?
m)?
?
(n?
m)i?
m?
1?
pnin?
mlogi?
m?
1?
pnin?
m?
?
qmlogqmn?
m即?
?
plogpini?
?
qmlogqm?
qmlog(n?
m)当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
?
H(p1,p2,...,pn)?
?
?
pilogpi?
m?
plogpini?
?
?
pilogpi?
qmlogqm?
qmlog(n?
m)mi?
1i?
m?
1i?
1m?
H(p1,p2,...,pm,qm)?
?
?
pilogpi?
qmlogqmi?
1?
H(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。
解:
nmH(p1,p2,...,pn)?
?
?
pilogpi?
H(q1,q2,...,qm)?
?
?
qilogqi i?
1i?
1 ?
2002CopyrightEELab508 解:
题意?
I(A;B)?
logp(AB)p(A)?
1?
p(AB)?
2p(A) ?
p(A)?
10?
2时,p(AB)?
2?
10?
2p(A)?
132时,p(AB)?
116p(A)?
时,p(AB)?
1 某信源发出8种消息,它们的先验概率以及相应的码字如下表所列。
以a4为例,试求:
消息概率码字a11/4000a21/4001a31/8010a41/8011a51/16100a61/16101a71/16110a81/16111
(1)在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0);
(2)在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0);(3)在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01);(4)从码字W4=011中获取关于a4的信息量I(a4;011)。
解:
(1)I(a4;0)?
logp(a40)p(a4)?
log(1/8)/(1/4?
1/4?
1/8?
1/8)4?
log?
bit1/83(1/8)/(1/8?
1/8)?
log3?
bit(1/8)/(1/4?
1/4?
1/8?
1/8)1?
log2?
1bit(1/8)/(1/8?
1/8)1?
log8?
3bit1/8n
(2)I(a4;10)?
logp(a401)p(a40)?
log(3)I(a4;101)?
log(4)I(a4;011)?
logp(a4011)p(a401)p(a4011)p(a4) ?
log?
把n个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0 ?
2002CopyrightEELab508 解:
用数学归纳法证明:
当n?
2时:
p?
?
1?
pp?
?
2p?
2p21?
2p?
2p2?
?
1?
p[P2]?
?
?
?
?
?
p1?
p?
?
?
2p1?
p2p?
2p2?
?
?
?
?
?
1?
2p?
2p1?
p2?
2p?
2p2?
[1?
(1?
2p)2]2假设n?
k时公式成立,则?
1k[1?
(1?
2p)]?
2[Pk?
1]?
?
1k?
[1?
(1?
2p)]?
2?
1k?
1[1?
(1?
2p)]?
2 ?
?
1k?
1?
[1?
(1?
2p)]?
21?
Pk?
1?
[1?
(1?
2p)k?
1]21故Pn?
[1?
(1?
2p)n]21?
[1?
(1?
2p)k]?
?
1?
pp?
2?
?
?
p1?
p?
1k?
[1?
(1?
2p)]?
?
2?
1?
[1?
(1?
2p)k?
1]?
2?
1k?
1[1?
(1?
2p)]?
2?
11?
1?
2p?
1?
limPn?
lim[1?
(1?
2p)n]?
n?
?
n?
?
22设输入信源空间X0:
p(X0?
0)?
a,p(X0?
1)?
1?
a(其中0?
a?
1)则输出信源X?
:
p(X?
?
0)?
p(X0?
0)?
p(X?
?
0X0?
0)?
p(X0?
0)?
p(X?
?
0X0?
1)?
12?
p(x?
x0)?
p(x?
)(x0、x?
取0或1) p(X?
?
1)?
?
limI(X0;Xn)?
?
?
p(X0iX?
j)logn?
?
i?
1j?
1222212p(X?
jX0i)p(X?
j)?
?
?
p(X0iX?
j)logi?
1j?
122p(X?
jX0i)p(X?
j) ?
?
?
p(X0iX?
j)log1?
0i?
1j?
1 ?
2002CopyrightEELab508 试求下列各信道矩阵代表的信道的信道容量:
(1) b1b2b3b4a1?
0010?
[P?
a2?
1000?
1]a?
?
3?
0001?
a?
0100?
4?
?
(2) b1b2b3a1?
100?
a2?
100[Pa?
?
?
010?
?
2]?
3a?
010?
4?
?
a5?
001a?
?
001?
6?
?
(3) b1 b2 b3 b4 b5 b6 b7 b8 b9 a1?
[P3]?
a2?
?
70003?
?
解:
(1)信道为一一对应确定关系的无噪信道?
C?
logr?
log4?
2bit/symble
(2)信道为归并性无噪信道?
C?
logs?
log3?
bit/symble (3)信道为扩张性无噪信道:
?
C?
logr?
log3?
bit/symble 设二进制对称信道的信道矩阵为:
0 1[P]?
0?
3/41/4?
1?
?
1/43/4?
?
(1)若p(0)=2/3,p
(1)=1/3,求H(X),H(X/Y),H(Y/X)和I(X;Y);
(2)求该信道的信道容量及其达到的输入概率分布。
b100?
0?
?
?
?
?
2002CopyrightEELab508 解:
2211
(1)H(X)?
?
?
p(xi)logp(xi)?
?
(?
log?
?
log)?
bit/symble3333i?
1py(0)?
?
p(xi)p(y?
0xi)?
i?
122223117?
?
?
?
34341221135?
?
?
?
3434127755?
log?
?
log)?
bit/symble1212121222py
(1)?
?
p(xi)p(y?
1xi)?
i?
12 H(Y)?
?
?
p(yj)logp(yj)?
?
(j?
122H(YX)?
?
?
?
p(xiyj)logp(yjxi)?
?
?
?
p(xi)p(yjxi)logp(yjxi)i?
1j?
1i?
1j?
1233111211133 ?
?
(?
log?
?
log?
?
log?
?
log)?
bit/symble344344344344?
I(X;Y)?
H(Y)?
H(YX)?
?
?
bit/symbleH(XY)?
H(X)?
I(X;Y)?
?
?
bit/symble
(2)本信道为强对称信道?
C?
logr?
H(?
)?
?
log(r?
1)?
log2?
H()?
?
/symble1信源输入为等概分布,即p(X?
0)?
p(X?
1)?
时达到信道容量 设某信道的信道矩阵为 b1 b2 b3 b4 b5a1?
?
a2?
?
?
?
[P]?
a3?
?
?
?
a4?
?
a5?
?
?
?
试求:
(1)该信道的信道容量C;
(2)I(a3;Y);(3)I(a2;Y)。
解:
(1)本信道为强对称离散信道?
C?
logr?
H(?
)?
?
log(r?
1)?
log5?
H()?
?
/symble
(2)、(3)I(a3;Y)?
I(a5;Y)?
C?
/symble ?
2002CopyrightEELab508 设某信道的信道矩阵为 b1 b2 b3 b4a1?
1/31/31/61/6?
[P]?
?
a2?
1/61/61/31/3?
?
试求:
(1)该信道的信道容量C;
(2)I(a1;Y);(3)I(a2;Y)。
解:
本信道为对称离散信道1111?
p2?
p3?
p4?
)?
log4?
H(,,,)?
/symble?
C?
logs?
H(p13366
(2)、(3)I(a1;Y)?
I(a2;Y)?
C?
/bymble 设某信道的信道矩阵为 ?
1/21/41/81/8?
[P]?
?
?
1/41/21/81/8?
?
试该信道的信道容量C; 解:
此信道为准对称离散信道,且s1?
2,s2?
2111133?
[?
]?
?
?
?
p(bl)l?
1r24248111111p(b12)?
p(b22)?
?
[?
]?
?
?
?
p(bl)l?
2r88248p(b11)?
p(b21)?
33111111?
p2?
p3?
p4?
)?
?
[2?
log?
2?
log]?
H(,,,)?
C?
?
?
slp(bl)logp(bl)?
H(p188882488l?
1 ?
/symble 求下列二个信道的信道容量,并加以比较(其中0 p?
?
q?
?
?
2002CopyrightEELab508 解:
(1)此信道为准对称离散信道,且s1?
2,s2?
111p(bl)l?
1?
?
(p?
?
?
q?
?
)?
?
(p?
q?
2?
)r211p(bl)l?
2?
?
(2?
)?
?
2?
?
?
r2?
p2?
p3?
)?
C1?
?
?
slp(bl)logp(bl)?
H(p1l?
1211 ?
?
[2?
?
(p?
q?
2?
)log?
(p?
q?
2?
)?
?
log?
]?
H(p?
?
q?
?
2?
)22p?
q?
2?
?
?
(p?
q?
2?
)log?
(p?
?
)log(p?
?
)?
(q?
?
)log(q?
?
)?
2?
?
?
log?
2
(2)此信道为准对称离散信道,且s1?
2,s2?
211p(bl)l?
1?
?
(2?
?
0)?
?
2?
?
?
r211p(bl)l?
2?
?
(p?
?
?
q?
?
)?
?
(p?
q?
2?
)r2?
p2?
p3?
p4?
)?
C2?
?
?
slp(bl)logp(bl)?
H(p1l?
1211 ?
?
[2?
log?
?
2?
?
(p?
q?
2?
)log?
(p?
q?
2?
)]?
H(p?
?
q?
?
2?
0)22p?
q?
2?
?
?
(p?
q?
2?
)log?
(p?
?
)log(p?
?
)?
(q?
?
)log(q?
?
)?
2?
2上面C1、C2表达式可知:
C1?
C2且当?
?
0时等号成立.设某信道的信道矩阵为 ?
p1[P]?
?
?
?
?
?
00p20?
0?
0?
?
?
其中P1,P2,?
,PN是N个离散信道的信道矩阵。
令C1,C2,?
,?
pN?
?
CN表示N个离散信道的容量。
试证明,该信道的容量C?
logCi-C ?
2i?
1Nci比特/符号,且当每个信 道i的利用率pi=2证明:
(i=1,2,?
N)时达其容量C。
设:
Pm为lm行?
km列(m?
1,2,?
N)方程组?
p(bj/ai)?
j?
?
p(bj/ai)logp(bj/ai)(i?
1,2,?
r)?
?
?
(1)j?
1j?
1ss解出?
j可得C?
log[?
2j](其中s?
?
km,r?
?
lm)j?
1m?
1m?
1s?
NN [P]特点,方程组
(1)可以改写为:
?
2002CopyrightEELab508 s?
k1p1p1p1p1p(b/a)?
?
p(b/a)logp(bjjjj/ai)?
ii?
?
j1?
1?
j?
1s?
k2p2p2p2p2?
?
p(bj/ai)?
j?
?
p(bj/ai)logp(bj/ai) (i?
1,2,?
r)?
?
(2)j1?
1?
j?
1?
?
?
s?
kNpnpnpnpn?
?
p(bj/ai)?
j?
?
p(bj/ai)logp(bj/ai)j1?
1?
j?
1其中Cm?
log[?
2j?
1skm?
pmj](m?
1,2,?
N),即?
2j?
1Nkmkm?
pmj?
2Cm?
C?
log[?
2]?
log[?
(?
2j?
1m?
1j?
1km?
j?
pmj)]?
log[?
2Cm]m?
1kmN且在各信道利用率为:
pm?
?
2j?
1(?
pmj?
C)?
2(?
log2j?
1?
pmj?
C)?
2(Cm?
C)(m?
1,2,?
N)时取得信道容量C?
log[?
2Cm]m?
1N 第三章多符号离散信源与信道 设X=X1X2?
XN是平稳离散有记忆信源,试证明:
H(X1X2?
XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+?
+H(XN/X1X2?
XN-1)。
(证明详见p161-p162) 试证明:
logr≥H(X)≥H(X2/X1)≥H(X3/X1X2)≥?
≥H(XN/X1X2?
XN-1)。
证明:
?
2002CopyrightEELab508 离散平稳有记忆信源条件概率的平稳性有:
p(aik/ai2ai3?
aik?
1)?
p(aik?
1/ai1ai2?
aik?
2)?
r?
?
H(Xk/X1X2?
Xk?
1)?
?
?
?
p(ai1?
aik?
1)?
?
?
p(aik/ai1ai2?
aik?
1)logp(aik/ai2ai3?
aik?
1)?
i1?
1ik?
1?
1?
ik?
1?
?
?
?
?
i1?
1rrik?
1?
1ik?
1rrrr?
?
p(a?
?
p(a?
p(ari1i2rri1i2a?
aik?
1aik)logp(aik/ai2ai3?
aik?
1)a?
aik?
1aik)logp(aik?
1/ai1ai2?
aik?
2) ?
?
?
?
i1?
1ri1i2ik?
1?
1ik?
1 ?
?
?
?
i1?
1a?
aik?
1)logp(aik?
1/ai1ai2?
aik?
2)ik?
1?
1 ?
H(Xk?
1/X1X2?
Xk?
2)重复应用上面式子可得:
H(X)?
H(X2/X1)?
H(X3/X1X2)?
?
H(XN/X1X2?
XN?
1)又仅当输入均匀分布时,H(X)达到最大logr,即logr?
H(X)?
logr?
H(X)?
H(X2/X1)?
H(X3/X1X2)?
?
H(XN/X1X2?
XN?
1) 试证明离散平稳信源的极限熵:
H?
?
limH(XN/X1X2XN?
1) n?
?
(证明详见p165-p167) 设随机变量序列(XYZ)是马氏链,且X:
{a1,a2,?
ar},Y:
{b1,b2,?
bs},Z:
{c1,c2,?
cL}。
又设X与Y之间的转移概率为p(bj/ai)(i=1,2,?
r;j=1,2,?
s);Y与Z之间的转移概率为p(ck/bj)(k=1,2,?
L;j=1,2,?
s)。
试证明:
X与Z之间的转移概率:
p(ck/ai)?
?
p(bj/ai)p(ck/bj) j?
1s 证明:
?
2002CopyrightEELab508 p(ck/ai)?
p(Z?
ck/X?
ai) ?
p(Z?
ck,?
Y?
bj/X?
ai)?
?
p(Z?
ck,Y?
bj/X?
ai)j?
1j?
1ss ?
?
p(Y?
bj/X?
ai)P(Z?
ck/Y?
bj,X?
ai)j?
1s ?
XYZ为Markov序列?
P(ck/bj,ai)?
P(ck/bj)?
p(ck/ai)=?
p(Y?
bj/X?
ai)P(Z?
ck/Y?
bj)j?
1s 试证明:
对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i,j=1,2,?
,r,都有pij(n0)>0,则对每个j=1,2,?
,r都存在状态极限概率:
limpij(n)?
pj(j?
1,2,?
r) n?
?
(证明详见:
p171~175) 设某齐次马氏链的第一步转移概率矩阵为:
0 1 20?
qp0?
1?
q0p?
?
?
2?
?
0qp?
?
试求:
(1)该马氏链的二步转移概率矩阵;
(2)平稳后状态“0”、“1”、“2”的极限概率。