信息论与编码习题参考答桉1.docx
《信息论与编码习题参考答桉1.docx》由会员分享,可在线阅读,更多相关《信息论与编码习题参考答桉1.docx(11页珍藏版)》请在冰豆网上搜索。
![信息论与编码习题参考答桉1.docx](https://file1.bdocx.com/fileroot1/2023-1/29/e8ddf180-eb5d-4ac9-bbe3-385de57b8857/e8ddf180-eb5d-4ac9-bbe3-385de57b88571.gif)
信息论与编码习题参考答桉1
信息论与编码习题参考答桉1
2002CopyrightEELab508 信息论与编码习题参考答案第一章单符号离散信源 同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量;
(2)“两个5同时出现”这一事件的自信息量;(3)两个点数的各种组合的熵;(4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。
解:
样本空间:
(1)P1?
(2)P2?
n1Nn2N?
?
N?
c6c6?
6?
6?
36236136?
I(a)?
?
logP1?
log18?
?
I(a)?
?
logP2?
log36?
(3)信源空间:
XP(X)XP(x)XP(x)XP(x)XP(x)?
H(x)?
15?
236(1,1)1/36(2,2)1/36(3,3)1/36(4,4)1/36(5,5)1/36?
log362(1,2)2/36(2,3)2/36(3,4)2/36(4,5)2/36(5,6)2/36?
6?
136(1,3)2/36(2,4)2/36(3,5)2/36(4,6)2/36(1,4)2/36(2,5)2/36(3,6)2/36(6,6)1/36(1,5)2/36(2,6)2/36 (1,6)2/36 ?
log36?
(4)信源空间:
XP(x)234567891011121/362/363/364/365/366/365/364/363/362/361/36236?
log36+?
log365436?
log636362?
636?
log363?
836?
log364?
H(x)?
?
1036+?
log366?
(5)P3?
n3N?
1136?
I(a)?
?
logP3?
log3611?
?
2002CopyrightEELab508 如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为,,但A,B不能同时落入同一方格内。
若仅有质点A,求A落入任一方格的平均信息量;若已知A已落入,求B落入的平均信息量;若A,B是可辨认的,求A,B落入的平均信息量。
解:
(1)?
A落入任一格的概率48:
P(ai)?
148?
I(ai)?
?
logP(ai)?
log48 ?
H(a)?
?
?
P(ai)logP(ai)?
log48?
?
1
(2)?
在已知A落入任一格的情况下?
I(bi)?
?
logP(bi)?
log4748,B落入任一格的概率是:
P(bi)?
147?
H(b)?
?
?
P(bi)logP(bi)?
log47?
?
1(3)AB同时落入某两格的概率?
I(ABi)?
?
logP(ABi)48?
47是P(ABi)?
148?
147 H(ABi)?
?
?
P(ABi?
1i)logP(ABi)?
log(48?
47)?
从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:
“你是否是红绿色盲?
”他的回答可能是:
“是”,也可能“不是”。
问这两个回答中各含有多少信息量?
平均每个回答中各含有多少信息量?
如果你问一位女士,则她的答案中含有多少平均信息量?
解:
对于男士:
回答“是”的信息量:
回答“不是”的信息量平均每个回答信息量:
I(my)?
?
logP(my)?
?
log7%?
:
I(mn)?
?
logP(mn)?
?
log93%?
(m)?
?
P(my)?
logP(my)?
P(mn)?
logP(mn) ?
-7%?
log7%-93%?
log93%?
对于女:
回答“是”的信息量:
回答“不是”的信息量平均每个回答信息量:
I(wy)?
?
logP(wy)?
?
%:
I(mn)?
?
logP(mn)?
?
%H(m)?
?
P(wy)?
logP(wy)?
P(wn)?
logP(wn)?
?
-%?
%-%?
% ?
2002CopyrightEELab508 某一无记忆信源的符号集为{0,1},已知p0?
13,p1?
23。
求符号的平均信息量; 1000个符号构成的序列,求某一特定序列个“1”) 的自信量的表达式;计算中序列的熵。
解:
H(x)?
?
p0logp0?
p1logp1?
?
13?
log13?
231313?
log23?
bit/symble23 bitI(A)?
?
mlogp0?
(1000?
m)logp?
?
mlog?
(1000?
m)log H(A)?
1000H(X)?
1000?
?
918bit/sequencem1000?
mH(A)?
?
?
p0logp0?
i?
1?
i?
1p1logp1?
?
m3log?
2(1000?
m)设信源X的信源空间为:
a1 a2 a3 a4 a5 a6 ?
X:
[x?
p]:
?
p(X) ?
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
6H(X)?
?
?
p(ai)logp(ai)i?
1 ?
?
?
?
2?
?
?
?
bit/symble可见H(X)?
?
log6?
不满足信源熵的极值性r,但是本题中 这是因为信源熵的最大6值是在?
i?
1pi?
1的约束条件下求得的,立的约束条件,所以?
i?
1pi?
不满足信源熵最大值成H(X)?
log6。
为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。
求传输此图象所需要的信息率。
解:
于亮度电平等概出现,熵的极值性:
10每个像素的熵是:
H(x0)?
?
i?
1p(ai)logp(ai)?
log10?
bit/pels556每帧图像的熵是:
H(X)?
5?
10?
H(x0)?
5?
10?
?
?
10bit/frame?
所需信息速率为:
R?
r(frame/s)?
H(X)(bit/frame)?
30?
?
106?
?
10bit/s7 ?
2002CopyrightEELab508 设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。
证:
增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?
10?
300bit量化300求下,每个色彩度需要10个亮度,?
每个像素的熵是:
H(x1)?
?
H(x1)H(x0)?
log300log10?
i?
1p(bi)logp(bi)?
log300bit/pels?
?
信息量比黑白电视系统比黑白电视系统高大倍作用,所以传输相同的倍左右. ?
彩色电视系统每个像素图形,彩色电视系统信息率要每帧电视图像可以认为是3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。
问每帧图像含有多少信息量?
若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字?
解:
每帧图象所含信息量5:
56H(X)?
3?
10?
H(x)?
3?
10?
log128?
?
10bit/symble每个汉字所出现概率p?
100010000?
?
每个汉字所包含信息量描述一帧图像需要汉字n?
H(X)H(c)?
?
106:
H(c)?
?
logp数n,H(X)?
nH(c)?
?
?
10/frame55?
最少需要?
10个汉字给定一个概率分布(p1,p2,...,pn)和一个整数m,0?
m?
n。
定义qm?
1?
?
pi,证明:
i?
1H(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)。
并说明等式何时成立?
证:
先证明f(x)?
?
xlogx(x?
0)为凸函数,如下:
?
f?
?
(x)?
(?
xlogx)?
?
?
?
?
f?
?
(x)?
(?
xlogx)?
?
?
?
logexlogexm 又x?
0 ?
0即f(x)?
?
xlogx(x?
0)为凸函数。
n又?
H(p1,p2,...,pn)?
?
?
pilogpi?
i?
1?
i?
m?
1pilogpi?
2002CopyrightEELab508 凸函数的性质,变量n函数的平均值小于变量n的算术平均值的函数,nn可得:
n?
pilogpi?
?
(n?
m)ni?
m?
1f(pi)?
?
i?
m?
1n?
mqm?
?
(n?
m)f(i?
m?
1)?
?
(n?
m)i?
m?
1logi?
m?
1?
?
qmlogn?
mn?
mn?
mn?
m?
pi?
pi?
pi即?
?
i?
m?
1pilogpi?
?
qmlogqm?
qmlog(n?
m)当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
mnm?
H(p1,p2,...,pn)?
?
?
pilogpi?
?
pilogpi?
?
?
pilogpi?
qmlogqm?
qmlog(n?
m)i?
1i?
m?
1i?
1m?
H(p1,p2,...,pm,qm)?
?
?
pilogpi?
qmlogqmi?
1?
H(p1,p2,...,pn)?
H(p1,p2,...,pm,qm)?
qmlog(n?
m)当且仅当pm?
1?
pm?
2?
...?
pn时等式成立。
找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。
nm解:
H(p1,p2,...,pn)?
?
?
pilogpi?
H(q1,q2,...,qm)?
?
?
qilogqi i?
1i?
1 ?
2002CopyrightEELab508 两个离散随机变量X和Y,其和为Z=X+Y,若X和Y统计独立,求证:
(1)H(X)≤H(Z),H(Y)≤H(Z)
(2)H(XY)≥H(Z)证明:
设X、Y的信源空间为:
?
Y b1 b2 ... bs?
X a1 a2 ... ar[X?
P]:
?
[Y?
P]:
?
?
P(X)p1 p2 ... pr?
P(Y) q1 q2 ... qs又X,Y统计独立trsrs?
H(Z)?
?
?
pzklogpzk?
?
?
k?
1ti?
1?
j?
1si?
1p(ai?
bj)logp(ai?
bj)?
?
?
i?
1sss?
(pj?
1i?
qj)log(pi?
qj)?
H(XY) 又H(Z)=?
r?
k?
1spzklogpzk?
?
(?
(pilog(pi?
qj))?
?
j?
1ri?
1spiqj)?
log(sj?
?
i?
1j?
1piqj)?
?
?
?
?
i?
1r?
j?
1sj?
1?
?
qj?
1j?
1log(pi?
qj) ?
?
?
?
qi?
1jlog(pi?
qj)?
-?
qjlog(qj)第二章单符号离散信道 ?
X a1 a2设信源[X?
P]:
?
通过一信道,信道的输出随机变量Y的符号集 P(X) ?
b1 b2Y:
{b1,b2},信道的矩阵:
[P]?
a1?
5/6?
a2?
1/41/6?
?
3/4?
试求:
(1)信源X中的符号?
1和?
2分别含有的自信息量;
(2)收到消息Y=b1,Y=b2后,获得关于?
1、?
2的互交信息量:
I(?
1;b1)、I(?
1;b2)、I(?
2;b1)、 I(?
2;b2);(3)信源X和信宿Y的信息熵; (4)信道疑义度H(X/Y)和噪声熵H(Y/X); (5)接收到消息Y后获得的平均互交信息量I(X;Y)。
解:
?
2002CopyrightEELab508
(1)I(a1)?
?
logp(a1)?
?
?
bit I(a2)?
?
logp(a21)?
?
?
bit
(2)I(a1;b1)?
log I(a1;b2)?
log I(a2;b1)?
log I(a2;b2)?
log2p(b1a1)p(b1)p(b2a1)p(b2)?
log5/?
5/6?
?
1/41/?
1/6?
?
3/41/4?
bit?
log?
?
bitp(b1a2)p(b1)p(b2a2)p(b2)?
?
5/6?
?
1/43/?
1/6?
?
3/47912041120?
?
bit?
log?
bit(3)上:
p(b1)?
p(b2)?
2?
i?
12p(ai)p(b1ai)?
p(ai)p(b2ai)?
?
i?
1?
H(X)?
?
?
p(ai)logp(ai)?
?
(?
)?
bit/symblei?
12H(Y)?
?
?
p(bj)logp(bj)?
?
(j?
12279120log791202?
241120log41120)?
bit/symble(4)H(YX)?
?
?
j?
1i?
1p(aibj)logp(bjai)?
?
?
j?
1i?
1p(ai)p(bjai)logp(bjai)?
bit/symble 又I(X;Y)?
H(Y)?
H(YX)?
H(X)?
H(XY) ?
H(XY)?
H(X)?
H(YX)?
H(Y)?
?
?
?
bit/symble(5)?
I(X;Y)?
H(Y)?
H(YX)?
?
?
bit/某二进制对称信道,其信道矩阵是:
0 10?
[P]?
?
1?
?
?
?
设该信道以1500个二进制符号/秒的速度传输输入符号。
现有一消息序列共有14000个二进制符号,并设在这消息中p(0)=p
(1)=。
问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。
解:
于二进制对称信道输入等概信源?
I(X;Y)?
C?
1?
H(?
)?
1?
?
log?
?
(1?
?
)log(1?
?
)?
1?
?
?
bit/symble?
信道在10秒钟内传送14000个二进制符号最大码率Ct?
C?
14000symble/10s?
bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.为:
?
2002CopyrightEELab508 有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。
定义另一随机变量Z=XY,试计算:
(1)H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。
解:
(1)题意:
X的分布:
p(X?
0)?
Y的分布:
p(Y?
0)?
1818?
?
3838?
?
1212;p(X?
1)?
1818?
?
38838?
?
?
1212.;p(Z?
1)?
;.;p(Y?
1)?
18 Z?
XY的分布为:
X的分布:
p(Z?
0)?
且p(X?
0,Z?
0)?
p(X?
0)?
p(Y?
0,Z?
0)?
p(Y?
0)?
?
H(X)?
?
(H(Y)?
?
(12log1212?
?
1212log12121212?
38?
378;p(X?
0,Z?
1)?
0;p(X?
1,Z?
0)?
38;p(X?
1,Z?
1)?
18;;p(Y?
0,Z?
1)?
0;p(Y?
1,Z?
0)?
;p(Y?
1,Z?
1)?
)?
1bit/symble;12loglog)?
1 bit/symble7711H(Z)?
?
(log?
log)?
bit/symble888822H(XZ)?
?
?
?
p(xizk)logp(xizk)i?
1k?
1 ?
?
(pxz(00)logpxz(00)?
pxz(10)logpxz(10)?
pxz(01)logpxz(01)?
pxz(11)logpxz(11))133311?
?
13 ?
?
(?
)log(?
)?
log?
0?
log?
/symble?
88?
888888?
?
上面X、Y、Z的概率分布:
H(YZ)?
H(XZ)?
/symble ?
2002CopyrightEELab508
(2)p(X?
0Y?
0)?
pxy(00)?
pxy(01)py
(1)2pxy(00)py(0)?
1/81/2?
14;pxy(10)?
14pxy(10)py(0)?
3/81/2?
34;pxy(01)?
?
23/81/2?
34;pxy(11)?
pxy(11)py
(1)?
1/81/2?
.?
H(XY)?
?
?
i?
1?
j?
1p(xiyj)logp(xiyj)?
?
pxy(00)logpxy(00)?
pxy(01)logpxy(01)?
pxy(10)logpxy(10)?
pxy(11)logpxy(11)?
?
(18?
log14?
38?
log34?
38?
log34?
18?
log14)?
/symble?
?
?
I(X;Y)?
H(X)?
H(XY)?
H(Y)?
H(YX)且H(X)?
H(Y)?
H(YX)?
H(XY)?
/symble同理:
2222H(XZ)?
?
?
?
p(xizk)logp(xizk)?
?
?
?
p(xizk)logp(xizk)p(zk)i?
1k?
1i?
1k?
1?
?
?
pxz(00)logpxz(00)?
pxz(01)logpxz(01)?
pxz(10)logpxz(10)?
pxz(11)logpxz(11)?
?
?
(12?
log1/27/82?
0?
238?
log3/87/8?
18?
log1/81/82)?
bit/symble2H(ZX)?
?
?
?
p(zkxi)logp(zkxi)?
?
?
?
p(zkxi)logp(zkxi)p(xi)k?
1i?
1k?
1i?
1?
?
?
pzx(00)logpzx(00)?
pzx(01)logpzx(01)?
pzx(10)logpzx(10)?
pzx(11)logpzx(11)?
?
?
(12?
log1/21/2?
0?
38?
log3/81/2?
18?
log1/81/2)?
bit/symbleX、Y、Z的概率:
H(YZ)?
H(XZ)?
bit/symble H(ZY)?
H(ZX)?
bit/symble?
pxyz(001)?
pxyz(101)?
pxyz(011)?
pxyz(110)?
0222222?
H(XYZ)?
?
?
i?
1?
?
j?
1k?
1p(xiyjzk)logp(xiyjzk)?
?
?
i?
1?
?
j?
1k?
1p(xiyjzk)logp(xiyjzk)p(yjzk)?
pxyz(111)logpxyz(111)pyz(11))?
?
(pxyz(000)logpxyz(000)pyz(00)?
pxyz(010)logpxyz(010)pyz(10)?
pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8?
?
(log?
log?
log?
log)?
bit/symble81/283/881/281/8H(YXZ)?
H(XYZ)?
bit/symble222222?
H(ZXY)?
?
?
i?
1?
?
j?
1k?
1p(xiyjzk)logp(zkxiyj)?
?
?
i?
1?
?
j?
1k?
1p(xiyjzk)logp(xiyjzk)p(xiyj)?
pxyz(111)logpxyz(111)pxy(11))?
?
(pxyz(000)logpxyz(000)pxy(00)?
pxyz(010)logpxyz(010)pxy(01)?
pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8?
?
(log?
log?
log?
log)?
0bit/symble81/883/883/881/8?
2002CopyrightEELab508 (3)上:
I(X;Y)?
H(X)?
H(XY)?
1?
?
bit/symble I(X;Z)?
H(X)?
H(XZ)?
1?
?
bit/symble I(Y;Z)?
H(Y)?
H(YZ)?
1?
?
bit/symble I(X;YZ)?
H(XZ)?
H(XYZ)?
?
?
bit/symble I(Y;ZX)?
H(YX)?
H(YXZ)?
?
?
bit/symble I(X;ZY)?
H(XY)?
H(XYZ)?
?
?
bit/symble 已知信源X的信源空间为 ?
X:
a1 a2 a3 a4[X?
P]:
?
?
P(X):
某信道的信道矩阵为:
b1b2b3b4 a1?
?
?
a3?
?
a4?
?
?
?
?
?
?
试求:
(1)“输入?
3,输出b2的概率”;
(2)“输出b4的概率”; (3)“收到b3条件下推测输入?
2”的概率。
解:
(1)p(a3;b2)?
p(a3)p(b2a3)?
?
?
(2)p(b4)?
(3)p(b3)?
?
i?
14p(aib4)?
p(aib3)?
?
i?
14p(ai)p(b4ai)?
?
?
?
?
?
?
?
?
(ai)p(b3ai)?
?
?
?
?
?
?
?
?
?
?
?
?
i?
1?
i?
1 p(a2b3)?
p(a2)p(b3a2)p(b3) 已知从符号B中获取关于符号A的信息量是1比特,当符号A的先验概率P(A)为下列各值时,分别计算收到B后测A的后验概率应是多少。
(1)P(A)=10-2;
(2)P(A)=1/32;(3)P(A)=。
?
2002CopyrightEELab508 解:
(1)此信道为准对称离散信p(bl)l?
1?
p(bl)l?
2?
2道,且s1?
2,s2?
112?
(p?
q?
2?
)1r1r?
(p?
?
?
q?
?
)?
?
(2?
)?
12?
2?
?
?
?
p2?
p3?
)?
C1?
?
?
slp(bl)logp(bl)?
H(p1l?
1 ?
?
[2?
12?
(p?
q?
2?
)log12?
(p?
q?
2?
)?
?
log?
]?
H(p?
?
q?
?
2?
)?
(p?
?
)log(p?
?
)?
(q?
?
)log(q?
?
)?
2?
?
?
log?
?
?
(p?
q?
2?
)log
(2)此信道为准对称离散信p(bl)l?
1?
p(bl)l?
2?
2p?
q?
2?
212道,且s1?
2,s2?
2?
2?
?
?
12?
(p?
q?
2?
)1r1r?
(2?
?
0)?
?
(p?
?
?
q?
?
)?
?
p2?
p3?
p4?
)?
C2?
?
?
slp(bl)logp(bl)?
H(p1l?
1 ?
?
[2?
log?
?
2?
12?
(p?
q?
2?
)logp?
q?
2?
212?
(p?
q?
2?
)]?
H(p?
?
q?
?
2?
0) ?
?
(p?
q?
2?
)log上面C1、C2表达式可知?
(p?
?
)log(p?
?
)?
(q?
?
)log(q?
?
)?
2?
:
C1?
C2且当?
?
0时等号成立.设某信道的信道矩阵为?
p1?
[P]?
?
?
?
?
00p20?
0?
0?
?
?
其中P1,P2,?
,PN是N个离散信道的信道矩阵。
令C1,C2,?
,?
pN?
?
NCN表示N个离散信道的容量。
试证明,该信道的容量C?
logCi-C ?
2i?
1ci比特/符号,且当每个信 道i的利用率pi=2证明:
(i=1,2,?
N)时达其容量C。
设:
Pm为lm行?
km列(m?
1,2,?
N)ss方程组?
j?
1p(bj/ai)?
j?
s?
j?
1jp(bj/ai)logp(bj/ai)(i?
1,2,?
r)?
?
?
(1)NNm m解出?
j可得C?
log[?
j?
12?
](其中s?
:
?
km?
1,r?
?
lm?
1)[P]特点,方程组
(1)可以改写为?
2002CopyrightEELab508 s?
k1p1p1p1p1p(b/a)?
?
p(b/a)logp(bjjjj/ai)?
ii?
?
j1?
1?
j?
1s?
k2p2p2p2p2?
?
p(bj/ai)?
j?
?
p(bj/ai)logp(bj/ai) (i?
1,2,?
r)?
?
(2)j1?
1?
j?
1?
?
?
s?
kNpnpnpnpn?
?
p(bj/ai)?
j?
?
p(bj/ai)logp(bj/ai)j1?
1?
j?
1km其中Cm?
log[s?
j?
12?
pmkmj](m?
1,2,?
N),即?
2j?
1Nkm?
pmj?
2Cm?
C?
log[?
j?
12?
j]?
log[?
m?
1(?
2j?
1km?
pmNj)]?
log[?
m?
1kmj?
12Cm]pmj且在各信道利用率为:
pm?
N?
j?
12(?
pmj?
C)(?
log2?
?
C)?
2?
2(Cm?
C)(m?
1,2,?
N)