信息论与编码习题参考答桉1.docx

资源描述

信息论与编码习题参考答桉1.docx

《信息论与编码习题参考答桉1.docx》由会员分享，可在线阅读，更多相关《信息论与编码习题参考答桉1.docx（11页珍藏版）》请在冰豆网上搜索。

信息论与编码习题参考答桉1.docx

信息论与编码习题参考答桉1

　　　　　　2002CopyrightEELab508　　信息论与编码习题参考答案第一章单符号离散信源　　同时掷一对均匀的子，试求：

（1）“2和6同时出现”这一事件的自信息量；

（2）“两个5同时出现”这一事件的自信息量；（3）两个点数的各种组合的熵；（4）两个点数之和的熵；　　（5）“两个点数中至少有一个是1”的自信息量。

解：

　　样本空间：

（1）P1?

（2）P2?

n1Nn2N?

c6c6?

36236136?

I（a）?

logP1?

log18?

I（a）?

logP2?

log36?

　　（3）信源空间：

　　XP（X）XP（x）XP（x）XP（x）XP（x）?

H（x）?

15?

236（1,1）1/36（2,2）1/36（3,3）1/36（4,4）1/36（5,5）1/36?

log362（1,2）2/36（2,3）2/36（3,4）2/36（4,5）2/36（5,6）2/36?

136（1,3）2/36（2,4）2/36（3,5）2/36（4,6）2/36（1,4）2/36（2,5）2/36（3,6）2/36（6,6）1/36（1,5）2/36（2,6）2/36　　（1,6）2/36　　?

log36?

　　（4）信源空间：

XP（x）234567891011121/362/363/364/365/366/365/364/363/362/361/36236?

log36＋?

log365436?

log636362?

636?

log363?

836?

log364?

H（x）?

1036＋?

log366?

（5）P3?

　　　　n3N?

1136?

I（a）?

logP3?

log3611?

　　2002CopyrightEELab508　　如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为,,但A，B不能同时落入同一方格内。

若仅有质点A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨认的，求A，B落入的平均信息量。

解：

（1）?

A落入任一格的概率48:

P（ai）?

148?

I（ai）?

logP（ai）?

log48　　?

H（a）?

P（ai）logP（ai）?

log48?

（2）?

在已知A落入任一格的情况下?

I（bi）?

logP（bi）?

log4748,B落入任一格的概率是:

P（bi）?

147?

H（b）?

P（bi）logP（bi）?

log47?

1（3）AB同时落入某两格的概率?

I（ABi）?

logP（ABi）48?

47是P（ABi）?

148?

147　　H（ABi）?

P（ABi?

1i）logP（ABi）?

log（48?

47）?

从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：

“你是否是红绿色盲？

”他的回答可能是：

“是”，也可能“不是”。

问这两个回答中各含有多少信息量？

平均每个回答中各含有多少信息量？

如果你问一位女士，则她的答案中含有多少平均信息量？

解：

　　对于男士:

回答“是”的信息量：

回答“不是”的信息量平均每个回答信息量：

I（my）?

logP（my）?

log7%?

：

I（mn）?

logP（mn）?

log93%?

（m）?

P（my）?

logP（my）?

P（mn）?

logP（mn）　　　　　　?

-7%?

log7%-93%?

log93%?

对于女：

回答“是”的信息量：

回答“不是”的信息量平均每个回答信息量：

I（wy）?

logP（wy）?

%：

I（mn）?

logP（mn）?

%H（m）?

P（wy）?

logP（wy）?

P（wn）?

logP（wn）?

-%?

%-%?

%　　　　?

　　2002CopyrightEELab508　　某一无记忆信源的符号集为｛0，1｝，已知p0?

13，p1?

23。

求符号的平均信息量；　　1000个符号构成的序列，求某一特定序列个“1”）　　的自信量的表达式；计算中序列的熵。

解：

　　H（x）?

p0logp0?

p1logp1?

13?

log13?

231313?

log23?

bit/symble23　　bitI（A）?

mlogp0?

（1000?

m）logp?

mlog?

（1000?

m）log　　H（A）?

1000H（X）?

1000?

918bit/sequencem1000?

mH（A）?

p0logp0?

1p1logp1?

m3log?

2（1000?

m）设信源X的信源空间为：

　　a1　　a2　　a3　　a4　　a5　　a6　　?

X：

[x?

p]：

p（X）　　　　　　?

求信源熵，并解释为什么H（X）>log6，不满足信源熵的极值性。

解：

　　6H（X）?

p（ai）logp（ai）i?

1　　?

　　bit/symble可见H（X）?

log6?

不满足信源熵的极值性r，但是本题中　　这是因为信源熵的最大6值是在?

1pi?

1的约束条件下求得的，立的约束条件，所以?

1pi?

不满足信源熵最大值成H（X）?

log6。

　　为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率。

解：

　　于亮度电平等概出现，熵的极值性：

10每个像素的熵是：

H（x0）?

1p（ai）logp（ai）?

log10?

bit/pels556每帧图像的熵是：

H（X）?

10?

H（x0）?

10?

10bit/frame?

所需信息速率为：

r（frame/s）?

H（X）（bit/frame）?

30?

106?

10bit/s7　　?

　　2002CopyrightEELab508　　设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。

证:

　　增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?

10?

300bit量化300求下,每个色彩度需要10个亮度,?

每个像素的熵是：

H（x1）?

H（x1）H（x0）?

log300log10?

1p（bi）logp（bi）?

log300bit/pels?

信息量比黑白电视系统比黑白电视系统高大倍作用,所以传输相同的倍左右.　　?

彩色电视系统每个像素图形,彩色电视系统信息率要每帧电视图像可以认为是3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？

若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？

解:

　　每帧图象所含信息量5:

56H（X）?

10?

H（x）?

10?

log128?

10bit/symble每个汉字所出现概率p?

100010000?

每个汉字所包含信息量描述一帧图像需要汉字n?

H（X）H（c）?

106:

H（c）?

logp数n,H（X）?

nH（c）?

10/frame55?

最少需要?

10个汉字给定一个概率分布（p1,p2,...,pn）和一个整数m，0?

n。

定义qm?

pi，证明：

1H（p1,p2,...,pn）?

H（p1,p2,...,pm,qm）?

qmlog（n?

m）。

并说明等式何时成立？

　　证：

　　先证明f（x）?

xlogx（x?

0）为凸函数，如下：

（x）?

（?

xlogx）?

（x）?

（?

xlogx）?

logexlogexm　　又x?

0　　?

0即f（x）?

xlogx（x?

0）为凸函数。

　　n又?

H（p1,p2,...,pn）?

pilogpi?

1pilogpi?

　　2002CopyrightEELab508　　凸函数的性质，变量n函数的平均值小于变量n的算术平均值的函数，nn可得：

pilogpi?

（n?

m）ni?

1f（pi）?

1n?

mqm?

（n?

m）f（i?

1）?

（n?

m）i?

1logi?

qmlogn?

mn?

pi?

pi即?

1pilogpi?

qmlogqm?

qmlog（n?

m）当且仅当pm?

pm?

...?

pn时等式成立。

mnm?

H（p1,p2,...,pn）?

pilogpi?

qmlogqm?

qmlog（n?

m）i?

1i?

1m?

H（p1,p2,...,pm,qm）?

pilogpi?

qmlogqmi?

H（p1,p2,...,pn）?

H（p1,p2,...,pm,qm）?

qmlog（n?

m）当且仅当pm?

pm?

...?

pn时等式成立。

　　找出两种特殊分布:

　　p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H（p1,p2,p3,…,pn）=H（p1,p2,p3,…,pm）。

nm解：

H（p1,p2,...,pn）?

pilogpi?

H（q1,q2,...,qm）?

qilogqi　　i?

1i?

1　　　　　　?

　　　　　　2002CopyrightEELab508　　两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：

（1）H（X）≤H（Z）,H（Y）≤H（Z）

（2）H（XY）≥H（Z）证明：

　　设X、Y的信源空间为：

Y　　b1　　b2　　...　　bs?

X　　a1　　a2　　...　　ar[X?

P]:

　　[Y?

P]:

P（X）p1　　p2　　...　　pr?

P（Y）　　q1　　q2　　...　　qs又X,Y统计独立trsrs?

H（Z）?

pzklogpzk?

1ti?

1si?

1p（ai?

bj）logp（ai?

bj）?

1sss?

（pj?

1i?

qj）log（pi?

qj）?

H（XY）　　又H（Z）＝?

1spzklogpzk?

（?

（pilog（pi?

qj））?

1ri?

1spiqj）?

log（sj?

1j?

1piqj）?

1r?

1sj?

qj?

1j?

1log（pi?

qj）　　?

qi?

1jlog（pi?

qj）?

qjlog（qj）第二章单符号离散信道　　?

X　　a1　　a2设信源[X?

P]:

通过一信道，信道的输出随机变量Y的符号集　　P（X）　　?

　　b1　　b2Y:

{b1,b2},信道的矩阵：

　　[P]?

a1?

5/6?

a2?

1/41/6?

3/4?

试求：

（1）信源X中的符号?

1和?

2分别含有的自信息量；　　

（2）收到消息Y＝b1，Y＝b2后，获得关于?

1、?

2的互交信息量：

I（?

1;b1）、I（?

1;b2）、I（?

2;b1）、　　I（?

2;b2）；（3）信源X和信宿Y的信息熵；　　（4）信道疑义度H（X/Y）和噪声熵H（Y/X）；　　（5）接收到消息Y后获得的平均互交信息量I（X;Y）。

解:

　　2002CopyrightEELab508　　

（1）I（a1）?

logp（a1）?

bit　　I（a2）?

logp（a21）?

bit

（2）I（a1;b1）?

log　　I（a1;b2）?

log　　I（a2;b1）?

log　　I（a2;b2）?

log2p（b1a1）p（b1）p（b2a1）p（b2）?

log5/?

5/6?

1/41/?

1/6?

3/41/4?

　　bit?

log?

　　bitp（b1a2）p（b1）p（b2a2）p（b2）?

5/6?

1/43/?

1/6?

3/47912041120?

bit?

log?

　　bit（3）上:

p（b1）?

　　p（b2）?

12p（ai）p（b1ai）?

p（ai）p（b2ai）?

H（X）?

p（ai）logp（ai）?

（?

）?

bit/symblei?

12H（Y）?

p（bj）logp（bj）?

（j?

12279120log791202?

241120log41120）?

bit/symble（4）H（YX）?

1i?

1p（aibj）logp（bjai）?

1i?

1p（ai）p（bjai）logp（bjai）?

bit/symble　　又I（X;Y）?

H（Y）?

H（YX）?

H（X）?

H（XY）　　?

H（XY）?

H（X）?

H（YX）?

H（Y）?

bit/symble（5）?

I（X;Y）?

H（Y）?

H（YX）?

bit/某二进制对称信道，其信道矩阵是：

　　　　0　　10?

[P]?

设该信道以1500个二进制符号/秒的速度传输输入符号。

现有一消息序列共有14000个二进制符号，并设在这消息中p（0）=p

（1）=。

问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。

解:

　　于二进制对称信道输入等概信源?

I（X;Y）?

H（?

）?

log?

（1?

）log（1?

）?

bit/symble?

信道在10秒钟内传送14000个二进制符号最大码率Ct?

14000symble/10s?

bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.为:

　　2002CopyrightEELab508　　　　有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。

定义另一随机变量Z=XY，试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）,H（XYZ）;　　

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）,H（Z/XY）;（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）,I（X;Z/Y）。

解:

（1）题意:

X的分布:

p（X?

0）?

　　　　Y的分布:

p（Y?

0）?

1818?

3838?

1212;p（X?

1）?

1818?

38838?

1212.;p（Z?

1）?

;.;p（Y?

1）?

18　　　　Z?

XY的分布为:

X的分布:

p（Z?

0）?

且p（X?

0,Z?

0）?

p（X?

0）?

p（Y?

0,Z?

0）?

p（Y?

0）?

H（X）?

（H（Y）?

（12log1212?

1212log12121212?

38?

378;p（X?

0,Z?

1）?

0;p（X?

1,Z?

0）?

38;p（X?

1,Z?

1）?

18;;p（Y?

0,Z?

1）?

0;p（Y?

1,Z?

0）?

;p（Y?

1,Z?

1）?

）?

1bit/symble;12loglog）?

1　　bit/symble7711H（Z）?

（log?

log）?

　　bit/symble888822H（XZ）?

p（xizk）logp（xizk）i?

1k?

1　　?

（pxz（00）logpxz（00）?

pxz（10）logpxz（10）?

pxz（01）logpxz（01）?

pxz（11）logpxz（11））133311?

13　　?

（?

）log（?

）?

log?

/symble?

88?

888888?

上面X、Y、Z的概率分布:

H（YZ）?

H（XZ）?

/symble　　?

　　2002CopyrightEELab508　　

（2）p（X?

0Y?

0）?

pxy（00）?

pxy（01）py

（1）2pxy（00）py（0）?

1/81/2?

14;pxy（10）?

14pxy（10）py（0）?

3/81/2?

34;pxy（01）?

23/81/2?

34;pxy（11）?

pxy（11）py

（1）?

1/81/2?

H（XY）?

1p（xiyj）logp（xiyj）?

pxy（00）logpxy（00）?

pxy（01）logpxy（01）?

pxy（10）logpxy（10）?

pxy（11）logpxy（11）?

（18?

log14?

38?

log34?

38?

log34?

18?

log14）?

/symble?

I（X;Y）?

H（X）?

H（XY）?

H（Y）?

H（YX）且H（X）?

H（Y）?

H（YX）?

H（XY）?

/symble同理:

2222H（XZ）?

p（xizk）logp（xizk）?

p（xizk）logp（xizk）p（zk）i?

1k?

1i?

1k?

pxz（00）logpxz（00）?

pxz（01）logpxz（01）?

pxz（10）logpxz（10）?

pxz（11）logpxz（11）?

（12?

log1/27/82?

238?

log3/87/8?

18?

log1/81/82）?

bit/symble2H（ZX）?

p（zkxi）logp（zkxi）?

p（zkxi）logp（zkxi）p（xi）k?

1i?

1k?

1i?

pzx（00）logpzx（00）?

pzx（01）logpzx（01）?

pzx（10）logpzx（10）?

pzx（11）logpzx（11）?

（12?

log1/21/2?

38?

log3/81/2?

18?

log1/81/2）?

bit/symbleX、Y、Z的概率:

H（YZ）?

H（XZ）?

bit/symble　　　　　　H（ZY）?

H（ZX）?

bit/symble?

pxyz（001）?

pxyz（101）?

pxyz（011）?

pxyz（110）?

0222222?

H（XYZ）?

1k?

1p（xiyjzk）logp（xiyjzk）?

1k?

1p（xiyjzk）logp（xiyjzk）p（yjzk）?

pxyz（111）logpxyz（111）pyz（11））?

（pxyz（000）logpxyz（000）pyz（00）?

pxyz（010）logpxyz（010）pyz（10）?

pxyz（100）logpxyz（100）pyz（00）11/833/833/811/8?

（log?

log?

log）?

bit/symble81/283/881/281/8H（YXZ）?

H（XYZ）?

bit/symble222222?

H（ZXY）?

1k?

1p（xiyjzk）logp（zkxiyj）?

1k?

1p（xiyjzk）logp（xiyjzk）p（xiyj）?

pxyz（111）logpxyz（111）pxy（11））?

（pxyz（000）logpxyz（000）pxy（00）?

pxyz（010）logpxyz（010）pxy（01）?

pxyz（100）logpxyz（100）pxy（10）11/833/833/811/8?

（log?

log?

log）?

0bit/symble81/883/883/881/8?

　　2002CopyrightEELab508　　（3）上:

I（X;Y）?

H（X）?

H（XY）?

bit/symble　　I（X;Z）?

H（X）?

H（XZ）?

bit/symble　　I（Y;Z）?

H（Y）?

H（YZ）?

bit/symble　　I（X;YZ）?

H（XZ）?

H（XYZ）?

bit/symble　　I（Y;ZX）?

H（YX）?

H（YXZ）?

bit/symble　　I（X;ZY）?

H（XY）?

H（XYZ）?

bit/symble　　已知信源X的信源空间为　　?

　　a1　　a2　　a3　　a4[X?

P]:

P（X）:

　　某信道的信道矩阵为：

　　　　　　b1b2b3b4　　a1?

a3?

a4?

试求：

（1）“输入?

3，输出b2的概率”；　　

（2）“输出b4的概率”；　　（3）“收到b3条件下推测输入?

2”的概率。

解：

（1）p（a3;b2）?

p（a3）p（b2a3）?

（2）p（b4）?

（3）p（b3）?

14p（aib4）?

p（aib3）?

14p（ai）p（b4ai）?

（ai）p（b3ai）?

1　　p（a2b3）?

p（a2）p（b3a2）p（b3）　　已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P（A）为下列各值时，分别计算收到B后测A的后验概率应是多少。

（1）P（A）=10-2；

（2）P（A）=1/32；（3）P（A）=。

　　　　　　2002CopyrightEELab508　　解:

（1）此信道为准对称离散信p（bl）l?

p（bl）l?

2道,且s1?

2,s2?

112?

（p?

）1r1r?

（p?

）?

（2?

）?

12?

p2?

p3?

）?

C1?

slp（bl）logp（bl）?

H（p1l?

1　　?

[2?

12?

（p?

）log12?

（p?

）?

log?

H（p?

）?

（p?

）log（p?

）?

（q?

）log（q?

）?

log?

（p?

）log

（2）此信道为准对称离散信p（bl）l?

p（bl）l?

2p?

212道,且s1?

2,s2?

12?

（p?

）1r1r?

（2?

0）?

（p?

）?

p2?

p3?

p4?

）?

C2?

slp（bl）logp（bl）?

H（p1l?

1　　?

[2?

log?

12?

（p?

）logp?

212?

（p?

）]?

H（p?

0）　　?

（p?

）log上面C1、C2表达式可知?

（p?

）log（p?

）?

（q?

）log（q?

）?

C1?

C2且当?

0时等号成立.设某信道的信道矩阵为?

p1?

[P]?

00p20?

其中P1,P2，?

，PN是N个离散信道的信道矩阵。

令C1，C2，?

，?

pN?

NCN表示N个离散信道的容量。

试证明，该信道的容量C?

logCi-C　　?

2i?

1ci比特/符号，且当每个信　　道i的利用率pi＝2证明:

　　（i＝1,2,?

N）时达其容量C。

　　设:

Pm为lm行?

km列（m?

1,2,?

N）ss方程组?

1p（bj/ai）?

1jp（bj/ai）logp（bj/ai）（i?

1,2,?

r）?

（1）NNm　　m解出?

j可得C?

log[?

12?

]（其中s?

km?

1,r?

lm?

1）[P]特点,方程组

（1）可以改写为?

　　2002CopyrightEELab508　　s?

k1p1p1p1p1p（b/a）?

p（b/a）logp（bjjjj/ai）?

ii?

j1?

1s?

k2p2p2p2p2?

p（bj/ai）?

p（bj/ai）logp（bj/ai）　　（i?

1,2,?

r）?

（2）j1?

kNpnpnpnpn?

p（bj/ai）?

p（bj/ai）logp（bj/ai）j1?

1km其中Cm?

log[s?

12?

pmkmj]（m?

1,2,?

N）,即?

2j?

1Nkm?

pmj?

2Cm?

log[?

12?

j]?

log[?

1（?

2j?

1km?

pmNj）]?

log[?

1kmj?

12Cm]pmj且在各信道利用率为:

pm?

12（?

pmj?

C）（?

log2?

C）?

2（Cm?

C）（m?

1,2,?

N）

展开阅读全文