信息论与编码习题参考答桉1Word下载.docx

资源描述

信息论与编码习题参考答桉1Word下载.docx

《信息论与编码习题参考答桉1Word下载.docx》由会员分享，可在线阅读，更多相关《信息论与编码习题参考答桉1Word下载.docx（11页珍藏版）》请在冰豆网上搜索。

信息论与编码习题参考答桉1Word下载.docx

147?

H（b）?

P（bi）logP（bi）?

log47?

1（3）AB同时落入某两格的概率?

I（ABi）?

logP（ABi）48?

47是P（ABi）?

147　　H（ABi）?

P（ABi?

1i）logP（ABi）?

log（48?

47）?

从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：

“你是否是红绿色盲？

”他的回答可能是：

“是”，也可能“不是”。

问这两个回答中各含有多少信息量？

平均每个回答中各含有多少信息量？

如果你问一位女士，则她的答案中含有多少平均信息量？

　　对于男士:

回答“是”的信息量：

回答“不是”的信息量平均每个回答信息量：

I（my）?

logP（my）?

log7%?

：

I（mn）?

logP（mn）?

log93%?

（m）?

P（my）?

P（mn）?

logP（mn）　　　　　　?

-7%?

log7%-93%?

对于女：

I（wy）?

logP（wy）?

%：

%H（m）?

P（wy）?

P（wn）?

logP（wn）?

-%?

%-%?

%　　　　?

　　2002CopyrightEELab508　　某一无记忆信源的符号集为｛0，1｝，已知p0?

13，p1?

23。

求符号的平均信息量；

　　1000个符号构成的序列，求某一特定序列个“1”）　　的自信量的表达式；

计算中序列的熵。

　　H（x）?

p0logp0?

p1logp1?

13?

log13?

231313?

log23?

bit/symble23　　bitI（A）?

mlogp0?

（1000?

m）logp?

mlog?

m）log　　H（A）?

1000H（X）?

1000?

918bit/sequencem1000?

mH（A）?

1p1logp1?

m3log?

2（1000?

m）设信源X的信源空间为：

　　a1　　a2　　a3　　a4　　a5　　a6　　?

X：

[x?

p]：

p（X）　　　　　　?

求信源熵，并解释为什么H（X）>

log6，不满足信源熵的极值性。

　　6H（X）?

p（ai）logp（ai）i?

1　　?

　　bit/symble可见H（X）?

log6?

不满足信源熵的极值性r，但是本题中　　这是因为信源熵的最大6值是在?

1pi?

1的约束条件下求得的，立的约束条件，所以?

不满足信源熵最大值成H（X）?

log6。

　　为了使电视图象获得良好的清晰度和规定的对比度，需要用5×

105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率。

　　于亮度电平等概出现，熵的极值性：

10每个像素的熵是：

H（x0）?

1p（ai）logp（ai）?

log10?

bit/pels556每帧图像的熵是：

H（X）?

10?

H（x0）?

10bit/frame?

所需信息速率为：

r（frame/s）?

H（X）（bit/frame）?

30?

106?

10bit/s7　　?

　　2002CopyrightEELab508　　设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。

证:

　　增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?

300bit量化300求下,每个色彩度需要10个亮度,?

每个像素的熵是：

H（x1）?

H（x1）H（x0）?

log300log10?

1p（bi）logp（bi）?

log300bit/pels?

信息量比黑白电视系统比黑白电视系统高大倍作用,所以传输相同的倍左右.　　?

彩色电视系统每个像素图形,彩色电视系统信息率要每帧电视图像可以认为是3×

105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？

若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？

解:

　　每帧图象所含信息量5:

56H（X）?

log128?

10bit/symble每个汉字所出现概率p?

100010000?

每个汉字所包含信息量描述一帧图像需要汉字n?

H（X）H（c）?

106:

H（c）?

logp数n,H（X）?

nH（c）?

10/frame55?

最少需要?

10个汉字给定一个概率分布（p1,p2,...,pn）和一个整数m，0?

n。

定义qm?

pi，证明：

1H（p1,p2,...,pn）?

H（p1,p2,...,pm,qm）?

qmlog（n?

m）。

并说明等式何时成立？

　　证：

　　先证明f（x）?

xlogx（x?

0）为凸函数，如下：

（x）?

（?

xlogx）?

logexlogexm　　又x?

0　　?

0即f（x）?

0）为凸函数。

　　n又?

H（p1,p2,...,pn）?

pilogpi?

1pilogpi?

　　2002CopyrightEELab508　　凸函数的性质，变量n函数的平均值小于变量n的算术平均值的函数，nn可得：

（n?

m）ni?

1f（pi）?

1n?

mqm?

m）f（i?

1）?

m）i?

1logi?

qmlogn?

mn?

pi?

pi即?

qmlogqm?

m）当且仅当pm?

pm?

...?

pn时等式成立。

mnm?

1i?

1m?

qmlogqmi?

　　找出两种特殊分布:

　　p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H（p1,p2,p3,…,pn）=H（p1,p2,p3,…,pm）。

nm解：

H（q1,q2,...,qm）?

qilogqi　　i?

1　　　　　　?

　　　　　　2002CopyrightEELab508　　两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：

（1）H（X）≤H（Z）,H（Y）≤H（Z）

（2）H（XY）≥H（Z）证明：

　　设X、Y的信源空间为：

Y　　b1　　b2　　...　　bs?

X　　a1　　a2　　...　　ar[X?

P]:

　　[Y?

P（X）p1　　p2　　...　　pr?

P（Y）　　q1　　q2　　...　　qs又X,Y统计独立trsrs?

H（Z）?

pzklogpzk?

1ti?

1si?

1p（ai?

bj）logp（ai?

bj）?

1sss?

（pj?

qj）log（pi?

qj）?

H（XY）　　又H（Z）＝?

1spzklogpzk?

（pilog（pi?

qj））?

1ri?

1spiqj）?

log（sj?

1j?

1piqj）?

1r?

1sj?

qj?

1log（pi?

qj）　　?

qi?

1jlog（pi?

qjlog（qj）第二章单符号离散信道　　?

X　　a1　　a2设信源[X?

通过一信道，信道的输出随机变量Y的符号集　　P（X）　　?

　　b1　　b2Y:

{b1,b2},信道的矩阵：

　　[P]?

a1?

5/6?

a2?

1/41/6?

3/4?

试求：

（1）信源X中的符号?

1和?

2分别含有的自信息量；

（2）收到消息Y＝b1，Y＝b2后，获得关于?

1、?

2的互交信息量：

I（?

b1）、I（?

b2）、I（?

b1）、　　I（?

b2）；

（3）信源X和信宿Y的信息熵；

　　（4）信道疑义度H（X/Y）和噪声熵H（Y/X）；

　　（5）接收到消息Y后获得的平均互交信息量I（X;

Y）。

　　2002CopyrightEELab508　　

（1）I（a1）?

logp（a1）?

bit　　I（a2）?

logp（a21）?

bit

（2）I（a1;

b1）?

log　　I（a1;

b2）?

log　　I（a2;

log2p（b1a1）p（b1）p（b2a1）p（b2）?

log5/?

1/41/?

1/6?

3/41/4?

　　bit?

log?

　　bitp（b1a2）p（b1）p（b2a2）p（b2）?

1/43/?

3/47912041120?

bit?

　　bit（3）上:

p（b1）?

　　p（b2）?

12p（ai）p（b1ai）?

p（ai）p（b2ai）?

H（X）?

p（ai）logp（ai）?

）?

bit/symblei?

12H（Y）?

p（bj）logp（bj）?

（j?

12279120log791202?

241120log41120）?

bit/symble（4）H（YX）?

1p（aibj）logp（bjai）?

1p（ai）p（bjai）logp（bjai）?

bit/symble　　又I（X;

Y）?

H（Y）?

H（YX）?

H（XY）　　?

H（XY）?

bit/symble（5）?

I（X;

bit/某二进制对称信道，其信道矩阵是：

　　　　0　　10?

[P]?

设该信道以1500个二进制符号/秒的速度传输输入符号。

现有一消息序列共有14000个二进制符号，并设在这消息中p（0）=p

（1）=。

问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。

　　于二进制对称信道输入等概信源?

H（?

（1?

）log（1?

bit/symble?

信道在10秒钟内传送14000个二进制符号最大码率Ct?

14000symble/10s?

bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.为:

　　2002CopyrightEELab508　　　　有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。

定义另一随机变量Z=XY，试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）,H（XYZ）;

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）,H（Z/XY）;

（3）I（X;

Y）,I（X;

Z）,I（Y;

Z）,I（X;

Y/Z）,I（Y;

Z/X）,I（X;

Z/Y）。

（1）题意:

X的分布:

p（X?

0）?

　　　　Y的分布:

p（Y?

1818?

3838?

1212;

38838?

1212.;

p（Z?

;

18　　　　Z?

XY的分布为:

X的分布:

且p（X?

0,Z?

p（Y?

（H（Y）?

（12log1212?

1212log12121212?

38?

378;

1,Z?

38;

18;

1bit/symble;

12loglog）?

1　　bit/symble7711H（Z）?

（log?

log）?

　　bit/symble888822H（XZ）?

p（xizk）logp（xizk）i?

1k?

1　　?

（pxz（00）logpxz（00）?

pxz（10）logpxz（10）?

pxz（01）logpxz（01）?

pxz（11）logpxz（11））133311?

13　　?

）log（?

/symble?

88?

888888?

上面X、Y、Z的概率分布:

H（YZ）?

H（XZ）?

/symble　　?

　　2002CopyrightEELab508　　

（2）p（X?

0Y?

pxy（00）?

pxy（01）py

（1）2pxy（00）py（0）?

1/81/2?

14;

pxy（10）?

14pxy（10）py（0）?

3/81/2?

34;

pxy（01）?

23/81/2?

pxy（11）?

pxy（11）py

（1）?

1p（xiyj）logp（xiyj）?

pxy（00）logpxy（00）?

pxy（01）logpxy（01）?

pxy（10）logpxy（10）?

pxy（11）logpxy（11）?

（18?

log14?

log34?

18?

log14）?

H（YX）且H（X）?

/symble同理:

2222H（XZ）?

p（xizk）logp（xizk）?

p（xizk）logp（xizk）p（zk）i?

pxz（00）logpxz（00）?

pxz（11）logpxz（11）?

（12?

log1/27/82?

238?

log3/87/8?

log1/81/82）?

bit/symble2H（ZX）?

p（zkxi）logp（zkxi）?

p（zkxi）logp（zkxi）p（xi）k?

pzx（00）logpzx（00）?

pzx（01）logpzx（01）?

pzx（10）logpzx（10）?

pzx（11）logpzx（11）?

log1/21/2?

log3/81/2?

log1/81/2）?

bit/symbleX、Y、Z的概率:

H（YZ）?

bit/symble　　　　　　H（ZY）?

H（ZX）?

pxyz（001）?

pxyz（101）?

pxyz（011）?

pxyz（110）?

0222222?

H（XYZ）?

1p（xiyjzk）logp（xiyjzk）?

1p（xiyjzk）logp（xiyjzk）p（yjzk）?

pxyz（111）logpxyz（111）pyz（11））?

（pxyz（000）logpxyz（000）pyz（00）?

pxyz（010）logpxyz（010）pyz（10）?

pxyz（100）logpxyz（100）pyz（00）11/833/833/811/8?

bit/symble81/283/881/281/8H（YXZ）?

bit/symble222222?

H（ZXY）?

1p（xiyjzk）logp（zkxiyj）?

1p（xiyjzk）logp（xiyjzk）p（xiyj）?

pxyz（111）logpxyz（111）pxy（11））?

（pxyz（000）logpxyz（000）pxy（00）?

pxyz（010）logpxyz（010）pxy（01）?

pxyz（100）logpxyz（100）pxy（10）11/833/833/811/8?

0bit/symble81/883/883/881/8?

　　2002CopyrightEELab508　　（3）上:

bit/symble　　I（X;

Z）?

bit/symble　　I（Y;

YZ）?

ZX）?

H（YXZ）?

ZY）?

bit/symble　　已知信源X的信源空间为　　?

　　a1　　a2　　a3　　a4[X?

P（X）:

　　某信道的信道矩阵为：

　　　　　　b1b2b3b4　　a1?

a3?

a4?

（1）“输入?

3，输出b2的概率”；

（2）“输出b4的概率”；

　　（3）“收到b3条件下推测输入?

2”的概率。

（1）p（a3;

p（a3）p（b2a3）?

（2）p（b4）?

（3）p（b3）?

14p（aib4）?

p（aib3）?

14p（ai）p（b4ai）?

（ai）p（b3ai）?

1　　p（a2b3）?

p（a2）p（b3a2）p（b3）　　已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P（A）为下列各值时，分别计算收到B后测A的后验概率应是多少。

（1）P（A）=10-2；

（2）P（A）=1/32；

（3）P（A）=。

　　　　　　2002CopyrightEELab508　　解:

（1）此信道为准对称离散信p（bl）l?

p（bl）l?

2道,且s1?

2,s2?

112?

（p?

）1r1r?

（2?

12?

p2?

p3?

C1?

slp（bl）logp（bl）?

H（p1l?

[2?

）log12?

H（p?

）log（p?

（q?

）log（q?

）log

（2）此信道为准对称离散信p（bl）l?

2p?

212道,且s1?

p4?

C2?

）logp?

212?

）]?

0）　　?

）log上面C1、C2表达式可知?

C2且当?

0时等号成立.设某信道的信道矩阵为?

p1?

00p20?

其中P1,P2，?

，PN是N个离散信道的信道矩阵。

令C1，C2，?

，?

pN?

NCN表示N个离散信道的容量。

试证明，该信道的容量C?

logCi-C　　?

2i?

1ci比特/符号，且当每个信　　道i的利用率pi＝2证明:

　　（i＝1,2,?

N）时达其容量C。

　　设:

Pm为lm行?

km列（m?

1,2,?

N）ss方程组?

1p（bj/ai）?

1jp（bj/ai）logp（bj/ai）（i?

r）?

（1）NNm　　m解出?

j可得C?

log[?

]（其中s?

km?

1,r?

lm?

1）[P]特点,方程组

（1）可以改写为?

　　2002CopyrightEELab508　　s?

k1p1p1p1p1p（b/a）?

p（b/a）logp（bjjjj/ai）?

ii?

j1?

1s?

k2p2p2p2p2?

p（bj/ai）?

p（bj/ai）logp（bj/ai）　　（i?

（2）j1?

kNpnpnpnpn?

p（bj/ai）logp（bj/ai）j1?

1km其中Cm?

log[s?

pmkmj]（m?

N）,即?

2j?

1Nkm?

pmj?

2Cm?

j]?

1（?

1km?

pmNj）]?

1kmj?

12Cm]pmj且在各信道利用率为:

12（?

C）（?

log2?

C）?

2（Cm?

C）（m?

N）

展开阅读全文