信息论与编码姜丹第三版答案.docx

资源描述

信息论与编码姜丹第三版答案.docx

《信息论与编码姜丹第三版答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码姜丹第三版答案.docx（16页珍藏版）》请在冰豆网上搜索。

信息论与编码姜丹第三版答案.docx

信息论与编码姜丹第三版答案

　　　　　　2002CopyrightEELab508　　信息论与编码习题参考答案第一章单符号离散信源　　信息论与编码作业是74页，的，,,,,还有证明熵函数的连续性、扩展性、可加性　　同时掷一对均匀的子，试求：

（1）“2和6同时出现”这一事件的自信息量；

（2）“两个5同时出现”这一事件的自信息量；（3）两个点数的各种组合的熵；（4）两个点数之和的熵；　　（5）“两个点数中至少有一个是1”的自信息量。

解：

　　11样本空间：

c6c6?

36n12　　?

I（a）?

logP1?

log18?

（2）P2?

I（a）?

logP2?

log36?

（1）P1?

（3）信源空间：

　　XP（X）XP（x）XP（x）XP（x）XP（x）（1,1）1/36（2,2）1/36（3,3）1/36（4,4）1/36（5,5）1/36（1,2）2/36（2,3）2/36（3,4）2/36（4,5）2/36（5,6）2/36（1,3）2/36（2,4）2/36（3,5）2/36（4,6）2/36（1,4）2/36（2,5）2/36（3,6）2/36（6,6）1/36（1,5）2/36（2,6）2/36　　（1,6）2/36　　2361?

log?

log36?

36236（4）信源空间：

X23456789101112P（x）1/362/363/364/365/366/365/364/363/362/361/36?

H（x）?

15?

2436636836?

log36＋?

log?

log363623633641036636　　?

log＋?

log?

（5）P3?

I（a）?

logP3?

log?

　　N3611　　?

H（x）?

　　2002CopyrightEELab508　　如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为,,但A，B不能同时落入同一方格内。

若仅有质点A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨认的，求A，B落入的平均信息量。

解：

（1）?

A落入任一格的概率:

P（ai）?

I（ai）?

logP（ai）?

log4848　　?

H（a）?

P（ai）logP（ai）?

log48?

148

（2）?

在已知A落入任一格的情况下,B落入任一格的概率是:

P（bi）?

I（bi）?

logP（bi）?

log47?

H（b）?

P（bi）logP（bi）?

log47?

148147（3）AB同时落入某两格的概率是P（ABi）?

I（ABi）?

logP（ABi）48?

47i?

111?

4847　　H（ABi）?

P（ABi）logP（ABi）?

log（48?

47）?

从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：

“你是否是红绿色盲？

”他的回答可能是：

“是”，也可能“不是”。

问这两个回答中各含有多少信息量？

平均每个回答中各含有多少信息量？

如果你问一位女士，则她的答案中含有多少平均信息量？

解：

对于男士:

回答“是”的信息量：

I（my）?

logP（my）?

log7%?

回答“不是”的信息量：

I（mn）?

logP（mn）?

log93%?

平均每个回答信息量：

H（m）?

P（my）?

logP（my）?

P（mn）?

logP（mn）　　　　　　?

-7%?

log7%-93%?

log93%?

对于女：

回答“是”的信息量：

I（wy）?

logP（wy）?

%回答“不是”的信息量：

I（mn）?

logP（mn）?

%平均每个回答信息量：

H（m）?

P（wy）?

logP（wy）?

P（wn）?

logP（wn）　　　　　　?

-%?

%-%?

　　2002CopyrightEELab508　　　　某一无记忆信源的符号集为｛0，1｝，已知p0?

13，p1?

23。

求符号的平均信息量；　　1000个符号构成的序列，求某一特定序列个“1”）　　的自信量的表达式；　　计算中序列的熵。

解：

　　1122H（x）?

p0logp0?

p1logp1?

log?

bit/symble333312I（A）?

mlogp0?

（1000?

m）logp?

mlog?

（1000?

m）log　　bit　　33H（A）?

1000H（X）?

1000?

918bit/sequenceH（A）?

p0logp0?

1m1000?

1p1logp1?

m12（1000?

m）2log?

设信源X的信源空间为：

　　a1　　a2　　a3　　a4　　a5　　a6　　?

X：

[x?

p]：

p（X）　　　　　　求信源熵，并解释为什么H（X）>log6，不满足信源熵的极值性。

解：

　　H（X）?

p（ai）logp（ai）i?

16　　?

　　bit/symble可见H（X）?

log6?

不满足信源熵的极值性，这是因为信源熵的最大值是在?

pi?

1的约束条件下求得的，但是本题中i?

1r　　?

pi?

16i?

不满足信源熵最大值成立的约束条件，所以H（X）?

log6。

　　为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率。

解：

　　于亮度电平等概出现，熵的极值性：

每个像素的熵是：

H（x0）?

p（ai）logp（ai）?

log10?

bit/pelsi?

110每帧图像的熵是：

H（X）?

105?

H（x0）?

105?

106bit/frame?

所需信息速率为：

r（frame/s）?

H（X）（bit/frame）?

30?

106?

107bit/s　　　　?

　　2002CopyrightEELab508　　　　设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。

证:

　　增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?

10?

300bit量化?

每个像素的熵是：

H（x1）?

p（bi）logp（bi）?

log300bit/pelsi?

1300?

H（x1）log300?

（x0）log10　　?

彩色电视系统每个像素信息量比黑白电视系统大倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高倍左右.每帧电视图像可以认为是3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？

若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？

解:

　　每帧图象所含信息量:

H（X）?

105?

H（x）?

105?

log128?

106bit/symble1000?

每个汉字所包含信息量:

H（c）?

logp每个汉字所出现概率p?

描述一帧图像需要汉字数n,H（X）?

nH（c）H（X）?

106n?

105/frameH（c）?

最少需要?

105个汉字　　给定一个概率分布（p1,p2,...,pn）和一个整数m，0?

n。

定义qm?

p，证明：

　　ii?

1mH（p1,p2,...,pn）?

H（p1,p2,...,pm,qm）?

qmlog（n?

m）。

并说明等式何时成立？

　　证：

　　先证明f（x）?

xlogx（x?

0）为凸函数，如下：

loge　　又x?

0x　　loge?

（x）?

（?

xlogx）?

0即f（x）?

xlogx（x?

0）为凸函数。

（x）?

（?

xlogx）?

又?

H（p1,p2,...,pn）?

pilogpi?

1mi?

plogpini?

　　2002CopyrightEELab508　　凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：

pilogpi?

（n?

m）i?

1ni?

f（p）inn?

（n?

m）f（i?

pnin?

m）?

（n?

m）i?

pnin?

mlogi?

pnin?

qmlogqmn?

m即?

plogpini?

qmlogqm?

qmlog（n?

m）当且仅当pm?

pm?

...?

pn时等式成立。

H（p1,p2,...,pn）?

pilogpi?

plogpini?

pilogpi?

qmlogqm?

qmlog（n?

m）mi?

1i?

1m?

H（p1,p2,...,pm,qm）?

pilogpi?

qmlogqmi?

H（p1,p2,...,pn）?

H（p1,p2,...,pm,qm）?

qmlog（n?

m）当且仅当pm?

pm?

...?

pn时等式成立。

　　找出两种特殊分布:

　　p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H（p1,p2,p3,…,pn）=H（p1,p2,p3,…,pm）。

解：

nmH（p1,p2,...,pn）?

pilogpi?

H（q1,q2,...,qm）?

qilogqi　　i?

1i?

1　　　　　　?

　　　　　　2002CopyrightEELab508　　解：

　　题意?

I（A;B）?

logp（AB）p（A）?

p（AB）?

2p（A）　　?

p（A）?

10?

2时,p（AB）?

10?

2p（A）?

132时,p（AB）?

116p（A）?

时,p（AB）?

1　　某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。

以a4为例，试求：

消息概率码字a11/4000a21/4001a31/8010a41/8011a51/16100a61/16101a71/16110a81/16111　　

（1）在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I（a4;0）；　　

（2）在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I（a4;1/0）；（3）在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I（a4;1/01）；（4）从码字W4＝011中获取关于a4的信息量I（a4;011）。

解：

（1）I（a4;0）?

logp（a40）p（a4）?

log（1/8）/（1/4?

1/4?

1/8?

1/8）4?

log?

bit1/83（1/8）/（1/8?

1/8）?

log3?

bit（1/8）/（1/4?

1/4?

1/8?

1/8）1?

log2?

1bit（1/8）/（1/8?

1/8）1?

log8?

3bit1/8n　　

（2）I（a4;10）?

logp（a401）p（a40）?

log（3）I（a4;101）?

log（4）I（a4;011）?

logp（a4011）p（a401）p（a4011）p（a4）　　?

log?

把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p（0　　?

　　2002CopyrightEELab508　　解：

　　用数学归纳法证明:

当n?

2时:

pp?

2p?

2p21?

2p?

2p2?

p[P2]?

p1?

2p1?

p2p?

2p2?

2p?

2p1?

p2?

2p?

2p2?

[1?

（1?

2p）2]2假设n?

k时公式成立,则?

1k[1?

（1?

2p）]?

2[Pk?

1]?

1k?

[1?

（1?

2p）]?

1k?

1[1?

（1?

2p）]?

2　　?

1k?

[1?

（1?

2p）]?

21?

Pk?

[1?

（1?

2p）k?

1]21故Pn?

[1?

（1?

2p）n]21?

[1?

（1?

2p）k]?

pp?

p1?

1k?

[1?

（1?

2p）]?

[1?

（1?

2p）k?

1]?

1k?

1[1?

（1?

2p）]?

11?

2p?

limPn?

lim[1?

（1?

2p）n]?

22设输入信源空间X0:

p（X0?

0）?

a,p（X0?

1）?

a（其中0?

1）则输出信源X?

p（X?

0）?

p（X0?

0）?

p（X?

0X0?

0）?

p（X0?

0）?

p（X?

0X0?

1）?

12?

p（x?

x0）?

p（x?

）（x0、x?

取0或1）　　　　p（X?

1）?

limI（X0;Xn）?

p（X0iX?

j）logn?

1j?

1222212p（X?

jX0i）p（X?

j）?

p（X0iX?

j）logi?

1j?

122p（X?

jX0i）p（X?

j）　　　　?

p（X0iX?

j）log1?

0i?

1j?

1　　　　?

　　2002CopyrightEELab508　　试求下列各信道矩阵代表的信道的信道容量：

（1）　　　　b1b2b3b4a1?

0010?

[P?

a2?

1000?

1]a?

0001?

0100?

（2）　　　　b1b2b3a1?

100?

a2?

100[Pa?

010?

2]?

3a?

010?

a5?

001a?

001?

（3）　　　　b1　　b2　　b3　　b4　　b5　　b6　　b7　　b8　　b9　　a1?

[P3]?

a2?

70003?

解：

（1）信道为一一对应确定关系的无噪信道?

logr?

log4?

2bit/symble

（2）信道为归并性无噪信道?

logs?

log3?

　　bit/symble　　（3）信道为扩张性无噪信道:

logr?

log3?

　　bit/symble　　　　设二进制对称信道的信道矩阵为：

　　　　0　　1[P]?

3/41/4?

1/43/4?

（1）若p（0）=2/3，p

（1）=1/3，求H（X），H（X/Y），H（Y/X）和I（X;Y）；　　

（2）求该信道的信道容量及其达到的输入概率分布。

　　　　b100?

　　2002CopyrightEELab508　　解：

　　2211

（1）H（X）?

p（xi）logp（xi）?

（?

log?

log）?

bit/symble3333i?

1py（0）?

p（xi）p（y?

0xi）?

122223117?

34341221135?

3434127755?

log?

log）?

　　bit/symble1212121222py

（1）?

p（xi）p（y?

1xi）?

12　　H（Y）?

p（yj）logp（yj）?

（j?

122H（YX）?

p（xiyj）logp（yjxi）?

p（xi）p（yjxi）logp（yjxi）i?

1j?

1i?

1j?

1233111211133　　?

（?

log?

log）?

　　bit/symble344344344344?

I（X;Y）?

H（Y）?

H（YX）?

bit/symbleH（XY）?

H（X）?

I（X;Y）?

bit/symble

（2）本信道为强对称信道?

logr?

H（?

）?

log（r?

1）?

log2?

H（）?

/symble1信源输入为等概分布,即p（X?

0）?

p（X?

1）?

时达到信道容量　　设某信道的信道矩阵为　　　　　　b1　　b2　　b3　　b4　　b5a1?

a2?

　　[P]?

a3?

a4?

a5?

试求：

（1）该信道的信道容量C；

（2）I（a3;Y）；（3）I（a2;Y）。

解:

（1）本信道为强对称离散信道?

logr?

H（?

）?

log（r?

1）?

log5?

H（）?

/symble

（2）、（3）I（a3;Y）?

I（a5;Y）?

/symble　　　　?

　　2002CopyrightEELab508　　设某信道的信道矩阵为　　　　b1　　b2　　b3　　b4a1?

1/31/31/61/6?

[P]?

a2?

1/61/61/31/3?

试求：

（1）该信道的信道容量C；

（2）I（a1;Y）；（3）I（a2;Y）。

解:

　　本信道为对称离散信道1111?

p2?

p3?

p4?

）?

log4?

H（,,,）?

/symble?

logs?

H（p13366

（2）、（3）I（a1;Y）?

I（a2;Y）?

/bymble　　设某信道的信道矩阵为　　?

1/21/41/81/8?

[P]?

1/41/21/81/8?

试该信道的信道容量C；　　解:

　　此信道为准对称离散信道,且s1?

2,s2?

2111133?

p（bl）l?

1r24248111111p（b12）?

p（b22）?

p（bl）l?

2r88248p（b11）?

p（b21）?

33111111?

p2?

p3?

p4?

）?

[2?

log?

log]?

H（,,,）?

slp（bl）logp（bl）?

H（p188882488l?

1　　?

/symble　　求下列二个信道的信道容量，并加以比较（其中0　　p?

　　　　　　2002CopyrightEELab508　　解:

（1）此信道为准对称离散信道,且s1?

2,s2?

111p（bl）l?

（p?

）?

（p?

）r211p（bl）l?

（2?

）?

r2?

p2?

p3?

）?

C1?

slp（bl）logp（bl）?

H（p1l?

1211　　?

[2?

（p?

）log?

（p?

）?

log?

H（p?

）22p?

（p?

）log?

（p?

）log（p?

）?

（q?

）log（q?

）?

log?

（2）此信道为准对称离散信道,且s1?

2,s2?

211p（bl）l?

（2?

0）?

r211p（bl）l?

（p?

）?

（p?

）r2?

p2?

p3?

p4?

）?

C2?

slp（bl）logp（bl）?

H（p1l?

1211　　?

[2?

log?

（p?

）log?

（p?

）]?

H（p?

0）22p?

（p?

）log?

（p?

）log（p?

）?

（q?

）log（q?

）?

2上面C1、C2表达式可知:

C1?

C2且当?

0时等号成立.设某信道的信道矩阵为　　　　?

p1[P]?

00p20?

其中P1,P2，?

，PN是N个离散信道的信道矩阵。

令C1，C2，?

，?

pN?

CN表示N个离散信道的容量。

试证明，该信道的容量C?

logCi-C　　?

2i?

1Nci比特/符号，且当每个信　　道i的利用率pi＝2证明:

　　（i＝1,2,?

N）时达其容量C。

　　设:

Pm为lm行?

km列（m?

1,2,?

N）方程组?

p（bj/ai）?

p（bj/ai）logp（bj/ai）（i?

1,2,?

r）?

（1）j?

1j?

1ss解出?

j可得C?

log[?

2j]（其中s?

km,r?

lm）j?

1m?

1s?

NN　　[P]特点,方程组

（1）可以改写为:

　　2002CopyrightEELab508　　s?

k1p1p1p1p1p（b/a）?

p（b/a）logp（bjjjj/ai）?

ii?

j1?

1s?

k2p2p2p2p2?

p（bj/ai）?

p（bj/ai）logp（bj/ai）　　（i?

1,2,?

r）?

（2）j1?

kNpnpnpnpn?

p（bj/ai）?

p（bj/ai）logp（bj/ai）j1?

1其中Cm?

log[?

2j?

1skm?

pmj]（m?

1,2,?

N）,即?

2j?

1Nkmkm?

pmj?

2Cm?

log[?

2]?

log[?

（?

2j?

1m?

1j?

1km?

pmj）]?

log[?

2Cm]m?

1kmN且在各信道利用率为:

pm?

2j?

1（?

pmj?

C）?

2（?

log2j?

pmj?

C）?

2（Cm?

C）（m?

1,2,?

N）时取得信道容量C?

log[?

2Cm]m?

1N　　第三章多符号离散信源与信道　　设X＝X1X2?

XN是平稳离散有记忆信源，试证明：

　　H（X1X2?

XN）=H（X1）+H（X2/X1）+H（X3/X1X2）+?

+H（XN/X1X2?

XN-1）。

（证明详见p161-p162）　　试证明：

logr≥H（X）≥H（X2/X1）≥H（X3/X1X2）≥?

≥H（XN/X1X2?

XN-1）。

证明:

　　2002CopyrightEELab508　　离散平稳有记忆信源条件概率的平稳性有:

p（aik/ai2ai3?

aik?

1）?

p（aik?

1/ai1ai2?

aik?

2）?

H（Xk/X1X2?

Xk?

1）?

p（ai1?

aik?

1）?

p（aik/ai1ai2?

aik?

1）logp（aik/ai2ai3?

aik?

1）?

i1?

1ik?

ik?

i1?

1rrik?

1ik?

1rrrr?

p（a?

p（ari1i2rri1i2a?

aik?

1aik）logp（aik/ai2ai3?

aik?

1）a?

aik?

1aik）logp（aik?

1/ai1ai2?

aik?

2）　　　　　　?

i1?

1ri1i2ik?

1ik?

1　　　　　　?

i1?

1a?

aik?

1）logp（aik?

1/ai1ai2?

aik?

2）ik?

1　　　　　　?

H（Xk?

1/X1X2?

Xk?

2）重复应用上面式子可得:

H（X）?

H（X2/X1）?

H（X3/X1X2）?

H（XN/X1X2?

XN?

1）又仅当输入均匀分布时，H（X）达到最大logr，即logr?

H（X）?

logr?

H（X）?

H（X2/X1）?

H（X3/X1X2）?

H（XN/X1X2?

XN?

1）　　　　试证明离散平稳信源的极限熵：

limH（XN/X1X2XN?

1）　　n?

（证明详见p165-p167）　　设随机变量序列（XYZ）是马氏链，且X：

{a1,a2,?

ar}，Y：

{b1,b2,?

bs},Z:

{c1,c2,?

cL}。

又设X与Y之间的转移概率为p（bj/ai）（i=1,2,?

r;j=1,2,?

s）；Y与Z之间的转移概率为p（ck/bj）（k=1,2,?

L;j=1,2,?

s）。

试证明：

X与Z之间的转移概率：

　　p（ck/ai）?

p（bj/ai）p（ck/bj）　　j?

1s　　证明:

　　2002CopyrightEELab508　　p（ck/ai）?

p（Z?

ck/X?

ai）　　?

p（Z?

ck,?

bj/X?

ai）?

p（Z?

ck,Y?

bj/X?

ai）j?

1j?

1ss　　?

p（Y?

bj/X?

ai）P（Z?

ck/Y?

bj,X?

ai）j?

1s　　?

XYZ为Markov序列?

P（ck/bj,ai）?

P（ck/bj）?

p（ck/ai）＝?

p（Y?

bj/X?

ai）P（Z?

ck/Y?

bj）j?

1s　　试证明：

对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，?

，r，都有pij（n0）>0，则对每个j＝1，2，?

，r都存在状态极限概率：

　　limpij（n）?

pj（j?

1,2,?

r）　　n?

（证明详见:

p171~175）　　设某齐次马氏链的第一步转移概率矩阵为：

　　0　　1　　20?

qp0?

q0p?

0qp?

试求：

（1）该马氏链的二步转移概率矩阵；

（2）平稳后状态“0”、“1”、“2”的极限概率。

展开阅读全文