信息论与编码理论知识题目解析Word下载.docx
《信息论与编码理论知识题目解析Word下载.docx》由会员分享，可在线阅读，更多相关《信息论与编码理论知识题目解析Word下载.docx（39页珍藏版）》请在冰豆网上搜索。
因为输入等概，由信道条件可知,
p（yii为奇数）丄
10
p（yii为偶数）丄（1111丄）丄
102888810
P（Kyj）logp（yj収）-p（Xiyj）logp（yj丨人）
ji偶ji奇
=0-
P（xyj）logp（yj|x」
ji奇
i
丄
p（X）P（yi|Xi）logp（yi|Xi）-P（x」p（yj|x）ogP（y）|x」
1,3,5,7,9iji=1,3,5,7,9
3=1bit
2.11
Y）=H（Y）-H（Y|X）=log10-1=log5=2.3219bit
令｛U1,U2,,U8｝为一等概消息集，各消息相应被编成下述二元码字
山=0000，U2=0011，匕=0101，U4=0110，
u5=1001，u6=1010，u7=1100，u8=1111
通过转移概率为p的BSC传送。
求:
即1（山；
0），l（U1；
00），l（U1；
000），l（U1；
0000）
111
p（0）=（1p）4+p4=-
882
p（0|U1）1p
l（U1；
0）=log-=log-^=1+log（1p）bit
2
1221
p（00）=[2（1p）4（1p）p2p]=
84
I（5；
00）=log
P（00|uJ
P（00）
log
（1P）2
1/4
=2[1log（1p）]bit
132231
p（000）=1[（1P）3（1p）2p3（1p）pp3]=£
88
I（u1;
000）=3[1+log（1p）]bit
p（0000）=^[（1p）46（1p）2p2p4]
8
bit
I（U1；
0000）=log—
8（1p）
2.12计算习题2.9中l（Y;
Z）、
l（X;
Z）、l（X,Y;
Z）、l（Y;
Z|X）、l（X;
Z|Y）。
根据题2.9分析
32166,21610216
log+log+log+2163216621610
212162521627216、
log+log+log）
H（Z）=2（log216+
216
15216
log+log+log+log
21615216212162521627
=3.5993bit
I（Y;
Z）=H（Z）-H（Z|Y）=H（Z）-H（X）=1.0143bit
I（X;
Z）=H（Z）-H（Z|X）=H（Z）-H（Y）=0.3249bit
I（X,Y;
Z）=H（Z）-H（Z|XY）=H（Z）-H（X）=1.0143bit
Z|X）=H（Z|X）-H（Z|XY）=H（Y）-H（X）=0.6894bit
Z|Y）=H（Z|Y）-H（Z|XY）=H（X）-H（X）=0bit
2.14对于任意概率事件集X,Y,Z，证明下述关系式成立
（a）H（Y,Z|X）H（Y|X）+H（Z|X），给出等号成立的条件
（b）H（Y,Z|X）=H（Y|X）+H（Z|X,Y）
（c）H（Z|X,Y）H（Z|X）
p（xyz）log[p（y|x）p（z|xy）]
xyz
=-p（xyz）logp（y|x）
p（xyz）logp（z|xy）
=H（Y|X）+H（Z|XY）
（d）H（Z|X,Y）=-p（xyz）logp（z|xy）
=p（xy）[-p（z|xy）logp（z|xy）]
p（xy）[-p（z|x）logp（z|x）]
=-p（xyz）logp（z|x）
=H（Z|X）
当p（z|xy）=p（z|x），即X给定条件下，丫与Z相互独立时等号成立
（a）上式（c）左右两边加上H（Y|X），可得
H（Y|X）+H（Z|X,Y）H（Y|X）+H（Z|X）
于是H（Y,Z|X）H（Y|X）+H（Z|X）
（a）Y的概率密度（y）
（c）若对丫做如下硬判决
1,y1
VO,1y1
求I（X;
V），并对结果进行解释
（a）由已知，可得
p（y|x
else
1）=40
1）=
（y）=p（x
1）
p（yIx
1）+p（x1）p（y|x1）
（b）Hc（Y）=
3log8
Hc（Y|X）=
P（x
1）3p（y|x
1log4=2.5bit
1）logp（y|x1）dy
3
1）1p（y|x
11,11
log_dy-2344'
2
311
log—dy=2bit
144
1/2
V
-1
p（V|x=-1）
p（V|x=1）
11
H（V）log22log41.5bit
111
H（V|X）—[Tog2-log2]2=1bit
222
V）=H（V）H（V|X）=0.5bit
2.29令Q1（x）和Q2（x）是同一事件集U上的两个概率分布，相应的熵分别为
H（U）1和H（U）2。
（a）对于01,证明Q（x）=QMx）+
（1）Q2（x）是概率分布
（b）H（U）是相应于分布Q（x）的熵，试证明
H（U）H（U）1+
（1）H（U）2
证明：
（a）由于Q'
x）和Q2（x）是同一事件集U上的两个概率分布，于是
qjx）0，q2（x）0
q（x）dx=1，q2（x）dx=1
xx
又01，贝U
q（x）=qdx）+
（1）q2（x）0
因此，Q（x）是概率分布。
（b）H（U）=[qi（x）
（1）q2（x）]log[q（x）
（1）q2（x）]dx
x
=qi（x）log[qi（x）
（1）q2（x）]dx
（1）q2（x）log[qi（x）
（1）q2（x）]dx
q1（x）logq（x）dx
（1）q2（x）Iogq2（x）dx（引理2）
=H（Uh+
（1）H（U）2
第二章信源编码离散信源无失真编码
3.1试证明长为N的D元等长码至多有D（D”1）d1个码字。
证：
①在D元码树上，第一点节点有D个，第二级有错误!
未找到引用源。
，每个节点对应一个码字，若最长码有N,则函数有
NNN
Di=D（1DJ=D£
D1），此时，所有码字对应码树中的所有节
ii1DD1
点。
②码长为1的D个；
码长为2的D2个，…，码长为N的Dn个
...总共NDi=^l^个
i1D1
3.2设有一离散无记忆信源U。
若对其输出的长为100的事件
0.004,0.996
序列中含有两个或者少于两个a1的序列提供不同的码字。
（a）在等长编码下，求二兀码的最短码长。
（b）求错误概率（误组率）。
（a）不含a1的序列1个
长为100的序列中含有1个a1的序列错误!
=100个
长为100的序列中含有2个a1的序列6爲=4950个
.所需提供码的总数M=1+100+4950=5051
于是采用二元等长编码NlOgM=12.3，故取N=13
logd
（b）当长度为100的序列中含有两个或更多错误!
的a1时
出现错误,
因此错误概率为
Pe=1C10o（O.996）1oo-C11oo（0.004）（0.996）99C200（O.OO4）2（O.996）98
=7.7751O3
ai,a2
3.3设有一离散无记忆信源，U=13，其熵为H（U）。
考察其长为L的输出
4,4
序列，当LLo时满足下式
P|罟H（U）
（a）在=O.O5，=O.1下求Lo
（b）在=1O3，=1O8下求Lo
（c）令T是序列Ul的集合，其中
皿H（U）
L
试求L=Lo时情况（a）（b）下，T中元素个数的上下限
134
H（U）=pklogpk=log4log—=0.81bit
443
错误!
E[l（ak）]=H（U）
i2=E{[I（ak）H（U）]2}=E[l（aQ2]-H2（U）
22=Pk（logPk）H（U）
k
=0.471
则根据契比雪夫大数定理
3.4对于有4字母的离散无记忆信源有两个码A和码B,参看题表。
字母
概率
码A
码B
a1
0.4
a2
0.3
01
a3
0.2
001
100
a4
0.1
0001
1000
（a）各码是否满足异字头条件？
是否为唯一可译码?
（b）当收到1时得到多少关于字母&
的信息？
（c）当收到1时得到多少关于信源的平均信息？
①码A是异头字码，而B为逗点码，都是唯一可译码
卩⑻11）1
②码A1佝;
1）log21log21.32bit
p（aj0.4
③码AU={a1,a2,a3,a4}
l（u;
1）p（ak|1）l（ak；
1）=p（a1|1）g;
1）0=1.32bit
k1
码BI（u;
1）=0bit
（收到1后，只知道它是码字开头，不能得到关于U的信息。
）
3.5令离散无记忆信源
Uaia2a3a4a5a6a7a8a9a10
0.160.140.130.120.100.900.080.07006005
（a）求最佳二元码，计算平均码长和编码效率。
（b）求最佳三元码,计算平均码长和编码效率。
（a）
000
0.16
010
0.14
011
0.13
0.12
110
as
0.10
111
ae
0.09
0010
a7
0.08
0011
0.07
1010
ag
0.06
1011
a10
0.05
H（U）PklogPk=3.234bit
平均码长npknk=3.26=RnlogD
（b）
0.430
0.33
0.24.
…0
0.11
00
81
82
02
83
84
12
a5
20
86
21
87
22
88
89
810
平均码长npknk=2.11
RnlogD=3.344
效率罟96.60%
3.6令离散无记忆信源U
&
1&
3....
0.5...0.30.2
（a）求对U的最佳二兀码、平均码长和编码效率。
（b）求对U的最佳二兀码、平均码长和编码效率
（c）求对U的最佳二兀码、平均码长和编码效率＜
（a）
J
片■
―0
1a10.5
00a20.3
050
01830.2
n=0.5X1+0.3X2+2xo.2=1.5
H（U）pJogPk1.485bit
也99%
R
•••离散无记忆/-H（U,U2）=2H（U）=2.97bit
P（a
1a1）=0.25,p（a1a2）=0.15,p（a1a3）=0.1,
p（a2a!
）=0.15,
2a2）=0.09p（a2a3）=0.06,p（a3a1）=0.1,
p（a3a2）=0.06,
3a3）=0.°
0.25
0.550
0.45,1
0.25-
aia2
U.I5
a2ai
U.15
a1a3
n4
U.l
9381
U.1
0000
a?
a?
比觅
ncu
0110
a3a2
0111
a3a
0.04
n
PE
匹1.5
015..
0
bJ
1
01
Hl皿=也=0.99n2logD
（b）有关u3最佳二元类似略
3.7令离散无记忆信源
aia2ak
p（ai）p（a2）p（aj
i1
且0<
P（a1）wp（a2）w••:
wp（ak）<
1。
定义Qi=p（aj,i>
1，而Qi=0,
今按下述方法进行二元编码。
消息ak的码字为实数Qk的二元数字表示序
列的截短（例如1/2的二元数字表示序列为1/2—10000…，1/4—0100…）,保留的截短序列长度nk是大于或等于l（ak）的最小整数。
a1...a2.......a3......a4......a5.......a6.......a7......a$.....
（a）对信源U11111111构造码。
4,4,8,8,16,16,16,.16
（b）证明上述编码法得到的码满足异字头条件，且平均码长n满足
H（U）<
nWH（U）+1。
符号
Qi
C
a8
16
a6
0100
11
（b）反证法证明异字头条件
令k<
k'
若ak是ak的字头，则
QkQk2
nk
又由l（ajnkI（ak）1可知,
2nk
Pk
2nk1
从而得QkQk2"
KPk
这与假设ak是ak的字头（即Qk
Qk
Pk）
相矛盾，故满足异字头条件。
由已知可得
对不等号两边取概率平均可得
（c）求对U的最佳二兀码、平均码长和编码效率。
（d）求对U的最佳二兀码、平均码长和编码效率
（a）C10,C2=1,n=1
H（U）0.97bit
H（U）
（b）DMC信道
0.60
a〔a1
0.36
a1a?
0.24
a2a2
斤2
2,n
1,
H^U）97%
0.496
0.504
——0
0.288
a1a〔a1
0.216-
an?
0144■
0.144
a〔a2a1
n4aA■
U.I44
rxAAA
a2a〔a1
a〔a2a2
0.096
101
a2a〔a2
1100
828281
CCCQ
U.096
1101
a?
a2*2
0.064-
0.192…
n3=2.944n=0.981
（d）略
016.
.0
3.9
设离散无记忆信源U
ai,a2，.…a3,a4，.…a5，…a6
0.3,..0.2,..0.15,..0.15,..0.1,..0.1
试求其二元和三元
Huffman编码。
■q"
0.15
a4
0.1-
设信源有K个等概的字母，其中K=2j,12。
今用Huffman
进行二元编码。
（a）是否存在有长度不为j或j+1的码字，为什么？
（b）利用和j表示长为j+1的码字数目。
（c）码的平均长度是多少?
Huffman思想：
将概率小的用长码，大的用短码，保证n当等概时,
趋于等长码。
a）对1时，K=2j,则用长度为j码表示；
当2时，用K=2j+1，用长
度为j+1码表示。
平均码长最短，则当12时，则介于两者之间，
即只存在j，j+1长的码字。
b）设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元
Huffman编码思想（必定占满整个码树），即
NjNj1K2j
Nj2jNj12（j°
1
从而Nj
（2
）2j，Nj1
（1）2j1
、-1
c）L—Nj
j
12
-Nj1（j1）=j2-
K
13
3.12设二元信源的字母概率为p（0）-，p
（1）-。
若信源输出序列为
44
1011011110110111
（a）对其进行算术编码并进行计算编码效率
（b）对其进行LZ编码并计算编码效率。
124
3-
其中，F
（1）=0，F
（1）=34，p（0）=\，P
（1）=34
Ui
P（Ui）
f（G
~4
313
4416
339
16匸可
9327
644256
33
45
34
46
3^
47
36
48
37承
37'
4°
38
411
39T2
39
413
310
414
311盯
312
416
1508125135
0.0101100111100100
从而C010*********
log4log—
4m4a3
13
（b）首先对信源序列进行分段:
1011011110110111
然后对其进行编码，编码字典如下所示
段号
短语
升级会员 