第4章习题解答.docx
《第4章习题解答.docx》由会员分享，可在线阅读，更多相关《第4章习题解答.docx（58页珍藏版）》请在冰豆网上搜索。
第4章习题解答
信息论与编码习题详解第四章
4。
1某集源按P（0）=3/4，P
（1）=1/4的概率产生统计独立的二元序列.
（1）试求N0，使当N>N0时有：
P｛｜I（ai）/N－H（S）｜≥0.05}≤0.01
其中H（S）是信源的熵。
（2）试求当N=N0时典型序列集GεN中含有的信源序列个数.
解：
（1）H（S）=—∑Pi
㏒Pi=-3/4㏒（3/4）
—1/4㏒（1/4）
=0.811比特/符号
依照契比雪夫不等式，对于任意ε＞
0，当N＞N0时，
P｛∣I（αi）/N
–H（S）∣≥ε｝≤D[I（Si）］/Nε2
现有ε=0.05,
欲证原式，只要
D［I（Si）]/Nε2≤0。
01
依照信源，D［I（Si）]=
∑P（Si）［㏒P（Si）］2–H2（S）
=3/4
（㏒3/4）
2+1/4（㏒1/4）2—（0。
811）2
=0
。
471
2
2
∴N0=D[I（Si）]/0。
01ε=0.471/0
。
01×（0.05）=18840
（2）序列GεN是所有N长的ε典型序列会集，
（1-δ）2N［H（S）—ε]≤‖GεN‖≤2N[H（S）-ε]
0.99×214342。
5≤‖GεN‖≤216226。
5
4。
2设无记忆二元信源，其概率为P1=0.005,P0=0。
995.信源输出N＝100的二元序列.在长为N＝100的信源序列中只对含有3个或小于3个“1的”各信源序列组成一一对应的一组等长码。
（1）求码字所需的最小长度。
（2）计算式（4.27a）中的ε。
（3）考虑没有恩赐编码的信源序列出现的概率，该等长码引起的错误概率PE是多少？
若从契比雪夫不等式（4。
22）考虑，PE应是多少？
试加以比较。
解：
（1）无记忆二元信源
S
0,
1
Psi
0.9950.005
N=100的扩展信源
SN
N
N
N
N
1
0
，
2
0
，
，
2
N
1
11
10,
2
N
11
1
Pi
0
01
N
N－1
，
，
N1
N
0.995
0.995
0.995
0.005,
0.005
0.005
现只对含有
3个或小于
3个“1”的各信源序列组成一一对应的一组二元等长码。
那么,在这2N个N长的信源序列中含有小于
3个“1”和含有3个“1”的序列个数有
M=C1000
C1001
C1002
C1003
=1+100+4950+161700
166750
-42-
信息论与编码习题详解第四章
对M个信源序列进行无失真的二元等长编码，必定
2l
M=166750
217.35
因此码字所需的最小长度
l
＝18
（2）对于这二元信源，其H（S）
0。
0454比特/符号
现依照所编码的N（＝100）长的信源序列来计算
。
在这N长的信源序列中全零序
列其P
i最大，则其I
i
最小；而其中含
3个“1的”序列其P
i最小则Ii
最大。
因此，全零序列
P
i＝0.995100
I
i
＝－logP（
i）
0。
723
依照
典型序列的条件有
I
i
HS
N
因此
I
i
HS
100
〉—0.0382>-
得
>0.0382
含3个“1的”序列其
P
i
＝0.99597
0.0053
I
i
＝－logPi
23.63
又可计算有
I
i
HS
100
〉0。
1909〉-
>0.1909
由上解析
0.0382
因此
〉0。
1909
0.1909
（3）按编码考虑，除了含有3个或小于3个“1的”信源序列恩赐了一一对应的编码外，其他
信源序列没有恩赐编码，那么这些信源序列的出现会使编码带来错误。
因此
本题等
长码引起的错误概率就是其他序列的发生概率之和。
得
PEC1004P096P1
4
C1005P095P1
5
C10099P0P199
C100100
P1100
1C1000P0100
C1001P099P1
C1002P098P1
2
C1003P097
P1
3
0。
0017
若按契比雪夫不等式考虑
I
i
DI
si
P
N
HS
N
2
即
PE'
P
Ii
HS
DIsi
N
N2
其中
由上面计算
-43-
信息论与编码习题详解
第四章
2
2
而
DIsi
PiIsi
H2
S
i1
2
2
2
0.995log0.995
0.005log0.005
0.0454
0.2901
因此
‘
DIsi
0.2901
0.08
PE
N2
1000.1909
2
比较二种计算结果，可见PE'PE
这是由于依照契比雪夫不等式所计算错误概率时，我们可是对典型序列进行编
码,非典型不编码就引起错误。
现典型序列个数为
GN2NHS24.5423.26
而我们实质是对所有含3个和小于3个“1的”信源序列都进行编码，其个数M》
GN,因此PE'PE
4。
3有一信源它有六种可能的输出，其概率分布以以下列图所示，表中给出了对应的码A、B、C、D、E和F。
（1）求这些码中哪些是独一能够码.
（2）求哪些是非延长码（即时码）
（3）对所有独一可译码求出其平均码长
信息
P（ai）
A
B
C
D
E
F
a1
1/2
000
0
0
0
0
0
a2
1/4
001
01
10
10
10
100
a3
1/16
010
011
110
110
1100
101
a4
1/16
011
0111
1110
1110
1101
110
a5
1/16
100
01111
11110
1011
1110
111
a6
1/16
101
011111
111110
1101
1111
011
解：
（1）A码为等长码且是非奇异码
因此是独一可译码
B码和C码由独一可译码的判断方法知识独一可译码
q
li
D码由Craft不等式知
r
1/21/41/8
1/16*317/161不满足不等
i1
式因此不是独一可译码
E码由即时码的定义知
E码是即时码因此是独一可译码
q
li
F码由craft不等式知道
r
1/21/8*5
9/81因此不是独一可译码
i
1
-44-
信息论与编码习题详解第四章
4。
4证明定理4.6。
若存在一个码长为l1，l2。
lq的独一可译码，则必然存在拥有同样码长的即时码。
证明：
由定理4
5可知若存在一个码长为
L1,L2,,Lq的独一可译码，则必然满足
kraft不等
q
li
式
r
1.
由定理
4
4可知若码长满足
kraft
不等式则必然存在这样码长的即
i1
时码。
因此若存在码长
L1,L2,,Lq
的独一可译码，则必然存在拥有同样码长
P（y=0）
的即时码.
4。
5设信源
s
=s1
s2
s6，
pi
=1对此信源编码将r元独一可
p（s）
p1
p2
p6
i
译变长码（即码符号集
X={1,2，
r}），其对应的码长为（l1
，l2
，
l6）=（1，1，2,3，2,3）求r值的最好下限。
解:
要将此信源编码成为r元独一可译变长码，其码字对应的码长
（l1,l2,l3,l4，l5，l6）=（1，1，2，3，2,3）必定满足克拉夫特不等式，即
6
rli
r1
r1
r2
r3
r2
r3
1
i1
因此要满足
2
2
2
1
，其中r是大于或等于
1的正整数.
r
r2
r3
可见，当r=1时，不能够满足
Kraft不等式.
当r=2,
2
2
2
1,不能够满足Kraft。
2
4
8
当r=3，
2
2
2
26
1,满足Kraft.
3
9
27
27
因此，求得r的最大值下限值等于
3。
4。
6试证明对于马尔可夫信源同样存在:
1
_
H
N
L（S）
logr
N
其中
（）（
S1S2
SN
）是长为
N
的马氏链的平均码长而
是马尔可夫
LSL
H
信源的熵。
证明：
由香农第必然理:
H（S）1LH（S）
logrNNlogr
又一般马尔可夫信源的信息熵应该是其平均符号熵的极限值，即
HH（X）
1
H（X1X2
XN）
NN
-45-
信息论与编码习题详解第四章
故可得失散马尔可夫信源为
H
1
L
H
logr
N
N
logr
当N=1时,有H（S）
1
L
H（S）
；
logr
logr
当N
时,有马尔可夫信源
L
H,即证.
N
N
logr
11122
4.8求概率分布为（3,5,5,15,15）信源的二元霍夫曼码。
谈论此码对于概率分布
11111
为（5,5,5,5,5）的信源也是最正确二元码。
解：
信源的概率分布为：
1
1
1
2
2
p（si）（,
5
）
3
5
15
15
二元霍夫曼码：
00，10，11，010，011
码长：
2，2,2，3，3
当信源给准时，二元霍夫曼码是最正确二元码
.因此对于概率分布为
（1
1
1
1
1）
5
5
5
5
5
的信源，其最正确二元码就是二元霍夫曼码
.这二元霍夫曼码必然是三个信源符号的
码长为2（码符号/信源符号），另二个信源符号的码长为
3（码符号/信源符号），
其平均码长最短。
因此，上述对概率分布为
（1,1
1
2,2）
信源所编的二元霍
3
5
5
15
15
夫曼码也是大体分布为
（1
1,1
1
1）
信源的最正确二元码。
5
5
5
5
5
4。
9设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出能够编
得这些霍夫曼码的信源的所有概率分布。
解：
由题意假设信源所发出的是个符号的概率为
P（S4）P（S3）P（S2）P（S1）
由霍夫曼编码的特点知：
P（S4）P（S3）P（S2）P（S1）1
依照霍夫曼编码的方法，
每次概率最小的两个信源符号合并成一个符号，
组成新的
减少信源，直至最后只剩两个符号。
而且当减少信源中的所有符号概率相等时，
总是将
合并的符号放在最上面
.因此，对于二元霍夫曼码为（
00，01，10，11）来说，每个信源
都要减少一次，因此
P（S3）
P（S4）要大于P（S1）和P（S2）,这时必有
P（S1）P（S2）
1,P（S1）
1
3
3
同理对于二元霍夫曼码为（
0，10，110,111）有
-46-
信息论与编码习题详解第四章
1
1
P（S3）P（S4）
P（S1）>
3
3
信源概率分布满足以上条件则其霍夫曼编码吻合题意.
4.10设信源符号集
S
=
s1,
s2
Ps
0.1,
0.9
（1）求HS和信源节余度。
（2）设码符号为X=｛0,1}，编出S的紧致码，并求S的紧致码的平均码长L。
（3）把信源的N次无记忆扩展信源SN编成紧致码，试求N=2,3,4,
时的平
均码长
LN
。
N
解：
（1）信源
S
s1
s2
Ps
0.1
0.9
2
其H
s
Psi
logPsi
0。
469比特/符号
i1
节余度
Hs
0。
531=53.1％
1
log2
（2）码符号X=｛0,1},对信源S编紧致码为：
s1
0，s2
1
其平均码长L=1
码符号/信源符号
（3）当N=2时
S2
=
1s1s1,
2
s1s2,
3
s3s1,
4s2s2
P
0.01,
0.09,
0.09,
0.81
i
紧致码（即霍夫曼码）为
4,
3,
2,
1
码字Wi
0,
10，
110，
111
码长li
1,
2，
3
，
3
平均码长
LN
1
4
li
0。
645
码符号/信源符号
N
=
Pi
2i
1
N=3时，
S3
=
Pi
1,
2,
3,
4,
5,
6,
7,
8
0.13,
0.12
0.9,
0.120.9,
0.12
0.9,
0.10.92,0.10.92,0.1
0.92,
0.93
-47-
信息论与编码习题详解第四章
对信源S3进行霍夫曼编码，其紧致码为
8,
7,
6,
5,
4,
3,
2,
1
码字Wi
0，
100,
101,
110，
11100
，
11101，
11110,
11111
码长li
1，
3,
3,
3,
5，
5，
5,
5
平均码长
LN
=
18
P
ili
0.533码符号/信源符号
N
3i
1
N=4时,
S4
=
P
i
1,
2,
3,
4,
5,
6,
7,
8,
0.1
4
3
0.1
3
3
3
2
0.9
2
2
2
2
2
0.10.9,
0.9,
0.1
0.9,
0.10.9,0.1
0.1
0.9,
0.1
0.9,
9,
10,
11,
12,
13,
14,
15,
16
2
0.9
2
2
0.9
2
0.1
2
2
3
3
3
0.10.9
3
4
0.1
0.1
0.9,
0.10.9,
0.10.9,
0.10.9
0.9
对信源S4进行霍夫曼编码，其紧致码为
16,
15,
14,
13,
12,
11,
10,
9,
码字Wi
0,
100,
101,
110，
1110，
111110,
1111000，
1111001,
码长li
1，
3，3,
3,
4，
6,
7,
7,
8,
7,
6,
5,
4,
3,
2,
1
码字Wi
1111010,
1111011,
1111110，111111101,111111110,
111111111,
1111111000，1111111001
码长li
7,
7，
7，
9,
9,
9,
10,
10
平均码长
LN
=
1
16
ili
0.493
码符号/信源符号
N
4i
P
1
N=时,依照香农第必然理，其紧致码的平均码长
升级会员 