信息论与编码理论信道容量习题解答071102.docx
《信息论与编码理论信道容量习题解答071102.docx》由会员分享，可在线阅读，更多相关《信息论与编码理论信道容量习题解答071102.docx（30页珍藏版）》请在冰豆网上搜索。
信息论与编码理论信道容量习题解答071102
第3章信道容量
习题解答
解：
（1）若P（aJ3/4,P（a2）1/4，求H（X）,H（Y）,H（X|Y）,H（Y|X）和l（X;Y）。
3
311
log（—）log（—）0.8113（bit/符号）
4444
32117
p（b1）=p（a1）p（b1|aj+p（a2）p（b1|&）=
434312
31125
p（b2）=p（a1）p（b2|aj+p（a2）p（b2|a2）=
4
34312
22
H（Y|X）=p（q,bj）logp（bj|ajp（bj|aj）logp（bj|aj
i,jj
Ilog（|）1log
（1）0.9183（bit/符号）
I（X;Y）=H（Y）H（Y|X）=0.97990.91830.0616（bit/符号）
H（X|Y）=H（X）I（X;Y）=0.81130.06160.7497（bit/符号）
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量
H（P）=-plog（p）-（1-p）log（1-p）
1122
C=1-H（P）=1+丄log（-）+log（）=0.0817（bit/符）
3333
BSC信道达到信道容量时，输入为等概率分布，即：
{0.5,0.5}注意单位
3-4设BSC信道的转移概率矩阵为
1）写出信息熵H（Y）和条件熵H（Y|X）的关于H
（1）和H
（2）表达式，其中
H（）log
（1）log
（1）。
2）根据H（）的变化曲线，定性分析信道的容道容量，并说明当12的
信道容量。
解：
（1）设输入信号的概率颁布是{p,1-p}
p（b1）p（a1）p（b1|a1）p（a2）p（b1|a2）
p（11）（1p）2
p（b2）
p（a1）p（b2|a1）
p（a2）
p（b2|a2）
p1
（1
p）（12）
H（Y）
p（b1）logp（b1）
p（b2）log
p（b2）
[p
（1
1）（1p）
2]log[p
（11）
（1p）2]
[p1
（1
p）（12）]log[p1
（1p）
（12）]
H[p
（1
1）（1p）
2]
H（Y|X）
2
p（ai）p（bj|ai）log
p（bj|ai）
i,j1
p[（11）log（11）1log
（1）]
（1p）[（12）log（12）2log
（2）]
pH
（1）（1p）H
（2）
（2）H（）的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。
Cmp（ax）x{I（X;Y）}mp（ax）x{H（Y）H（Y|X）}
mp（ax）x{H[p（11）（1p）2]pH
（1）（1p）H
（2）}
由于函数H（£）是一个凸函数，有一个性质：
f（1
（1）2）f
（1）
（1）f
（2）
可知：
C
假设12时此信道是一个二元对称信道，转移概率分布为：
1Q
1
信道容量：
12
C1-log-（1-）log（1-）
1-H（）
3-10电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。
为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB,试计算在这些条件下传送电视的视频信号所需的带宽。
解：
1秒可以传送的信息量为：
3.3219bit/像素3010000像素30=2.9897107bit
CBlog（1善）,已知:
10log1°（善）30dB
2.9897107
103
Blog（1103）可得：
B2.9995106HZ
3-11一通信系统通过波形信道传送信息，信道受双边功率谱密度
N°/20.5108W/Hz的加性高斯白噪声的干扰，信息传输速率
R24kbit/s，信号功率P1W。
1）若信道带宽无约束，求信道容量；
解：
带限的加性高斯白噪声波形信道的信道容量为
无带宽约束时:
PSN0WPS
ClimCtlimlog（1—）
wwNoFSNoW
昱loge1.4427108bit/s
No
2）若信道的频率围为0到3KHz，求信道容量和系统的频带利用率R/W（bps/Hz）（注:
W为系统带宽）；对同样的频带利用率，保证系统可靠传输所需的最小Eb/N。
是多少dB?
W=3KHZ
在最大信息速率条件下，每传输1比特信息所需的信号能量记为Eb
Eb=CS
33.47dB
Fs1
N。
3）若信道带宽变为
N0C11084.5074104
100KHz，欲保持与2）相同的信道容量，则此时的信
噪比为多少dB?
信号功率要变化多数dB?
W100KHZ
4.5074104bpsWlog（1电）105log（1笙）
N0WN0W
SNR-F^0.3667即:
4.3654dB
N°W
Fs'0.36671051080.3667103w
信号功率的变化为:
Fs'0.3667103
10log1°亠10log1°34.3569dB
Fs1
第4章无失真信源编码
习题参考答案
4-1:
（1）A、B、C、E编码是唯一可译码。
（2）A、C、E码是及时码。
（3）
唯一可译码的平均码长如下：
P（Si）li
1
1
1
2
1
3丄4
1
5
1
62.125码元/信源符
i1
2
4
16
16
16
16
号
lC
6
P（Si）li
1
1
1
2
1
3—4
1
5
1
62.125码元/信源符
i1
2
4
16
16
16
16
号
匚
6
P（Si）li
1
1
1
2
（—
11
丄）
4
2码元/信源符号
i1
2
4
16
1616
16
4-3：
（1）
8
H（X）=-p（xi）logp（xi）
i=1
⑵平均码长：
_6
lP（s）li
i1
111111
8163264128128）
3码元/信源符号
所以编码效率:
H（X）
0.6615
（3）仙农编码:
信源符号Si
符号概率p（Si）
加概率
码长
码字
1
Si
—-
0
1
0
2
1
1
S2
4
2
2
10
1
3
S3
—
—
3
110
8
4
1
7
S4
—
—
4
1110
16
8
1
15
S5
32
16
5
11110
1
31
S6
6
111110
64
32
1
63
S7
128
64
7
1111110
1
127
S8
128
128
7
1111111
费诺码:
信源符号Si
符号概率p（Si）
编码
码字
码长
S1
1
2
0
0
1
S2
1
4
0
10
2
S3
1
8
0
110
3
S4
丄
16
0
1110
4
S5
1
32
1
1
0
11110
5
S6
丄
64
1
1
0
111110
6
S7
1
128
1
1
0
1111110
7
S8
1
128
1
1111111
7
4-5:
（1）霍夫曼编码：
对X的霍夫曼编码如下:
信源
符号
编码过程
码
码
符号
S
概率
p（Si）
长
字
Si
0.2
0.2
厂
F0.26
0.35
0.39
4
0.61
■
0
10
2
S2
0.19
0.19
0.2
0.26
76.35
0
虫39
1
11
2
S3
0.18
0.18
0.19
0.2
0/
0.26
/
1
000
3
S4
0.17
0.17
0.18
0
0.19
1
001
3
S5
0.15
0.15
0
0.17
1
010
3
S6
0.10
02
r0.11
1
0110
4
S7
0.01
1
0111
4
H（X）
l
l0.2
20.192
0.18
30.1730.1530.140.0142.72码元/
信源符号
H（X）
7
PilogPi
i1
2.61
码元/符号
Y的二元霍夫曼编码:
信源符号
Si
符号概率
P（Si）
编码过程
码字
码长
S1
0.49
0.49
0.49
0.49
0.49
0.49
0.49
・0.51
0
1
1
S2
0.14
0.14
0.14
0.14
0.14
j
10.23
!
0.28
0.49
1
000
3
S3
0.14
0.14
0.14
0.14
0.14
0.14
0.23
1
001
3
S4
0.07
0.07
0.07
*0.09
■0.14
0
0.14
1
0100
4
S5
0.07
0.07
0.07
j
0.07*
0.09
1
0101
4
S6
0.04
0.04
0.05
/1
0
0.07
1
0111
4
S7
0.02
貝0.03
0.04
1
01101
5
S8
0.02
/
0.02
1
011000
6
S9
0.01
1
011001
6
平均码长:
l0.4910.14320.07420.0440.0250.0260.0162.23
码兀/信源符
H（Y）PilogPj2.31码元/符号
i1
H（Y）2.31
编码效率：
一―09914
l2.33
⑵仙农编码：
对X的仙农编码:
信源符号S
符号概率
P（Si）
和概率
码长
码字
S1
0.2
0
3
000
S2
0.19
0.2
3
001
S3
018
0.39
3
011
S4
0.17
0.57
3
100
S5
0.15
0.74
3
101
S6
0.10
0.89
4
1110
S7
0.01
0.99
7
1111110
平均码长:
l0.230.1930.1830.1730.1530.140.0173.14
码元/信源符
H（X）2.61
0.8312
l3.14
对Y的仙农编码:
信源符号S
符号概率
P（Si）
和概率
码长
码字
S1
0.49
0
2
00
S2
0.14
0.49
3
011
S3
0.14
0.63
3
101
S4
0.07
0.77
4
1100
S5
0.07
0.84
4
1101
S6
0.04
0.91
5
11101
S7
0.02
0.95
6
111100
S8
0.02
0.97
6
111110
S9
0.01
0.99
7
1111110
平均编码长度:
l0.4920.1420.07420.0450.02620.0260.0172.89
码元/信源符
编码效率：
H（Y）2310.7993
l2.89
⑶费诺编码：
对X的费诺编码:
信源符号Si
符号概率p（Si）
编码
码字
码长
S1
0.2
0
0
00
2
S2
0.19
1
0
010
3
S3
0.18
1
011
3
S4
0.17
0
10
2
S5
0.15
1
0
110
3
S6
0.10
1
1
0
1110
4
S7
0.01
1
1111
4
平均编码长度:
l0.220.1930.1830.1720.1530.140.0142.74
码元/信源符号
编码效率：
2610.9526
I2.74
对Y进行费诺编码:
信源符号s
符号概率p（Si）
编码
码字
码长
S1
0.49
0
0
1
S2
0.14
0
0
100
3
S3
0.14
1
101
3
S4
0.07
0
0
1100
4
S5
0.07
1
1
1101
4
S6
0.04
1
0
1110
4
S7
0.02
1
0
11110
5
S8
0.02
1
1
0
111110
6
S9
0.01
1
111111
6
平均码长:
I0.4910.14230.07420.0440.0250.0260.0162.33
码元/信源符号
编码效率：
H（Y）型0.9914
I2.33
（4）由三种编码的编码效率可知：
仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码
效率最高，费诺码居中。
4-7:
由三元编码方式可知：
R=D—B=Rd-i（K—2）+2
由本题可知D=3,K=8,R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：
信源符号Si
符号概率p（Si）
编码
码字
码长
S1
0.4
0.4
0.4
0.4
0
0
1
S2
0.2
0.2
0.2
0.4
1
2
1
S3
0.1
0.1
-
.0.2
0.2
2
11
2
S4
0.1
0.1
1
0.1
彳
12
2
S5
0.05
0.1
/
0.1
2
101
3
S6
0.05
/0.05
1
102
3
S7
0.05
0/
0.05
2
1000
4
S8
0.05
1
1001
4
4-21:
（1）
符号
概率
分布区间
0
0.25
0,0.25
1
0.75
0.25,1
由题目可知信源符号为:
1011011110110111
p（s1011011110110111
0.0001237
12431214
p⑴p（0）
（2）G
由二元整树图来计算:
由序列S的分布函数F（S）
F（S）1p（11）p（10111）p（1011011111）p（1011011110111）p（1011011110110111）
323厶138123101331214
1㈡（;）（;）（;）（;）（;）㈡（;）㈡
444444444
0.3511403.010*********
所以算术编码为：
010000110011
平均码长及编码效率如下：
-13
l0.8125码元/符号
16
H（S）0.9985
l
（2）由于信源符号集中共有2个元素，因此只需要log21位二进制数就可以表示
其编码，该符号集的编码表如下:
符号
0
1
编码
0
1
按照分段规则，分段为：
1011011110110111
短语数为7,可用nlog73位来表示段号；
每个信源符号编码长度为1，所以短语长度为：
3+1=4，具体编码过程如下:
盹1=1.段号
短语
编码
1
1
0001
2
0
0000
3
11
0011
4
01
0101
5
111
0111
6
011
1001
7
0111
1101
平均编码长度：
i7（3
1）
1.75码元/符号
16
编码效率为：
H（S）
0.811304636
l
1.75
5.2失真矩阵：
d
H（X）H（1/2,1/2）Iog21bit/符号
0
1
2
Dmaxm]n
J1,2i-
min{20
J1,22
Pidj丁郞口⑴P2dn,p©2
p2d22）
此时，转移矩阵:
P
R（D）定义域:
[0,
2,11
0
0
1]
-0}min{1,1}
2j1,22
1
彳，R（Dmax）0
1
信道编码概述
习题答案
6-2
11
极大似然译码规则译码时，由转移概率矩阵可知：
第一列中
1，第二列中1，第三
22
1
列中丄为转移概率的最大值，所以平均错误概率为：
2
Pe
1111111111
-（）-（）-（）-
2364364362
最小错误概率译码，输入x与输出y的联合概率分布为:
111
4'6‘12
111
24®12
111
12,24,8
11111111
E2412824121224
由于——-
242
11
24
可以看出最佳译码为最小错误概率译码，平均错误概率为
6-4
（1）求信息传输率；
R曲1bit/符号
n2
可以分成4个子集，分别为:
（2）求平均错误译码概率。
根据信道的传输特性，可知可以输出24=16种序列,
必1二
=（00
2
2）7（00y
a?
二
=（01
1
2
1
2）（01y
1
1
=（10
2
2）（10y
1
1
必4：
=（11
—
）（11y
3
3
3
3y4）
4）
4）
4）
y3,y4^（0i）
传输信道如下所示:
（00
2
2）
1
1
（01
）
2
2
1
1
（10
丄）
2
2
1
1
（11
—
）
1
1
00000001
00100011010001010110011110001001101010111100110111101111
1
1
1
1
0
0
0000
0
00
0
00
4
4
4
4
0
0
0
0
1
11
1
0
00
0
000
0
4
44
4
1
1
1
1
0
0
0
0
0
0
0
0
—
—
—
0
000
4
4
4
4
1
11
1
0
0
0
0
0
0
0
0
0000
4444
11
译码规则为：
f（y1,y2,y3,y4）=（y1,y2,二,二）
22
i））0i=1、2、3、4
每个码字引起错误的概率：
pep（|i）p（f（
r
所以PeP（i）Pe0
C
第7章线性分组码
习题答案
1.已知一个（5,3）线性码C的生成矩阵为:
1
1
0
0
1
G
0
1
1
0
1
0
0
1
1
1
（1）求系统生成矩阵；
（2）列出C的信息位与系统码字的映射关系；
（3）求其最小Hamming距离，并说明其检错、纠错能力；
（4）求校验矩阵H;
（5）列出译码表，求收到r=11101时的译码步骤与译码结果。
解：
（1）线性码C的生成矩阵经如下行变换：
1
1
0
0
1
1
0
0
1
1
0
1
1
0
1
将第2、3加到第1
升级会员 