信息论与编码期末考试题全套.docx
《信息论与编码期末考试题全套.docx》由会员分享，可在线阅读，更多相关《信息论与编码期末考试题全套.docx（31页珍藏版）》请在冰豆网上搜索。
信息论与编码期末考试题全套
、判断题共10小题，满分
20分.
7、某二元信源[XI「01I，其失真矩阵
Ip（X）」[1/21/2J
1.当随机变量X和丫相互独立时，条件熵
H（X|Y）等
D=〔0a[,则该信源的Dmax
怡0」
于信源熵H（X）.
、本题共4小题，满分50分.
2.由于构成同一空间的基底不是唯一的，底或生成矩阵有可能生成同
（）
3.—般情况下，用变长编码得到的平均码长比定长编码
大得多.（）
4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通
信.
（）
5.各码字的长度符合克拉夫特不等式，是唯一可译码存
在的充分和必要条件.（）
6.连续信源和离散信源的熵都具有非负性.（）
7.信源的消息通过信道传输后的误差或失真越大，收到消息后对信源存在的不确
定性就越小，
8.汉
（）
9.率
（）
10.必然事件和不可能事件的
（）
获得的信息量就越小.明码是一种线
失真函数的最
所以不同的基一码集.
信宿
自信息量都是0.
、填空题共6小题，满分20分.
1、码的检
于
2、信源编码的目的是
的目的是
纠错能力取决
;信道编码
3、把信息组原封不动地搬到码字前k位的（n,k）码就叫
做.
4、香农信息论中的三大极限定理
是、、
5、设信道的输入与输出随机序列分别为
X和丫，则
I（XN,Yn）=NI（X,Y）成立的
条件..
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是.
某信源发送端有
3种
2种符号Xi（iyi（j=1,2,3）01
=1,2）,p（x）=a;接收端
，转移概率矩阵为
「1/2
=I
[1/2
计算接收端的平均不确定度H（Y）；
计算由于噪声产生的不确定度H（Y|X）；计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移
（1）
（2）
1/2
1/4
1/4
图如右图所示,
信源X的符号集为{0,1,2}.
（1）求信源平稳后的概率分布；
（2）求此信源的熵；
（3）近似地认为此信源为无记忆时，符号的概率分布为
稳分布.求近似信源的熵H（X）并与Hoc进行比较.
「1
0
1
L1
（7,4）线性分组码的生成矩阵为
（1）
之相对应的伴随式;
给出该码的一致校验矩阵，写出所有的陪集首和与
（2）若接收矢量V=（0001011），试计算出其对应的伴
随式S并按照最小距离译码准则试着对其译码.
、填空题（共15分，每空1分）
1、信源编码的主要目的是
是。
2、信源的剩余度主要来自两个方面，一是
，信道编码的主要目的
信道可以分为
编码可分为
则输出信号幅度
时，信源具有最大熵，其值为
3、三进制信源的最小熵为，最大熵为。
4、无失真信源编码白齐均码长最小理论极限制
为。
5、当时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，
和。
7、根据是否允许失真，信源
和。
8、若连续信源输出信号的平均功率为CT2，
的概率密度是
值。
12
z
12
12/
/
12/
12
七、（16分）设X、Y是两个相互独立的二元随机变量，其取
0或1的概率相等。
定义另一个二元随机变量Z=XY（一般乘
积）。
试计算
9、在下面空格中选择填入数学符号“awY'或“〈”
（1）当X和丫相互独立时，H（XY）_HX）+H（X/Y）
H（Y）+H（X）。
（2）H2（X）/d
2■
H（X1X2X3\
H3（X）二1123J
（3）假设信道输入用X表示，信道输出用
损信道中，H（X/Y）0,
H（Y/X）0J（X;Y）H（XL。
3
Y表示。
在无噪有
（1）
H（X|Y）,H（Z|X）;
、（16分）已知信源
八、（10分）设离散无记忆信源的概率空间为
[s[_rS1S2S3S4S5S6][p」~[o.20.20.20.20.10.1J
通过干扰信道，信道输出端的接收符号
（1）
用霍夫曼编码法编成二进制变长码;
（6分）
集为Y=【％,y2］，信道传输概率如下图所示。
5/6
计算平均码长L;（4分）
（3）
（4）
（5）
计算编码信息率R'；（2分）计算编码后信息传输率R;
计算编码效率n。
（2分）
（2分）
四、（10分）某信源输出AB、符号独立出现，出现概率分别为如果符号的码元宽度为0.5出。
计算:
CDE五种符号，每一个
1/8、1/8、1/8、1/2、1/8。
1/6
（1）
14
计算信源X中事件X1包含的自信息量;
*y2
计算信源X的信息熵;
（1）信息传输速率Rt。
（5分）
五、（16分）一个一阶马尔可夫信源，转移概率为
21
p（S|S1）=3,PglE）=3,P（S|S2）=1,p（S2|S2）=o。
33
画出状态转移图。
（4分）
计算稳态概率。
（4分）
计算马尔可夫信源的极限熵。
（4分）
（1）
⑵
⑶
计算信道疑义度
H（X|Y）；
计算噪声熵H（Y|X）；
计算收到消息丫后获得的平均互信息量。
《信息论基础》2参考答案
是信源符号间的相关
计算稳态下H1,H2及其对应的剩余度。
（4分）
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为log23bit/符号Q
（2）
一6一
[=2PPi=0.4x2+0.6x3=2.6码元符号
4、无失真信源编码的平均码长最小理论极限制为信源*
H（S）/logr=Hr（S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为
（或
R'=Llogr=2.6b舲号
心芈）Jg"973b%元其中，H（S）=H（0.2,020.2,0.2,0.1,0.1）=2.53b%号
（4）
的概率密度是高斯分布或正态分布或
2
c，则输出信号幅度
X2
f（x）=»e花时,
n二^⑼二^^）=0.973
LlogrL
信源具有最大熵，其值为值1log2;reL。
评分：
最短
四、（10分）某信源输出A、B、符号独立出现，出现概率分别为如果符号的码元宽度为0.5As。
其他正确的编码方案：
1,
要求为即时码2,平均码长
9、在下面空格中选择填入数学符号“弓3,兰或“《”
（1）当X和丫相互独立时，H（XY）=H（X）+H（X/Y）=H（Y）+H（X）。
HfX1X2）H（X1X2X3\
（2）H2（X）=\22仝H3（X）=\323'
（3）假设信道输入用X表示，信道输出用丫表示。
在无噪有
损信道中，H（X/Y）>0,H（Y/X）=0,l（X;Y）三、（16分）已知信源
（1）信息传输速率Rt。
（5分）
[S[_r3S2S3S4S556][p」—[0.20.20.20.20.10.1J
（1）
用霍夫曼编码法编成二进制变长码；（6分）
计算平均码长L;（4分）
（3）
（4）
（5）
计算编码信息率R';（2分）
计算编码后信息传输率R；（2分）计算编码效率n。
（2分）
（1）
51
52
5
S4
6
0.2
0.2
0.2
0.2
0.1
1.0
编码结果为:
S6
0.1
C、DE五种符号，每一个
1/8、1/8、1/8、1/2、1/8Q
计算：
（1）RW[h（x）—h（XY）]
111
H（X）=-8log8X4_-log
11=_Iog8+_log222
31
=—log2+—log2
=2log2
=2bit
2bit6
Rt==4X106bps
t0.5As
五、（16分）一个一阶马尔可夫信源，转移概率为
21
P（S13）=7,P（Sd3）=,P（S15尸1,p（S21S2）=0Q
画出状态转移图。
（4分）
计算稳态概率。
（4分）
计算马尔可夫信源的极限熵。
（4分）
（1）
⑵
⑶
解:
计算稳态下H1,H2及其对应的剩余度。
（4分）
（1）
SI
S2
S
S2
Sb
54
55
4
=00
=01
=100
=101
=110
=111
2
⑵由公式P（Si）=送P（Si|Sjp（Sj）
22
P（S1）=2p（sis）p（S戶-P（S）+P（S2）
i43
21
P（S2）=sP（S2|S尸（S戶-pg）
i23
P（S）+P（S2）=1
解：
信道传输矩阵如下
Rix
1
2
1
2
⑶该马尔可夫信源的极限熵为:
22
Hk=—1:
2P（S）P（Sj|Si）logP（Sj|Si）yj4
322311
X—XlogX—Xlog—
433433
11
0.578+一咒1.599
24
=0.681bit/符号
=0.472nat/符号
=0.205hart/符号
（4）在稳态下：
=乏P（xJogP（x）=£x|og4+-
.81bif符号
H2=H^=0.205hart/符号=0.472naV符号=0.681bit/符号
对应的剩余度为
Hi
0.811
n=1_A=1…'■=0189
1H0-盼町
=1旦=1
H0-曰og匕
0.681
6f1]16Y）0.319
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
11'2
1/2
"n12
12■■
1
2
1
2.
1
fe
可以看出这是一个对称信道，
<11）
C=log4-H1—,-,0,0
1.22丿
L
=logL+2p（yj|Xi）logp®|Xi）
y
11
=log4+2X—log-
22
L=4,那么信道容量为
=1bit
七、（16分）设X、Y是两个相互独立的二元随机变量，其取
0或1的概率相等。
定义另一个二元随机变量Z=XY（一般乘
积）。
试计算
解:
H（X|Y）,H（Z|X）;
l（X;Y）,l（X;Z）;
Z
0
P（Z）
3/4
1
1/4
H（X）=Hf1,-]=1bit
l22丿
H
（2）=HQ,1]=0.8113bit
4丿
⑵H（XY）=H（X）+H（Y）=1+1=2bit/对
H（XZ）=H（XFH（Z|X）=1（1,0F」H0,」]=1.5）卅对
22i22丿
⑶H（X|Y）=H（X）=1bit
11,
H（Z|X）=—H（1,0）+—H-
22
12
=0.5bit
⑷l（X,Y）=H（Y）_H（Y|X）=H（Y）_H（Y）=O
H（X|Y》H（XY_H（YF0.7t7t符号0.497符号0.21ha,r符号
I（X,Z）=H（Z）—H（Z|X）=0.81190.5=0.311bit
八、（10分）设离散无记忆信源的概率空间为
⑷
H（Y|XAH（X»H（X）=0.682符号0.47ia符号0.205/符号
:
；］，通过干扰信道，信道输出端的接收符号
I（X;Y>HX-HX|Y>0.0050t符号0.00340符号0.00152符号
集为Y=〔丫仆丫2】，信道传输概率如下图所示。
5/6
X2
1/6...
3/4.”"
（8）
（9）
1/4
A12
计算信源X中事件X1包含的自信息量;
计算信源X的信息熵;
计算信道疑义度H（X|丫）；
计算噪声熵H（Y|X）；
（10）计算收到消息丫后获得的平均互信息量。
解：
（1）I（X,）=—Iog0.8=0.322bit=0.0969hart=0.223nat
（2）H（X）=H（0.8,0.2=0.722it符号=0.5iat'符号=0.217art符号
（3）转移概率:
联合分布:
11
12
X1
5/6
1/6
X2
3/4
1/4
11
12
X1
2/3
12/15
4/5
X1
3/20
1/20
1/5
49/60
11/60
1/5
h（xy戶订2?
2丄1
13152020丿=1.404bit/符号=0.973nat/符号=0.423hart/符号
HY=H（49/60,11/600.6871符号0.476'1符号0.20t7ari符号
（二）
选择题（共10分，每小题2分）
1、有一离散无记忆信源X，其概率空间为
$1=卜X2X3X41，则其无记忆二
［P」［0.50.250.1250.125J
次扩展信源的熵H（X2）=（）
A、1.75比特/符号；
C、9比特/符号；
道转
2、信
「P（1y/
0
I0
X）2P（
0P3
0
B、3.5比特/符号;D、18比特/符号。
移
X）
/
4P）
P5
2y
其中P（yj/Xi）两两不相等，则该信道为
3、
3、
A、对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D具有扩展性能的无噪信道
设信道容量为C,下列说法正确的是:
互信息量一定不大于C交互熵一定不小于C有效信息量一定不大于C条件熵一定不大于C
A、
B、
C、
D
4、
A、
B、
C、
D
在串联系统中，有效信息量的值（趋于变大趋于变小不变
不确定
5、若BSC信道的差错率为P,则其信道容量为:
（
）
H（p）
「产1log2（1-P）pTI
D-Plog（P）
）丿
才1
I—
12
X3X4X5
111
81632
X6X7
11，
6464
、填空题（20分，每空2分）
1、（7,4）线性分组码中，接受端收到分组R的位
数为，伴随式S可能的值有种,
差错图案e的长度为，系统生成矩
阵Gs为行的矩阵，系统校验矩阵
Hs为行的矩阵，Gs和Hs满足的关
系式是
2、香农编码中，概率为P（Xi）的信源符号Xi对应
的码字Ci的长度Ki应满足不等
式
3、设
「0.25
0.25
|_0.5
对称,
0.5
0.25
0.25
个信道，其信道矩阵为
0.251
0.5，则它是
0.25
信道（填
对其进行费诺编码,
写出编码过程,
求出信源
熵、平均码长和编码效率。
七、信道编码（21分）
「1
0
0
L0
现有生成矩阵Gs=
0
1
0
0
0
0
1
0
0
0
0
1
1
1
0
1
1
1
1
0
1
0
1
1
Hso
1.求对应的系统校验矩阵
2求该码字集合的最小码字距离
力lmax
2.
（2分）
d、最大检错能
、最大纠错能力tmaxo（3分）
准对称），其信道容量是特/信道符号。
三、（20分）爲彳。
；
X2
0.5i，通过一个干扰信
道，接受符号集为丫二®1
y^，信道转移矩阵为
e
s
0000000
0000001
0000010
0000100
0001000
0010000
0100000
1000000
填写下面的es表（8分）
「1
4
3
L4
3
4
1
4」
4.
5.
现有接收序列为r=（1100100），求纠错译码输出?
o（4分）
画出该码的编码电路（4分）
试求
（1）H（X）,H（Y）,H（XY）;
⑵H（Y|X）,H（X|Y）;
⑶I（Y;X）O（3分）
（4）该信道的容量C（3分）
（5）当平均互信息量达到信道容量时，接收端丫的熵H（Y）o（2分）
计算结果保留小数点后2位,单位为比特/符
号。
（7分）
（5分）
（四）
四、简答题（共20分，每题10分
1.
四、（9分）简述平均互信息量的物理意义，并写出
应公式。
利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。
简单介绍哈夫曼编码的步骤计算题（共40分）某信源含有三个消息，概率分别为
「4
p
（2）=0.5，失真矩阵为D=0
L2
求DmaX、Dmin和R（Dmax）o（10分）
2.
五、
1.
p（0）=0.2,P
（1）=0.3,
11
2
1
六、（10分）设有离散无记忆信源，其概率分布如下:
2.设对称离散信道矩阵为P=
「1
3
1
L6
1
6
1
3
6
1
3j
，求信道容
（P）
信源剩余度用来衡量信源的相关性程度，信源剩余度
大说明信源符号间的依赖关系较小。
量C。
（10分）
3.有一稳态马尔可夫信源，已知转移概率为
P（S1/S2）=1。
求：
（1）画出状态转移图和状态转移概率矩阵。
（2）求出各状态的稳态概率。
（3）求出信源的极限熵。
（20分）
p（Si/Si）=2/3,
（7）
（1）
（6）
（7）
对于固定的信源分布，平均互信息量是信道传递概率
的下凸函数。
（P）
非奇异码一定是唯一可译码，唯一可译码不一定是非
奇异码。
（11'填空题
（五）
（8）
信源变长编码的核心问题是寻找紧致码（或最佳码），
霍夫曼编码方法构造的是最佳码。
1948年，美国数学家香农
“通信的数学理论”
必然事件的自信息是
发表了题为的长篇论文，从而创立了信息论。
离散平稳无记忆信源
X的N次扩展信源的熵等于离
散信源X的熵的N倍
对于离散无记忆信源，当信源熵有最大值时，满足条
件为—信源符号等概分布_。
对于香农编码、费诺编码和霍夫曼编码，编码方法惟
—的是香农编码
已知某线性分组码的最小汉明距离为3,那么这组码
最多能检测出2
1个码元错误。
个码元错误，最多能纠正
设有一离散无记忆平稳信道，其信道容量为C，只要
待传送的信息传输率R_小于_C（大于、小于或者
等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8）
平均错误概率不仅与信道本身的统计特性有关,
还与
（1）
译码规，则
（9J判断题
禾n编码方法有关
信息论研究的主要问题是在通信系统设计中如何实
现信息传输、存储和处理的有效性和可靠性。
大的事件自信息量大。
息量可正、可负亦可为零。
（9）信息率失真函数R（D）是关于平均失真度D的上凸函数.
五、（18'.黑白气象传真图的消息只有黑色和白色两种,
求:
1）黑色出现的概率为
个只有两个符号的信源
现前后没有关联，求熵
0.3，白色出现的概率为0.7。
给出这
X的数学模型。
假设图上黑白消息出
H（X）;
3）分别求上述两种信源的冗余度,物理意义。
比较它们的大小并说明其
解：
1）信源模型为
分）
=黑务二白”
0.30.T
（1
Hg=-工尸（他）强2P（码）=0.881加打符号
（2分）H
2）由题意可知该信源为一阶马尔科夫信源。
（2分）
由3=1,2
1Al
®J十P⑷）=1
4分）
得极限状态概率
2分）
23
禺（X）二龙Z叫）®g）呃勒蚀=0.5533刼俯号
3分）
—里X2=0.119
log22
（1分）
0,20
0J9
0J8
0J7
0.20,0.26
a35
丫2=1_H/X）=0.447
丫2>丫1。
说明：
当信源的符号之间有依赖时，信源输出消息
的不确定性减弱。
而信源冗余度正是反映信源符号依赖关系
的强弱，冗余度越大，依赖关系就越大。
（2分）
0.15
0.01U
六、（18'.信源空间为
[X1_〔X1X2X3X
LP（XH1_0.20.190.180.17
XX6X7
0.150.10.01
，试分别构造二元香农码和二元霍夫曼码,
计算其平均码长
和编码效率（要求有编码过程）。
信源消总
符号椰率也）
累M率t
规肌）
码字长
码字
（120
fl
2J2
3
00（1
■
（U9
0,2
2J9
3
001
0J8
（LJ9
247
3
Oil
057
256
3
1U（I
ftJ5
（L74
174
3
1（）1
%
ftJO
0.89
3J2
4
111（1
ib
（KOI
（L99
6*64
7
llllliO
_7
[匹P佝）1广3.14r=H1^=2^=0831
yL3.14
£39A；订/丸0
0.19（0.20M.26/0',35q/0J9-d
0.180.19/Q20a26丄
0,17I0.184
0.15
1
0.19丄I
匚羽（训二272
>1
码元/符号
2）
L2.72
比特第号
信源符号®
概率/啊）
码字
码长、
0,2{1
10
2
a
■
0.19
11
2
叮8
U（W
5
U」7
m
3
心
L
IL15
IIW
J
%
ILW
11110
4
lun
111H
4
0.17x1
（3分）最大后验概率准则下，有,
（10'）•二元对称信道如图。
31
1）若P（0）=—,P
（1）=—，求H（X）、H（XIY）和l（X;Y）；
44
2）求该信道的信道容量。
0
丹（£=0別13
升级会员 