信息论与编码期末考试题全套.docx
《信息论与编码期末考试题全套.docx》由会员分享,可在线阅读,更多相关《信息论与编码期末考试题全套.docx(31页珍藏版)》请在冰豆网上搜索。
信息论与编码期末考试题全套
一、判断题共10小J
满分20分.
1.当随机变量X和丫相互独立时,条件爛H(XIY)等
7、某二元信源[爲冷打加其失真矩阵
于信源爛H(X).()
2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集.
()
3.—般情况下,用变长编码得到的平均码长比定长编码
大得多.()
4.只要信息传输率大于信道容量,总存在一种信道编译
码,可以以所要求的任意小的误差概率实现可靠的通信.
()
5.务码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()
&连续信源和离散信源的爛都具有非负性.()
7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确
定性就越小,获得的信息戢就越小.
8.汉明码是一种线性分组码.()
9.率失真函数的最小值是0.
()
10.必然事件和不可能事件的自信息量都是0.()
二、填空题共6小题,满分20分.
1、码的检、纠错能力取决
于.
2、信源编码的目的是:
信道编码
的目的是.
3、把信息组原封不动地搬到码字前k位的(仏灯码就叫
做•
4、香农信息论中的三大极限建理
是、、
■
5、耳信道的输入与输出随机序列分别为X和Y,则
KX\Yn)=NI(X,Y)成立的
条件•
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是
O",则该信源的Dmax=
a0
三、本题共4小题,满分50分.
K某信源发送端有2种符号x,i=1,2),/心)=a:
接收端
有3种符号yr.()=123),转移概率矩阵为
1/21/20
P=・
1/21/41/4.
(1)计算接收端的平均不确定度
(2)计算由于噪声产生的不确定度H(rix):
(3)计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移
(1)求信源平稳后的概率分布:
(2)
求此信源的燔:
(3)近似地认为此信源为无记忆时,符号的概率分布为
稳分布•求近似信源的爛H(X)并与Hs进行比较.
4、设二元(7,4)线性分组码的生成矩阵为000
100
010
001
(1)给岀该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式:
(2)若接收矢gv=(0001011),试讣算出其对应的伴
随式S并按照最小距离译码准则试着对其译码.
(二)
一、填空题(共15分,每空1分)
1、信源编码的主要目的是,信道编码的主要目的
是。
2、信源的剩余度主要来自两个方而,一是,二
是O
3、三进制佶源的最小爛为_,最大爛为。
4、无失真信源编码的平均码长最小理论极限制
为0
5、当时,信源与信道达到匹配。
6、根据信道特性是否随时间变化,信道可以分为
和0
7、根据是否允许失真,信源编码可分为
和。
8、若连续信源输岀信号的平均功率为C7‘,则输出信号幅度
的概率密度是时,信源具有最大爛,英值为
值。
9、在下而空格中选择填入数学符号“=,MS〉”或“〈”
(1)当X和Y相互独立时,H(XY)_H(X)+H(X/Y)H(Y)+H(X)»
<2)仏(X)=—H.(X)=—十2
(3)假设信道输入用X表示,信道输岀用Y表示。
在无噪有损信道中,H(X/Y)—0,
H(Y/X)_0,1(X;Y)_H(X)。
三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长兀;(4分)
(3)计算编码信息率X;(2分)
(4)计算编码后信息传输率/?
;(2分)
(5)计算编码效率巾。
(2分)
四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立岀现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5//5。
计算:
(1)信息传输速率心。
(5分)
(3)计算马尔可夫信源的极限爛。
(4分)
⑷计算稳态下H^H2及苴对应的剩余度。
(4分)
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
1/2
七、(16分)设X、Y是两个相互独立的二元随机变量,苴取0或1的概率相等。
左义列一个二元随机变SZ=XY(一般乘积)。
试计算
(1)H(X),H(Z);
⑵H(XY),H(XZ);
(3)H(XIF),H(ZIX);
八、(10分)设离散无记忆信源的概率空间为
集为Y=[yiiy2],信道传输概率如下图所示。
0.2——
0.2―=—
0.2——
0.2—-
0.1―-
o.1_L
(2)
(3)
(4)
H(S)=H(0.2,0.2,020.2,0.1.0.1)=2.53
(5)计算收到消息Y后获得的平均互信息呈:
。
《信息论基础》2参考答案
一、填空题(共15分,每空1分)
1、信源编码的主要目的是提髙有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方而,一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小爛为g,最大爛为log,bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源爛(或H(S)/logr二Hr(S))。
5、当R二C或(信道剩余度为0)时,信源与信逍达到匹配。
6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失貞•信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为亍,则输岀信号幅度
%
的概率密度是高斯分布或正态分布或/(X)=出时,
信源具有最大埔,英值为值110g2^cr2o
9、在下而空格中选择填入数学符号"=,乙5〉”或“〈”
(1)当X和Y相互独立时,H(XY)gH(X)+H(X/Y)5H(Y)+H(X)°
(2)H、(X*皿=聖虫1
2—3
(3)假设信道输入用X表示,信道输岀用Y表示。
在无噪有损信道中,H(X/Y)>0,H(Y/X)=0,I(X;Y)<H(X)o
三.(16分)已知信源
1.0
Ss
Sb
编码结果为:
S}=00
s,=01
■
S\=100
s4=101
Ss=110
3=111
Z=f加=0.4X2+0.6X3=2.6码%号I—I
R'=Elogr=2.6b*了号
/学^^"973%元其中,
、H(S)H(S)
(5)77=^―=―^=0.973
LlogrL
评分:
其他正确的编码方案:
1,要求为即时码2,平均码长最短
四、(10分)某信源输岀A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、l/8o如果符号的码元宽度为0.5//5O计算:
(1)信息传输速率«。
(5分)
(1)尺+[h(x)-丹(为)
=^log24-llog2
=2log2
=2bit
(1)用霍夫曼编码法编成二进制变长码:
(6分)
(2)计算平均码长兀;(4分)
(3)计算编码信息率X;(2分)
(4)i|-算编码后信息传输率/?
;(2分)
(5)计算编码效率巾°(2分)
R(==4xl0%xy
0.5//5
五、(16分)一个一阶马尔可夫信源,转移概率为
2,\
P(S1I5i)=-,P(S2IS1)=-,P(51IS2)=1,P(52IS2)=0.
(1)画出状态转移图。
(4分)
计算稳态概率。
(4分)
计算马尔可夫信源的极限嫡。
(4分)
⑷计算稳态下H^H2及其对应的剩余度。
(4分)
解:
⑴
⑵由公式p(sj=£p(s」sjp(sj
22
P(SJ=若P(SJSJP(SJ=§P(SJ+P(S2)
1
P(S2)=^P(S2I5,)P(SJ=-P(51)
P(Sj+P(S2)=l
P(SJ=扌"6)=4
(3)该马尔可夫信源的极限爛为:
施=—££P(SJP(S」SjlogP(S」Sj(■】y-1
32,2311
=——x—xlogx—xloe-
43"343
=1x0.578+1x1.599
24
=0.681b"/符号
=0.472na//符号
=0.205hart/符号
⑷在稳态下:
M311
二-乂卩(入)logP(xJ=_-xlog-+-xlog-=0・811b"/符号i«i\4444;
H2=Hx=0.205hart/符号=0.472nat/符号=0.681bit/符号
对应的剩余度为
0.811
rn
7jvv=0.189
_-log!
-+二log_[2賈2丿2賈2丿丿
12
0.681
六、设有扰信道的传输情况分别如图所示。
试求这种信逍的信道容量。
Y
解:
信道传输矩阵如下
Pyix=
可以看出这是一个对称信道,
C=log4-//f-,-,0,o]
<22)
1
2
1
2
£
2
£
2
£
2
丄
2.
=log乙+工p(力IXr.)logIxf)
=log4+2X*log+
=\bit
七、(16分)设X、Y是两个相互独立的二元随机变量,其取0或1的概率相等。
泄义另一个二元随机变MZ=XY(一般乘积)。
试计算
(1)
1•\
Z
0
1
(1)心)=1跆0.8=(
・32”“冃0.0969加冲^0・2£
nat
P(z)
3/4
1/4
⑵H(X)=H((U』2Aa22:
加/符号"符号"217加加省
号
⑷/(xv),/(x;z);
(3)转移概率:
z11
H
(2)=H-/|=0.8113Z?
/7
144;
(2)H(XY)=H(X)+H(Y)=M=2bit/对
1]([I1
H(XZ)=H(X)+H(ZIX)=l+—H(LO)+—〃一,一=\.5bit/对
22122丿
⑶H(X\Y)=H(X)=\bit
(10川算收到消息Y后获得的平均互信息量。
解:
yi
J2
X\
5/6
1/6
X1
3/4
1/4
联合分布:
y\
>!
2
x\
2/3
12/15
4/5
X\
3/20
1/20
1/5
49/60
11/60
1/5
H(XY)=H
fl1
H(ZIX)=-H(l,0)+-H丄,丄]=0.5肋
22、22丿
(4)I(X.Y)=H(Y)-H(Y\X)=H(Y)-H(Y)=O
=1.404〃〃/符号
=0.973)nat/符号
=0.423hart/符号
//(y)=H(49/60,11/60)=0.687M/楞=0・476创楞=0・207加”/符号
/(X,Z)=H(Z)—H(ZIX)=0・8113—0・5=0.3113b〃
八、(10分)设离散无记忆信源的概率空间为X=v,V,通过干扰信道,信道输出端的接收符号
[0.80.2.
集为y=[y^y2]^信道传输概率如下图所示。
//(xiy)=//(xr)-//(r)=o.7i7to/符号丸锄加/陆司恥伽/符号
⑷
H(Y1X卜H(XY卜H(X卜0&2蝴陆"473创符号=0.205血/符号
⑸
/(X;r)=//(X)-//(Xir)=OW5O4^/符号=0.00349创符号=0・00152加#陆
(三)
选择题(共10分,每小题2分)
K有一离散无记忆信源X,其概率空间为
⑹计算信源X中事件禹包含的自信息豊
(7)计算信源X的信息爛;
(8)计算信道疑义度H(XIY):
⑼计算噪声^H(Y\X),
x2勺耳_
P」—Lo.50.250」250.125_
,则其无记忆二
次扩展信源的嫡H(F)=()
A、1.75比特/符号;B、3.5比特/符号;
C、9比特/符号;D、18比特/符号。
2、信道转移矩阵为
4也)
p(”/・G
0
0
0
0
0
0
P()火)
P(也)
0
0
0
0
0
0
P(”g)
p(u
0.250.50.25
0.250.250.5,则它是
0.50.250.25
信道(填
一_
3-41-4
1-43-4
其中P(儿/兀)两两不相等,则该信道为
3、A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C,下列说法正确的是:
()
A、互信息量一定不大于C
B、交互嫡一定不小于C
C、有效信息量一定不大于C
D、条件嫡一定不大于C
4、在吊联系统中,有效信息量的值()
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P,则其信道容量为:
()
A、H(P)
log2(1-小店
c、1—%)
对称,准对称),其信道容量是比
特/信道符号。
三、(2°分〉鮎通过-个干扰信道,接受符号集为Y=^必},信道转移矩阵为
试求
(1)H(X),H(Y),H(XY);(7分)
(2)H(Y|X),H(X|Y);(5分)
(3)I(Y;X)o(3分)
(4)该信道的容量C(3分)
(5)当平均互信息量达到信道容量时,接收端Y的爛H(Y)o(2分)
计算结果保留小数点后2位,单位为比特/符号。
四、(9分)简述平均互信息量的物理意义,并写出
应公式。
D、-Plog(P)
二、填空题(20分,每空2分)
1、(74)线性分组码中,接受端收到分组R的位
数为—伴随式S可能的值有—_种,差错图案e的长度为,系统生成矩
阵Gs为—行的矩阵,系统校验矩阵
耳为___行的矩阵,Gs和比满足的关系式是o
2、香农编码中,概率为卩3)的信源符号&对应
的码字G的长度心应满足不等式
六、
嫡、
七、
(10分)设有离散无记忆信源,
rX、
』(X)丿
.2
1
16
其概率分布如下:
1
1
64
64.
1
32
对其进行费诺编码,
平均码长和编码效率。
写出编码过程,
求出信源
3、设有一个信道,其信道矩阵为
信道编码(21分)
1
0
0
0
现有生成矩阵G、.=
0
1
0
0
0
0
1
0
0
0
0
1
1
1
0
1
1
1
1
0
1
0
1
1
1.求对应的系统校验矩阵Hz(2分)
2求该码字集合的最小码字距离d、最大检错能
“通信的数学理论啲长篇论文,从而创立了信息论。
(2)必然事件的自信息是_0
4.
5.
(3)
、最大纠错能力tmaxo(3分)
现有接收序列为r=(1100100),求纠错译码输lBco(4分)
画出该码的编码电路(4分)
(四)
离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的爛的N倍。
对于离散无记忆信源,当信源爛有最大值时,满足条件为一信源符号等概分布_°
对于香农编码、费诺编码和霍夫曼编码,编码方法惟
-的是。
已知某线性分组码的最小汉明距离为3,那么这组码
最多能检测出个码元错误,最多能纠正
_个码元错误。
设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R_±±=_C(大于、小于或者等于),
则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。
四、简答题(共20分,每题10分
1.利用公式介绍无条件嫡、条件爛、联合熾和平均互信息量之间的关系。
2.简单介绍哈夫曼编码的步骤
五、计算题(共40分)
1.某信源含有三个消息,概率分别为p(0)=0・2,p
(1)=03,
「4211
P
(2)=0.5,失真矩阵为032
201
求Dmax\Dmin和R(Dg)o(10分)
2.设对称离散信道矩阵为戸=3
£
_6
SC.(10分)
3・有一稳态马尔可夫信源,已知转移概率为p(Si/Si)=2/3,p(S[/S2)=lo求:
(1)画出状态转移图和状态转移槪率矩阵。
(2)求出各状态的稳态槪率。
(3)求出信源的极限爛。
(20分)
(五)
一、(lr)填空
(1)1948年,美国数学家发表了题为
(8)平均错误槪率不仅与信道本身的统计特性有关,还与一译码规则和一编码方法一有关
二、(90判断题
(1)信息就是一种消息。
(X)
(2)信息论研究的主要问题是在通信系统设讣中如何实现信息传输、存储和处理的有效性和可靠性。
(7)
(3)槪率大的事件自信息量大。
(x)
(4)互信息量可正、可负亦可为零。
(7)
(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。
(x)
(6)对于固泄的信源分布,平均互信息量是信道传递概率
的下凸函数。
(7)
(7)非奇异码一左是唯一可译码,唯一可译码不一泄是非
奇异码。
(x)
(8)信源变长编码的核心问题是寻找紧致码(或最佳码),霍夫曼编码方法构适的是最佳码。
(7)
(9)信息率失真函数R(D)是关于平均失真度D的上凸函数.(x)
五、(180.黑白气象传真图的消息只有黑色和白色两种,求:
1)黑色岀现的概率为0.3,白色出现的槪率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联,求熾H(X):
3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。
了2>儿。
说明:
当信源的符号之间有依赖时,信源输岀消息的不确定性减弱。
而信源冗余度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。
(2分)
六、(18')•信源空间为
-X~][x,X2勺无“4心'
_P(X)J=|_0.20.190.180.170.150.10.01
试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率(要求有编码过程)。
H⑷=-三尸(务)1跆2尸匕)=0-881加/符号(2分,z
2)由题意可知该信源为一阶马尔科夫信源。
(2分)
由卜(讣丈®)也勺),21,2
化】)+伦)=1
4分)
得极限状态概率
2分)尸(黑)冷
血⑴=.h.)log2=0.5533则符号i・lE
3分)
_7
兀=2>(勺儿=3.14尺=竺£]=兰!
=0・831jL3.14
Zi=1
H(X)
log?
2
=0.119
(1分)
000111
H=011001
101011_
1)求此分组码n=?
k=?
共有多少码字?
2)求此分组码的生成矩阵G。
3)写出此分组码的所有码字。
4)若接收到码字(101001),求出伴随式并给岀翻译结果。
解:
1)n=6.k=3,共有8个码字。
(3分)
2)设码字
€=(GC4GC2GG))由HC‘=07得
C5㊉q㊉C]㊉co=o
(3分)
2)(3分)最大后脸概率准则下,有,
八(100•二元对称信道如图。
31
1)若“(0)=“
(1)=—,求H(x)、H(XIY)和Z(X;y):
44
2)求该信道的信道容量。
令监督位为(GGCJ,则有
C2=C5㊉C3
C()=C4©C3
(3分)
11
生成矩阵为
24
KZ
00110
10011
(2分)
3)所有码字为000000,001101,01001L011110,100110,
(^)=0.8113如打符号
H(Xiy)=0.749Z?
/〃符号
7(^7)=0.0616^打符号
101011,110101,lllOOOo(4分)
4)由S'=HR1得
S=(101),(2分)该码字在第5位发生错误,(101001)
纠正为(101011),即译码为(101001)(1分)
(六)
2),C=0.082如灯符号(3分)此时输入概率分布为等
槪率分布。
(1分)
九.(189设一线性分组码具有一致监督矩阵
一、概念简答题(每題5分,共40分)
1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?
2•简述最大离•散炳左理。
对于一个有m个符号的离散信源,其最大爛是多少?
3•解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?
4•对于一个一般的通信系统,试给岀其系统模型框图,并结合此图,解释数据处理定理。
5.写岀香农公式,并说明其物理意义。
当信逍带宽为5000Hz,信噪比为30dB时求信道容量。
6.解释无失真变长信源编码左理。
3
•信源空间为
造二元和三元霍夫曼码,讣算英平均码长和编码效率。
rioooom
0100010000100010
00010001
5.已知一(8,5)线性分组码的生成矩阵为L00001111
7.解释有噪信道编码左理。
■■
01
0a
刃似)
■I
to1-cy
■■
D-
,其失真矩阵
a0
8.什么是保真度准则?
对二元信源
求a>0时率
失貞•函数的°】血i和°吹?
二.综合题(每题10分,共60分)
1•黑白气象传真图的消息只有黑色和白色两种,求:
1)黑色出现的概率为0.3,白色岀现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出
现前后没有关联,求爛
2)假设黑白消息岀现前后有关联,英依赖关系为:
白)=0.9,尸(黑/白)=0.1,戸白/黑)=0.2,F〔黑/黑)=0.8,
求其埔0(閤:
求:
1)输入为全00011和10100时该码的码字:
2)最小码距。
答案
->概念简答题(每题5分,共40分)
丹(Q=-三F(否)log巩兀)
二.1•答:
平均自信息为7表示信源的平均不确定度.也表示平均每个信源消息所提供的信息虽。
z(x;y)=-言£戸(轨