整理信息论期末考试试题1.docx
《整理信息论期末考试试题1.docx》由会员分享，可在线阅读，更多相关《整理信息论期末考试试题1.docx（11页珍藏版）》请在冰豆网上搜索。
整理信息论期末考试试题1
-------------
安徽大学2011—2012学年第1学期
《信息论》考试试卷（AB合卷）
院/系
年级
专业
姓名
学号
题
号
一
二
三
四
五
总分
得
分
一、填空题
得分
1、接收端收到y后，获得关于发送的符号是
x的信息量是
。
2、香农信息的定义
。
3、在已知事件z
Z的条件下，接收到y后获得关于事件x的条件互信息I（x;y|z）的表达
式为
。
4、通信系统模型主要分成五个部分分别为：
。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可
靠性、有效性、和，使信息传输系统达到最优化。
6、某信源S共有32个信源符号，其实际熵H=1.4比特/符号，则该信源剩余度
为。
7、信道固定的情况下，平均互信息I（X;Y）是输入信源概率分布P（x）的型凸函数。
信源固定的情况下，平均互信息I（X;Y）是信道传递概率P（y|x）的型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为。
9、已知信源X的熵H（X）=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵
H（X5）=。
-------------
-------------
10、将H，H6，H0，H4，H1从大到小排列为。
11、根据香农第一定理，对于离散无记忆信源S，用含r个字母的码符号集对N长信源符
号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均
码长满足：
。
12、多项式剩余类环Fq[x]（f（x））是域的充要条件为
。
13、多项式剩余类环Fq[x]（xn1）的任一理想的生成元g（x）与xn
1关系
为
。
14、有限域F212的全部子域为
。
15、国际标准书号（
ISBN）由十位数字
a1a2a3a4a5a6a7a8a9a10组成（诸ai
F11，满足：
10
0-9，末位0-10，当末位为10
时用X表示。
iai0（mod11）），其中前九位均为
i1
《HandbookofAppliedCryptography》的书号为ISBN：
7-121-01339-
，《Codingand
InformationTheory》的书号为ISBN：
7-5062-3392-。
二、判断题
1、互信息I（x;y）与平均互信息I（X;Y）都具有非负性质。
2、离散信源的信息熵是信源无失真数据压缩的极限值。
得分
（）
（）
3、对于无噪无损信道，其输入和输出有确定的一一对应关系。
（）
4、对于有噪无损信道，其输入和输出有确定的一一对应关系。
（）
5、设有噪信道的信道容量为C，若信息传输率RC，只要码长n足够长，必存在一种信
道编码和相应的译码规则，使译码平均错误概率PE为任意小。
反之，若RC则不存在以
R传输信息而PE为任意小的码。
（）
6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。
如果一旦在某一
-------------
-------------
过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就
不能再恢复已丢失的信息。
（）
7、对于离散信道[X,p（y|x）,Y]，有H（X|Y）H（PE）PElog（r1），并且不管采用什么译
码规则，上述费诺不等式成立。
（）
8、码C={0,10,1100,1110,1011,1101}是唯一可译码。
（）
9、一定存在码长分别为1，2，3，3，3，4，5，5的二元即时码。
（）
三、计算题
得分
1、设
a1
a2
，
Y~
b1
b2
b3
b4
，
X~
1/2
1/4
1/4
1/4
1/2
1/4
c1
c2
c3
c4
c5
c6
c7
c8
。
Z~
1/8
1/8
1/8
1/8
1/8
1/8
1/8
1/8
计算H（X）,H（Y）,H（Z）。
当X,Y,Z为统计独立时，计算H（XYZ）。
-------------
-------------
2、有一离散无记忆信源
X
x1
x2
x3
3
P（x）
2
1
1
，
p（xi）1。
3
6
6
i
1
求该信源的二次扩展信源，并计算二次扩展信源的信源熵。
3、求下述两信道的信道容量及其达到信道容量时的输入概率分布。
-------------
-------------
（1）
（2）
21
4、设二元对称信道的传递矩阵为
3
3
，求此信道的信道容量及相应的最佳输入概率分
1
2
3
3
布。
当输入概率分布为P（0）
3，P
（1）
1时，求H（X|Y）和I（X;Y）。
4
4
-------------
-------------
5、设有一马尔可夫信源，其状态集为
S1,S2,S3，符号集为a1,a2,a3
。
在某状态下发某
符号的概率为Pak|Si
i,k
1,2,3
。
见下图：
计算此马尔可夫信源熵
H
。
a2:
1/2
a1:
1/2
S1
2
S
a2:
1/4
a3:
1/4
a3:
1/2
a1:
1
S3
-------------
-------------
6、一阶马尔可夫信源的状态图如下图所示，信源X的符号集为{0，1，2}并定义p1p。
（1）求信源平稳后的概率分布P（0），P
（1），P
（2）；
（2）求此信源的熵。
p
p/2
p
0p/22
p/2
p/2
p/2p/2
1
p
7、求以x2为生成多项式的长为3的三元循环码C的全体码字。
-------------
-------------
8、求以x1为生成多项式的长为3的二元循环码C的全体码字。
四、综合题得分
-------------
-------------
1
1
1
3
6
2
1、设有一离散信道，其信道传递矩阵为
1
1
1
，并设P（x1）
1，P（x2）
P（x3）
1。
2
3
6
2
4
1
1
1
3
6
2
试分别按最小错误概率准则和最大似然译码准则确定译码函数，并计算相应的平均错误概率。
S
s1,
s2,
s3,
s4,
s5,
s6,
s7,
s8
，码符号为
2、信源空间为
0.4,
0.2,
0.1,
0.1,
0.05,
0.05,
0.05,
0.05
P（s）
X{0,1,2}，试构造一种三元紧致码，并计算平均码长。
-------------
-------------
100110
3、设C是二元[6,3]线性码，其校验矩阵为H010101。
试求全体码字，列
001011
简明译码表；当收到的字为010011，如何译码？
五、证明题
得分
-------------
-------------
1、证明：
最大离散熵定理，即
H（p1,p2,,pq）H（1q,1q,,1q）logq。
2、证明：
条件熵不大于无条件熵，即H（X2|X1）H（X2）。
-------------
-------------
3、设C是q元[n,k]线性码，证明：
d（C）W（C），
其中d（C）min{D（ci,cj）|ci,cjC,cicj}，W（C）min{W（c）|cC,c0}。
4、循环码C的对偶码C仍为循环码。
-------------
-------------
-------------
升级会员 