整理信息论期末考试试题1.docx

1、整理信息论期末考试试题1-安徽大学 2011 2012 学年第 1 学期信息论考试试卷（ AB 合卷）院 /系年级专业姓名学号题号一二三四五总 分得分一、填空题得 分1、接收端收到 y 后，获得关于发送的符号是x 的信息量是。2、香农信息的定义。3、在已知事件 zZ 的条件下，接收到 y 后获得关于事件 x 的条件互信息 I ( x; y | z) 的表达式为。4、通信系统模型主要分成五个部分分别为：。5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。6 、某信源 S 共有 32 个信源符号，其实际熵 H =1.4 比

2、特 / 符号，则该信源剩余度为 。7、信道固定的情况下，平均互信息 I ( X ;Y ) 是输入信源概率分布 P( x) 的 型凸函数。信源固定的情况下，平均互信息 I ( X ;Y) 是信道传递概率 P( y | x) 的 型凸函数。8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为 。9、已知信源 X 的熵 H(X)=0.92 比特 /符号 ,则该信源的五次无记忆扩展信源 X5 的信息熵H(X5)= 。-10、将 H ， H6， H0， H4， H1从大到小排列为 。11、根据香农第一定理，对于离散无记忆信源 S，用含 r 个字母的码符号集对 N

3、 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。12、多项式剩余类环 Fq x ( f ( x) 是域的充要条件为。13 、 多 项 式 剩 余 类 环 Fq x ( xn 1) 的 任 一 理 想 的 生 成 元 g ( x) 与 x n1 关 系为。14、有限域 F212 的全部子域为。15、国际标准书号（ISBN ）由十位数字a1a2 a3 a4 a5 a6 a7 a8 a9 a10组成（诸 aiF11 ，满足：100-9，末位 0-10，当末位为 10时用 X 表示。ia i 0(mod11) ），其中前九位均为i 1Handbook o

4、f Applied Cryptography的书号为 ISBN：7-121-01339-，Coding andInformation Theory的书号为 ISBN ：7-5062-3392-。二、判断题1、互信息 I ( x; y) 与平均互信息 I ( X ; Y) 都具有非负性质。2、离散信源的信息熵是信源无失真数据压缩的极限值。得 分（ ）（ ）3、对于无噪无损信道，其输入和输出有确定的一一对应关系。（ ）4、对于有噪无损信道，其输入和输出有确定的一一对应关系。 （ ）5、设有噪信道的信道容量为 C，若信息传输率 R C ，只要码长 n 足够长，必存在一种信道编码和相应的译码规则，使译

5、码平均错误概率 PE 为任意小。反之，若 R C 则不存在以R 传输信息而 PE 为任意小的码。（ ）6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一-过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。（ ）7、对于离散信道 X , p ( y | x), Y ，有 H (X |Y ) H (PE ) PE log(r 1)，并且不管采用什么译码规则，上述费诺不等式成立。（ ）8、码 C=0,10,1100,1110,1011,1101是唯一可译码。 （ ）9、一定存在码长分别为 1，2，3，3，3，4，5， 5

6、 的二元即时码。（ ）三、计算题得分1、设a1a2，Y b1b2b3b4，X 1/ 21/ 41/ 41/ 41/ 21/ 4c1c2c3c4c5c6c7c8。Z 1/81/81/81/81/81/81/81/8计算 H(X), H (Y), H(Z)。当 X , Y, Z 为统计独立时，计算 H ( XYZ) 。-2、有一离散无记忆信源Xx1x2x33P( x)211，p( xi ) 1 。366i1求该信源的二次扩展信源，并计算二次扩展信源的信源熵。3、求下述两信道的信道容量及其达到信道容量时的输入概率分布。-（1） （2）2 14、设二元对称信道的传递矩阵为33，求此信道的信道容量及相应

7、的最佳输入概率分1233布。当输入概率分布为 P( 0)3，P(1)1 时，求 H( X |Y) 和I( X; Y) 。44-5、设有一马尔可夫信源，其状态集为S1, S2 , S3 ，符号集为 a1 ,a2 , a3。在某状态下发某符号的概率为 P ak | Si, i , k1,2,3。见下图：计算此马尔可夫信源熵H。a2:1/2a1:1/2S12Sa2:1/4a3:1/4a3:1/2a1:1S3-6、一阶马尔可夫信源的状态图如下图所示，信源 X 的符号集为 0 ，1，2 并定义 p 1 p 。(1) 求信源平稳后的概率分布 P(0)，P(1)，P(2)；(2) 求此信源的熵。pp/2p0

8、 p/2 2p/2p/2p/2 p/21p7、求以 x 2 为生成多项式的长为 3 的三元循环码 C 的全体码字。-8、求以 x 1为生成多项式的长为 3 的二元循环码 C 的全体码字。四、综合题 得 分-1113621、设有一离散信道，其信道传递矩阵为111，并设 P( x1 )1 ，P( x2 )P(x3 )1 。23624111362试分别按最小错误概率准则和最大似然译码准则确定译码函数， 并计算相应的平均错误概率。Ss1,s2 ,s3,s4,s5 ,s6 ,s7 ,s8，码符号为2、信源空间为0.4,0.2,0.1,0.1,0.05,0.05,0.05,0.05P(s)X 0,1, 2

9、 ，试构造一种三元紧致码，并计算平均码长。-1 0 0 1 1 03、设 C 是二元 6,3 线性码，其校验矩阵为 H 0 1 0 1 0 1 。试求全体码字，列0 0 1 0 1 1简明译码表；当收到的字为 010011 ，如何译码？五、证明题得 分-1、证明：最大离散熵定理，即H ( p1, p2 , , pq ) H ( 1q , 1q, , 1 q) log q 。2、证明：条件熵不大于无条件熵，即 H ( X 2 | X1 ) H ( X 2 ) 。-3、设 C 是 q 元 n, k 线性码，证明：d (C ) W ( C ) ，其中 d (C) min D (ci ,c j ) | ci ,c j C, ci c j ， W ( C ) min W ( c) | c C , c 0 。4、循环码 C 的对偶码 C 仍为循环码。-