信息理论与编码基础复习题.docx

信息理论与编码基础复习题.docx

《信息理论与编码基础复习题.docx》由会员分享，可在线阅读，更多相关《信息理论与编码基础复习题.docx（11页珍藏版）》请在冰豆网上搜索。

信息理论与编码基础复习题

信息理论与编码基础复习题

1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。

2.当一个信源中所有的符号消息为等概时，该信源的熵最大。

3.即时码一定是单义可译码。

4.不使用间隔即可区分码字，就必然要求码字具有惟一性。

5.噪声熵为0的信道称为确定信道。

6.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。

7.当两个集合相互独立时，它们的共熵最大。

8.等长码都是即时码。

9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没有关联性，各个符号的出现概率统计独立。

10.定长非奇异码肯定是惟一可译码。

11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。

12.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。

13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。

14.译码时不需要考察后续码元，称之为即时码。

15.在即时码中，任何一个码字都不是其他码字的延长。

16.通信系统的任务是将信源的消息有效可靠地传送到信宿。

17.在通信系统中，人们习惯于将通信分为数字通信和模拟通信，其实质亦是根据信源消息是数字还是模拟来划分的。

18.信源能够用随机过程来建模，从描述信源消息的随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源，也可以按随机过程的类别将其分为高斯信源和马尔可夫信源等。

19.文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。

20.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计独立，则称这种信源为发出符号序列消息离散无记忆信源。

21.若单符号离散无记忆信源的信源空间为[X∙P]，对其进行K重扩展得到符号序列X=X1X2…Xk，则称扩展后的信源为离散无记忆信源[X∙P]的K重扩展信源，记为XK。

22.研究信源最主要的目的是为信源编码服务。

23.当信息量单位用比特、时间单位为秒时，信息传输速率的量纲为比特/秒.

24.对信源的分类可以有多种方法，主要基于两方面的考虑。

一是信源消息取值的集合以及消息取值时刻的集合；二是信源消息的统计特性。

25.信道是传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。

26.从信息传输的角度来讲，研究信源主要是研究其输出的消息，简称信源消息。

27.信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具。

28.根据人们对信源消息的感知情况将其分为数据信源、文本信源、语音信源、图像信源等。

29.若信源发出N个不同符号x1，x2，…，xi，…，xN，分别代表N种不同的消息，各个符号的概率分别为P1，P2，…，Pi，…，PN且相互统计独立，则称这种信源为单符号消息离散无记忆信源。

30.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计相关，则称这种信源为发出符号序列消息离散有记忆信源。

31.信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来表示信源消息。

32.当信息量单位用比特、时间单位为码元（或符号或符号序列等）所占用的时间时，信息传输速率的量纲为比特/码元（或比特/符号、比特/符号序列等）；

33.离散有记忆信源发出的各个消息符号是相互关联的，其记忆性或关联性通常有两种方式来描述。

一是用其联合概率来表示，这就是发出符号序列的离散有记忆信源；二是用其条件概率来表示，这就是发出符号序列的马尔可夫信源。

34.为了理解怎样的信源编码才是好的或者说是有效的，首先要能够对信源参数进行测量。

35.最佳编码是无失真信源编码的理想模式。

为了达到这个目的，通常需要遵循下面两个原则：

（1）对信源中出现概率大的消息（或符号），尽可能用短的代码组（码字）来表示，简称短码，反之用长码。

（2）不使用间隔即可区分码字。

36.代码组集合中各代码组所包含的码元个数不相同的编码称为变长码。

37.码字含义的惟一性又称为单义可译性，这样的码字称为单义可译码。

38.译码时要接收多于一个码字所包含的码元才能决定的信源编码，称为非即时码。

39.若在两个代码组之间使用间隔，就会减小信源的信息传输速率，进而降低编码效率。

40.非即时码也可能是单义可译码，这说明单义可译码不一定是即时码。

41.冗余度是衡量信源编码效率的一个物理量，冗余度越低，编码效率就越高。

42.信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率。

即η=R/C×100%，当R=C时，η=100%，这是信源编码的最理想特性，这样的信源编码能最充分地利用信道；当RC时，η>100%，说明信源编码输出的信息速率超过了信道的传输能力，这样必然会产生失真。

43.信息含量效率越高，信源的冗余度越低。

44.关于两个独立信道Q1、Q2串联，（X信道Q1的输

入；Y信道Q1的输出，也是信道Q2的输入；Z信道

Q2的输出。

）数据处理过程中，随着数据的不断处理，

从处理后的数据中所得的原始信息会愈来愈少；串联

信道的转移概率矩阵是各单元信道的转移概率矩阵之

积；XYZ组成一个马尔可夫链。

45.关于变长编码，无失真r进制变长码码长不得低于

信源r进制符号熵；变长编码时，随着信源序列长度

N的增大，编码效率提高；变长码的编码效率高于定

长码。

46.关于无失真信源编码，有效的信源编码可使输出码

元概率均匀化；霍夫曼编码过程中，可能造成码字不

惟一，但平均码长是相同的，因而编码效率是相同；

香农编码不能保证码字具有非续长性。

47.译码规则不能由边缘概率确定。

48.关于“重复N次”编码，“重复N次”是定长码；

采用择多译码策略；能减低平均差错率。

49.引入限失真编码不是因为提供信源的信息率。

50.给定xi条件下随机事件yj所包含的不确定度和条

件自信息量p（yj/xi），数量上相等，单位相同。

51.信息是集合之间的变异度属于从随机不确定性的

角度来定义信息。

52.信源编码不属于狭义信息论。

53.I（xi;yj）不满足非负性。

54.关于定长编码，引入失真不可能提高定长码的编码

效率是不正确的。

55.{0, 10, 11}可能是任何概率分布对应的

Huffman 

56.算术编码的码长与该序列的累计概率有关

B.Huffman码无法对只含2个符号的信源进行压缩是

不正确的。

57.应用极大似然译码规则总可以确定译码的平均差

错率是不正确的。

58.对信源U的2元符号串进行编码，取码长为3=N，则信息

率R=2/3。

59.率失真函数体现平均互信息的上凸性是不正确的。

60.纠错编码中，减小带宽不能减小差错概率。

61.本体论是最高层次的信息 

62.信息的产生不属于信息论的研究内容。

63.M阶马尔科夫信源的极限熵等于m+1阶条件熵是不正确的。

64.信道容量：

消息在不失真传输的条件下，信道所允许的最大信息传输速率称为信道容量。

65.最佳信源编码：

具有最短的代码组平均长度或编码效率接近于1的信源编码称为最佳信源编码，简称最佳编码。

66.信源：

消息的源，通常是提供消息的人、设备或事物

67.单符号离散信源：

如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。

68.信源冗余度：

设信源实际的熵为H，该种信源可能的最大熵为Hmax，则R=（Hmax-H）/Hmax×100%为信源的冗余度。

69.信源编码器编码效率：

信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率，即η=R/C×100%。

70.单义可译码：

对任何一个有限长度的信源消息序列，如果编码得到的码字序列不与其他任何信源消息序列所对应的码字序列相同，则称这样的码为单义可译码。

1.信宿：

消息传递的对象，通常是接收消息的人、设备或事物；

71.信源空间：

若信源的输出是随机事件X，其出现概率为P（X），则它们所构成的集合，称为信源的概率空间，简称为信源空间。

72.信息率：

对于信源编码器的输出序列，其单位时间内所包含的信息量称为信源编码器的信息传输速率，简称信息率。

73.通信中的信息、消息和信号三者之间的关系？

通信中的信息、消息和信号是紧密相联的：

通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。

74.消息通常具有如下特征：

（1）消息可以产生、传递和获取；

（2）消息是有内容的。

75.信息具有的特征：

（1）未知性或不确定性；

（2）由不知到知等效为不确定性的集合的元素的减少；（3）可以度量；（4）可以产生、消失，可以被携带、存储、处理；（5）可以产生动作。

76.对于二进制信源的各种信源空间，当P（0）、P

（1）在什么情况下得到的I（X；Y）就是I（X；Y）max？

对于二进制信源的各种信源空间，当P（0）=P

（1）=1/2时，对应于二进制对称信道的平均互信息量为最大，得到的I（X；Y）就是I（X；Y）max。

77.数字通信中可靠性的含义，在通信系统中哪个环节解决这个问题：

直观地理解，可靠性表明消息传输中不出错的程度。

对于数字通信来说，信道编码的主要任务就是解决这个问题。

从传输的角度考虑，它可以用消息出错概率的大小来表征。

78.香农信息论主要是围绕通信的有效性和可靠性而展开的，它主要解决的问题：

（1）围绕信息的度量所展开的讨论；

（2）围绕无失真信源编码所展开的讨论；（3）基于信息传输时允许一定程度的失真或差错所展开的讨论；（4）围绕信道编码所展开的讨论；（5）围绕带限信道传输信息的能力所展开的讨论；（6）围绕通信网的发展带来的信息传输问题所展开的讨论；（7）围绕通信的保密所展开的讨论。

79.请简述自信息量I（xi）的定义并说明它的合理性：

事件xi的出现概率为P（xi），其所带来的信息量：

为事件xi的自信息量。

合理性：

若信源中事件xi的概率为p（xi），它的出现所带来的信息量用I（xi）来表示并称之为事件xi的自信息量，则从上述分析可知，I（xi）必须满足以下几个条件：

1）信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。

2）I（xi）是p（xi）的连续函数。

3）I（xi）是p（xi）的减函数，即：

如果P（xi）>P（xj），则I（xi）

极限情况，若P（xi）=0，则I（xi）→∞；若P（xi）=1，则I（xi）=0。

4）若两个单符号离散信源（符号集合X，Y）统计独立，则X中出现xi、Y中出现yj的联合信息量I（xi，yj）=I（xi）+I（yj）。

80.信源编码的主要目的？

（1）把信源发出的消息一一对应地变换成由信道基本符号构成的代码组，以使得消息能在编码信道上传输；

（2）尽量减小代码组的平均长度，以提高信道传输消息的有效性，即提高编码效率。

81.数字通信中有效性的含义，在通信系统中哪个环节解决这个问题：

直观地理解，有效性表明信源消息中“有用消息”占有的程度。

对于数字通信来说，信源编码的主要任务就是解决这个问题。

从传输的角度考虑，它可以用单位时间内传输有用消息的多少来表征。

82.信息理论要解决的基本问题：

（1）什么是信息，如何度量；

（2）能否最有效且无失真地表述待传输的信息？

即通信有效性的极限条件是什么；（3）在允许一定失真的条件下，待传输信息的表述能否比无失真要求时更有效？

如果有，这种“更有效”的极限条件是什么；（4）在给定的信道中，信息传输有没有极限；（5）从存在