二、若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
=2bit/自由度该信源的绝对熵为无穷大。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；
（6分）
（2）计算平均码长;（4分）（3）计算编码信息率;（2分）（4）计算编码后信息传输率;（2分）（5）计算编码效率。
（2分）
（1）编码结果为
（2）（3）（4）其中，（5）四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为.5。
计算
（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解
（1）
（2）五、一个一阶马尔可夫信源，转移概率为。
（1）画出状态转移图。
（2）计算稳态概率。
（3）计算马尔可夫信源的极限熵。
（4）计算稳态下,及其对应的剩余度。
解
（1）
（2）由公式有得（3）该马尔可夫信源的极限熵为
（4）在稳态下
对应的剩余度为六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
解信道传输矩阵如下可以看出这是一个对称信道，L=4,那么信道容量为七、设X、Y是两个相互独立的二元随机变量，其取或1的概率相等。
定义另一个二元随机变量Z=XY（一般乘积）。
试计算
（1）
（2）（3）（4）;解
（1）Z1P（Z）3/41/4
（2）（3）（4）八、设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。
（6）计算信源中事件包含的自信息量；
（7）计算信源的信息熵；
（8）计算信道疑义度；
（9）计算噪声熵；
（1）计算收到消息后获得的平均互信息量。
解
（1）
（2）（3）转移概率
xyy1y2x15/61/6x23/41/4联合分布
xyy1y2x12/312/154/5x13/21/21/549/611/61/5（4）（5）（三）一、选择题1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H（X2）=（）A、75比特/符号；
B、5比特/符号；
C、9比特/符号；
D、18比特/符号。
2、信道转移矩阵为，其中两两不相等，则该信道为A、一一对应的无噪信道B、具有并归性能的无噪信道C、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法正确的是（）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、条件熵一定不大于C4、在串联系统中，有效信息量的值（）A、趋于变大B、趋于变小C、不变D、不确定5、若BSC信道的差错率为P，则其信道容量为（）A、B、C、D、二、填空题1、（7,4）线性分组码中，接受端收到分组R的位数为____，伴随式S可能的值有____种,差错图案e的长度为，系统生成矩阵Gs为____行的矩阵，系统校验矩阵Hs为____行的矩阵，Gs和Hs满足的关系式是。
2、一张124×512像素的16位彩色BMP图像能包含的最大信息量为。
3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式。
3、设有一个信道，其信道矩阵为，则它是信道（填对称，准对称），其信道容量是比特/信道符号。
三、，通过一个干扰信道，接受符号集为，信道转移矩阵为试求
（1）H（X）,H（Y）,H（XY）;
（2）H（Y|X）,H（X|Y）;（3）I（Y;X）。
（4）该信道的容量C（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。
计算结果保留小数点后2位,单位为比特/符号。
四、简述平均互信息量的物理意义，并写出对应公式。
五、假设英文字母表（n=26）,密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？
请写出具体的步骤。
六、设有离散无记忆信源，其概率分布如下
对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。
七、信道编码现有生成矩阵求对应的系统校验矩阵Hs。
2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力tmax。
填写下面的es表es1111111现有接收序列为，求纠错译码输出。
画出该码的编码电路（四）四、简答题利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。
简单介绍哈夫曼编码的步骤五、计算题1．某信源含有三个消息，概率分别为p（）=.2，p
（1）=.3，p
（2）=.5，失真矩阵为。
求Dmax、Dmin和R（Dmax）。
2．设对称离散信道矩阵为，求信道容量C。
3．有一稳态马尔可夫信源，已知转移概率为p（S1/S1）=2/3，p（S1/S2）=1。
求
（1）画出状态转移图和状态转移概率矩阵。
（2）求出各状态的稳态概率。
（3）求出信源的极限熵。
（五）一、填空题
（1）1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为___。
（5）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。
（6）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出______个码元错误，最多能纠正___个码元错误。
（7）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R____C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8）平均错误概率不仅与信道本身的统计特性有关，还与_____________和______有关二、判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（）（3）概率大的事件自信息量大。
（）（4）互信息量可正、可负亦可为零。
（）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（）（9）信息率失真函数R（D）是关于平均失真度D的上凸函数.（）三、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高6米以上的，而女孩中身高6米以上的占总数的一半。
假如我们得知“身高6米以上的某女孩是大学生”的消息，问获得多少信息量？
解设A表示“大学生”这一事件，B表示“身高6以上”这一事件，则P（A）=.25p（B）=.5p（B|A）=.75故p（A|B）=p（AB）/p（B）=p（A）p（B|A）/p（B）=.75*.25/.5=.375I（A|B）=-log.375=42bit五、.黑白气象传真图的消息只有黑色和白色两种，求
1）黑色出现的概率为.3，白色出现的概率为.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为，，，，求其熵。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
六、.信源空间为，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
七.设有一离散信道，其信道传递矩阵为，并设，试分别按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
1）最小似然译码准则下，有，2）（最大后验概率准则下，有，八.二元对称信道如图。
1）若，，求、和；
2）求该信道的信道容量。
解1）共6分 2），，此时输入概率分布为等概率分布。
九、设一线性分组码具有一致监督矩阵1）求此分组码n=,k=共有多少码字？
2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（111），求出伴随式并给出翻译结果。
解1）n=6,k=3,共有8个码字。
（3分）2）设码字由得（3分）令监督位为，则有（3分）生成矩阵为（2分）3）所有码字为，111，111，1111，111，1111，1111，111。
（4分）4）由得，（2分）该码字在第5位发生错误，（111）纠正为（1111），即译码为（111）（1分）（六）一、概念简答题什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？
解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
写出香农公式，并说明其物理意义。
当信道带宽为5Hz，信噪比为3dB时求信道容量。
解释无失真变长信源编码定理。
解释有噪信道编码定理。
什么是保真度准则？
对二元信源，其失真矩阵，求a>时率失真函数的和？
二、综合题黑白气象传真图的消息只有黑色和白色两种，求
1）黑色出现的概率为.3，白色出现的概率为.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为，，，，求其熵；
二元对称信道如图。
；
1）若，，求和；
2）求该信道的信道容量和最佳输入分布。
信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
已知一（8，5）线性分组码的生成矩阵为。
求1）输入为全11和11时该码的码字；
2）最小码距。
设某一信号的信息传输率为6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×1－6mw/Hz。
试求
（1）无差错传输需要的最小输入功率是多少？
（2）此时输入信号的最大连续熵是多少？
写出对应的输入概率密度函数的形式。
答案一、概念简答题答平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
答最大离散熵定理为离散无记忆信源，等概率分布时熵最大。
最大熵值为。
答信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
答通信系统模型如下
数据处理定理为串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
答香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则答只要，当N足够长时，一定存在一种无失真编码。
答当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
答1）保真度准则为平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个，所以有，而。
二、综合题答1）信源模型为 2）由得则答1） 2），最佳输入概率分布为等概率分布。
答1）二元码的码字依序为1，11，1，11，11，111，1，11。
平均码长，编码效率2）三元码的码字依序为1，，2，2，21，22，1，11。
平均码长，编码效率答1）最小似然译码准则下，有，2）最大错误概率准则下，有，答1）输入为11时，码字为1111；
输入为11时，码字为1111。
2）答1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为（七）一、名词解释（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度（66）8、连续信源（68）9、信道容量（95）1、强对称信道（99）11、对称信道（11-12）12、多符号离散信道（19）13、连续信道（124）14、平均失真度（136）15、实验信道（138）16、率失真函数（139）17、信息价值率（163）18、游程序列（181）19、游程变换（181）2、L-D编码（184）、21、冗余变换（184）22、BSC信道（189）23、码的最小距离（193）24、线性分组码（195）25、循环码（213）二、填空（1道）1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的可度量性是建立信息论的基础。
7、统计度量是信息度量最常用的方法。
8、熵是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
1、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是∞。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。
2、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为log2（b-a）。
21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。
22、对于限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。
24、对于均值为，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率之比。
25、若一离散无记忆信源的信源熵H（X）等于5，对信源进行等长的无失真二进制编码，则编码长度至少为3。
26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是。
27、若把掷骰子的结果作为一离散信源，则其信源熵为log26。
28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是log218（1+2log23）。
29、若一维随即变量X的取值区间是[，∞]，其概率密度函数为，其中，m是X的数学期望，则X的信源熵。
3、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
33、具有一一对应关系的无噪信道的信道容量C=log2n。
34、强对称信道的信道容量C=log2n-Hni。
35、对称信道的信道容量C=log2m-Hmi。
36、对于离散无记忆信道和信源的N次扩展，其信道容量CN=NC。
37、对于N个对立并联信道，其信道容量CN=。
38、多用户信道的信道容量用多维空间的一个区域的界限来表示。
39、多用户信道可以分成几种最基本的类型
多址接入信道、广播信道和相关信源信道。
4、广播信道是只有一个输入端和多个输出端的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。
升级会员 