信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习.docx

1、信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习第四章 波形信源和波形信道411连续信源的差熵差熵(有称为相对熵或称微分熵)已不具有信息熵的物理含义。但在任何包含有两个信息熵的“熵差”问题中，它能替代信息熵H(X)而具有信息的特征。其单位是：对数以2为底，是比特自由度；以e为底，是奈特自由度；以10为底，是哈特自由度。412 多维连续平稳信源的信息熵则各连续型随机变量彼此统计独立，称为连续平稳无记忆信源。否则，为平稳有记忆信源。 N维连续平稳信源可用下列一些差熵进行信息测度： 1联合差熵 (1)二维联合差熵2条件差熵(1)二维连续随机序列X=X1X2的条件差熵 3各种差熵之间的关

2、系413 波形信源的差熵414 差熵的性质 与离散信源的信息熵比较，连续信源的差熵具有以下一些性质： 1可加性 任意两个相互关联的连续信源X和Y，有3差熵可为负值不存在非负性。4极值性即最大差熵定理。 5变换性 连续信源输出的随机变量(或随机矢量)通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。415 最大差熵定理 1峰值功率受限(取值幅度受限) (1)连续随机变量X，其取值幅度限于区间a，b内，则其概率密度函数是均匀分布时，差熵具最大值。最大值为 3协方差矩阵受限 N维随机矢量X=X1X2XN，其N维协方差矩阵C受限(即各随机变量Xi的均值限定为mi(i=1，2

3、，N)，随机变量Xi与Xj之间的二阶中心矩限定为ij(i，j=1，2，N)，则N维高斯信源(即XN(mi，C)的差熵最大，最大值为416 连续信源熵的变换 1连续随机变量418 波形信道和连续信道的分类和数学模型 1波形信道(模拟信道) 信道的输入输出信号都是平稳随机过程x(t)和y(t)，则称之为波形信道。波形信道在限频、限时条件下，根据取样定理，可离散化成多维连续信道。2多维连续信道4加性信道 信道中噪声对信号的作用： 5高斯白噪声信道 若信道的噪声是高斯噪声，即噪声是平稳随机过程，其瞬时值的概率密度函数服从正态分布(高斯分布)，则此信道称为高斯信道。 若信道的噪声是白噪声，即噪声是平稳随

4、机过程，其功率谱密度均匀分布于整个频域，则此信道称为白噪声信道。 若信道的噪声是高斯分布的白噪声，则此信道称为高斯白噪声信道。419 连续信道和波形信道的平均互信息及其特性 1基本连续信道4110 连续信道和波形信道的信道容量 连续信道和波形信道的信道容量基本同于离散信道，是对输入信号概率密度函数求平均互信息的极大值。不同的是，还需考虑输入信号和信道噪声所受的不同限制条件。一般情况，只研究平均功率受限的加性噪声信道。 1单符号高斯加性信道4111 香农公式的重要实际指导意义 香农公式将信息传输率(信道的统计信息参量)与信道的实际物理量(带宽W、传输时间T，以及信噪功率比PsPn)联系了起来。一旦这三个物理量确定，理想通信系统的极限信息传输率也就确定了。香农公式有以下几个重要结论： (1)信道容量一定时，在理想情况下，连续信道与信息传输有以下三种匹配方式： 在固定传输时间T下，以带宽换取信噪比； 在固定信噪比PsPn下，以频带换取时间； 在固定频带W下，以时间换取信噪比。 (2)无干扰连续信道的信道容量为无穷大。 (3)提高信道的信噪功率比，能增加信道的信道容量。 (4)增加信道带宽，并不能无限制地使信道容量增大。 (5)香农公式给出了无错误(无失真)通信的信息传输速率的理论极限值，称为香农极限。