信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习.docx

信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习.docx

《信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习.docx》由会员分享，可在线阅读，更多相关《信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习.docx（9页珍藏版）》请在冰豆网上搜索。

信息论与编码第四章波形信源和波形信道山东大学期末考试知识点复习

第四章波形信源和波形信道

4．1．1连续信源的差熵

差熵（有称为相对熵或称微分熵）已不具有信息熵的物理含义。

但在任何包含有两个信息熵的“熵差”问题中，它能替代信息熵H（X）而具有信息的特征。

其单位是：

对数以2为底，是比特／自由度；以e为底，是奈特／自由度；以10为底，是哈特／自由度。

4．1．2多维连续平稳信源的信息熵

则各连续型随机变量彼此统计独立，称为连续平稳无记忆信源。

否则，为平稳有记忆信源。

N维连续平稳信源可用下列一些差熵进行信息测度：

1．联合差熵

（1）二维联合差熵

2．条件差熵

（1）二维连续随机序列X=X1X2的条件差熵

3．各种差熵之间的关系

4．1．3波形信源的差熵

4．1．4差熵的性质

与离散信源的信息熵比较，连续信源的差熵具有以下一些性质：

1．可加性

任意两个相互关联的连续信源X和Y，有

3．差熵可为负值

不存在非负性。

4．极值性

即最大差熵定理。

5．变换性

连续信源输出的随机变量（或随机矢量）通过确定的一一对应变换，其差熵发生变化。

但对于离散信源来说，其信息熵是不变的。

4．1．5最大差熵定理

1．峰值功率受限（取值幅度受限）

（1）连续随机变量X，其取值幅度限于区间[a，b]内，则其概率密度函数是均匀分布时，差熵具最大值。

最大值为

3．协方差矩阵受限

N维随机矢量X=X1X2…XN，其N维协方差矩阵C受限（即各随机变量Xi的均值限定为mi（i=1，2，…，N），随机变量Xi与Xj之间的二阶中心矩限定为μij（i，j=1，2，…，N），则N维高斯信源（即X～N（mi，C）的差熵最大，最大值为

4．1．6连续信源熵的变换

1．连续随机变量

4．1．8波形信道和连续信道的分类和数学模型

1．波形信道（模拟信道）

信道的输入／输出信号都是平稳随机过程{x（t）}和{y（t）}，则称之为波形信道。

波形信道在限频、限时条件下，根据取样定理，可离散化成多维连续信道。

2．多维连续信道

4．加性信道

信道中噪声对信号的作用：

5．高斯白噪声信道

若信道的噪声是高斯噪声，即噪声是平稳随机过程，其瞬时值的概率密度函数服从正态分布（高斯分布），则此信道称为高斯信道。

若信道的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，则此信道称为白噪声信道。

若信道的噪声是高斯分布的白噪声，则此信道称为高斯白噪声信道。

4．1．9连续信道和波形信道的平均互信息及其特性

1．基本连续信道

4．1．10连续信道和波形信道的信道容量

连续信道和波形信道的信道容量基本同于离散信道，是对输入信号概率密度函数求平均互信息的极大值。

不同的是，还需考虑输入信号和信道噪声所受的不同限制条件。

一般情况，只研究平均功率受限的加性噪声信道。

1．单符号高斯加性信道

4．1．11香农公式的重要实际指导意义

香农公式将信息传输率（信道的统计信息参量）与信道的实际物理量（带宽W、传输时间T，以及信噪功率比Ps／Pn）联系了起来。

一旦这三个物理量确定，理想通信系统的极限信息传输率也就确定了。

香农公式有以下几个重要结论：

（1）信道容量一定时，在理想情况下，连续信道与信息传输有以下三种匹配方式：

①在固定传输时间T下，以带宽换取信噪比；

②在固定信噪比Ps／Pn下，以频带换取时间；

③在固定频带W下，以时间换取信噪比。

（2）无干扰连续信道的信道容量为无穷大。

（3）提高信道的信噪功率比，能增加信道的信道容量。

（4）增加信道带宽，并不能无限制地使信道容量增大。

（5）香农公式给出了无错误（无失真）通信的信息传输速率的理论极限值，称为香农极限。