老师整理的信息论知识点Word格式文档下载.docx

老师整理的信息论知识点Word格式文档下载.docx

《老师整理的信息论知识点Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《老师整理的信息论知识点Word格式文档下载.docx（12页珍藏版）》请在冰豆网上搜索。

1）定义：

2）性质：

联合熵和条件熵：

各类熵之间的关系：

数据处理定理：

Chp03知识点：

依据不同标准信源的分类：

离散单符号信源：

1）概率空间表示：

2）信息熵：

，表示离散单符号信源的平均不确定性。

离散多符号信源：

用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。

平均符号熵：

极限熵（熵率）：

（1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。

）

（2）离散无记忆信源：

信源各消息符号彼此互不相关。

①最简单的二进制信源：

，信源输出符号只有两个：

“0”和“1”。

②离散无记忆信源的N次扩展：

若信源符号有q个，其N次扩展后的信源符号共有qN个。

✧离散无记忆信源X的N次扩展信源XN的熵：

等于信源X的熵的N倍，表明离散无记忆信源X的N次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍。

✧离散无记忆信源X的N次扩展信源XN极限熵（熵率）为：

（3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链

1）用分布律描述：

2）转移概率：

即条件概率

。

3）转移概率矩阵：

用

表示n步转移概率矩阵。

且

，，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n步转移概率矩阵。

4）遍历性的概念：

求解马氏信源的遍历性，即找一正整数m，使m步转移概率矩阵

中无零元。

求解马氏遍历信源的信息熵步骤：

（1）根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；

（2）根据状态转移图写出一步转移概率矩阵，计算信源的极限分布

即是求解方程组：

（3）根据一步转移概率矩阵和极限概率W计算信源的信息熵：

极限熵H∞等于条件熵Hm+1。

（m阶马尔可夫信源的熵率）

信源的相关性和剩余度：

，

用来衡量信源输出的符号序列中各符号之间的依赖程度。

当剩余度＝0时，信源的熵＝极大熵H0，表明信源符号之间：

（1）统计独立无记忆;

（2）各符号等概分布。

连续信源：

（1）微分熵：

i.定义：

ii.物理意义：

（2）连续信源的联合熵和条件熵

（3）几种特殊连续信源的熵：

a）均匀分布的连续信源的熵：

b）高斯分布的连续信源的熵：

【概率密度函数：

】

c）指数分布的连续信源的熵：

【概率密度函数：

（4）最大连续熵定理：

a）限峰值功率的最大熵定理（输出幅值受限）：

均匀分布

b）限平均功率的最大熵定理（输出平均功率受限）：

高斯分布

（5）熵功率及连续信源的剩余度

\

Chp04知识点：

一、一些基本概念：

1．什么是信道？

信道的作用，研究信道的目的。

2．一般信道的数学模型，信道的分类（根据输入输出随即信道的特点，输入输出随机变量个数的多少，输入输出个数，有无干扰，有无记忆，信道的统计特性进行不同的分类）

3．前向概率p（yj/xi）、后向概率/后验概率p（xi/yj）、先验概率p（xi）。

4．几个熵的含义：

✧H（X）---表示信源的不确定性；

✧H（X|Y）---信道疑义度，表示如果有干扰的存在，接收端收到Y后对信源仍然存在的不确定性。

也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。

✧H（Y|X）---噪声熵，它反映了信道中噪声源的不确定性。

二、离散信道：

1．单符号离散信道：

a）信道模型的表示：

传递矩阵（有传递（条件、转移）概率p（yj|xi）组成）；

b）信道的信息传输率：

R=I（X;

Y）—表示接收到输出符号集Y后所消除的对于信源X的不确定性，也就是获得的关于信源的信息。

它是平均意义上每传送一个符号流经信道的信息量。

关于I（X;

Y）的性质：

I（X;

Y）是信源概率分布p（xi）和信道转移概率p（yj|xi）的二元函数：

那么，当信道特性p（yj/xi）固定后，I（X;

Y）随信源概率分布p（xi）的变化而变化。

调整p（xi），在接收端就能获得不同的信息量。

由平均互信息的性质已知，对于给定的信道转移概率p（yj/xi），I（X;

Y）是输入分布p（xi）的上凸函数，因此总能找到一种概率分布p（xi）（即某一种信源），使信道所能传送的信息率为最大。

那么这个最大的信息传输率即为信道容量。

c）信道容量概念：

在信道中最大的信息传输速率

对于给定的信道，总能找到一个最佳输入分布使得I（X;

Y）得到极大值。

d）信道容量的含义：

信道容量是完全描述信道特性的参量，信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。

2．几种特殊离散信道的信道容量：

a）具有一一对应关系的无噪信道：

n---输入符号数，m---输出符号数

当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量C：

b）具有扩展性能的无损信道：

c）具有归并性能的无噪信道：

注意：

在求信道容量时，调整的始终是输入端的概率分布p（xi），尽管信道容量式子中平均互信息I（X;

Y）等于输出端符号熵H（Y），但是在求极大值时调整的仍然是输入端的概率分布p（xi），而不能用输出端的概率分布p（yj）来代替。

也就是一定能找到一种输入分布使输出符号Y达到等概率分布。

d）行对称信道的信道容量：

e）离散对称信道的信道容量：

若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概分布时达到信道容量，且

，其中

为信道矩阵中的任一行。

f）均匀信道的信道容量为

g）准对称信道的信道容量：

，其中Nk是n个子矩阵中第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。

h）二元对称信道的信道容量：

C=1-H（p）p为错误传递概率。

3．一般离散信道的信道容量计算方法：

已知信道的转移矩阵P，求信道容量。

两种方法：

方法一：

依据：

Y）是输入概率分布p（xi）的上凸函数，所以极大值一定存在。

n步骤：

①根据信道转移矩阵Ｐ的特点，用某一参数α设为输入分布p（xi）；

②由

得出输出分布p（yj）也是关于α的函数；

③将用α表示的p（xi）和p（yj）带入I（X;

Y）=H（Y）-H（Y|X）中，得到I（X;

Y）是关于α的函数。

④求I（X;

Y）对α的偏导数，并令其等于0，解得α即得到输入分布；

⑤将解得的α代入I（X;

Y）式中得到信道容量C。

例子：

见教材P65，[例4.5]

方法二：

公式法：

在第②步信道容量C被求出后，计算并没有结束，必须解出相应的p（xi），并确认所有的p（xi）≥0时，所求的C才存在。

Ø

在对I（X;

Y）求偏导时，仅限制

，并没有限制p（xi）≥0，所以求出的p（xi）有可能为负值，此时C就不存在，必须对p（xi）进行调整，再重新求解C。

4．平均互信息I（X;

Y）达到信道容量的充要条件：

见教材P65。

5．多符号离散信道及信道容量：

a）含义，数学模型：

✧多符号离散信源X=X1X2…XN在N个不同时刻分别通过单符号离散信道{XP（Y/X）Y}，则在输出端出现相应的随机序列Y=Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。

✧由于新信道相当于单符号离散信道在N个不同时刻连续运用了N次，所以也称为单符号离散信道{XP（Y/X）Y}的N次扩展。

✧

b）离散多符号信道的平均互信息和信道容量的几个结论：

结论1：

离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2…

XN单独通过信道{XP（Y/X）Y}的平均互信息之和。

结论2：

离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。

结论3：

离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。

结论4：

用C表示离散无记忆信道容量，用CN表示其扩展信道容量，CN=NC

6．组合信道及信道容量：

a）独立并联信道：

含义：

输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。

是离散无记忆信道的N次扩展信道的推广。

信道容量：

，并当输入端各随机变量统计独立，且每个输入随机变量Xk（k=1,2,…,N）的概率分布达到各自信道容量Ck（k=1,2,…,N）的最佳分布时，CN达到其最大值：

b）级联信道：

可以看成一个马尔可夫链。

先求各个级联信道的信道矩阵的乘积，得到级联信道的总的信道矩阵。

然后按照离散单符号信道的信道容量方法求即可。

7．连续信道及信道容量：

a）传递特性表示及数学模型；

传递特性用条件转移概率密度函数p（y/x）表示。

b）连续信道的信道容量：

信源X等于某一概率密度函数p0（x）时，信道平均互信息的最大值，即

c）平均功率受限的加性信道的信道容量:

当噪声、输入分布和输出都满足高斯分布时达到信道容量：

8．波形信道的信道容量：

✧设信道的频带限于（0,W）；

✧根据采样定理，如果每秒传送2W个采样点，在接收端可无失真地恢复出原始信号；

✧香农公式：

把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点，所以单位时间的信道容量为

✧香农公式含义：

当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；

反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。

香农公式给出有噪信道中无失真传输所能达到的极限信息传输率，因此对实际通信系统的设计有非常重要的指导意义。

Chp05知识点

1、信源编码的基本途径、主要任务：

2、信源编码的基础：

香农两大定理。

3、离散无记忆信源的一般模型，理解含义

4、一些码的含义：

二元码、等长码、变长码、非奇异码、奇异码、同价码、码的N次扩展码、唯一可译码、即时码、最佳码。

5、即时码的树图构造法

6、等长编码定理及其物理意义，等长编码效率、等长编码时信源序列长度N需满足的条件。

7、会用Kraft和McMillan不等式判断即时码和唯一可以码的码长满足的条件。

会用唯一可译码的判别准则。

8、香农第一定理及其物理意义，变长码编码效率。

9、变长码编码方法：

香农码、费诺码、霍夫曼编码、算术编码、游程码、词典编码。

Chp06知识点：

一、译码准则

1、最小错误概率译码准则（也称最大后验概率译码准则）：

2、最大似然译码准则：

3、最小距离译码准则：

（1）汉明距离：

两个码字之间对应位置上不同码元的个数。

（2）最小距离译码准则：

收到一个码字后，把它译成与它最近的输入码字，这样可以使平均错误率最小。

二、平均错误概率：

方法：

在联合概率矩阵[p（ai）p（bj/ai）]中先求每列除去F（bj）=a*所对应的p（a*bj）以外所有元素之和，然后再对各列求和。

三、信息传输率：

注：

M-信源的个数n-每个信源的符号数

四、编码方法：

编码方法的选择相当于对原来的信道进行N次扩展，码字符号个数及码字的选择。

我们应该选择这样的编码方法：

应尽量设法使选取的M个码字中任意两两不同码字的距离尽量大。

五、理解香农第二定理的含义。

六、纠错码

1、分类：

⏹分组码：

编码的规则仅局限于本码组之内，本码组的监督元仅和本码组的信息元相关。

（n,k）分组码

⏹卷积码：

本码组的监督元不仅和本码组的信息元相关，而且还与本码组相邻的前n－1个码组的信息元相关。

⏹信息码元和校验码元是否可用线性方程组来表示，分为：

⏹线性码：

编码规则可以用线性方程表示；

⏹非线性码：

编码规则不能用线性方程表示；

⏹按纠正差错的类型可分为纠正随机错误的码和纠正突发错误的码；

⏹按码字中每个码元的取值可分为二进制码和多进制码。

2、差错控制方式：

3、线性分组码

（1）构成方式

（2）理解一致监督矩阵和生成矩阵的含义，掌握二者之间的关系，并会利用一致监督矩阵和生成矩阵来构造码字。

（3）线性分组码的纠检错能力：

掌握最小距离与纠错能力、最小距离与检错能力、最小距离与纠检错能力的关系需满足的条件。

（4）掌握用伴随式来对译码出的码字进行纠错的方法。

（5）线性分组码的编、译码方法

✧编码方法：

可由H或G求得（n,k）的所有码字。

✧译码方法：

1）由接收到的R计算伴随式S；

2）根据所得的伴随式可判断是哪位码元发生了错误，可纠正一位随机错误。

4、常见的两种纠错码

掌握汉明码和循环码的编译码方法。