信息论文档格式.docx

信息论文档格式.docx

《信息论文档格式.docx》由会员分享，可在线阅读，更多相关《信息论文档格式.docx（12页珍藏版）》请在冰豆网上搜索。

选择符号ai作为消息的概率----p（ai）

自信息：

ai本身携带的信息量（不确定性）

后验概率：

接收端收到消息（符号）bj，而发送端发的是ai的概率p（ai/bj）

信道转移概率：

P（Y|X）

互信息：

收信者获得的信息量-----先验的不确定性减去尚存在的不确定性

6.有11枚假币和1枚真币，几次判断出真币是哪枚log212=3.58，最少平均四次

7.定义自信息的数学期望----平均自信息量Hr（X），为信息熵：

8.熵的性质：

①对称性：

H（P）的取值与分量p1,p2,·

·

pq的顺序无关。

②确定性：

H（1,0）=H（1,0,0）=H（1,0,0…,0）=0

③非负性：

H（P）0

④扩展性：

源的取值数增多时，若增加的部分对应的概率很小（接近于零），则信源的熵不变。

⑤可加性：

统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。

H（XY）=H（X）+H（Y）

否则H（XY）=H（X）+H（Y/X）[相关信源]

⑥极值性：

在离散信源情况下，信源各符号等概率分布时，熵值达到最大。

证明：

因为对数函数是∩型凸函数，满足詹森（Jensen）不等式：

E[logY]logE[Y]，

因此有：

9.离散无记忆信源X的N次扩展信源的信息熵，可以按信息熵的定义式子进行计算：

H（X）=H（XN）=N·

H（X）

即离散无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍，单位为比特/符号序列

10.

（1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性：

（2）而前面一个符号Xl又可取ai{a1，a2，…，aq}中任一个，对某一个ai存在一个平均不确定性H（X2/X1＝ai），那么对所有ai的可能值进行统计平均就得当前面一个符号巳知时，再输出下一个符号的总的平均不确定性H（X2/X1）---条件熵：

（3）根据概率关系，可以得到联合熵与条件熵的关系：

11.由此得：

H（X1X2）＝H（X1）+H（X2/X1）

而H（X2/X1）H（X2）

因此H（X1X2）＝H（X1）+H（X2/X1）H（X1）+H（X2）=2H（X）

所以，一般情况下，输出二个符号的联合熵总是小于二倍信源的熵。

12.信道的分类

根据输入输出信号的时间特性和取值特性：

离散信道、连续信道、半离散信道、波形信道。

根据信道的统计特性：

恒参信道和随参信道

根据信道的用户数量的不同：

两端（单用户）信道、多端（多用户）信道

根据信道上是否存在干扰：

无扰信道、有扰信道

根据信道的记忆特性：

无记忆信道、有记忆信道

14.平均互信息：

I（X;

Y）=H（X）-H（X|Y）：

从Y中获得关于X的平均互信息I（X;

Y），等于接收到输出Y的前、后关于X的平均不确定性的消除;

Y）=H（Y）-H（Y|X）：

平均互信息I（X;

Y）也等于发出X的前、后关于Y的平均不确定性的消除;

Y）=H（X）+H（Y）-H（XY）：

平均互信息量I（X;

Y）确定了通过信道的信息量的多少，因此称它为信息传输率或传信率。

12．若信道转移矩阵中每一列有且仅有一个非零元素，则该信道一定是无损信道。

对无损信道，其信息传输率就是信源的熵，因而信道容量为logr。

若信道转移矩阵中每一行有且仅有一个非零元素，则该信道一定要是无噪信道

13.对称信道：

如果信道有r行s列，在信道矩阵中每一行都是第一行的重新排列，而且每一列也都是第一列的重新排列，具有这种特点的信道矩阵所对应的离散信道称为对称离散信道。

对称离散信道的平均互信息为：

I（X;

Y）=H（Y）-H（Y/X）

对称离散信道的信道容量：

当p（x）等概分布时，达到信道容量。

14.香农第二定理：

只要实际传输率R<

C（信道容量），则无差错的信道编/译码方法是存在的。

15.码长、码重和码距

码字中码元的个数称为码字的长度，简称码长，用n表示。

码字中非“0”码元的个数称为码字的汉明重量（简称码重，记作W）。

对二进制码来说，码重W就是码字中所含码元“1”的数目，

，两个等长码字之间对应码元不相同的数目称为这两个码组的汉明距离（简称码距）。

在某一码书C中，任意两个码字之间汉明距离的最小值称为该码的最小码距，即：

16.纠错码，其抗干扰能力完全取决于码书C中许用码字之间的距离。

码的最小距离越大，则码字间最小差别越大，抗干扰能力就越强，受较强的干扰仍不会造成许用码字之间的混淆。

17.定理4.1.1若纠错码的最小距离为，那么如下三个结论的任何一个结论独立成立：

①若要发现e个独立差错，则要求最小码距

；

②若要纠正t个独立差错，则要求最小码距

③若要求发现e个同时又纠正t个独立差错，则

这里的“同时”是指在译码过程中，若错误个数≤t，则能纠正；

若错误个数＞t，但≤e（e<

t），则能检测这些错误，但不能纠正。

或者说能检测e+t个错误，其中t个错误可以纠正。

18.线性分组码的一个重要结论：

一个

线性分组码中非零码字的最小重量等于该码的最小距离

19.

线性分组码的编码就是根据一致校验矩阵H或生成矩阵G将长度为k的信息码元变换成长度为n的码字。

20.

（1）二元码

　若码符号集X＝{0，1}，码字为一些二元序列，则称

　　二元码。

[可以在二元信道中传输]

（2）等长码（固定长度码）

若一组码中所有码字的长度都相同（即li=l，i=1,…,q），则称为等长码。

（3）变长码

若一组码中所有码字的码长各不相同（即任意码字的长度li不同），则称为变长码。

（4）非奇异码和奇异码

若一组码中所有码字都不同（即所有信源符号映射到不同的码符号序列），则称为非奇异码。

反之，则为奇异码。

（5）同价码

若码符号集X：

{x1,x2,…,xr}中每个码符号所占的传输时间都相同，则所得的码为同价码。

（6）码的N次扩展码

假定某码C，它把信源S中的符号si一一变换成码C中的码字Wi。

则码C的N次扩展码是所有N个码字组成的码字序列的集合。

（7）唯一可译码

若码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，则此码称为唯一可译码（单义可译码）。

否则就称为非唯一可译码或非单义可译码。

21.定理无失真变长信源编码定理（香农第一定理）

离散无记忆信源S的N次扩展信源SN={1,2,…,qN}，其熵为H（SN），并有码符号X={x1,x2,…,xr}。

对信源SN进行编码，总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的平均码长满足：

当N时，有：