信息论知识点Word格式文档下载.docx

1、单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用H（X）来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：H（X）= EI（xi）= p（xi）I（xi）= -p（xi）log2 p（xi）信息熵的单位是比特/符号（bit/symbol）。信息熵是从整体出发对一个离散信源信息量的度量。H（X）反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H（X）不等于每接收一条消息所获得的平均信息量。信息熵H（X）的性质和定理：非负性；严格上凸性；lnxx- 1最大信息熵定理H（X）log2 n lnxx- 1单符号离散信源中各消息等概率出现时，具有最

2、大熵；对称性H（X）=Hp（x1）,p（x2）,p（xn）= -p（xi）log2 p（xi）与信源的总体结构有关而不在乎个别消息的概率，与消息的取值无关；确定性：H（0,1）=0；扩展性可加性H（XY）=H（X）+H（Y/X）=H（Y）+H（X/Y） N维信息熵的链式法则；极值性H（X/Y）H（X）;H（Y/X）H（Y）如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。N维离散平稳信源的熵率（平均符号熵） 当N时，平均符号熵取

3、极限值，称之为极限熵，用H表示，即可以证明，极限熵H存在且离散无记忆信源X的N次扩展信源的熵就是单符号离散信源X的熵的N倍：H（）=NH（X） 该信源的极限熵为如果离散平稳信源发出的符号只与前面已经发出的m（N）个符号相关，则称该信源为m阶马尔科夫信源。马尔科夫信源是离散平稳有限记忆信源，m是马尔科夫信源的记忆长度，m阶马尔科夫信源发出的符号序列可看成长度为m+1的一段段符号序列。n元m阶马尔科夫信源状态转移图有个状态极限熵计算根据马尔科夫链的遍历（各态历经）定理：p（sj）的求取问题 ，其中编码效率；N次扩展信源码率R=L/N（N次扩展）编码效率无失真信源编码定理：离散信源的熵为H（X），对

4、N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H（X）R0，当N足够大，码率RH（X）+m元长度为li, i=1,2, ,n的异前置码存在的充分必要条件是：克拉夫特（Kraft）不等式。赫夫曼编码：将符号序列ai，i=1,2,nN按概率降序排列；为概率最小的符号序列分配一个码元1，概率次小的符号序列分配一个码元0；将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为该新符号序列的概率；重复以上三个步骤，直到最后合并出一个以1为概率的符号序列，逆向生成码字，结束编码。赫夫曼编码的特点：1. 码长取决于符号序列的概率，概率越大

5、码长越短；2. 编码不具有唯一性，但不同赫夫曼码的编码效率相同3. 码率不超过熵率1/N bit，N越大码率越接近熵率。费诺编码：将符号序列ai按概率降序排列；按编码进制数将概率分组，使分组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。给每组分配一个码元（码元分配规则相同，上0下1）；对每一分组重复步2，3，直至概率不可再分为止，由左至右生成码字。费诺码的特点：1.大概率符号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的编码效率相同3.码率不超过熵率1/N个比特，N越大码率越接近熵率。互信息在有噪信道的情况下，由于p（yj）=

6、p（xi）p（yj/xi）说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。信源发出消息xi而信宿接收到消息yj,信宿消息yj所含信源消息xi的信息量，用I（yj;xi）来表示，并将其称为xi对yj的互信息，其定义为：特别的，如果xi与yj是确定关系，即p（yj/xi）=1，相当于无噪信道，则I（yj;xi）=I（yj）=I（xi）;如果xi与yj相互独立，即p（yj/xi）=p（yj），相当于信道中断，则I（yj;xi）=0。互信息的性质：I（yj;xi）是随机量；I（yj;xi）可为正值也可为负值；I（yj;xi）具有对称性I（yj;xi）=I（xi;

7、yj）。I（xi;yj）称为yj对xi的互信息,I（xi;yj）=I（xi）-I（xi/yj）.消息xi与消息对yjzk之间的互信息定义为：给定zk条件下，xi与yj之间的互信息定义为： 离散信道中所有xi对yj的互信息在联合概率空间p（xi yj）的数学期望用I（Y;X）来表示并称其为X对Y的平均互信息，其定义式为：平均互信息也称为交互熵，其单位是比特/符号（bit/symbol）。平均互信息（交互熵）的物理意义：I（X;Y） =H（Y）-H（Y/X） 平均互信息量是发送X前后关于Y的不确定度减少量，即由X获得的关于Y的平均互信息量，条件熵H（Y/X）是信道所给出的平均“信息”量，通常称为噪

8、声熵或信道散布度；Y）=H（X）-H（X/Y） 平均互信息量是收到Y前后关于X的不确定度减少量，即由Y获得的关于X的平均互信息量，条件熵H（X/Y）也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度。Y）=H（X）+H（Y）-H（XY） 平均互信息量等于通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相关的联合熵来估计交互熵。平均互信息的性质和定理：I（Y;X）的对称性：I（Y;X）=I（X;Y）I（Y;X）的非负性：H（Y/X）H（Y） I（Y;X）= H（Y）-H（Y/ X）0I（Y;X）的极值性：X）=H（Y）-H（Y / X） H

9、（Y）；X）=H（X）-H（X/ Y）H（X）I（Y;X）的凸函数性：当信道固定时，I（Y;X）是信源概率分布P（X）的严格上凸函数；当信源固定时，I（Y;X）是信道转移概率分布P（Y/X）的严格下凸函数。数据处理定理I（X;Z）I（X;Y） I（X;Z）I（Y;Z） I（X;Z）=I（X;YZ） I（X;Y/Z）信道容量C计算： C=max R R=I（X;Y）信息传输率（信息率） 信道剩余度=1-R/Cm = n一般信道 m = n 强对称信道（均匀信道）强对称信道的信息传输率可达最大，其信道容量为对称信道（行、列可排列）当时，对称信道的信息传输率可达最大，其信道容量为准对称信道（行可排列

10、、列不可排列）当时，二进制删除信道平均互信息的链式法则如果记一维离散无记忆信道的信道容量为C， 则其N次扩展信道的信道容量为N 次扩展信道的信道容量为C，进行二进制信道编码，只要信息传输率RC，当N足够大时，平均译码错误概率PeC，无论N多大，平均译码错误概率Pe信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。信道容量C是信息传输率的上界香农界，如果信息传输率超过这个界限一定会出错。线性分组码;线性分组码通常采用前向纠错，可表示为（n,k），其中n为码字长度，k为信息位长度，校验位长度为m=n-k。码距（汉明距离）d 码重（汉明重量）w 最小码距d

11、min线性分组码（n,k）能检e个错误并能纠t个错误的充要条件是因此，最简单的能检1个错误并能纠1个错误的线性分组码（n,k）的校验矩阵mn秩为m的矩阵H 其中ri为第i个接收码字，以n列向量表示,si为第i个接收码字的误码标志 kn生成矩阵G校验矩阵H与生成矩阵G之间满足编码其中xi为第i个码字的信息，以k列向量表示3重复码的最小码距为3能检验并改正1位bit错，5重复码最小码距为5能校验并改正2位bit错连续信源：连续信源的绝对熵微分熵（相对熵）不能反映连续信源的平均不确定度。定义微分熵的目的：在形式上与离散信源信息熵统一；熵差具有信息测度的意义。（1） 均匀分布连续信源的微分熵 P（x）

12、=1/（b-a） axb Hc（X）=log2 （b-a）（2） 高斯分布连续信源的微分熵Hc（x）=（3）指数分布连续信源的微分熵Hc（x）=log2 em微分熵的性质及最大微分熵定理微分熵不具有非负性微分熵的可加性最大微分熵定理连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。取值范围受限：均匀分布的连续信源具有最大熵，即限取值范围的最大熵定理Hc（X）log（b-a）, axb；平均功率受限：均值为零、方差等于该平均功率的高斯分布的连续信源具有最大熵，即；均值受限：均值等于该限定值的指数分布的连续信源具有最大熵，即 限均值的最大熵定理Hc（X）log（em）, 0x。微分熵的链式法则：微分熵的界：微分熵率：N维连续无记忆信源 N维扩展：N次扩展信源的微分熵N次扩展信源的微分熵率单符号连续信道的平均互信息：定义单符号连续信道X对Y的平均互信息为Ic（Y;X）=Hc（Y）-Hc（Y/X）。单符号连续信道Y对X的平均互信息为Ic（X;Y）=Hc（X）-Hc（X/Y）平均互信息的性质和定理平均互信息具有非负性Ic（X;Y） 0;Ic（Y;X）0 可由定义并利用不等式lnxx-1证明平均互信息具有对称性Ic（X;Y）=Ic（Y;X）平均互信息具有凸函数性 当信