信息论知识点Word格式文档下载.docx

信息论知识点Word格式文档下载.docx

《信息论知识点Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《信息论知识点Word格式文档下载.docx（7页珍藏版）》请在冰豆网上搜索。

单符号离散信源的信息熵：

将离散信源所有自信息量的数学期望用H（X）来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：

H（X）=E[I（xi）]=p（xi）I（xi）=-p（xi）log2p（xi）

信息熵的单位是比特/符号（bit/symbol）。

信息熵是从整体出发对一个离散信源信息量的度量。

H（X）反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H（X）不等于每接收一条消息所获得的平均信息量。

信息熵H（X）的性质和定理：

①非负性；

②严格上凸性；

lnx≤x-1

③最大信息熵定理H（X）≤log2nlnx≤x-1单符号离散信源中各消息等概率出现时，具有最大熵；

④对称性H（X）=H[p（x1）,p（x2）…,p（xn）]=-p（xi）log2p（xi）与信源的总体结构有关而不在乎个别消息的概率，与消息的取值无关；

⑤确定性：

H（0,1）=0；

⑥扩展性

⑦可加性H（XY）=H（X）+H（Y/X）=H（Y）+H（X/Y）N维信息熵的链式法则

；

⑧极值性H（X/Y）≤H（X）;

H（Y/X）≤H（Y）

如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。

如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。

N维离散平稳信源的熵率（平均符号熵）

当N→∞时，平均符号熵取极限值，称之为极限熵，用H∞表示，即可以证明，极限熵H∞存在且

离散无记忆信源X的N次扩展信源的熵就是单符号离散信源X的熵的N倍：

H（）=NH（X）该信源的极限熵为

如果离散平稳信源发出的符号只与前面已经发出的m（<

N）个符号相关，则称该信源为m阶马尔科夫信源。

马尔科夫信源是离散平稳有限记忆信源，m是马尔科夫信源的记忆长度，m阶马尔科夫信源发出的符号序列可看成长度为m+1的一段段符号序列。

n元m阶马尔科夫信源状态转移图有个状态

极限熵计算根据马尔科夫链的遍历（各态历经）定理：

p（sj）的求取问题，其中

编码效率；

N次扩展信源码率R=L/N（N次扩展）编码效率

无失真信源编码定理：

离散信源的熵为H（X），对N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H（X）≤R<

H（X）+ε式中，ε为任意给定的小正数。

扩展信源无失真编码的存在性香农第一定理

熵率H（X）是无失真编码的码率下界——香农界。

码率不能低于香农界，否则译码会出错

H（X）是描述信源每个符号所需的最少平均比特数异前置码：

异前置码的满足香农第一定理

①异前置码满足R≥H（X）离散信源的熵为H（X），对N次扩展信源进行异前置码编码，码率R≥H（X）

②异前置码的渐近最优性编码效率从提高传输效率的角度，码率越接近熵率越好离散信源的熵为H（X），对N次扩展信源进行异前置码编码，对任意给定的ε>

0，当N足够大，码率R<

H（X）+ε

m元长度为li,i=1,2,…,n的异前置码存在的充分必要条件是：

克拉夫特（Kraft）不等式。

赫夫曼编码：

①将符号序列ai，i=1,2,…,nN按概率降序排列；

②为概率最小的符号序列分配一个码元1，概率次小的符号序列分配一个码元0；

③将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为该新符号序列的概率；

重复以上三个步骤，直到最后合并出一个以1为概率的符号序列，逆向生成码字，结束编码。

赫夫曼编码的特点：

1.码长取决于符号序列的概率，概率越大码长越短；

2.编码不具有唯一性，但不同赫夫曼码的编码效率相同3.码率不超过熵率1/Nbit，N越大码率越接近熵率。

费诺编码：

①将符号序列ai按概率降序排列；

②按编码进制数将概率分组，使分组概率尽可能接近或相等。

如编二进制码就分成两组，编m进制码就分成m组。

③给每组分配一个码元（码元分配规则相同，上0下1）；

对每一分组重复步2，3，直至概率不可再分为止，由左至右生成码字。

费诺码的特点：

1.大概率符号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的编码效率相同3.码率不超过熵率1/N个比特，N越大码率越接近熵率。

互信息在有噪信道的情况下，由于p（yj）=p（xi）p（yj/xi）说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。

信源发出消息xi而信宿接收到消息yj,信宿消息yj所含信源消息xi的信息量，用I（yj;

xi）来表示，并将其称为xi对yj的互信息，其定义为：

特别的，如果xi与yj是确定关系，即p（yj/xi）=1，相当于无噪信道，则I（yj;

xi）=I（yj）=I（xi）;

如果xi与yj相互独立，即p（yj/xi）=p（yj），相当于信道中断，则I（yj;

xi）=0。

互信息的性质：

①I（yj;

xi）是随机量；

②I（yj;

xi）可为正值也可为负值；

③I（yj;

xi）具有对称性I（yj;

xi）=I（xi;

yj）。

I（xi;

yj）称为yj对xi的互信息,I（xi;

yj）=I（xi）-I（xi/yj）.

消息xi与消息对yjzk之间的互信息定义为：

给定zk条件下，xi与yj之间的互信息定义为：

离散信道中所有xi对yj的互信息在联合概率空间p（xiyj）的数学期望用I（Y;

X）来表示并称其为

X对Y的平均互信息，其定义式为：

平均互信息也称为交互熵，其单位是比特/符号（bit/symbol）。

平均互信息（交互熵）的物理意义：

I（X;

Y）=H（Y）-H（Y/X）平均互信息量是发送X前后关于Y的不确定度减少量，即由X获得的关于Y的平均互信息量，条件熵H（Y/X）是信道所给出的平均“信息”量，通常称为噪声熵或信道散布度；

Y）=H（X）-H（X/Y）平均互信息量是收到Y前后关于X的不确定度减少量，即由Y获得的关于X的平均互信息量，条件熵H（X/Y）也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度。

Y）=H（X）+H（Y）-H（XY）平均互信息量等于通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相关的联合熵来估计交互熵。

平均互信息的性质和定理：

①I（Y;

X）的对称性：

I（Y;

X）=I（X;

Y）②I（Y;

X）的非负性：

H（Y/X）≤H（Y）I（Y;

X）=H（Y）-H（Y/X）≥0③I（Y;

X）的极值性：

X）=H（Y）-H（Y/X）≤H（Y）；

X）=H（X）-H（X/Y）≤H（X）④I（Y;

X）的凸函数性：

当信道固定时，I（Y;

X）是信源概率分布P（X）的严格上凸函数；

当信源固定时，I（Y;

X）是信道转移概率分布P（Y/X）的严格下凸函数。

⑤数据处理定理I（X;

Z）≤I（X;

Y）I（X;

Z）≤I（Y;

Z）I（X;

Z）=I（X;

YZ）−I（X;

Y/Z）

信道容量C计算：

C=maxRR=I（X;

Y）信息传输率（信息率）信道剩余度=1-R/C

m=n一般信道

m=n强对称信道（均匀信道）

强对称信道的信息传输率可达最大，其信道容量为

对称信道（行、列可排列）

当时，对称信道的信息传输率可达最大，其信道容量为

准对称信道（行可排列、列不可排列）当时，

二进制删除信道

—平均互信息的链式法则

如果记一维离散无记忆信道的信道容量为C，则其N次扩展信道的信道容量为

N次扩展信道的信道容量为C，进行二进制信道编码，只要信息传输率R<

C，当N足够大时，平均译码错误概率Pe<

ε，其中ε为任意给定的小正数。

如果信息传输率R>

C，无论N多大，平均译码错误概率Pe>

ε

信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。

信道容量C是信息传输率的上界——香农界，如果信息传输率超过这个界限一定会出错。

线性分组码;

线性分组码通常采用前向纠错，可表示为（n,k），其中n为码字长度，k为信息位长度，校验位长度为m=n-k。

码距（汉明距离）d码重（汉明重量）w最小码距dmin

线性分组码（n,k）能检e个错误并能纠t个错误的充要条件是因此，最简单的能检1个错误并能纠1个错误的线性分组码（n,k）的

①校验矩阵m×

n秩为m的矩阵H其中ri为第i个接收码字，以n列向量表示,si为第i个接收码字的误码标志②k×

n生成矩阵G校验矩阵H与生成矩阵G之间满足③编码其中xi为第i个码字的信息，以k列向量表示

3重复码的最小码距为3能检验并改正1位bit错，5重复码最小码距为5能校验并改正2位bit错

连续信源：

连续信源的绝对熵

微分熵（相对熵）不能反映连续信源的平均不确定度。

定义微分熵的目的：

①在形式上与离散信源信息熵统一；

②熵差具有信息测度的意义。

（1）均匀分布连续信源的微分熵P（x）=1/（b-a）a≤x≤bHc（X）=log2（b-a）

（2）高斯分布连续信源的微分熵

Hc（x）=（3）指数分布连续信源的微分熵Hc（x）=log2em

微分熵的性质及最大微分熵定理①微分熵不具有非负性②微分熵的可加性③最大微分熵定理连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。

取值范围受限：

均匀分布的连续信源具有最

大熵，即限取值范围的最大熵定理Hc（X）≤log（b-a）,a≤x≤b；

平均功率受限：

均值为零、方差等于该平均功率的高斯分布的连续信源具有最大熵，即；

均值受限：

均值等于该限定值的指数分布的连续信源具有最大熵，即限均值的最大熵定理Hc（X）≤log（em）,0≤x<

∞。

微分熵的链式法则：

微分熵的界：

微分熵率：

N维连续无记忆信源N维扩展：

N次扩展信源的微分熵

N次扩展信源的微分熵率

单符号连续信道的平均互信息：

定义单符号连续信道X对Y的平均互信息为Ic（Y;

X）=Hc（Y）-Hc（Y/X）。

单符号连续信道Y对X的平均互信息为Ic（X;

Y）=Hc（X）-Hc（X/Y）

平均互信息的性质和定理

①平均互信息具有非负性Ic（X;

Y）≥0;

Ic（Y;

X）≥0可由定义并利用不等式lnx≤x-1证明②平均互信息具有对称性Ic（X;

Y）=Ic（Y;

X）③平均互信息具有凸函数性当信