信息论基础复习提纲.docx

信息论基础复习提纲.docx

《信息论基础复习提纲.docx》由会员分享，可在线阅读，更多相关《信息论基础复习提纲.docx（26页珍藏版）》请在冰豆网上搜索。

信息论基础复习提纲

哈尔滨医科大学生物信息科学与技术学院

第一章绪论

1、什么是信息？

香农对于信息是如何定义的。

答：

信息是事物运动状态或存在方式的不确定性的描述（Informationisameasureofone'sfreedomofchoice

whenoneselectsamessage）。

2、简述通信系统模型的组成及各部分的含义。

答：

（1）、信源：

信源是产生消息

的源。

信源产生信息的速率---熵率。

（2）、编码器：

编码器是将消

息变成适合于信道传送的信号的设

备。

包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。

（3）、信道：

信道是信息传输和存储的媒介。

（4）、译码器：

译码是编码的逆变换，分为信道译码和信源译码。

（5）、信宿：

信宿是消息的接收者（人或机器）。

3、简述香农信息论的核心及其特点。

答：

（1）、香农信息论的核心：

在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并

得出了信源编码定理和信道编码定理。

（2）、特点：

①、以概率论、随机过程为基本研究工具。

②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。

③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。

④、要求信源为随机过程，不研究信宿。

第二章信息的度量

2.1自信息和互信息

1、自信息（量）：

（1）、定义：

一个事件（消息）本身所包含的信息量，它

Ixi

1

logpxilog

pxi

是由事件的不确定性决定的。

某个消息xi出现的不确定性

的大小定义为自信息，用这个消息出现的概率的对数的负值来表示：

信息论基础第-1-页共11页

哈尔滨医科大学生物信息科学与技术学院

（2）、性质：

①、Ixi是pxi的严格递减函数。

当px1px2时

Ix1Ix2概率越小，事件发生的不确定性越大，事件发生以后所包

含的自信息量越大。

②、极限情况下，当pxi0时Ixi；当

pxi1时，Ixi0。

③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信

息论满足可加性。

px1x2px1px2;Ix1x2Ix1Ix2。

（3）、例2.1：

①、英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。

②、假定前后字母出现是互相独立的，计算“ac”的自信息。

③、假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计算“a”出现以后，“c”出现的自信息量。

2、互信息：

一个事件

yj所给出关于另一个事件

xi的信息定义为互信息，用I

xi;yj

表示：

ij

i

i

j

px|y

j

ji

py

|x

pxy

Ix;yI

x

Ix|y

ij

Iy

Iy|x

j

i

i

j

log

log

log

pyj

pxi

pyj

pxi

2.2平均自信息

q

1、定义：

随机变量X的每一个可能取值的自信息IxiH（X）E[I（xi）]p（xi）log2p（xi）

i1

的统计平均值定义为随机变量X的平均自信息量。

2、熵函数的性质：

（1）、对称性：

（2）、确定性：

（3）、非负性：

（4）、扩展性：

（5）、连续性：

（6）、递推性：

（7）、极值性：

（8）、上凸性：

H（p1,p2,pq）H（p2,p1,pq）

H（pq,p1,pq1）

H（1,0）

H（1,0，0）

H（1,0,

0）=0

H（p）H（p1,p2,pq）0

limH

q1

（p,p,

p

）

H

q

（p,p,

p）

0

12

q

pq

1

2

q

limH（p1,p2,

pq1

）

H

（p1,p2,pq）

0

pnH（q1,q2,

qm）

H（p1,p2,

pn1,q1,q2

qm）

H（p1,p2,

pn）

H（p1,p2,

pn）

pH

（1,1,

1）

log2

n

pnpn

pn

f[x1

（1

）x2]

nn

n

）f（x2）

f（x1）（1

3、联合熵：

联合自信息的

n

m

n

m

H（XY）

p（xiyj）I（xiyj）

p（xiyj）log2p（xiyj）

数学期望。

它是二维随机

i1

j1

i1

j1

变量XY的不确定性的度量。

由于不同的

xi

，

是变化的，对

的所有可能值进行统计平均，

4、条件熵：

H（Y/xi）

H（Y/xi）

就得出给定X时，Y的条件熵

H（Y/X）

p（xiyj）log2

p（yj/xi）H（X/Y）

p（xiyj）log2p（xi/yj）

i

j信息论基础

第-2-页共11页

i

j

哈尔滨医科大学生物信息科学与技术学院

5、各类熵之间的关系：

（1）、联合熵与信息熵、条件熵之间的关系：

H（XY）

H（X）

H（Y/X）。

推广：

H

X1X2

XN

HX1

HX

2/X

1

HXN/X1X2

XN1;

当二维随机变量

X,Y相互独立时，联合熵等于

X,Y

各自熵之和。

H（XY）

H（X）

H（Y）。

（2）、条件熵与信息熵的关系：

H（X/Y）

H（X）;

H（Y/X）

H（Y）

。

（3）、联合熵与信息熵的关系：

H（XY）H（X）

H（Y）当X、Y相互独立时等号成立。

推广到N个随机变量：

HX1X2

XN

HX1

HX2

HXN。

6、例2.5：

随机变量X，Y的联合概率分布如表

2.1所示，求联合熵H

XY

和条件熵HY|X

。

表2.1X,Y

的联合概率分布

PXY

表2.2条件概率分布PY|X

Y

pxi

Y

X

0

1

X

0

1

0

1/4

1/4

1/2

0

1/2

1/2

1

1/2

0

1/2

1

1

0

3/4

1/4

1

pyj

2.3平均互信息

1、定义：

从整体上表示从一个随机变量

Y所给出关于另一个随机变量

X的信息量，定义互信息

I

xi;yj

在XY的联合空间中的统计平均值为随机变量

X和Y间的平均互信息。

n

m

n

m

pxi|yj

n

m

1

IX;Y

i

j

i

j

i

j

i

j

px;y

Ix;y

px;y

log

px;y

log

i1

j1

i1

j1

px

i

i1

j1

i

px

n

m

1

pxi;yjlog

H

X

H

X|Y

|yj

i1

j1

pxi

条件熵H

X|Y表示给定随机变量

Y后，对随机变量

X仍然存在的不确定度。

所以

Y关于X的平均互

信息是收到

Y前后关于X的不确定度减少的量，也就是从

Y获得的关于X的平均信息量。

2、平均互信息的性质：

（1）、非负性：

IX;Y

0；

信息论基础第-3-页共11页

哈尔滨医科大学生物信息科学与技术学院

（2）、互易性（对称性）：

IX;YIY;X；

（3）、平均互信息与各类熵之间的关系：

IX;YHXHX/YHYHY/XHXHY

；当X,Y统计独立时，IX;Y

0。

（请补充完善右图）

（4

）、极值性：

IX;Y

H

X,IX;YHY

；

（5

）、凸函数性：

①、当条件概率分布{py|x

}给定时，平均互信息

IX;Y是输入分布

j

i

②、对于固定的输入分布

{pxi}，平均互信息量I

X;Y是条件概率分布

HXY

{pxi}的上凸函数。

{pyj|xi}的下凸函数。

3、例2.15：

给定X,Y的联合概率分布，如表所示。

求：

（1）、H（X）,H（Y）；

（2）、H（X|Y）,H（Y|X）；（3）、H（XY）；

（4）、H（Y）-H（Y|X）；（5）、I（X;Y）；

第三章信源及信源熵

3.1信源的分类

（弄清楚以下信源分类的标准）

离散无记忆信源

离散平稳信源

记忆长度无限

随机过程：

波形信源

平稳信源

离散有记忆信源

记忆长度有限

马尔科夫信源

连续平稳信源

非平稳信源

3.3离散多符号信源

1、离散平稳信源的特征：

统计特性不随时间推移而变化。

2、熵率：

随机变量序列中，对前N个随机变量的联合熵求平均：

HNX

1HX1X2

XN称为平均

N

符号熵。

如果当N

时上式极限存在，则limHN

X称为熵率，或称为极限熵，记为

N

HlimHNX。

N

3、离散平稳信源的几点结论（小题）

：

信息论基础第-4-页共11页

哈尔滨医科大学生物信息科学与技术学院

（1）、条件熵HXN

|X1X2XN1随N的增加是递减的（即已知条件越多，不确定性越少）

；

（2）、N给定时平均符号熵大于等于条件熵，即HNXHXN|X1X2

XN1；

（3）、平均符号熵HN

X随N的增加是递减的；

（4）、如果HX1

，则H

limHNX

存在，并且

N

H

limHNX

lim

H

XN|X1X2

XN1；

N

N

4、马尔科夫信源：

信源在某一时刻发出某一符号的概率除与该符号有关外，

只与此前发出的有限个符号有

关。

M阶马尔可夫信源只与前面发出

的m个符号有关，1阶马尔可夫信源只与前面一个符号有关。

5、例题3.3：

信源X的信源模型为

X

x1

x2

x3

1

4

11

P（X）

4

9

36

输出符号序列中，只有前后两个符号有记忆，条件概率PX2|X1

给出，求熵率，并比较

HX2|X1、

1HX1X2

和HX

的大小。

2

第五章无失真信源编码

5.1信源编码的相关概念

1、各种码的分类：

非分组码

（1）、分组码和非分组码：

奇异码

①、分组码:

将信源符号集中的每个信源符号

si固定地射成

码

非唯一可译码

一个码字wi。

（一个信源符号→一个码字）

分组码

非奇异码

及时码

②、非分组码:

又称树码，编码器输出的码符号通常与编码

唯一可译码

非及时码

器的所有信源符号都有关。

（2）、奇异码与非奇异码：

定义若一种分组码中的所有码字都不相同，则称此分组码为非奇异码，否则称为奇异码。

非奇异码是分组

码能够正确译码的必要条件，而不是充分条件。

（3）、唯一可译码与非唯一可译码：

定义任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。

条件：

①、此码本身是非奇异的；②、对于任意有限的整数N,其N次扩展码均为非奇异的。

唯一可译码首

先是非奇异码，且任意有限长的码字序列不会雷同。

信息论基础第-5-页共11页

哈尔滨医科大学生物信息科学与技术学院

（4）、即时码与非即时码：

定义无需考虑后续的码符号就可以从码符号序列中译出码字，这样的唯一可译码称为即时码。

条件：

①、此码是唯一可译码；②、不需要通过接收到后面的码字才能译出前面的码字，在收到一个完整的码字后即可以及时译出。

一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其他码字的前缀。

5.3、变长码及变长信源编码定理

1、Kraft不等式McMillan不等式：

（1）、Kraft不等式：

设信源符号集为

S={s1,s2,⋯sq},码符号集为X={x1,x2,

⋯xr},

对信源进行编码，得

q

li

1这称为Kraft

到的码为C={w1,w2,⋯wq},码长分别为

l1，l2

，⋯lq.

即时码存在的充要条件是

r

i1

不等式（其中r

是被编码的符号个数；

q是信源个数；li是码的长度）。

这也就意味着即时码存在于二叉树

的叶子节点处。

q

li

1，条件并不比即时

（2）、McMillan

不等式：

判断唯一可译码的条件与即时码条件一致，都是

r

i

1

码判断条件宽松。

2、唯一可译码的判别准则：

定理一个码是唯一可译码的充要条件是F1,F2,⋯的并集中没有C中的码字。

设C为码字集合，我们要构造尾随后缀的集合

F1，F2，⋯和F。

（1）、F1是C中所有码字尾随后缀的集合：

若

C中的码字wj是码字wi的前缀，即wi=wjA，则将尾随

后缀A列为F1中的元素，所有这样的尾随后缀构成了

F1；

（2）、考查C和Fi两个集合，若C中任意码字是Fi中元素的前缀，或者Fi中任意元素是

C中码字的前缀，

则将其相应的尾随后缀放入集合Fi1；

（3）、F

Fi（即F为码C的尾随后缀集合）；

i

（4）、若F中出现了C中的元素，则算法终止，判断

C不是唯一可译码；若出现

Fi1为空集或Fi1中的元

素在F中已经全部存在了，则算法终止，判断

C是唯一可译码。

总而言之，判断一个码是唯一可译码的充要条件是

F中不含有C中的码字。

3、例5.4：

设消息集合共有7个元素{s1,s2,s3,s4,s5,s6,s7},

他们分别被编码为{a，c，ad，abb，bad，

deb，bbcde}，判断是否为唯一可译码。

5.4变长码的编码方法

1、香农编码的方法：

（1）、信源的q个消息概率从大到小排序，ps1ps2psq；

信息论基础第-6-页共11页

哈尔滨医科大学生物信息科学与技术学院

i1

（2）.计算各个信源符号的累加概率Fsi

pski1,2,,q；

k1

1

（3）.按公式li

log

i1,2,,q计算第i个消息的码长li

；

psi

（4）.将累加概率F

si

变换成二进制小数得到其码字。

将累加概率Fsi

变换成二进制小数，取小数点

后li位数作为第i个信源符号的码字。

2、列5.6：

参照下表按以上步骤对一个有7个信源符号的信源进行编码。

例如当i4时，先求第四个信

源符号的二元码码长l4：

l4logps43，因此码长取3.

香农编码

信源符号si

概率psi

累加概率Fsi

logpsi

码长li

二元码

S1

0.20

0

2.34

3

000

S2

0.19

0.20

2.41

3

001

S3

0.18

0.39

2.48

3

011

S4

0.17

0.57

2.56

3

100

S5

0.15

0.74

2.74

3

101

S6

0.10

0.89

3.34

4

1110

S7

0.01

0.99

6.66

7

1111110

3、二元霍夫曼编码的方法：

（1）、信源的q个消息概率从大到小排序ps1ps2

psq

。

（2）、0，1码分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个，从而得到只包括q-1个符号的新信源。

（3

）、将新信源仍按概率从大到小排序，再将最后两个概率最小的信源符号分别用

0和1码符号表示，合

并成一个新符号，这样形成了

q-2个符号的新信源。

（4

）、依次继续下去，直至信源最后只剩下两个信源符号为止。

将这最后两个信源符号用

0和1表示。

（5）、从最后一级缩减信源开始，进行回溯，将每次标注的码符号连接起来就得到各信源符号所对应的码符号序列，即相应的码字。

4、例5.7：

以例5.6为例编制二元霍夫曼码。

霍夫曼编码

码字

信源符号

编码过程

码长

10

S1

0.20

0.20

0.26

0.35

0.39

0.61

0

2

11

s2

0.19

0.19

0.20

0.26

0.35

0

0.39

1

2

000

s3

0.18

0.18

0.19

0.20

0

0.26

1

3

信息论基础第-7-页共11页

哈尔滨医科大学生物信息科学与技术学院

001

s4

0.17

0.17

0.18

0

0.19

1

3

010

s5

0.15

0.15

0

0.17

1

3

0110

s6

0.10

0

0.11

1

4

0111

s7

0.01

1

4

5、费诺编码的过程：

（1

）、信源的q个消息概率从大到小排序。

即ps1ps2

psq。

（2

）、将依次排列的信源符号以概率分为两组，使两组的概率和基本相等。

并赋予符号

0和1。

（3

）、再分组，使划分后的两组的概率和基本相等，并赋予符号

0和1。

（4）、重复，直至每组只剩下一个信源符号为止。

（5）、信源符号对应的码符号序列即为费诺码。

6、例5.9：

信源与例

5.6和例5.7相同，请编制费诺码。

费诺码

信源符号

概率

第1次分组

第2次分组

第3次分组

第4次分组

二元码

码长

S1

0.20

0

00

2

S2

0.19

0

1

0

010

3

S3

0.18

1

011

3

S4

0.17

0

10

2

S5

0.15

1

0

110

3

S6

0.10

1

1

0

1110

4

S7

0.01

1

1111

4

7、总结：

霍夫曼码是即时码，他的两个特点：

（1）保证了概率大的信源符号对应的码长小，概率小的信源符号对应的码长大，充分利用了短码；

（2）每次缩减信源的最长两个码字有相同的码长，最后一位码符号不同。

（码长相差的小）

编码最短，传输效率最高。

8、习题5.8：

下面是4种不同的编码：

{000,10,00,11}；{100,101,0,11}；{01,100,011,00,111,1010,1011,1101}