马尔可夫信源极限熵.docx

资源描述

马尔可夫信源极限熵.docx

《马尔可夫信源极限熵.docx》由会员分享，可在线阅读，更多相关《马尔可夫信源极限熵.docx（16页珍藏版）》请在冰豆网上搜索。

马尔可夫信源极限熵.docx

马尔可夫信源极限熵

第2章信源与信息熵

香农信息论的基本点

用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。

信源的分类

按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类•

信源

禺散信源

连续信源

离散无记忆信源

离散佶源

离散有记忆信源

发山单个符号的无记忆佶源发出符号厅列的无记忆信源发岀符号序列的有记忆信源发出符号序列的马尔可夫信源

单符号信源概率空间描述

L/JLX«i）陀八…PS丄

自信息量

Z（^）=-logp（xJ=log—-

P（兀）

单位：

bit（—个比特表示一个等概率的二进制符号信息量）自信息量与不确定度的关系

不确定度：

随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同.

一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小。

一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含

的不确定度就很大。

若是确定性事件，出现概率为1,则它包含的不确定度为0。

说明：

具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，

而自信息量是在该事件发生后给予观察者的信息量。

联合自信息量为：

“心刃｝=-10R血斗Jj=10R条件自信息量为:

pg，刀）

信源熵

=【信源的平均不确定度】=【平均自信息量】

H（X）二可心）］二p（xt）log

条件熵：

H（X/Y）=ep（x,y）l（Xi|y）=Ep（x,y）logp（x|y）

i,ji

联合熵

H（X,Y）=£p（xi,yj）l（xi,y）=2：

p（x,yj）logp（xi,y）

i,ji

联合熵、条件熵与信源熵的关系

H（XY）=H（X）+H（Y/X），H（XY）=H（Y）+H（X/Y）

互信息定义：

后验概率与先验概率比值的对数

l（xi；y）二log

P（x/yj）

P（Xi）

平均互信息量

I（X;Y）八

x,y

p（x,y）log晋晋

疑义度

条件熵H（X/Y）:

噪声熵或散布度

条件熵H（Y/X）:

信道上的干扰和噪声所造成的对信源符号x的平均不确定度.

可看作唯一地确定信道噪声所需要的平均信息量.

互信息量与熵的关系

H（XY）=H（X）+H（Y/X）=H（Y）+H（X/Y）

H（X）>H（X/Y）,H（Y）>H（Y/X）

I（X;Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）=H（X）+H（Y）-H（XY）

H（XY）

信息不增性：

数据处理过程中只会失掉一些信息，绝不会创造出新的信息.最大熵定理

（1）限峰功率最大熵定理：

对于定义域为有限的随机矢量X,当它是均匀分布时，具有最大熵。

（2）限平均功率最大熵定理：

若连续变量X的方差一定，当它是正态分布时具有最大熵。

信源的序列熵：

（请注意：

序列X的多种写法！

）

H（X-）=H（XX・・X）=H（Xi）+H（XXi）+…+H（X/XX・・Xi）

平均每个符号的熵为

Hl（X）二［H（X!

X2Xl）

若当信源退化为无记忆时，有

H（X^H（X1X^XL^H（X1）HX^HXL

若进一步又满足平稳性时，则有

H（X）=LH（XJ

推广结论

马尔可夫信源

表述有记忆信源要比表述无记忆信源困难得多。

实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。

为此，可以限制随机序列的记忆长度。

当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。

也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。

稳态分布概率

定义：

若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Wj称为稳态分布概率

WP=W

马尔可夫信源极限熵：

H：

：

（X）八p（sJH（X/sJ八WiH（X/Si）

其中，HX/SiH-=p（Xj/Si）logp（Xj/sJ

冗余度：

它表示给定信源在实际发出消息时所包含的多余信息.（也称为多余度或剩余度）.

定义信息效率:

一H"）

Hm（X）

定义冗余度:

十「一Hffi

Hm（X）

其中：

比（X）为信源实际熵，Hm（X）信源最大熵。

习题2信源与信息熵

习题2-1

2.1一个马尔可夫信源有3个符号＜u1,u2,u^，转移概率为：

pu1|u1=1/2，pu2|u1=1/2，

pu3|ui=0，

pU2|u3=2/3，

pui|u2=1/3，pU2|u2=0，pu3|u2=2/3，pui|u3=1/3，

pU3|U3=0，画出状态图并求出各符号稳态概率。

解:

1/2

2/3

p=1/3

设状态u1.

2/3

WP=W

由W1W2W-1

0丿

u2，u3稳定后的概率分别为W1W2W3

‘111

—W1+—W2+—W3=W1

233

—W1+—W3=W2

—W^—W3

W1W2W3=1

得:

计算可得:

习题2-2

2.2由符号集｛0,1｝组成的二阶马尔可夫链，其转移概率为：

p（0|00）=0.8,p（0|11）=0.2,

p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出状态图，并计算各状态的稳态概率。

解：

因是二阶马尔可夫信源，此信源任何时刻发出的符号只与前两个符号有关，而与更前面的符号无关。

如原来状态为00,则此时刻只可能发出符号0或1,下一时刻只能转移到00,01状态，由于处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态，

p（0|00）=p（00100）=0.8

p（0|11）=p（10|11）=0.2

p（1|00）=p（01|00）=0.2

p（0|10）=p（00|10）=0.5

p（1|01）=p（11|01）=0.5

p（0|01）=p（10|01）=0.5

p（1|11）=p（11|11）=0.8p（1|10）=p（01|10）-0.5

于是可以列出转移概率矩阵：

3.8

0.2

0.5

0.2

0.8」

设各状态00,01,10,11的稳态分布概率为W1,W2,W3,W有

O8Wi+0.5W3=Wi

WP=W0.2W1+0.5W3=W2

由」4得!

o.5W2+0.2W4=W3

I£Wi=1

0.5W2+0.8W4=W4

[W1+W2+W3+W4=1

W』一

W2=1

计算得到＜7

W3=—

W4=—

习题2-3

同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求:

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息量；

（4）两个点数之和（即2,3,…，12构成的子集）的熵;

（5）两个点数中至少有一个是1的自信息量。

解:

（1）

P（Xi）

1111

—X—+—X—

6666

I（Xj）=-logp（Xi）=

log—4.170

bit

P（Xi）

11」

6636

I（xj…logp（Xi）

=「log

—二5.170

bit

（3）两个点数的排列如下:

共有21种组合:

111

其中11,22,33,44,55,66的概率是

6636

111

其他15个组合的概率是2-

6618

（1111H（X）=-送p（Xj）logp（xj=-6況一log—+15況一log—丨=4.337bit/symboli<36361818丿

⑷

P（Xi）U

—

636

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

〔XL

〔23

12]

{11

1卜

>（X）J

[3618

36J

H（X）=-

-送p（xjlogp（xj

（1

1、

=—

2汉——log

—

+2乂

—

log

—+2疋

—

log—

+2疋一log—+2汉

—

log——+—log

-1

<36

366

6丿

=3.274bit/symbol

I（K）二-logp（Xi）二-log1.710bit

习题2-5

2.5居住某地区的女孩子有25艰大学生，在女大学生中有75艰身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

x1（是大学生）

x2（不是大学生）

P（X）

0.25

0.75

设随机变量丫代表女孩子身高

丫

y1（身高>160cn）

y2（身高<160cm）

P（Y）

0.5

已知：

在女大学生中有75淞身高160厘米以上的

即：

p（y1/X1）=0.75

求：

身高160厘米以上的某女孩是大学生的信息量，即：

p（x1）p（y1/x1）0.25汉0.75

I（x1/y1^Hogp（x1/y1^-log111log1.415bit

p（yd0.5

习题2-12

2.12两个实验X和Y,X={x1x2x3},Y={y1y2y3},l联合概率rxi,yj二rj为

i'r11

r12

「13'

'7/24

1/24

r21

r22

r23

1/24

1/4

1/24

r32

r33J

1/24

7/24<

（1）如果有人告诉你X和丫的实验结果，你得到的平均信息量是多少？

（2）如果有人告诉你丫的实验结果，你得到的平均信息量是多少？

（3）在已知丫实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少?

解：

联合概率p（xi,yj）为

7/24

1/24

1/4

1/24

7/24

X概率分布

8/24

丫概率分布是

8/24

（1）

H（X,Y）八p（xi,yj）log2-jP（x,yj）

72411

=2log24log224log24

247244

=2.3bit/符号

（2）

（3）

H（Y）=3hog23=1.58（bit/符号）

H（X|Y）=H（X,Y）-H（Y）=231.5&o.72（bit/符号）习题2-14

在一个二进制信道中，信源消息集X={0,1}，且P（0）=P

（1）,信宿的消息集Y={0,1},信道传输概率P（y=1

|x=0）=1/4,P（y=0|x=1）=1/8。

求：

（1）在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息量l（x；y=0）.

（2）该情况所能提供的平均互信息量l（X;Y）.解：

p（yO）

P（y|x）=

31i

-+—>—

81616

PCyD=

119

_+—T—81616

r6P

P（x|y）=[7

J5；

I（X;八0）八

P（Xi|yo）log

p（Xi|yo）

P（Xi）

P（Xi/yj）

P（Xi）

I（X;Y）八P（Xi,yj）log

i,j

习题2-26

一个信源发出二重符号序列消息（X1,X2）,其中，第一个符号X1可以是可以是A,B,C中的一个，第二

个符号X2可以是D,E,F,G中的一个。

已知各个p（X1i）为p（A）=1/2,p（B）=1/3,p（C）=1/6;各个p（X2j|x1i）值列成如下。

求这个信源的熵（联合熵H（X1，X2））。

1/4

3/10

1/6

1/4

1/?

1/2

1/4

1/5

1/6

1/4

3/11]

1/6

（1

『1

解：

P（y|x）=

P（x）=

P（xy）=

石丿

心

箔丿

根据公式

H（XY）八二，p（Nyj）log卩（人比）

i,ji,j

得,

H（X1,X2）=

时丄曲+昭“畑+心心+哙g+討畑=341.

习题2-30

p（si|si）=2/3,p（s2|si）=1/3,p（s

|s2）=1,

2-30有一个马尔可夫信源，已知转移概率为P（S2|S2）=0。

画出状态转移图，并求出信源熵。

解：

（1）由已知转移概率，画状态转移图

51、

⑵列出转移矩阵：

P（j/i）=33

设状态S!

和S2，稳定后的概率分别为W1,W2

由Wp=w

Tw=1=

-2/31/3

wW2=1

+W2

得：

W1=3/4，W2=1/4

再计算信源熵：

H,X）八p（Sj）H（X/Sj）八WH（X/si）

2/3\1

其中，H（X/s1）=^Log|^-j+-Log（3）=0.918

H（X/s2）=0

信源熵为：

H（X）=W1H（X/s1）+W2H（X/s2）=-0.918+-0=0,688

展开阅读全文