马尔可夫信源极限熵.docx
《马尔可夫信源极限熵.docx》由会员分享，可在线阅读，更多相关《马尔可夫信源极限熵.docx（19页珍藏版）》请在冰豆网上搜索。
马尔可夫信源极限熵
第2章信源与信息熵
香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。
信源的分类
依据信源发出的信息在时间上和幅度上的分布状况可将信源分红失散信源和连续信源两大类.
单符号信源概率空间描绘
自信息量
单位：
bit（一个比特表示一个等概率的二进制符号信息量）
自信息量与不确立度的关系
不确立度:
随机事件的不确立度在数目上等于它的自信息量，二者的单位同样，但含义却不同样．
一个出现概率靠近于1的随机事件，发生的可能性很大，因此它包括的不确立度就很小。
一个出现概率很小的随机事件，很难猜想在某个时刻它可否发生，因此它包括的不确立度就很大。
若是确立性事件，出现概率为1，则它包括的不确立度为0。
说明:
拥有某种概率分布的随机事件不论发生与否，都存在不确立度，不确立度表征了该事件的特征，
而自信息量是在该事件发生后赐予察看者的信息量。
结合自信息量为：
条件自信息量为：
信源熵
=【信源的均匀不确立度】=【均匀自信息量】
条件熵：
H（X/Y）
p（xi,yj
）I（xi|yj）
p（xi,yj）logp（xi
|yj）
i,j
i
结合熵
H（X,Y）
p（xi,yj
）I（xi,yj）
p（xi,yj）logp（xi,yj）
i,j
i
结合熵、条件熵与信源熵的关系
H（XY）=H（X）+H（Y/X），H（XY）=H（Y）+H（X/Y）
互信息定义：
后验概率与先验概率比值的对数
I（xi;yj）log
p（x/y
）
ij
p（xi）
均匀互信息量
I（X;Y）
p（x,y）log
p（x/y）
p（x）
x,y
疑义度
条件熵H（X/Y）：
信道上的扰乱和噪声所造成的对信源符号x的均匀不确立度．噪声熵或分布度
条件熵H（Y/X）：
可看作独一地确立信道噪声所需要的均匀信息量．
互信息量与熵的关系
H（XY）=H（X）+H（Y/X）
=H（Y）+H（X/Y）
H（X）≥H（X/Y），H（Y）≥H（Y/X）
I（X;Y）=H（X）-H（X/Y）
=H（Y）-H（Y/X）
=H（X）+H（Y）-H（XY）
H（XY）≤H（X）+H（Y）
信息不增性：
数据办理过程中只会失去一些信息，绝不会创建出新的信息．
最大熵定理
（1）限峰功率最大熵定理：
对于定义域为有限的随机矢量X，当它是均匀分布时，拥有最大熵。
（2）限均匀功率最大熵定理：
若连续变量X的方差必定，当它是正态分布时拥有最大熵。
信源的序列熵：
（请注意：
序列X的多种写法！
）
H（XL）＝H（X1X2XL）＝H（X1）＋H（X2/X1）＋＋H（XL/X1X2XL-1）
均匀每个符号的熵为
HL（X）
1H（XL
1X2
XL
）
若当信源退化为无记忆时，有
H（X）
H（X1X2
XL）
H（X1）
HX2
HXL
若进一步又知足安稳性时，则有
H（X）
LH（X1）
推行结论
马尔可夫信源
表述有记忆信源要比表述无记忆信源困难得多。
实质上信源发出的符号常常只与前若干个符号的依靠关系强，而与更前面的符号依靠关系弱。
为此，能够限制随机序列的记忆长度。
当记忆长度为m+1时，称这类有记忆信源为m阶马尔可夫信源。
也就是信源每次发出的符号只与前m个符号相关，与更前面的符号没关。
稳态分布概率
定义：
若齐次马尔可夫链对全部i,j存在不依靠于i的极限，则称其拥有遍历性，Wj称为稳态分布概率
马尔可夫信源极限熵：
H（X）
p（si
）H（X/si
）
Wi
H（X/si
）
i
i
此中，HX/si
p（x
j/si
）logp（x
j/si
）
j
冗余度：
它表示给定信源在实质发出信息时所包括的剩余信息.（也称为剩余度或节余度）.
定义信息效率:
H（X）
Hm（X）
定义冗余度:
11H（X）Hm（X）
此中：
H∞（X）为信源实质熵，Hm（X）信源最大熵。
习题2信源与信息熵
习题
2-1
2.1一个马尔可夫信源有
3个符号u1,u2,u3，转移概率为：
pu1|u1
1/2，pu2|u1
1/2，
pu3
|u1
0，pu1|u2
1/3，pu2|u20，pu3|u22/3
，pu1|u3
1/3，
pu
|u
2/3，pu|u
3
0，画出状态图并求出各符号稳态概率。
2
3
3
解：
状态图以下
状态转移矩阵为：
设状态u1，u2，u3稳固后的概率分别为W1，W2、W3
1
1
1
W1
W2
W3W1
2
3
3
WPW
1
2
W2
W1
W3
由
W31
，得：
2
3
W1W2
2
W3
W2
3
W1W2W3
1
10
W1
25
9
计算可得：
W2
25
6
W3
25
习题2-2
2.2由符号集{0，1}构成的二阶马尔可夫链，其转移概率为：
p（0|00）=0.8，p（0|11）=0.2，
p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。
画出状态图，并计算各状态的稳态概率。
解：
因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号相关,而与更前面的符号没关。
如本来状态为00,则此时刻只可能发出符号0或1,下一时刻只好转移到00,01状态,因为处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态,
00→000→00
00→001→01
p（0|00）
p（00|00）
0.8
p（0|01）
p（10|01）
0.5
p（0|11）
p（10|11）
0.2
p（0|10）
p（00|10）
0.5
p（1|00）
p（01|00）
0.2
p（1|01）
p（11|01）
0.5
p（1|11）
p（11|11）
0.8
p（1|10）
p（01|10）
0.5
于是能够列出转移概率矩阵：
0.80.200
000.50.5
p
0.50.500
000.20.8
状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有
0.8W1
0.5W3
W1
WP
W
0.2W1
0.5W3
W2
由
4
i
得
0.5W2
0.2W4
W3
W
1
0.5W2
0.8W4
W4
i
1
W1W2
W3
W41
5
W1
14
1
W2
计算获取
7
1
W3
7
5
W4
14
习题2-3
同时掷出两个正常的骰子，也就是各面体现的概率都为1/6，求：
（1）“3和5同时出现”这事件的自信息；
（2）“两个1同时出现”这事件的自信息；
（3）两个点数的各样组合（无序）对的熵和均匀信息量；
（4）两个点数之和（即2,3,,12构成的子集）的熵；
（5）两个点数中起码有一个是1的自信息量。
解：
（1）
p（xi
）
1
1
1
1
1
6
6
6
6
18
I（xi
）
log
p（xi）
1
4.170bit
log
18
（2）
p（xi
）
1
1
1
6
6
36
I（xi）
logp（xi）
log1
5.170
bit
36
（3）两个点数的摆列以下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
此中11，22，33，44，55，66的概率是1
1
1
6
6
36
其余15个组合的概率是21
1
1
6
6
18
H（X）
p（xi）logp（xi）
6
1log
1
15
1log1
4.337bit/symbol
i
36
36
1818
（4）
参照上边的两个点数的摆列，能够得出两个点数乞降的概率分布以下：
X
2
3
4
5
6
7
8
9
10
11
12
P（X）
1
1
1
1
5
1
5
1
1
1
1
36
18
12
9
36
6
36
9
12
18
36
H（X）
p（xi）logp（xi
）
（5）
i
2
1
1
2
1
log
1
2
1
1
1
1
2
5
5
1
1
log
18
12
log
2
log
log
36
6
log
36
36
18
12
9
9
36
6
3.274bit/symbol
p（xi）
1
1
11
11
6
6
36
I（xi）
logp（xi）
log
11
bit
1.710
36
习题2-5
2.5居住某地域的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而
女孩子中身高160厘米以上的占总数的一半。
若是我们得悉“身高160厘米以上的某女孩
是大学生”的信息，问获取多少信息量？
解：
设随机变量X代表女孩子学历
Xx1（是大学生）x2（不是大学生）
P（X）
0.25
0.75
设随机变量Y代表女孩子身高
Y
y1（身高>160cm）y2（身高<160cm）
P（Y）
0.5
0.5
已知：
在女大学生中有
75%是身高160厘米以上的
即：
p（y1/x1）0.75
求：
身高160厘米以上的某女孩是大学生的信息量，即：
I（x1/y1）
logp（x1/y1）
p（x1）p（y1/x1）
0.25
0.75
log
log
1.415bit
p（y1）
0.5
习题2-12
2.12
两个实验X和Y，X={x1
x2x3},Y={y1y2y3},l
结合概率rxi,yj
rij为
r11
r12
r13
7/24
1/
24
0
r21
r22
r23
1/24
1/4
1/24
r31
r32
r33
0
1/
24
7/24
（1）假如有人告诉你X和Y的实验结果，你获取的均匀信息量是多少？
（2）假如有人告诉你Y的实验结果，你获取的均匀信息量是多少？
（3）在已知Y实验结果的状况下，告诉你X的实验结果，你获取的均匀信息量是多少？
解：
结合概率p（xi,yj）为
Y
y1
y2
y3
X
x1
7/24
1/24
0
x2
1/24
1/4
1/24
x3
0
1/24
7/24
X概率分布
X
x1
x2
x3
P
8/24
8/24
8/24
Y概率分布是
Y
y1
y2
y3
P
8/24
8/24
8/24
（1）
H（X,Y）
p（xi,yj）log
1
2
ij
p（xi,yj）
2
7log2
24
4
1log224
1log24
24
7
24
4
=2.3bit/
符号
（2）H（Y）
3
1log23
1.58
（bit/
符号）
3
（3）H（X|Y）
H（X,Y）
H（Y）
2.31.58=0.72（bit/
符号）
习题2-14
在一个二进制信道中，信源信息集
X={0,1}，且P（0）=P
（1）,信宿的信息集
Y={0,1},信道传输概率
P（y=1
|x=0）=1/4,P（y=0|x=1）=1/8。
求：
（1
）在接收端收到
y=0后，所供给的对于传输信息X
的均匀条件互信息量
I（X；y=0）.
（2）
该状况所能供给的均匀互信息量
I（X;Y）.
解：
（1）
P（y|x）=P（xy）=
P（x|y）=
I（X;y
0）
p（xi
|y0）log
p（xi|y0
）
p（xi）
i
（2）
I（X;Y）
p（xi
yj）log
p（xi
/yj）
p（xi）
i,j
=
习题2-26
一个信源发出二重符号序列信息
（X1，X2）,此中，第一个符号
X1能够是能够是A,B,C中的一个，第二
个符号X2能够是D,E,F,G中的一个。
已知各个
p（x1i）为p（A）=1/2,p（B）=1/3,p（C）=1/6;
各个p（x2j|x1i）
值列成以下。
求这个信源的熵（结合熵
H（X1，X2））。
解：
P（y|x）=P（x）=P（xy）=
依据公式
H（XY）
p（xiyj）I（xiyj）
p（xiyj）logp（xiyj）
i,j
i,j
得，
H（X1，X2）=
习题2-30
2-30有一个马尔可夫信源，已知转移概率为p（s1|s1）=2/3,p（s2|s1）=1/3,p（s1|s2）=1,p（s2|s2）=0。
画出状态转移图，并求出信源熵。
解：
（1）由已知转移概率，画状态转移图
（2）列出转移矩阵：
P（j/i）=
设状态S1和S2，稳固后的概率分别为
W1，W2
2
由WPW
W1
2/31/3
W1W2
3W1
W2
W1
W2
0
1
W2
W1
1
W1
W1W2
1
3
W1
W2
1
得：
W1=3/4，W2=1/4
再计算信源熵：
H（X）
p（si
）H（X/si
）
Wi
H（X/si
）
i
i
此中，
信源熵为:
内容总结
（1）第2章信源与信息熵
香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息
（2）第2章信源与信息熵
香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息
内容总结
（1）第2章信源与信息熵
香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息
（2）第2章信源与信息熵
香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息
升级会员 