信息论与编码文档格式.docx

资源描述

信息论与编码文档格式.docx

《信息论与编码文档格式.docx》由会员分享，可在线阅读，更多相关《信息论与编码文档格式.docx（13页珍藏版）》请在冰豆网上搜索。

信息论与编码文档格式.docx

）pp（1|00）?

p（01|00）?

　　p（1|01）?

p（10?

|01）（00?

|10）（11?

|01）　　p（1|11）?

p（11|11）?

　　p（1|10）?

p（01|10）?

于是可以列出转移概率矩阵：

状态图为：

　　　　设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有　　?

14?

47　　?

W3得计算得到?

Wi?

W4?

7W1?

同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

　　（3）两个点数的各种组合对的熵和平均信息量；

（4）两个点数之和的熵；

（5）两个点数中至少有一个是1的自信息量。

解：

（1）　　11111p（xi）?

666618I（xi）?

logp（xi）?

log

（2）　　1?

bit18　　111p（xi）?

66361I（xi）?

log?

bit36（3）　　　　　　两个点数的排列如下：

111213142122232431323334414243445152535461626364　　共有21种组合：

　　152535455565162636465666　　其中11，22，33，44，55，66的概率是其他15个组合的概率是2?

111?

6636111?

66181111?

H（X）?

p（xi）logp（xi）?

15?

bit/symbol　　361818?

36i（4）　　参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

　　23456789101112?

1111151511?

P（X）?

3618129366369121836?

p（xi）logp（xi）i111111115511?

361818121299363666?

36　　?

bit/symbol（5）　　1111p（xi）?

11?

663611I（xi）?

bit362-4　　　　　　　　　　居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

　　解：

　　设随机变量X代表女孩子学历　　Xx1x2P（X）　　　　设随机变量Y代表女孩子身高　　Yy1y2P（Y）　　　　已知：

在女大学生中有75%是身高160厘米以上的即：

p（y1/x1）?

bit　　求：

身高160厘米以上的某女孩是大学生的信息量即：

I（x1/y1）?

logp（x1/y1）?

logp（x1）p（y1/x1）?

bit　　p（y1）　　掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？

当小圆点之和是7时，该消息所包含的信息量又是多少？

　　1）因圆点之和为3的概率p（x）?

p（1,2）?

p（2,1）?

118该消息自信息量I（x）?

logp（x）?

log18?

2）因圆点之和为7的概率　　p（x）?

p（1,6）?

p（6,1）?

p（2,5）?

p（5,2）?

p（3,4）?

p（4,3）?

该消息自信息量I（x）?

log6?

　　设有一离散无记忆信源，其概率空间为?

16?

x1?

0x2?

1x3?

2x4?

　　1/41/41/8?

3/8求每个符号的自信息量　　信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：

I（x1）?

log218?

log2?

p（x1）3同理可以求得I（x2）?

2bit,I（x3）?

3bit　　　　因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：

14I（x1）?

13I（x2）?

12I（x3）?

6I（x4）?

/符号试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

　　平均每个符号携带的信息量为　　解：

　　四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,3}　　八进制脉冲可以表示8个不同的消息，例如：

{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

　　四进制脉冲的平均信息量H（X1）?

logn?

log4?

2bit/symbol八进制脉冲的平均信息量H（X2）?

log8?

3bit/symbol二进制脉冲的平均信息量H（X0）?

1bit/symbol所以：

　　四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“－”用三个脉冲“●”用一个脉冲　　?

（1）I（●）=Log（4）?

2I（－）＝Log?

（2）H=2-10　　

（2）P（黑/黑）=　　H（Y/黑）=　　（3）P（黑/白）=　　H（Y/白）=　　（4）P（黑）=　　H（Y）=　　P（白）=　　　　　　P（白/白）=　　　　　　P（白/黑）=　　14Log（4）?

34Log?

　　有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

　　如果仅对颜色感兴趣，则计算平均不确定度

　　　　　　　　如果仅对颜色和数字感兴趣，则计算平均不确定度如果颜色已知时，则计算条件熵　　解：

令X表示指针指向某一数字，则X={1,2,……….,38}　　Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}　　Y是X的函数，题意可知p（xiyj）?

p（xi）H（Y）?

p（y）logp（y）?

38log2?

38log18?

/符号　　jj?

1j312381838H（X,Y）?

log238?

/符号　　H（X|Y）?

H（X,Y）?

H（Y）?

/符号两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率r?

xi,yj?

rij为　　?

r11r12?

r21r22?

31r32r13?

7/241/240?

r23?

1/241/41/24?

r33?

1/247/24?

如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

　　如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

　　在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

联合概率p（xi,yj）为　　YXx1x2x3X概率分布XPx18/24x28/24x38/24y1y21/241/41/24y301/247/24H（X,Y）?

p（xi,yj）log2ij7/241/2401p（xi,yj）?

72411log2?

log224?

log24247244　　=/符号　　　　1H（Y）?

log23?

/符号　　3H（X|Y）?

Y概率分布是　　　　　　=/符号YP　　　　y18/24y28/24y38/24　　有两个二元随机变量X和Y，它们的联合概率为　　Y　　Xy1=0y2=1x1=01/83/8x2=13/81/8并定义另一随机变量Z=XY，试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）和H（XYZ）；

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；

　　（3）I（X;

Y）,I（X;

Z）,I（Y;

Z）,I（X;

Y/Z）,I（Y;

Z/X）和I（X;

Z/Y）。

（1）　　p（x1311）?

p（x1y1）?

p（x1y2）?

2p（x）?

3112）?

p（x2y1）?

p（x2y28?

2H（X）?

1bit/symboli　　p（y?

p（xp（x1311）1y1）?

2y1）?

2p（y3112）?

p（x2y2）?

2H（Y）?

p（yj）logp（yj）?

1bit/symboljZ=XY的概率分布如下：

0z2?

P（Z）?

71?

88?

　　2H（Z）?

p（z?

7711?

k）?

bit/k?

8888?

symbol　　p（x1）?

p（x1z1）?

p（x1z2）p（x1z2）?

0p（x1z1）?

p（x1）?

（z1）?

p（x2z1）p（x2z1）?

p（z1）?

p（z2）?

p（x1z2）?

p（x2z2）p（x2z2）?

1873?

8813311?

1H（XZ）?

p（xizk）logp（xizk）?

bit/symbol28888?

2ik　　p（y1）?

p（y1z1）?

p（y1z2）p（y1z2）?

0p（y1z1）?

p（y1）?

p（y2z1）p（y2z1）?

p（y1z2）?

p（y2z2）p（y2z2）?

1H（YZ）?

p（yjzk）logp（yjzk）?

2jk　　　　p（x1y1z2）?

0p（x1y2z2）?

0p（x2y1z2）?

0p（x1y1z1）?

p（x1y1z2）?

p（x1y1）p（x1y1z1）?

1/8p（x1y2z1）?

p（x1y1z1）?

p（x1z1）p（x1y2z1）?

p（x2y1z1）?

p（x2y1z2）?

p（x2y1）p（x2y1z1）?

p（x2y2z1）?

0p（x2y2z1）?

p（x2y2z2）?

p（x2y2）18H（XYZ）?

p（xiyjzk）log2p（xiyjzk）p（x2y2z2）?

ijk113?

288381333311?

1　　?

bit/symbol8888888?

（2）　　　　1333311?

1H（XY）?

p（xiyj）log2p（xiyj）?

bit/symbol88888888?

ijH（X/Y）?

H（XY）?

bit/symbolH（Y/X）?

bit/symbolH（X/Z）?

H（XZ）?

H（Z）?

bit/symbolH（Z/X）?

bit/symbolH（Y/Z）?

H（YZ）?

bit/symbolH（Z/Y）?

bit/symbolH（X/YZ）?

H（XYZ）?

bit/symbolH（Y/XZ）?

bit/symbolH（Z/XY）?

0bit/symbol（3）　　I（X;

Y）?

H（X/Y）?

bit/symbolI（X;

Z）?

H（X/Z）?

bit/symbolI（Y;

H（Y/Z）?

bit/symbol　　I（X;

Y/Z）?

H（X/YZ）?

Z/X）?

H（Y/X）?

H（Y/XZ）?

Z/Y）?

bit/symbol　　2-14

（1）　　P（ij）=P（i/j）=　　　　

（2）方法1:

　　=　　　　方法2:

　　　　2-15P（j/i）=　　　　　　　　　　　　　　　　黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p（黑）＝，白色出现的概率p（白）＝。

　　假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图实际上各个元素之间是有关联的，其转移概率为：

P（白|白）＝，P（黑|白）＝，P（白|黑）＝，P（黑|黑）＝，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

　　比较两种信源熵的大小，并说明原因。

（黑|白）=P（黑）　　1010?

/符号37

　　　　　　　　黑白（白|白）＝P（白）　　　　P（黑|黑）＝P（黑）P（白|黑）＝P（白）　　根据题意，此一阶马尔可夫链是平稳的　　H?

（X）?

H（X2|X1）?

p（xi,yj）log2ij1p（xi,yj）?

　　＝/符号　　　　5　　每帧电视图像可以认为是3?

10个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？

若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少？

若要恰当的描述此图像，广播员在口述中至少需要多少汉字？

1）　　H（X）?

log2n?

log2128?

7bit/symbolN56H（X）?

NH（X）?

10?

10bit/symbol2）　　　　H（X）?

log210000?

bit/symbolNH（X）?

1000?

13288bit/symbol3）　　　　H（XN）?

106N?

158037H（X）　　　　给定语音信号样值X的概率密度为p（x）?

小于同样方差的正态变量的连续熵。

e,?

求Hc（X），并证明它2　　?

Hc（X）?

px（x）logpx（x）dx?

px（x）log1?

xdx?

dx?

px（x）（?

x）log?

2edx?

log12?

loge1?

e（?

x）dx0?

loge?

（?

x）dx?

12?

x（?

x）dx0?

log1?

2loge?

2xe?

x2dx02?

（1?

x）e?

log12e2?

E（X）?

0,D（X）?

2　　H（X,）?

1214?

e2?

e2e?

e2log2?

2log?

H（X）　　?

连续随机变量X和Y的联合概率密度为：

p（x,y）?

r2?

0求H（X）,H（Y）,H（XYZ）和I（X;

Y）。

　　x2?

y2?

r2，　　其他　　　　p（x）?

x2?

x2rp（xy）dy?

12r2?

x2dy?

（?

r）2r2?

rHc（X）?

p（x）logp（x）dx?

rr2r2?

x2　　?

p（x）logdx2?

rrr2　　?

p（x）log2dx?

p（x）logr2?

x2dx?

rr?

r2　　?

r21　　?

logr?

log2e221　　?

log2ebit/symbol2其中：

rp（x）logr2?

x2dxr2r2?

logr2?

x2dx2?

r4r2?

x2logr2?

r040令x?

rcos?

rsin?

logrsin?

d（rcos?

）?

r240?

r2sin2?

20sin2?

sin?

logrd?

204?

logsin?

cos2?

41?

2d?

2logsin?

02　　　　?

20?

02?

0logr?

2cos2?

20cos2?

2dsin2?

2log22）?

log2e2其中：

1logsin?

dsin2?

201?

sin2?

2sin2?

dlogsin?

202sin?

cos?

log2ed?

2log2e?

01?

112?

log2e?

011?

log2esin2?

22?

log2e2?

20　　p（y）?

y2p（xy）dx?

2r2?

y21dx?

r）r2?

r2p（y）?

p（x）1HC（Y）?

HC（X）?

log2ebit/symbol2Hc（XY）?

p（xy）logp（xy）dxdyR　　?

p（xy）logRR1dxdy?

r2　　?

p（xy）dxdy　　?

r2bit/symbolIc（X;

Hc（Y）?

Hc（XY）　　?

2log2?

r2　　?

log2ebit/symbol　　　　某一无记忆信源的符号集为{0,1}，已知P（0）=1/4，P

（1）=3/4。

（1）求符号的平均熵；

（2）有100个符号构成的序列，求某一特定序列个“1”）的自信息量的表达式；

（3）计算

（2）中序列的熵。

（1）　　133?

1H（X）?

bit/symbol　　444?

（2）　　m100?

p（xi）?

3100?

10043?

bit1004100?

m　　I（xi）?

log（3）　　H（X100）?

100H（X）?

100?

bit/symbol　　　　2-26

　　　　　　　　P（i）=P（ij）=　　H（IJ）=　　　　有一个一阶平稳马尔可夫链X1,X2,?

Xr,?

各Xr取值于集合A?

a1,a2,a3?

已知起始概率P（Xr）为p1?

1/2,p2?

p3?

1/4，转移概率如下图所示　　j　　i12311/22/32/321/401/331/41/30

（1）求（X1,X2,X3）的联合熵和平均符号熵

（2）求这个链的极限平均符号熵　　（3）求H0,H1,H2和它们说对应的冗余度解：

　　H（X1,X2,X3）?

H（X1）?

H（X3|X2,X1）　　?

H（X3|X2）111111H（X1）?

/符号　　224444　　X1，X2的联合概率分布为　　p（x1ix2j）123那么　　11/41/61/621/801/1231/8p（x2j）?

p（x1ix2j）　　iX2的概率分布为　　1/120114/2425/2435/24H（X2|X1）?

=/符号　　111131131log4?

log3?

log348862126212　　X2X3的联合概率分布为　　p（x2ix3j）123那么　　17/245/365/3627/4805/1237/485/120H（X3|X2）?

=/符号　　771535535log2?

log3244883627236272H（X1,X2,X3）?

/符号　　所以平均符号熵H3（X1,X2,X3）?

／符号3?

2设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P?

3140131?

224?

337?

13?

得到?

W2计算得到?

　　Wi?

14314?

又满足不可约性和非周期性　　3?

4111321H?

WiH（X|Wi）?

H（,,）?

H（,,0）?

/符号　　72441433i?

1bi/t符号H2?

（3）H0?

/符号H1?

/t符号?

　　　　1/2a12/31/41/42/3a1/32a31/3　　2-30　　

（1）求平稳概率P（j/i）=　　解方程组　　得到　　

（2）　　　　　　　　信源熵为:

　　　　　　2-31　　P（j/i）=解方程组　　得到W1=,W2=,W3=　　　　　　一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为。

求信源平稳后的概率分布P（0）,P

（1）,P

（2）求此信源的熵　　近似认为此信源为无记忆时，符号的概率分布

展开阅读全文