概率论习题.docx

资源描述

概率论习题.docx

《概率论习题.docx》由会员分享，可在线阅读，更多相关《概率论习题.docx（27页珍藏版）》请在冰豆网上搜索。

概率论习题.docx

概率论习题

六、计算（每题10分）（20道）

1、设有一个信源，它产生0，1序列的信息。

它在任意时刻且不论以前发生过什么符号，均按P（0）=0.4，P

（1）=0.6的概率发出符号。

试计算：

（1）H（X2）

（2）H（X3/X1X2）（3）

解：

根据题意，此信源在任何时刻发出的符号概率都是相同的，即概率分布与时间平移无关，且信源发出的序列之间也是彼此无依赖的，所以这个信源是平稳信源，且是离散无记忆信源。

（1）Ｈ（Ｘ）＝-　　比特／符号

Ｈ（Ｘ2）＝2Ｈ（Ｘ）≈1.942　　　　　　　　比特／二符号

（2）Ｈ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（Ｘ3）＝Ｈ（Ｘ）≈0.971　　比特／符号　

（3）　

=lim1/N×H（X1X2…XＮ）＝lim1/N×NＨ（Ｘ）

＝Ｈ（Ｘ）≈0.971　　比特／符号

２、已知信源X和条件概率P（Y/X）如下：

试计算：

H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、Ｉ（X；Y）

解：

根据题意，

（1）由p（xiyj）=p（xi）p（yj/xi），求出各联合概率：

　　　　　　p（x１y１）=p（x１）p（y１|x１）＝1/2×3/4＝0.375

　　　　　　p（x１y２）=p（x１）p（y２|x１）＝1/2×1/4＝0.125

　　　　　　p（x２y１）=p（x２）p（y１|x２）＝1/2×1/4＝0.125

　　　　　　p（x２y２）=p（x２）p（y２|x２）＝1/2×3/4＝0.375

（2）由p（yj）=∑i=1np（xiyj），得到Ｙ集合消息概率：

　　　　　p（y１）=∑i=1２p（xiy１）＝p（x１y１）+p（x２y１）=0.375+0.125=0.5

　　　　　p（y２）=∑i=1２p（xiy２）＝1-p（y１）=1-0.5=0.5

（3）由p（xi|yj）=p（xiyj）/p（yi），求出X的各后验概率：

　　　　　p（x１|y１）=p（x１y１）/p（y１）＝0.375/0.5=0.75

　　　　　p（x2|y１）=p（x2y１）/p（y１）＝0.125/0.5=0.25

　　　　　p（x１|y2）=p（x１y2）/p（y2）＝0.125/0.5=0.25

　　　　　p（x2|y2）=p（x2y2）/p（y2）＝0.375/0.5=0.75

（4）Ｈ（Ｘ）＝∑i=1２p（xi）ＬＯＧ２P（xi）＝-

Ｈ（Y）＝∑i=1２p（yi）ＬＯＧ２P（yi）＝-

Ｈ（ＸY）＝∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（xiyj）

＝-2×

（5）平均互信息：

　　I（X;Y）=H（X）+H（Y）-H（XY）=1+1-1=1比特/符号

（6）疑义度：

H（X|Y）=∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（xi|yj）

＝-2×

=2-3/4log3=2-0.93875=1.0615比特/符号

（7）噪声熵：

H（Y|X）=∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（yj|xi）

＝-2×

=2-3/4log3=2-0.93875=1.0615比特/符号

3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：

（1）“３和５同时出现”这事件的自信息量；

（2）“两个１同时出现”这事件的自信息量；

（3）两个点数的各种组合（无序对）的熵或平均自信息量；

（4）两个点数之和（即２、３、…１２构成的子集）的熵；

（5）两个点数中至少有一个是１的自信息。

（LOG23≈1.585LOG25≈2.3236LOG211≈3.46）

解：

根据题意，同时扔两个正常的骰子，可能呈现的状态数有３６种，因为两骰子是独立的，又各面呈现的概率都是1/6，所以３６种中的任一状态出现的概率相等，为１/３６。

（1）设“３和５同时出现”这事件为Ａ。

在这３６种状态中，３和５同时出现有两种情况即３、５和５、３。

所以

得　　　　　I（A）＝－LOGP（A）=LOG218≈4.17比特

（2）设“两个１同时出现”这事件为Ｂ。

在这３６种状态中，两个１同时出现只有一种情况。

所以

得　　　　　I（Ｂ）＝－LOGP（Ｂ）=LOG236≈5.17比特

（3）设两个点数的各种组合（无序对）构成信源Ｘ，这信源Ｘ的符号集Ａ（样本集）就是这36种状态，所以Ａ＝{x1,x2,…x36},并且其为等概率分布。

得

　　所以　　H（X）=LOG236≈5.17比特/符号（比特/状态）

（4）设两个点数之和构成信源Ｚ，它是由两个骰子的点数之和组合，

即Ｚ＝Ｘ+Ｙ（一般加法）而

所以得

　满足　　　　

　这是因为z=2是由x=1加y=1一种状态得到；z=3是由x=1加y=2和x=２加y=１两种状态得到；z=４是由x=1加y=３、x=２加y=２、x=３加y=１三种状态得到；其它类似。

　由于Ｘ与Ｙ统计独立，可得

　　　　　　　Ｐz（z）=

P（x）P（y）=

P（x）P（y）z=x+y

所以得

　　　　　　　H（Z）=-

P（z）LOGP（z）

=log236-[4/36log22+6/36log23+8/36log24

+10/36log25+6/36log26]

=log236-[26/36+12/36log23+10/36log25]

≈5.17-1.896=3.274　　比特

（5）在这36种状态中两个点数中至少有一个数是１的状态共有１１种，每种状态是独立出现的，每种状态出现的概率是１/３６。

现设两个点数中至少有一个数是１的事件为Ｃ事件，则得

　　　　　Ｐ（C）=11/36

所以得　　Ｉ（C）=－LOGP（C）=－LOG211/36≈1.71　　比特

４、某校入学考试中有１/4考生被录取，3/4考生未被录取。

被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。

所有本市的考生都学过英语。

而外地落榜考生以及被录取的外地考生中都有40%学过英语。

（1）当已知考生来自本市时，给出多少关于考生是否被录取的信息；

（2）当已知考生学过英语时，给出多少有关考生是否被录取的信息；

（3）以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，试求H（X）、H（Y/X）、H（Z/XY）。

解：

设X表示是否落榜，其值为{a1=被录取，a2＝落榜}；Ｙ表示是否为本市学生，其值为{b1=本市，b2＝外地}；Ｚ表示是否学过英语，其值为{c1=学过，c2＝没学过}。

根据题意，P（a1）=1/4,P（a2）=3/4

P（b1/a1）=0.5,P（b1/a2）=0.1

P（b2/a1）=0.5,P（b2/a2）=0.9

P（c1/b1）=1,P（c1/a2b2）=0.4,P（c1/a1b2）=0.4

P（c2/b1）=0,P（c2/a2b2）=0.6,P（c2/a1b2）=0.6

可计算得

　　　　　P（b1）=

　　　P（b2）=

P（a1/b2）=

P（a2/b2）=

P（c1/b2）=

P（c2/b2）=

P（c1）=

P（c2）=

（1）当考生来自本市，已被录取的概率为

　P（a1/b１）=

当考生来自本市，未被录取的概率为

P（a２/b１）=

（＝１－P（a1/b１））

当已知考生来自本市，给出关于考生是否被录取的信息为

　　　H（X/b１）=

=－5/8log25/8－3/8log23/8≈0.954　　比特

（2）当已知考生学过英语，被录取的概率为

P（a1/c１）=

其中　　P（c1/a1）=

因为本市的考生都学过英语，所以

P（c1/a１b１）=1,P（c1/a２b１）=1

　P（c2/a１b１）=0,P（c2/a２b１）=0

得　　　　　　　　　　　P（c1/a１）

P（a1/c１）

同理　　　　　　　　　P（c1/a2）

P（a2/c１）

则当已知考生学过英语，给出关于考生是否被录取的信息为

H（X/c１）=

=－35/104log235/104－69/104log269/104≈0.921　　比特

（3）H（X）=

=0.811比特/符号

H（Y/X）=

≈0.602　　比特/符号

H（Z/XY）=

≈0.777　　比特/符号

5、A　ensembleXhasthenon-negativeintegersasitssamplespace.FindtheprobabilityassignmentPX（n）,n=0,1,2,…,thatmaximizesH（X）subjecttotheconstraintthatthemeanvalueofX.（n=0,∞）

isafixedvalueA.EvaluatetheresultingH（X）.

解：

根据题意，我们要求最大化H（X），它要满足的条件是

　　　　　　　　　　　　　　⑴

　　　　　　　　　　　　　⑵

０≤PX（n）≤１⑶

先不考虑条件⑶，采用拉格郎日法来求极大（因为离散信源熵的极大存在）。

　得　　　　

　令

其满足　　　　

即　　　

根据

和

，则有

　得　　　　　　　　　　

　，　　　　

　因此使H（X）达到极大时的概率分布为

ＰＸ（n）=

n=0,1,…

因为Ａ≥0，ＰＸ（n）显然满足（３），即　０≤PX（n）≤１。

这时

H（X）=－

=－

=（1+A）log（1+A）-AlogA

6、设有一单符号离散信源

（1）对该信源编二进制费诺（Fano）码；

（2）计算其信息熵、平均码长、信息率、编码效率。

解：

（1）费诺（Fano）码编码过程如下表所示。

信息符号

概率

编码

码字

码长

0.25

２

0.125

100

３

0.125

101

３

0.0625

1100

0.0625

1101

0.0625

1110

0.0625

1111

（2）信息熵　H（X）=

=2.75

平均码长　

=0.25×2×2+0.125×2×3+0.0625×4×4=2.75

信息率　　由于是对单符号信源编二进制码，所以符号个数Ｌ＝１,进制m＝２因此信息率　　　R=

编码效率　

7、已知一个信源包含八个符号消息,它们的概率分布如下表,

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

1该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。

2对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

3对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

解：

（1）H（X）=－∑p（x）logp（x）=2.552bits/符号。

由于每秒中只有一个符号，所以传输速率R=H=2.552bits/S

（2）各符号对应的码组如下：

A―100；B―110；C―0；D―11101；E－1010；F－1111；G－1011；H－11100。

0.6（AGE、BDHF）1

展开阅读全文