概率论习题Word格式.docx

1、p（xy）=p（x）p（y|x）1/2p（xy）=p（x）p（y|x）1/2（2）由p（yj）=i=1np（xiyj），得到集合消息概率：p（y）=i=1p（xiy）p（xy）+ p（xy）=0.375+0.125=0.5p（y）=i=1p（xiy）1- p（y）=1-0.5=0.5（3）由p（xi|yj）=p（xiyj）/p（yi），求出X的各后验概率：p（x|y）=p（xy）/p（y）0.375/0.5=0.75p（x2|y）=p（x2y）/p（y）0.125/0.5=0.25p（x|y2）=p（xy2）/p（y2）0.125/0.5=0.25p（x2|y2）=p（x2y2）/p（y2）0

2、.375/0.5=0.75（4）（）i=1p（xi）P（xi）- （Y）i=1p（yi）P（yi）- （Y）i=1j=1p（xiyj）P（xiyj）-2（5）平均互信息：I（X;Y）=H（X）+H（Y）-H（XY）=1+1-1=1比特/符号（6）疑义度：H（X|Y）= i=1j=1p（xiyj）P（xi|yj） -2=2-3/4log3=2-0.93875=1.0615 比特/符号（7）噪声熵：H（Y|X）= i=1j=1p（xiyj）P（yj|xi）3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“和同时出现”这事件的自信息量；（2）“两个同时出现” 这事件的自信息量；（

3、3）两个点数的各种组合（无序对）的熵或平均自信息量；（4）两个点数之和（即、构成的子集）的熵；（5）两个点数中至少有一个是的自信息。（ LOG231.585 LOG252.3236 LOG2113.46 ）根据题意，同时扔两个正常的骰子，可能呈现的状态数有种，因为两骰子是独立的，又各面呈现的概率都是1/6，所以种中的任一状态出现的概率相等，为/。（1）设“和同时出现”这事件为。在这种状态中，和同时出现有两种情况即、和、。所以得I（A）LOGP（A）=LOG2184.17 比特 （2） 设“两个同时出现”这事件为。在这种状态中，两个同时出现只有一种情况。得I（）LOGP（）=LOG2365.17

4、 比特（3）设两个点数的各种组合（无序对）构成信源，这信源的符号集（样本集）就是这36种状态，所以x1,x2, x36,并且其为等概率分布。得所以H（X）=LOG2365.17 比特/符号（比特/状态）（4） 设两个点数之和构成信源，它是由两个骰子的点数之和组合，即+（一般加法）而所以得满足这是因为z=2是由x=1加y=1一种状态得到；z=3是由x=1加y=2和x=加y=两种状态得到；z=是由x=1加y=、x=加y=、x=加y=三种状态得到；其它类似。由于与统计独立，可得z（z）=P（x）P（y）= P（x）P（y） z=x+y 所以得H（Z）=- P（z）LOGP（z） =log236-4/

5、36log22+6/36 log23+8/36 log24+10/36 log25+6/36 log26 = log236-26/36+12/36log23+10/36log25 5.17-1.896=3.274 比特（5） 在这36种状态中两个点数中至少有一个数是的状态共有种，每种状态是独立出现的，每种状态出现的概率是/。现设两个点数中至少有一个数是的事件为事件，则得（C）=11/36所以得（C）=LOGP（C）=LOG211/361.71 比特、某校入学考试中有/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地

6、落榜考生以及被录取的外地考生中都有40%学过英语。（1）当已知考生来自本市时，给出多少关于考生是否被录取的信息；（2）当已知考生学过英语时，给出多少有关考生是否被录取的信息；（3）以x表示是否落榜，y表示是否为本市学生，z 表示是否学过英语，试求H（X）、H（Y/X）、H（Z/XY）。设X表示是否落榜，其值为a1=被录取，a2落榜；表示是否为本市学生，其值为b1=本市，b2外地；表示是否学过英语，其值为c1=学过，c2没学过。根据题意，P（a1）=1/4, P（a2）=3/4 P（b1/a1）=0.5, P（b1/a2）=0.1 P（b2/a1）=0.5, P（b2/a2）=0.9 P（c1/

7、b1）=1, P（c1/a2b2）=0.4, P（c1/a1b2）=0.4 P（c2/b1）=0, P（c2/a2b2）=0.6, P（c2/a1b2）=0.6可计算得P（b1）= P（b2）= P（a1/b2）=P（a2/b2）= P（c1/b2）= P（c2/b2）= P（c1）= P（c2）= （1）当考生来自本市，已被录取的概率为P（a1/b）=当考生来自本市，未被录取的概率为P（a/b）=（P（a1/b）当已知考生来自本市，给出关于考生是否被录取的信息为H（X/b） = =5/8log25/83/8log23/80.954 比特 （2） 当已知考生学过英语，被录取的概率为P（a1/c

8、）=其中P（c1/a1）= 因为本市的考生都学过英语，所以P（c1/ab）=1, P（c1/ab）=1 P（c2/ab）=0, P（c2/ab）=0得 P（c1/a）P（a1/c）同理 P（c1/a2）P（a2/c）则当已知考生学过英语，给出关于考生是否被录取的信息为H（X/c） = =35/104log235/10469/104log269/1040.921 比特 （3） H（X） =0.811 比特/符号H（Y/X） = =0.602 比特/符号H（Z/XY） =0.777 比特/符号5、Aensemble X has the non-negative integers as its sa

9、mple space. Find the probability assignment PX（n）,n=0,1,2, ,that maximizes H（X） subject to the constraint that the mean value of X.（n=0,）is a fixed value A. Evaluate the resulting H（X）.根据题意，我们要求最大化H（X），它要满足的条件是 PX（n） 先不考虑条件，采用拉格郎日法来求极大（因为离散信源熵的极大存在）。 得 令 其满足 即 即 根据和，则有得，因此使H（X）达到极大时的概率分布为（n）= n=0,1,

10、 因为0，（n）显然满足（），即PX（n）。这时 H（X）= =（1+A）log（1+A）-AlogA6、设有一单符号离散信源（1） 对该信源编二进制费诺（Fano）码；（2） 计算其信息熵、平均码长、信息率、编码效率。（1） 费诺（Fano）码编码过程如下表所示。信息符号概率编码码字码长x10.25002X2101X30.125100X4101X50.062511004X61101X71110X81111 （2） 信息熵 H（X） =2.75 平均码长=0.2522+0.1253+0.062544=2.75 信息率由于是对单符号信源编二进制码，所以符号个数,进制m 因此信息率R= 编码效率7

11、、已知一个信源包含八个符号消息,它们的概率分布如下表, ABCDEFGH0.10.180.40.050.060.070.041 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。2 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。3 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。（1）H（X） = p（x）logp（x） = 2.552 bits/符号。由于每秒中只有一个符号，所以传输速率 R = H = 2.552 bits/S （2）各符号对应的码组如下：A100； B110； C0； D11101；E1010； F1111； G1011； H11100。 1 0.6（AGE、BDHF） 1