概率论习题DOCWord格式.docx

1、0.375LOG20.75-20.125LOG20.25=2-3/4log3=2-0.93875=1.0615 比特/符号（7）噪声熵：H（Y|X）= i=1j=1p（xiyj）P（yj|xi）3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“和同时出现”这事件的自信息量；（2）“两个同时出现” 这事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均自信息量；（4）两个点数之和（即、构成的子集）的熵；（5）两个点数中至少有一个是的自信息。（ LOG231.585 LOG252.3236 LOG2113.46 ）根据题意，同时扔两个正常的骰子，可能呈现的状态数有种，因

2、为两骰子是独立的，又各面呈现的概率都是1/6，所以种中的任一状态出现的概率相等，为/。（1）设“和同时出现”这事件为。在这种状态中，和同时出现有两种情况即、和、。所以得I（A）LOGP（A）=LOG2184.17 比特 （2） 设“两个同时出现”这事件为。在这种状态中，两个同时出现只有一种情况。得I（）LOGP（）=LOG2365.17 比特（3）设两个点数的各种组合（无序对）构成信源，这信源的符号集（样本集）就是这36种状态，所以x1,x2, x36,并且其为等概率分布。得所以H（X）=LOG2365.17 比特/符号（比特/状态）（4） 设两个点数之和构成信源，它是由两个骰子的点数之和组合

3、，即+（一般加法）而所以得满足这是因为z=2是由x=1加y=1一种状态得到；z=3是由x=1加y=2和x=加y=两种状态得到；z=是由x=1加y=、x=加y=、x=加y=三种状态得到；其它类似。由于与统计独立，可得z（z）=P（x）P（y）= P（x）P（y） z=x+y 所以得H（Z）=- P（z）LOGP（z） =log236-4/36log22+6/36 log23+8/36 log24+10/36 log25+6/36 log26 = log236-26/36+12/36log23+10/36log25 5.17-1.896=3.274 比特（5） 在这36种状态中两个点数中至少有一个

4、数是的状态共有种，每种状态是独立出现的，每种状态出现的概率是/。现设两个点数中至少有一个数是的事件为事件，则得（C）=11/36所以得（C）=LOGP（C）=LOG211/361.71 比特、某校入学考试中有/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。（1）当已知考生来自本市时，给出多少关于考生是否被录取的信息；（2）当已知考生学过英语时，给出多少有关考生是否被录取的信息；（3）以x表示是否落榜，y表示是否为本市学生，z 表示是否学过英语，试求H（X）、H（Y

5、/X）、H（Z/XY）。设X表示是否落榜，其值为a1=被录取，a2落榜；表示是否为本市学生，其值为b1=本市，b2外地；表示是否学过英语，其值为c1=学过，c2没学过。根据题意，P（a1）=1/4, P（a2）=3/4 P（b1/a1）=0.5, P（b1/a2）=0.1 P（b2/a1）=0.5, P（b2/a2）=0.9 P（c1/b1）=1, P（c1/a2b2）=0.4, P（c1/a1b2）=0.4 P（c2/b1）=0, P（c2/a2b2）=0.6, P（c2/a1b2）=0.6可计算得P（b1）= P（b2）= P（a1/b2）= P（a2/b2）= P（c1/b2）= P（c

6、2/b2）= P（c1）= P（c2）= （1）当考生来自本市，已被录取的概率为P（a1/b）= 当考生来自本市，未被录取的概率为P（a/b）=（P（a1/b）当已知考生来自本市，给出关于考生是否被录取的信息为H（X/b） = =5/8log25/83/8log23/80.954 比特 （2） 当已知考生学过英语，被录取的概率为P（a1/c）= 其中P（c1/a1）= 因为本市的考生都学过英语，所以P（c1/ab）=1, P（c1/ab）=1 P（c2/ab）=0, P（c2/ab）=0得 P（c1/a） P（a1/c） 同理 P（c1/a2） P（a2/c） 则当已知考生学过英语，给出关于考

7、生是否被录取的信息为H（X/c） = =35/104log235/10469/104log269/1040.921 比特 （3） H（X） =0.811 比特/符号H（Y/X） = =0.602 比特/符号H（Z/XY） =0.777 比特/符号5、Aensemble X has the non-negative integers as its sample space. Find the probability assignment PX（n）,n=0,1,2, ,that maximizes H（X） subject to the constraint that the mean valu

8、e of X.（n=0,）is a fixed value A. Evaluate the resulting H（X）.根据题意，我们要求最大化H（X），它要满足的条件是PX（n） 先不考虑条件，采用拉格郎日法来求极大（因为离散信源熵的极大存在）。 得 令 其满足 即 即 根据和，则有得，因此使H（X）达到极大时的概率分布为（n）= n=0,1, 因为0，（n）显然满足（），即PX（n）。这时 H（X）= =（1+A）log（1+A）-AlogA6、设有一单符号离散信源（1） 对该信源编二进制费诺（Fano）码；（2） 计算其信息熵、平均码长、信息率、编码效率。（1） 费诺（Fano）码编码

9、过程如下表所示。信息符号概率编码码字码长x10.25002X2101X30.125100X4101X50.062511004X61101X71110X81111 （2） 信息熵 H（X） =2.75 平均码长=0.2522+0.1253+0.062544=2.75 信息率由于是对单符号信源编二进制码，所以符号个数,进制m 因此信息率R= 编码效率7、已知一个信源包含八个符号消息,它们的概率分布如下表, ABCDEFGH0.10.180.40.050.060.070.041 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。2 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效

10、率。3 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。（1）H（X） = p（x）logp（x） = 2.552 bits/符号。由于每秒中只有一个符号，所以传输速率 R = H = 2.552 bits/S （2）各符号对应的码组如下：A100； B110； C0； D11101；E1010； F1111； G1011； H11100。 1 0.6（AGE、BDHF） 1C 0.40 0 0 0.37（B、DHF） 1 0.23（A、GE） 0 0.19（DH、F） 1B 0.18 0 110 0.13（GE） 1A 0.1 0 100F 0.1 1 1111 0.09（

11、DH） 0G 0.07 1 1011E 0.06 0 1010D 0.05 1 11101H 0.04 0 11100平均码长 N PiNi 0.4*1 + 0.28*3 + 0.23*4 + 0.09*5 = 2.61编码效率 H（X）/R=H（X）/（N/L）*log2） =H（X）/N= 2.55/2.61=97.79%（3）各符号对应的码组如下：A11； B12； C2； D022；E00； F10； G01； H021。C 0.40 2 2 0.38（BAF） 1 0.22（DH、GE） 0B 0.18 2 12A 0.1 1 11F 0.1 0 10 0.09（DH） 2G 0.0

12、7 1 01E 0.06 0 00D 0.05 2 022H 0.04 1 021平均码长 N PiNi 1*0.4 + 2*0.51 + 3*0.09 = 1.69编码效率 H（X）/R = H（X）/（N/L）log3）=2.55/（1.69/1）*1.585）=2.55/2.68=95.28%8、设具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时信源的概率分布p（xi）。根据题意，x1、x2对应y1，x、x对应y，x对应y，也就是某一个xi，对应的yj完全确定；但已经收到某一个yj，对应的xi不完全确定。所以信道的噪声熵H（Y/X）=0，但信道的疑义度H（X/Y）0。相

13、应的信道信量为C=log23=1.585（比特/信道符号）由信道矩阵有 P（y1）=P（x1）1+ P（x2） P（y2）=P（x3）1+ P（x4）1 （1） P（y3）=P（x5） 只要P（y1）= P（y2）=P（y3）=1/3，H（Y）达到最大，即达到信道信量C。此时P（xi），i=1,2,3,4,5存在，但不唯一。如 （1）、P（x1）= P（x2）=P（x3） P（x4）=1/6 P（x5）=1/3。（2）、P（x1）= P（x3）=1/12 P（x2） P（x4）=1/4 P（x5）=1/3。 均满足（1）式，且P（y1）= P（y2）=P（y3）=1/3。9、设二进制对称无记忆

14、信道（BSC），信道矩阵为P=，其中：0p1，p+=1。（1）P代表的信道的信道容量C；（2）P3代表的信道的信道容量C3。（1）C=1+log2+plog2p=1-H（p） （ 记 H（p）=-（+plog2p） ）（2）C3=3C 10、信道矩阵P=，计算P代表的信道的信道容量。提示：利用如下公式（1）k=1，2，s（2）根据题意，将信道矩阵分成可排列的子矩阵和C=0.0612 比特/信道符号11、彩色电视显象管的屏幕上有5105 个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。（1）计算每秒传送

15、25帧图象所需要的信道容量；（2）如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送彩色电视的图象，信道的带宽应为多大？（1）每种彩色度和亮度层次组合的概率 P =1/（6416）。每个彩色像元的自信息量 I1=log21/P = 10 bits/每像元。 每帧彩色图像的信息量 I2= 105105 = 5106 bit/帧。因为每秒有25帧图像，所以 ，所需的信道容量至少为 C 510625 = 1.25 108 bits （2）因为，S/N=63 C = Wlog2（1+S/N） = 6W 所以，W C/6 1.25108/6 Hz=20.9106 Hz=20.9 MHz

16、12、证明最小错误概率译码与最大似然译码在先验等概的条件下等价。设M2且两个消息等概，令，。通过信道转移概率p1/2的信道传输。若将译码区间分为， 试给出译码错误概率和有错而不能判决的概率。（24个4位0、1序列分为Y1、Y2、Y3）令信道输入为xm时输出y的转移概率为PN（y|xm），则最小错误概率译码实际上为最大后验概率译码 其中对于给定的y和所有的m，其w（y）必然相同，所以就可化为：，则当先验等概时 Q（m）=Q（m）上式进一步化为，此即最大似然译码。所以，当先验等概时，最小错误概率译码与最大似然译码是等价的。因为M2且输入等概，所以由题可知，当收到Y2区间中任一序列判为X1时应为错，

17、同理，收到Y1区间中任一序列，判为X2也为错。这样：当收到的序列属于Y3时无法判定为X1或X2，但此时必然有错误发生。所以，有错而不能判决的概率为： 13、设二元（7, 4）线性分组码的生成矩阵为，给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。若接收矢量，试计算出其对应的伴随式s并按照最小距离译码准则试着对其译码。对于二元（n,k），n=7，k=4线性分组码， G（Ik，P），H（PT，In-k）该码的一致校验矩阵为H因为二元（7，4）码的纠错范围是7个7位码中一位错，所以各陪集首和与之相对应的S如下：（s= eHT） e = 0000001s=001 e = 0000010

18、s =101 e = 0000100s=100 e = 0001000 s =101 e = 0010000s=111 e = 0100000 s =011 e = 1000000s=110 当时，svHT100，对照最小距离译码准则与s和e之间的关系表，可知，e0000100。所以v译码C e V 101110014、有一组码将二位信息位编成五位长的码字，其规则如下： 00 00000 01 01101 10 10111 11 11010（1）证明此码是系统一致校验码；（2）找出其生成矩阵和一致校验矩阵；（3）对于无记忆二元对称信道（p），列出其最大似然译码的译码表；（4）计算正确译码概率。

19、（1）设码字C（c4c3c2c1c0），信息位为c4c3。根据码字可得 可见，码字的后三位都是由前二位线性组合得到，而前二位又是与信息位一致。因此，此码是（5，2）一致校验码。 （2）由码字（c2=c4+c3=1 1等）可得生成矩阵、一致辞校验矩阵 （由此也可知此码是系统一致校验码）。 （3）列出下列最大似然译码表（S =eHT） 伴随式S 错误图样e 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 1 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 0 1 0 1 1 1 0 1 0 0 （或00011） 1

20、 1 0 1 0 0 0 1 （或00110） 因为码的最小距离dmin=3，所以能纠正一位码元的错误。（3） 根据译码表及无记忆二元信道，所以正确译码概率（错误图样e中1的个数向量=（0125）=（1,5,2,0,0）（1-p）5+5p（1-p）4+2p2（1-p）315、设一分组码具有一致校验矩阵 H （1）求这分组码n=？k=？，共有多少个码字？ （2）求此分组码的生成矩阵； （3）矢量101010是否是码字？ （4）设发送码字c=（001111），但接收到的序列为r=（000010），其伴随式s是什么？这伴随式指出已发生的错误在什么地方？为什么与实际错误不同？（1）设码字c（c5c4c

21、3c2c1c0），有 cHT0 故得 （1） 所以n=6，r=3，k=3，为（6，3）分组码。码字共有2k8个。（2）由Gs=Ik,Qk*r Hs=（Qk*r）,Ir 得 Gs（3）这分组码的所有许用码字是（c=mGs） 000000 101011 011100 111001 001111 110110 100101 010011 可见101010不是码字 （4） 因为 srHT s 伴随式s正好是H矩阵中第5列。根据伴随式s就判断码字中发生了错误，则E（000010）。但实际错误图样E为 c+er er+c e=（000010）+（001111）=（001101） 是码字传送中发生了三位码元

22、错误。因为此（6，3）码dmin=2De+1=3，得De=1，所以（6，3）码伴随式所判断的错误只能纠正一位码元发生错误的错误图样。若此（6，3）码用于检测错误，也只能检测出二位码元发生错误。因此，当传输过程中码字发生了三位以上码元的错误也就无法检测出来了。16、Consider two parity check codes.Code I is generated by the rule x1=u1 x4=u1u2 x2=u2 x5=u1u3 x3=u3 x6=u2u3 x7=u1u2u3 Code II is the same except that x6=u2. （1）Write down

23、 the generator matrix and parity check matrix for code I.（2）Write out a decoding table for code I, assuming a BSC with crossover probability .（3）Give an exact expression for the probability of decoding error for code I and for code II. Which is larger ?（4）Find dmin for code I and for code II.（5）Give a counter example to the conjecture that if one （N,k） parity