1011第二学期信息论作业题参考答案.docx

1、1011第二学期信息论作业题参考答案第1讲2、信息论创始人是谁？香农。3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。4、通信系统的主要性能指标是什么？有效性、可靠性和安全性。5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式

2、识别等。2.4 （求车牌自信息量）某车牌号的概率是(1/26)3(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌，第2讲设二元对称信道的传递矩阵(条件概率矩阵)为 若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)；先求P(Y)=XP(XY)和P(XY)=P(X)P(Y|X)，再得各种熵和互信息。H(X)=H(3/4,1/4),H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6);H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=P(

3、X=a)H(Y/a)=H(3/4,1/4)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)；2.2（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.250.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出X、Y、Z、XZ、YZ、XYZ的概率或联合分布，再求其熵。如：P(Z=XY=0)=1-P(XY=1)=7/8，P(ZX=1)=P(YX=1)=1/8,.(2)思路：通过X、Y、Z及其联合概率分布求X/Y等条件概

4、率分布P(X/Y)=P(XY)/P(Y)，再求其熵H(X/Y)=P(Y=b)H(X/b)。或根据H(X/Y)=H(XY)-H(Y)从联合熵计算条件熵。P(xyz)联合概率分布如下ZXY0001101101/83/83/8010001/8P(xz)联合概率分布如下ZX0101/23/8101/8P(yz)联合概率分布如下ZY0101/23/8101/8第3讲 2.10 （3）（由联合概率分布求平均互信息和条件互信息）通过H(X;Y)=H(X)-H(X|Y)，H(X;Y|Z)=H(X|Z)-H(X|YZ)和H(X|Y)=H(XY)-H(Y)关系式求各种互信息量2.12，X表示天气情况，Y表示天气预

5、报，0表雨，1表无雨。求1）准确率（提示P(00)+P(11)=12/16），2)从预报得到的信息量I(X;Y)（X(0)=3/16，X(1)=13/16，Y(0)=11/16，Y(1)=5/16），3)总是报无雨时的准确率和预报信息量（提示，Y(0)=0，Y(1)=1；准确度=13/16，I(X;Y)=0）。 2.14（由X概率分布和条件概率分布求互信息和条件互信息）先求联合概率分布p(xy1y2)= p(x)p(y1y2|x)， 如p(y1y2|x)= p(00|0)=1，p(10|1)=1，p(11|2)=1/2，p(01|2)=1/2，余为0。再通过以下公式求各个互信息和条件互信息：不

6、用H(X;Y)=H(X)-H(X|Y)，H(X;Y|Z)=H(X|Z)-H(X|YZ)和H(X|Y)=H(XY)-H(Y)使用H(X;Y|Z)=H(X;YZ)-H(X;Z)P(xy1y2)联合概率分布如下xy1y20001101101/40001001/40201/401/4I(X;Y1)=0.5；I(X;Y2)=1;I(X;Y1Y2)=H(X)+H(Y1Y2)-H(XY1Y2)=1.5+2-2=1.5I(X;Y1|Y2)=I(X;Y1Y2)-I(X;Y2)=.0.5，I(X;Y2|Y1)=I(X;Y1Y2)-I(X;Y1)=.1第4讲1，某l离散无记忆信源只输出n个符号，则当信源呈（ 等概

7、）分布情况下，熵为最大值（log n）。2，某连续信源幅度受限，则当信源呈（ 均匀 ）分布情况下，熵为最大值（log（b-a）。3，如果连续随机变量X的均值为零，平均功率受限于P，则当X服从( 高斯 )分布时、其微分熵达到最大，最大的微分熵为( log )。4，设连续随机变量X的概率密度函数服从均匀分布，求微分熵，并说明大于0的条件。答案：第5讲随机信源如何分类？从消息变量取值的连续性分：离散信源和连续信源从连续信源输出时间上的连续性分：连续信源和波形信源从离散信源的消息序列的长度来分：单符号信源和序列（扩展）信源从离散信源序列之间的有无相关性分：无记忆信源(DMS)和有记忆信源从离散有记忆信

8、源序列的相关程度分：平稳信源、M阶Markov信源、什么是平稳信源、什么是Markov链、齐次Markov链、平稳齐次Markov链、Markov信源？离散平稳信源：各维联合概率分布均与时间起点无关的完全平稳信源Markov链：马氏链是时间离散状态离散的随机过程，马氏链的当前状态只与前一个状态有关齐次Markov链：状态转移概率与时间点无关的Markov链平稳齐次Markov链：状态概率分布与时间点无关的Markov链Markov信源：1）信源状态由当前输出符号和前一时刻信源状态唯一确定。2）某一时刻信源符号的输出只与当前的信源状态有关，与以前的状态无关。M阶Markov信源：某一时刻信源符号

9、的输出只与此前的M个输出有关。举例说明M阶马氏源的处理方法和状态数目m阶马氏源是指其输出某一符号的概率只与此前的m个符号有关。马氏源可用马氏链来描述。若是一阶马尔可夫信源，一个符号对应一个状态，若是m阶马尔可夫信源，m个符号对应一个状态。设马氏源符号种类N种，则M阶马氏源状态数为Nm。3.3（DMS扩展及熵）说明DMS扩展方法如：二元信源X的符号集为 0,1 ，求信源的二次扩展模型即是求q2=4个样本的各自的概率分布熵值算式利用可加性H(XN)=N1.5bit/符号第6讲3.11（提示求1阶马氏源2次扩展的熵，求概率分布）先求P(X1X2)，再求H(X1X2)/2，H(0.3,0.7)=0.8

10、8，H(0.63,0.07,0.06,0.24)/2=0.714，3.13（提示平稳马氏源的熵，先求状态平稳分布）先求状态矢量=P及=1，得=15/43,12/43,16/43，H()=1.575，h=1.585,1.5,1.5，H(XN)=1.575+(N-1)1.53=1.53N+0.0453.16（提示求1阶马氏源3次扩展的熵，求概率分布，求极限利用遍历链定理3.26）答：由矩阵P(X2)=P(X1)P(X2/X1)，得各步状态分布，再根据下式求熵H(X1X2X3)=H(X1)+H(X2/X1)+H(X3/X1X2)=H(X1)+H(X2/X1)+H(X3/X2)=1.5+1.21+1.

11、26=3.97 bit；H(X2/X1)=P(X1)h=1/2,1/4,1/41.5,0.92,0.92T=1.21，H(X3/X2)=P(X2)h=7/12,5/24,5/241.5,0.92,0.92T=1.26。H3(X1X2X3)=1.32 bit/符号求状态矢量=P及=1，得=4/7,3/14,3/14H(X)=h=4/7,3/14,3/141.5,0.92,0.92T=1.25 bit/符号第7讲5.1差错率高（DF非唯一可译码）A、C、E为即时码，A/B/C/E是唯一可译码，根据克拉夫特不等式D/F非唯一可译码。A码的平均码长为3bit/符号，B、C码的平均码长17/8，E的平均

12、码长为2bit/符号（而F的平均码长为2bit/符号，D的平均码长为31/16bit/符号，都无意义）5.2（提示：列出可编码的N长信源序列样本及其概率）差错率高（组合码数量计算方法和码长）求组合数量：多个信源“正码”加1个“误码”，得码长log（1+C3+C2+C1+C0=1+161700+4950+100+1=166752）=17.35，取码长18。Pr=0.995970.0053C3+0.995980.0052C2+0.995990.0051C1+0.995100C0=0.01243+0.07572+0.30441+0.60577=0.99833，Pe=1-Pr=1.6710-35.4第

13、8讲5.7差错率高（码率单位，或方差大）a0、a1、a2、a3、a4、a5、a6和a7分别编3、3、3、3、3和2、4、4位，编码平均码长L=2.7码元/符号，码长方差=0.41，信源熵H(X)=2.62，编码效率97.0%，（编码码率R=Llogr=2.7bit/信源符号，信息传输速率R=H(X)/L=0.97bit/码符号）最佳码：异前缀，且平均码长和码长方差最小。5.9信源熵H(S)=2.61bit/符号，剩余度0.07二进制编码2,2,3,3,3,4,4位，平均码长=2.72位，编码效率=0.96三进制编码1,2,2,2,2,2,2位，平均码长=1.8位，编码效率=0.915利用自信息

14、方差计算得1.93104第9讲有二元二阶平稳马氏源，已知：p(0/00)=0.8, p(0/01)=0.5, p(0/10)=0.5, p(0/11)=0.2, p(1/11)=0.8, p(1/01)=0.5, p(1/10)=0.5, p(1/00)=0.2。用三个符号合成一个消息来构成一个信源，对该信源进行哈夫曼编码并求其平均码长（提示：先求平稳分布：P= ，再求 p(000)= p(00) p(0/00) 和进行编码）。，000111概率分别为2/7、1/14、1/14、1/14、1/14、1/14、1/14和2/7位，分别编2、3、3、4、4、4、4和2位，平均码长等于19/7=2.

15、76、某一页传真文件的一行像素分布如下: 85白-7黑-33白-728黑-875白。试确定该行的MH码和压缩比。85白=64+21110110010111（12位），7黑00011（5位）33白00010010（8位），728黑=704+24000000100101100000010111（24位）875白=832+4301101001000101100（17），EOL000000000001（12位）MH码长12+5+8+24+17+12=78位；压缩比1728：78=22：1。第10讲5.14P1101110011=77/810=0.000767，码长-log20.000767=10.35

16、，取11位。累积概率P1=0，P0=7/8，P110=P11+P0P11=343/512=0.66992P110111=P110，P1101110=P110+P0P110111=0.66992+117649/2097152=0.7260194P11011100=P1101110+P0P1101110=0.7260194+117649/16777216=0.7330318P1101110011=P11011100=0.7330318，0.7330318211=1501.2=5DDH得11位码10111011101。编码效率： =-log2P1101110011/11log22=10.35/11=

17、94%，注： 5.15LZ字典：b，c，ca，cb，cc，ccc，cccc，ccca，LZ编为：（0，b）（0，c）（2，a）（2，b）（2，c）（5，c）（6，c）（6，a）（6，a）。LZW字典：a，b，c，bc，cc，ca，ac，cb，bcc，ccc，cccc，ccccc，cca，acc。LZW编为：2，3，3，1，3，4，5，10，11，5，7，5，1。第11讲6.1Py= 1/3，2/3P= 5/12，7/12=0.98，H(Y|X) = 1/3，2/3h= H3/4，1/4=0.81I(x=0;y=1)=logp(y=1/x=0)/p(y=1)=log(1/4)/(7/12)=lo

18、g3/7= -1.22I(x=1;Y)=p(0/1) I(x=1;y=0)+ p(1/1) I(x=1;y=1)= 1/4log3/5+3/4log9/7=0.088I(X;Y)=H(Y)-H(Y|X) =H 5/12，7/12 - H3/4，1/4=0.17I(X;Y)=H(3/4p0+1/4p1,1/4p0+3/4p1)-(p0+p1)H3/4，1/4，所以C=H(3/4p0+1/4p1,1/4p0+3/4p1)MAX-H3/4，1/4=1-H3/4，1/4=0.19取p1=p0=0.56.2是准对称信道，H(Y)=H(1/3,1/3,1/3)=log3，C=I(X;Y)=H(Y)-H(Y

19、|X)=2/36.13，非对称或准对称矩阵，它是可逆矩阵。得: ，C=log3/2，输出概率Py=(1/6,2/3,1/6)，输入概率Px=PyP-1=(2/9,5/9,2/9)第12讲1，分别说明什么是“级联信道”和“输入并联信道”，它们的容量会增加还是减小，极限值会是多少？“级联信道”容量减小最低到0，“输入并联信道”容量增加最高到H(X)。2，6.7和信道，信道容量和输入概率分布如下：C=log（20+2(log2+)）=log（1+）p1=1/（1+），P2=P3=/(1+)3，计算以下两个信道矩阵代表的信道的容量和概率分布：解：1、和信道信道，C1=log3,C2=0,C=log（3

20、+20)=2，输入概率分布1/4,1/4，1/4，1/8,1/8输出分布1/8,1/8,1/4,1/12,1/12,1/12,1/8,1/82、C是无损信道，C=log3输入概率分布1/3,1/3，1/3输出分布1/30,1/15,1/10,2/15,1/10,7/30,2/15,1/15,1/30,1/10第13讲3，离散信道时间和幅值( 离散 )，也称( 数字 )信道。波形信道时间和幅值( 连续 )，也称( 模拟 )信道。时间( 离散 )而幅值( 连续 )称为( 连续 )信道4，8.11C=Blog（1+PS/BN0)，B=3.1kHz，S/N=1000，C=30.9kbit/SC=Blo

21、g（1+PS/BN0)，C=1.44S/N0=1.44Mbit/SC=Blog（1+PS/BN0)=36Mbit/Slog（1+500/36）=140.3Mbit/S5，8.12C=Blog（1+PS/BN0)，C=1.44S/N0=144Mbit/SC=Blog（1+PS/BN0)，B=3kHz，S/N=108/3K=33333，C=45kbit/S，R/B=24kbit/3kHz=8bit/Hz，由C/B=8=log（1+S/N），S/N=255=24dB，S/ N0=31.875/HzC=100Klog（1+PS/BN0)=45kbit/S，得S/N=0.37=-4.3dB（信号功率为S

22、=0.3710-8100k=0.37mW），下降24-（-4.3）=28.3dB。6，8.13C=Blog（1+PS/BN0)=3kHzlog（1+100）=19.9kbit/S19.9kbit/S=Blog（1+3.16）=B2.06，B=9.66kHz8.14B=P1+10-83106+P2+0.510-62106/5106 =(10+1.03) /5106=2.20610-6C=3106log2.20610-6/10-8+2106log2.20610-6/5010-8=27.639 Mbit/s第14讲7.2(1)、log4/10ms=200bit/s(2)、H(0.2,0.25,0.2

23、5,0.3)/10ms=198.6bit/s7.4（1）比较，建PX|Y（2）同上7.5同上题方法7.6（1）（4）（2）对称信道C公式C=logm-H(X|y)对称信道C=log5-H(1/2,1/2)=1.32 bit（3）利用信道编码定理因为1/2log5=1.16bitC=1.32 bit，所以可以找到差错率为0的编码。5、什么是最佳译码准则？什么是最大后验概率准则、最大联合概率准则与最大似然准则？它们是否都是最佳译码准则？最大后验概率准则与最大似然准则有何不同？答：最佳译码准则：平均错误概率最小的译码。 收到yj(j=1,2,m)后，取i(i=1,2,n)的后验概率取最大的p(x*/

24、yj)p(xi/yj) (对一切的i) 的那个发送样本x*作为yj的译码结果，这种译码准则称为“最大后验概率准则”。收到yj(j=1,2,m)后，取i(i=1,2,n)的联合概率取最大的p(x*,yj)p(xi,yj) (对一切的i) 的那个发送样本x*作为yj的译码结果，这种译码准则称为“最大联合概率准则”。由于p(x*/yj) p(yj)= p(x*,yj)， “最大后验概率准则” 等价于“最大联合概率准则”。它们都是最佳译码准则。取p(yj/x*)是n个信道转移概率p(yj/x1),p(yj/x2),p(yj/xn)中的最大者的那个发送样本x*作为yj的译码结果，这种译码方法称为“最大似

25、然译码准则”。它不是最佳译码准则，但在输入信源等概分布时就是最佳译码准则，这时与“最大后验概率准则”及“最大联合概率准则”等价。6、有一个二元对称信道，设该信道以1000二元符号/秒的速率传送消息，错误率为p=0.01。现有一条0、1独立等概、长度为5000二元符号消息序列通过信道传输；问信道能否在10秒内将消息序列无差错传输？解：信道容量C=log2-H(p,1-p)=1-H(0.01)=0.92；信道最大速率920bit/s;信源速率R=H(1/2)5000/10=500bit/s920bit/s ；能实现无差错传输。第15讲1、什么是（7,3）线性分组码，什么是它的校验矩阵，求生成矩阵（

26、7,3）线性分组码：信息位3位，监督位4位，监督位通过信息位的线性代数运算产生。由生成多项式得校验矩阵H。2、什么是循环码和CRC码？循环码首先是一种线性分组码(n,k)，即任意两个字模2加仍为许用码组。在循环码中，所有的码多项式c(x) 都能够被g(x)整除。若c(x)是长度为n的循环码中的一个码多项式，则xc(x)按照模xn+1运算的余式必为左移1位的另一循环码多项式。CRC在(n,k,dmin)循环码的基础上，对前面i位连续为0的信码去掉这些0，得缩短码(n-i,k-i,dmin)，其校验长度n-k不变，编译码算法不变，适应了工程中码长可变，纠错能力不变的要求。3、 什么是汉明距离？它与

27、分组码的检错纠错能力有何关系？什么是最小汉明距离准则？它与最大似然准则有何关系？两个等长码字之间，如果有d个相对应的码元不同，则称d为这两个码字的汉明距离。分组码能够检测出tddmin-1个错误；只用于纠错，能纠正tc(dmin-1)/2 个错误；用于既纠tc个错，又检td个错： tc+tddmin-1，且须满足： tc(dmin-1)/2。 最小汉明距离准则译码，即计算所有可能的发送x与接收y之间的汉明距离，取最小汉明距离的x作为y的译码输出。对于二元对称信道(设差错率P1/2)，采用最大似然译码准则译码，由于输入n个码，输出d个错码的转移概率为(1-P)n-dPd ，看出错码数目小的输出概

28、率大。所以，最大似然准则等价于最小汉明距离准则第16讲1、试分别说明分组码（n,k）和卷积码（n,k,m）中各符号的含义?分组码（n,k）：示当前输入k个信息，当前输出n个信息，其中n-k个监督位。卷积码表示法(n,k,m)：表示当前输入k个信息，当前输出n个信息，n不仅与当前时刻的k个输入有关，还与此前连续m个时刻的输入信息有关。如(2,1,2)：输入1位，输出2位，输出与此前2个时刻有关。2、写出Viterbi译码的步骤？ Viterbi译码有何应用？Viterbi译码的步骤：1）在网格图上标出接收序列与编码器输出的汉明距离。2）存在多条起始某个状态又终止于某个相同状态的路径，计算每一条路

29、径的总的汉明距离。3）选择一条总距离最短的路径为发送序列。Viterbi译码应用：它是一种最佳译码的算法，多用于卷积码译码；它是一种跟踪离散马可夫过程的算法，适用于干扰信道上作最佳解调。3、某（2, 1, 2）卷积码编码器的网格图如下（00(1)01(1)11 (0)10(1)01是状态转移例），接收序列为V=（11，01，01，01，10，11，00），试判定发送序列。解： 红线为接收输出序列（1,1,0,1,0,0,0），该路径（发送序列应为11，01，01，00，10，11，00）除第四段汉明距离为“1”外，各段距离为零，总汉明距离为“1”，其余路径距离均大于2。第17讲1、 什么是BC

30、H码和RS码，它们与循环码有何异同BCH码和RS码是特殊的循环码，它们的生成多项式和纠错能力特别。RS码特别适宜纠突发性错码2、 什么是TCM编码器？它有何优点？TCM译码器的原理是什么？TCM编码器是将编码和调制作为一个整体的最佳设计（可使发送的信号序列之间的几何(欧氏)距离与汉明距离达到最佳匹配）。TCM译码器的原理是，在网格图上标出可能路径上接收序列各符号(接收CY)与编码器输出(接收CX)的欧几里德距离=d(CY , Cx)，然后选择一条总距离最短的路径为发送序列。第18讲9.3（暂不计算R(D) ，但要列出DMIN和DMAX对应的试验信道）选择题以下哪些编码是保熵的？1）无失真信源编码2）限失真编码答：无失真信源编码以下哪些编码是降低误码率的？1）有燥信道编码2）限失真编码答：有燥信道编码给定信源和失真度d，平均失真度D大时R(D)将会？1）变大2）变小答：变小第19讲9.4（提示：利用费诺不等式）某二元信源其失真矩阵为求这信源的Dmax和Dmin和