信息论基础1答案.docx

1、信息论基础1答案信息论基础1答案信息论基础答案一、填空题(本大题共10小空，每小空1分， 共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记 忆信源和无记忆信源两大类。2. XiX2 X3一个八进制信源的最大熵为 3bit/符号3.有一信源X，其概率分布为：其信源剩余度为94.64%：若对该信源进行十次 扩展，则每十个符号的平均信息量是 15bit。4. 若一连续消息通过放大器，该放大器输 出的最大瞬间电压为b,最小瞬时电压为a。 若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是 log (b-a )bit/自由度：若放大器的最高

2、频率为 F,则单位时间内输出的最大信息量是 2Flog (b-a )bit/s.5. 若某一 信源X,其平均功率受限为16w,其概率密度函数是高斯分布时，差熵的 最大值为2log32 e ；与其熵相等的非高斯分布信 源的功率为16w6、 信源编码的主要目的是提高有效性，信道 编码的主要目的是提高可靠性。7、 无失真信源编码的平均码长最小理论极限 制为信源熵(或 H(S)/logr= H _(S)。&当R=C或(信道剩余度为0)时，信源与信 道达到匹配。9、 根据是否允许失真，信源编码可分为无 真信源编码和限失真信源编码。10、 在下面空格中选择填入数学符号“， ” 或“”(1)当X和Y相互独立

3、时，H ( XY) =H(X)+H(X/Y)。(2 )假设信道输入用X表示，信道输出用 Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X)=0,l(X;Y)HX)。二、掷两粒骰子，各面出现的概率都是 1/6 ,计算信息量：1. 当点数和为3时，该消息包含的信息量是 多少？2. 当点数和为7是，该消息包含的信息量是 多少？3. 两个点数中没有一个是 1的自信息是多 少？解:1.P (“点数和为 3” =P( 1,2)+ P( 1,2) =1/36+1/36=1/18则该消息包含的信息量是：l=-logP (“点 数和为 3”)=log18=4.17bit2. P (“点数和为 7” =

4、P( 1,6)+ P(6,1)+ P (5,2)+ P (2,5)+ P (3,4)+ P (4,3) =1/36 6=1/6则该消息包含的信息量是：l=-logP (“点数和为 7”)=log6=2.585bit3. P (“两个点数没有一个是1” =1-P“两个点数中至少有一个是1 ”=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是： l=-logP (“两个点数中没有一个是1” )=log25/36=0.53bit试计算:三、设X、丫是两个相互统计独立的二元随机 变量，其取-1或1的概率相等。定义另一个二 元随机变量乙取Z=Y

5、X（ 般乘积）。1. (丫)、H (Z);(XY、H (YZ；(X;Y)、I (Y;Z);H2.H1.3.I解P (yi) logP (yi) 丄 log1 - log - =1bit/i - 2 2 2 2qZ=YX而且X和丫相互独立P(乙=1) =P(Y=1) P(X 1) P(Y 1) P(X 1)1 c 1 c 12 2 2 2 22 故 H(Z)= P(zjlog P(zJ=1bit/ 符号i 12. 从上式可以看出：丫与X的联合概率分 布为：P(Y ,Z) Y=1 Y=-1Z=1 0.25 0.25Z=-1 0.25 0.25H(YZ)=H(X)+H(Y)=1+1= 2bit/ 符

6、号3. Q X与 Y相互独立，故H(X| Y)=H(X)=1bit/ 符号I (X;Y) =H(X)-H(X|Y)=1-仁Obit/ 符号l(Y ;Z)=H( Y)-H( Y|Z)=H( Y)-H( YZ)-H(Z)=0 bit/符号四、如图所示为一个三状态马尔科夫信源 的转移概率矩阵1. 绘制状态转移图;2. 求该马尔科夫信源的稳态分布;3. 求极限熵;解：1.状态转移图如右图个状态的稳态概率为:1 1 1P(E1)7P(E2)7p(Es)IP(EJ 尹(EJ 2p(E2)4p(E3)1 1P(E2) P(E2)-p(E3)1 1P(E3)2卩(巳)4P(E3)P(E1)P(E2)P(E3)

7、13.其极限熵:3 嗚EhQ切3 112=-P( E)H(X|E) = 7 H(-+?1 + 2 1 + 2 1.5= 8 bit/ 符号7 7 7五、在干扰离散对称信道上传输符号1和0,已知 P (0) =1/4,P(1)=3/4, 试求:0.1. 该信道的转移概率矩阵P2信道疑义度H （X|Y）3. 该信道的信道容量以及其输入概率分布 解：1该转移概率矩阵为p_ 0.90.10.10.92. 根据 P（ XY _p（ Y|X） P（ X），可得联合概率P（ XY）YYX 09/401/40X 13/4027/40P(Y=i)12/4028/40由 P (X|Y) =P(X|Y)/P(Y)可

8、得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X| Y)=-P(xiyj)log P(xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符号i，j3. 该信道是对称信道，其容量为：C=logs-H=log2-H ( 0.9,0.1 )=1-0.469=0.531bit/ 符号六、某信道的转移矩阵P0.6 0.3 0.1 00.3 0.6 0 0.1这时，输入符号服从等概率分布，即试求：该信道的信道容量及其最佳输 入概率分布。解：该信道是准对称信道，分解为两 个互不相交的子信道矩阵0.60.30.30.60.100 0.1NM,0.90.9N2

9、0.1M2 0.1C=logr-H（P的行矢量）Nk log Mkk 11 H(0.6, 0.3, 0.1) 0.9 log0.9-0.1 log 0.1=0.174bit/ 符号这时，输入端符号服从等概率分布，即P(X)七、信源符号X有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04 。用赫夫曼编码法编成二进制变长码，写出编码过程并计 算其平均码长、编码后的信息传输率和编码效解:码011101 0. oq01 0. 0 110.亠0.1该信源在编码之前的信源熵为：6h(s) p(xjiog( X)=0.526+0.481+0.445+0.i 1423+0.292+0

10、.186=2.353bit/ 符号编码后的平均码长：L (0.32 0.22 0.18) 2 0.16 3 (0.08 0.04) 4=2.4码元/ 信源符号编码后的信息传输率为：R H(S) 2353 0.98bit/ 码元L 2.4编码效率为： -(S) 0.98Rmax L log r八、设在平均功率受限的高斯可加波形信道 中，信道带宽为3KHz又设信噪比为101. 试计算该信道传达的最大信息率(单位 时间)；2. 若功率信噪比降为5dB,要达到相同的 最大信息传输率，信道带宽是多少？解 :1. QSNR 10dB SNR 10故：该信道传送的最大信息速率为：Ct=Wlog( 1+SNR =3 103 log( 11)=1.04 104bit/s2.若 SNR=5dB贝V SNR=10=3.162,在相同Ct情况下1.04 104=Wlog (1+SNR =Wlog4.162 W=5.04 103Hz