信息论基础1答案.docx
《信息论基础1答案.docx》由会员分享,可在线阅读,更多相关《信息论基础1答案.docx(8页珍藏版)》请在冰豆网上搜索。
信息论基础1答案
信息论基础1答案
《信息论基础》答案
一、填空题(本大题共10小空,每小空1分,共20分)
1.按信源发出符号所对应的随机变量之
间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。
2.
Xi
X2X3
一个八进制信源的最大熵为3bit/符号
3.有一信源X,其概率分布为:
其信源剩余度为94.64%:
若对该信源进行十次扩展,则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。
若消息从放大器中输出,则该信源的绝对熵是_:
其能在每个自由度熵的最大熵是log(b-a)
bit/自由度:
若放大器的最高频率为F,则单
位时间内输出的最大信息量是2Flog(b-a)
bit/s.
5.若某一信源X,其平均功率受限为
16w,其概率密度函数是高斯分布时,差熵的最大值为2log32e;与其熵相等的非高斯分布信源的功率为16w
6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr=H_「(S))。
&当R=C或(信道剩余度为0)时,信源与信道达到匹配。
9、根据是否允许失真,信源编码可分为无—真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,‘‘”或“”
(1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。
(2)假设信道输入用X表示,信道输出用Y表示。
在无噪有损信道中,H(X/Y)>0,H(Y/X)=0,l(X;Y)二、掷两粒骰子,各面出现的概率都是1/6,
计算信息量:
1.当点数和为3时,该消息包含的信息量是多少?
2.当点数和为7是,该消息包含的信息量是多少?
3.两个点数中没有一个是1的自信息是多少?
解:
1.P(“点数和为3”=P(1,2)+P(1,2)=1/36+1/36=1/18
则该消息包含的信息量是:
l=-logP(“点数和为3”)=log18=4.17bit
2.P(“点数和为7”=P(1,6)+P(6,1)
+P(5,2)+P(2,5)+P(3,4)+P(4,3)=1/366=1/6
则该消息包含的信息量是:
l=-logP(“点
数和为7”)=log6=2.585bit
3.P(“两个点数没有一个是1”=1-P
“两个点数中至少有一个是1”
=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=
25/36
则该消息包含的信息量是:
l=-logP(“两个点数中没有一个是1”)
=log25/36=0.53bit
试计算:
三、设X、丫是两个相互统计独立的二元随机变量,其取-1或1的概率相等。
定义另一个二元随机变量乙取Z=YX(—般乘积)。
1.
(丫)、H(Z);
(XY、H(YZ;
(X;Y)、I(Y;Z);
H
2.H
1.
3.I
解
P(yi)logP(yi)丄log1-log-=1bit/
i-2222
qZ=YX而且X和丫相互独立
P(乙=1)=P(Y=1)P(X1)P(Y1)P(X1)
1c1c1
—2—2—
222
2
故H(Z)=P(zjlogP(zJ=1bit/符号
i1
2.从上式可以看出:
丫与X的联合概率分布为:
P(Y,Z)Y=1Y=-1
Z=10.250.25
Z=-10.250.25
H(YZ)=H(X)+H(Y)=1+1=2bit/符号
3.QX与Y相互独立,故
H(X|Y)=H(X)=1bit/符号
I(X;Y)=H(X)-H(X|Y)=1-仁Obit/符
号
l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
1.绘制状态转移图;
2.求该马尔科夫信源的稳态分布;
3.求极限熵;
解:
1.状态转移图如右图
个状态的稳态概率为:
111
P(E1)7
P(E2)7
p(Es)I
P(EJ尹(EJ2p(E2)4p(E3)
11
P(E2)^P(E2)-p(E3)
11
P(E3)2卩(巳)4P(E3)
P(E1)P(E2)P(E3)1
3.其极限熵:
3
嗚EhQ切
3112
=-P(E)H(X|E)=7H(-+?
1+21+21.5=8bit/符号
777
五、在干扰离散对称信道上传输符号1和
0,已知P(0)=1/4,P
(1)=3/4,试求:
0.
1.该信道的转移概率矩阵P
2•信道疑义度H(X|Y)
3.该信道的信道容量以及其输入概率分布解:
1•该转移概率矩阵为
p_0.90.1
0.10.9
2.根据P(XY_p(Y|X)P(X),可
得联合概率
P(XY)
Y
Y
X0
9/40
1/40
X1
3/40
27/40
P(Y=i)
12/40
28/40
由P(X|Y)=P(X|Y)/P(Y)可得
P(X|Y)
Y=0
Y=1
X=0
3/4
1/28
X=1
1/4
27/28
H(X|Y)=-
P(xiyj)logP(xi|yj)=0.09+0.12+0.15+0.035=0.4bit/符号
i,j
3.该信道是对称信道,其容量为:
C=logs-H=log2-H(0.9,0.1)
=1-0.469=0.531bit/符号
六、某信道的转移矩阵P
0.60.30.10
0.30.600.1
这时,输入符号服从等概率分布,即
试求:
该信道的信道容量及其最佳输入概率分布。
解:
该信道是准对称信道,分解为两个互不相交的子信道矩阵
0.60.3
0.30.6
0.10
00.1
N
M,
0.9
0.9
N20.1
M20.1
C=logr-H(P的行矢量)
NklogMk
k1
1H(0.6,0.3,0.1)0.9log0.9-0.1log0.1
=0.174bit/符号
这时,输入端符号服从等概率分布,即
P(X)
七、信源符号X有六种字母,概率为
0.32,0.22,0.18,0.16,0.08,0.04。
用赫夫曼
编码法编成二进制变长码,写出编码过程并计算其平均码长、编码后的信息传输率和编码效
解:
码
0
1
11
010.oq
010.0—1
°1」0.亠0.
1
该信源在编码之前的信源熵为:
6
h(s)p(xjiog(X)=0.526+0.481+0.445+0.
i1
423+0.292+0.186
=2.353bit/符号
编码后的平均码长:
L(0.320.220.18)20.163(0.080.04)4=2.4码元/信源符号
编码后的信息传输率为:
RH(S)23530.98bit/码元
L2.4
编码效率为:
—-(S)0.98
RmaxLlogr
八、设在平均功率受限的高斯可加波形信道中,信道带宽为3KHz又设信噪比为10
1.试计算该信道传达的最大信息率(单位时间);
2.若功率信噪比降为5dB,要达到相同的最大信息传输率,信道带宽是多少?
解:
1.QSNR10dBSNR10
故:
该信道传送的最大信息速率为:
Ct=Wlog(1+SNR=3103log(11)
=1.04104bit/s
2.若SNR=5dB贝VSNR=10=3.162,在相同
Ct情况下
1.04104=Wlog(1+SNR=Wlog4.162W=5.04103Hz