信息论试题6文档格式.docx
《信息论试题6文档格式.docx》由会员分享,可在线阅读,更多相关《信息论试题6文档格式.docx(11页珍藏版)》请在冰豆网上搜索。
![信息论试题6文档格式.docx](https://file1.bdocx.com/fileroot1/2022-11/28/e6cbe13e-7849-443f-8d02-e205ff0767e6/e6cbe13e-7849-443f-8d02-e205ff0767e61.gif)
4、在下面空格中选择填入数学符号“,,,”或
(2)HXYHYHX|YHYHX
x1x2x3x4
9、有一信源X,其概率分布为
,若对该信源进行100次扩展,
2488
则每扩展符号的平均信息量是
11、当时,信源熵为最大值。
8进制信源的最大熵
二、判断题(正确打"
,错误打X)(共5分,每小题1分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
()
2)即时码可以在一个码字后面添上一些码元构成另一个码
字。
()
3)连续信源的熵可正、可负、可为
零,()
4)平均互信息始终是非负
的。
5)信道容量C只与信道的统计特性有关,而与输入信源的概率分布无关。
三、(10分)计算机终端发出A、B、CDE五种符号,出现概率分别为1/16,1/16,
1/8,1/4,1/2。
通过一条带宽为18kHz的信道传输数据,假设信道输出信噪比为2047,
试计算:
1)香农信道容量;
2)无误码传输的最高符号速率。
四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1和a2之间。
此信源连至信道,信道接收端接收脉冲的幅度y处在b1和b2之间。
已知随机变量X和Y
的联合概率密度函数
P(xy)-
®
印)血bj
试计算h(X),h(Y),h(XY)和I(X;
Y)
五、(10分)设某信道的传递矩阵为
0.80.10.1P
0.10.10.8
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
六、(10分)设随机变量X和Y的联合概率分布如下所示:
(X;
Y)
七、(20分)一个离散无记忆信源
Xx1x2
P(x)1/161/16
x3x4x5x6
1/161/161/41/2
1)求H(X)和冗余度;
(4分)
2)编成Fano码,计算编码效率;
(8分)
3)编成Huffman码,计算编码效率。
(8分)
八、(10分)设一个离散无记忆信源的概率空间为
X
P(x)
x2
0.20.8
,它们通过干扰
0.90.1
。
信道输出符号集为Y
0.30.7
(1)信源X的信息熵;
(2分)
(2)收到信息y2后,获得的关于捲的信息量;
(3)共熵H(XY);
(2分)
(4)信道疑义度H(X|Y);
(2分)
(5)收到消息丫后获得的关于信源X的平均信息量。
九、(10分)有一个二元马尔可夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。
试计算
(1)达到稳定后状态的极限概率。
(2)该马尔可夫信源的极限熵H
《信息论基础》试卷答案
1,当(R=C或信道剩余度为0)时,信源与信道达到匹配。
2,若高斯白噪声的平均功率为6W则噪声熵为(1/21og12e=3。
337bit/自由度)
如果一个平均功率为9W的连续信源的熵等于该噪声熵,则该连续信源的熵功率为
(6W)
3,信源符号的相关程度越大,信源的符号熵越(小),信源的剩余度越(大)
4,离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。
根据信源符号的统计特性,对概率(大)的符号用短码,对概率(小)的符号用长码,从而减少平均码长,提高编码效率。
H(S)/logr或FR(S)),
8,香农第一编码定理指出平均码长的理论极限值为(信源熵此时编码效率为
(1)
9,在下面空格中选择填入数学符号“=,<
>
,”
H2(X)=H(X1X2)/2_旦3(x)=H(X1%Xb)/3
H(XY)=H(Y)+H(X/Y)H(Y)+H(X)
x1x2x3X4
10,有一信源X,其概率分布为
1/21/41/81/8,若对该信源进行100次扩展,
其每扩展符号的平均信息量是(175bit/扩展符号)
11当(概率为独立等概)时,信源熵为最大值,8进制信源的最大熵为(3bit/符号)
二、判断题(本大题共5小题,每小题1分,共5分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大()
2)即时码可以在一个码字后面添上一些码元构成另一个码字()
3)连续信源的熵可正可负可零()
4)平均互信息始终是非负的()
5)信道容量C只与信道的统计特性有关,而与输入信源概率分布无关()
三、(10分)计算机终端发出五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2.通
过一条带宽为18KHZ的信道传输数据,假设信道输出信噪比为2047,试计算:
1)香农信道容量;
2)无误码传输的最高符号速率。
S
(1)CtBlog2118log22048198kbit/s
N
Ct
⑵Rb
max
Hx
11111
15
H
—
16'
16‘8'
4'
2
8
198k
5
Rb
1.056
10Baud
158
四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x处在a1,a2之间。
此信源连至信道,信道接收端接收脉冲的幅度y处在b1,b2之间。
已知随机变量x和y
的联合概率密度函数p(x,y)1/(a2a1)(b2b1)
试计算h(x),h(y)h(xy)和I(x;
y)
a2
1
由p(x,y)得p(x)
ax
a2a1
0,其他
b2xb2
pyb2b1
可见,p(xy)p(x)p(y),x和y相互独立,且均服从均匀分布,
h(x)Iog(a2ajbit/自由度
h(y)log(b2bi)bit/自由度
h(xy)h(x)h(y)log(a2aj(b2bj
I(x,y)0
五、(10分)设某信道的传递矩阵为
0.80.10.1
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布,该信道为准对称信道,
(1)两个对称信道矩阵为
0.80.10.80.1知0.1
和
0.10.80.10.80.1
2=+=,N2=;
M仁,M2=
•••CIog2H(0.8,0.1,0.1)0.9log0.90.1log0.20.447bit/符号
最佳输入概率分布为输入等概率,即p(x1)p(x2)=1/2
六、(10分)设随机变量x和y的联合概率分布如下所示:
b1=0
b2=1
a1=0
1/3
a2=1
已知随机变量z=xy,计算H(X),H(Z),H(XY),H(X/Z),1(x;
y)
1)H(x)=H(1/3,1A3)=符号
2)
z
pz
2/3
H(z)=H(2/3,1/3)=符号
每对符号
H(xy)=H(1/3,1/3,0,1/3)=bit/
4)
xz
P(xz)
00
01
10
11
H(xz)=H(2/3,1/3)bit/每对符号
H(x|z)=H(xz)-H(z)=0
l(x,y)=H(x)+H(y)-H(xy)
七(20)一个离散无记忆信源
p(x)1/161/161/161/161/4
1)求H(x)和冗余度;
3)编成Huffman码,计算编码效率。
1)H(x)=H(1/16,1/16,1/16,1/16,1/4,1/2)=2bit
H(x)
v122.6%
log6
100%
0901
干扰信道,信道矩阵为P0。
信道输出符号集Yy1y2,试计算:
(1)信源X的信息熵;
(2)收到信息y2后,获得关于x1的信息量;
(3)共熵H(XY);
(2分)
(4)信道疑义度H(X|Y);
(2分)
(5)收到消息Y后获得的关于信源X的平均信息量。
P(xy)
y1
y2
x1
(1)H(x)=H,=符号
(2)l(x1;
y2)=l(x1)-l(x1|y2)=log1/,58/=符号
(3)H(xy)=H,,,=每对符号
(4)H(x|y)=H(xy)-H(y)=(y)
H(y)=H,=
H(x|y)=符号
(5)l(X:
Y)=H(x)+H(y)-H(xy)
=H(x)-H(x|y)
=符号
九(10分)有一个二元马尔科夫信源,其状态转移概率如图所示,括号中的数表
示转移时发出的符号。
(1)
达到稳定后状态的极限概率
(2)
该马尔科夫信源的极限熵
H。
—*
0.5
(1)
0.5(0)
s0
s1*
J
S2
s1
s2
0.5
(1)p
P(sO)=(s1)
(p(s0)+p(s1)+p(s2))=p(s1)
(p(s0)+p(s2))=p(s2)
P(s0)+p(s1)+p(s2)=1
得p(s0)=;
P(s1)=;
P(s2)=;
H=1/4H,+1/2H,+1/4H,
1/4+1/2+1/4=1bit/符号