信息论试题Word格式.docx
《信息论试题Word格式.docx》由会员分享，可在线阅读，更多相关《信息论试题Word格式.docx（10页珍藏版）》请在冰豆网上搜索。
用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为，
此时编码效率为。
4、在下面空格中选择填入数学符号“，，，”或“”
（2）HXYHYHX|YHYHX
X!
x2x3x4
9、有一信源X,其概率分布为
1111，若对该信源进行100次扩展,
2488
则每扩展符号的平均信息量是
11、当时，信源熵为最大值。
8进制信源的最大熵
、判断题（正确打"
，错误打X）（共5分，每小题1分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）
2）即时码可以在一个码字后面添上一些码元构成另一个码
字。
（）
3）连续信源的熵可正、可负、可为
零,
4）平均互信息始终是非负
的。
5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。
三、（10分）计算机终端发出A、B、CDE五种符号，出现概率分别为1/16,1/16,
1/8,1/4,1/2。
通过一条带宽为18kHz的信道传输数据，假设信道输出信噪比为2047,
试计算：
1）香农信道容量；
2）无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a1和a2之间。
此信源连至信道，信道接收端接收脉冲的幅度y处在b1和b2之间。
已知随机变量X和Y
的联合概率密度函数
1
p（xy）
@2印）血bj
试计算h（X）,h（Y）,h（XY）和I（X;
Y）
五、（10分）设某信道的传递矩阵为
0.80.10.1P
0.10.10.8
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
六、（10分）设随机变量X和Y的联合概率分布如下所示:
（X;
Y）
七、（20分）一个离散无记忆信源
P（x）
1/161/16
1/161/161/41/2
1）求H（X）和冗余度；
（4分）
2）编成Fano码，计算编码效率；
（8分）
3）编成Huffman码，计算编码效率。
（8分）
八、（10分）设一个离散无记忆信源的概率空间为
X
x2
0.20.8
，它们通过干扰
0.90.1
信道，信道矩阵为P。
信道输出符号集为Yy1,y2，试计算：
0.30.712
（1）信源X的信息熵；
（2分）
（2）收到信息y2后，获得的关于捲的信息量；
3）共熵H（XY）；
（4）信道疑义度H（X|Y）;
（2分）
（5）收到消息丫后获得的关于信源X的平均信息量。
九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。
试计算
（1）达到稳定后状态的极限概率。
（2）该马尔可夫信源的极限熵H
《信息论基础》试卷答案
1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。
2，若高斯白噪声的平均功率为6W则噪声熵为（1/21og12e=3。
337bit/自由度）
如果一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为
（6W
3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大）
4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提咼编码效率。
8，香农第一编码定理指出平均码长的理论极限值为（信源熵H（S）/logr或FR（S））,
此时编码效率为
（1）
9，在下面空格中选择填入数学符号“=,<
>
，”
H2（X）=H（XiX2）/2H3（x）=H（XiXX3）/3
H（XY）=H（Y）+H（X/Y）H（Y）+H（X）
XXiX2X3X4
10,有一信源x,其概率分布为p1/21/41/81/8，若对该信源进行100次扩展，
其每扩展符号的平均信息量是（175bit/扩展符号）
11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号）
二、判断题（本大题共5小题，每小题1分，共5分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（）
2）即时码可以在一个码字后面添上一些码元构成另一个码字（）
3）连续信源的熵可正可负可零（）
4）平均互信息始终是非负的（）
5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（）
三、（10分）计算机终端发出五种符号，出现概率分别为1/16，1/16，1/8,1/4,12通
过一条带宽为18KHZ的信道传输数据，假设信道输出信噪比为2047，试计算：
1）香农信道容量；
2）无误码传输的最高符号速率。
S
（1）CtBlog2118log22048198kbit/s
N
⑵Rb
max
Ct
Hx,
11
111
15
Hx
H
16,16
8,4,2
8
198k
5
Rb
1.056
10Baud
158
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a1,a2之间。
此信源连至信道，信道接收端接收脉冲的幅度y处在b1,b2之间。
已知随机变量x和y
的联合概率密度函数p（x,y）1/（a2a1）（b2b1）
试计算h（x），h（y）h（xy）和l（x;
y）
由p（x,y）得p（x）
ax82
a23i
0,其他
b,xb,
pyb2bi
可见，p（xy）p（x）p（y）,x和y相互独立，且均服从均匀分布，
h（x）log（a,ajbit/自由度
h（y）log（b,b）bit/自由度
h（xy）h（x）h（y）log（a,3）4bj
I（x,y）0
五、（10分）设某信道的传递矩阵为
0.80.10.1p
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信
道，
（1）两个对称信道矩阵为
0.8叩0.80」和0.1
0.10.80.10.80.1
2=+=,N2=;
M仁,M2=
•••Clog2H（0.8,0.1,0.1）0.9log0.90.1log0.20.447bit/符号
2）
z
pz
2/3
1/3
H（z）=H（2/3,1/3）=符号
4）
xz
P（xz）
00
01
10
11
H（xz）=H（2/3,1/3）bit/每对符号
H（x|z）=H（xz）-H（z）=O
5）
I（x,y）=H（x）+H（y）-H（xy）
=符号
七（20）一个离散无记忆信源
1）求H（x）和冗余度；
3）编成Huffman码，计算编码效率。
1）H（x）=H（1/16,1/16,1/16，1/16,1/4,1/2）=2bit
H（x）
v122.6%
log6
100%
（2）收到信息y2后，获得关于x1的信息量；
（3）共熵H（XY）;
（2分）
（4）信道疑义度H（X|Y）;
（2分）
（5）收到消息Y后获得的关于信源X的平均信息量。
P（xy）
y1
y2
x1
（1）H（x）=H,=符号
（2）l（x1;
y2）=l（x1）-l（x1|y2）=log1/,58/=
（3）H（xy）=H,,,=每对符号
（4）H（x|y）=H（xy）-H（y）=（y）
H（y）=H,=
H（x|y）=符号
（5）I（X:
Y）=H（x）+H（y）-H（xy）=H（x）-H（x|y）
=符号
其状态转移概率如图所示，括号中的数表
九（10分）有一个二元马尔科夫信源,
示转移时发出的符号。
（1）达到稳定后状态的极限概率
（2）该马尔科夫信源的极限熵H
■—■
0.5
（1）
s0
'
si,
0.5（0）
s2
）
s1
0.5
（1）p
P（sO）=（s1）（p（s0）+p（s1）+p（s2））=p（s1）（p（s0）+p（s2））=p（s2）P（s0）+p（s1）+p（s2）=1
得p（s0）=;
P（s1）=；
P（s2）=;
⑵
H=1/4H,+1/2H,+1/4H,
1/4+1/2+1/4=1bit/符号
升级会员 