问题详解信息论与编码练习文档格式.docx
《问题详解信息论与编码练习文档格式.docx》由会员分享，可在线阅读，更多相关《问题详解信息论与编码练习文档格式.docx（11页珍藏版）》请在冰豆网上搜索。
Rt≈1.288×
104比特
可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：
试求这两个信道的信道容量，并问这两个信道是否有噪声？
3、已知随即变量X和Y的联合分布如下所示：
1
1/8
3/8
试计算：
H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；
Y）
解：
（1）
（2）
（3）H（X/Y）=H（XY）--H（Y）=1.811-1=0.811
（4）H（Y/X）=H（XY）--H（X）=1.811-1=0.811
（5）
4、有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,2,3，……，38数字标示，其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
（1）若仅对颜色感兴趣，计算平均不确定度；
（2）若对颜色和数字都感兴趣，计算平均不确定度；
（3）如果颜色已知，计算条件熵。
解：
（1）H（色）=
（2）P（色数）=H（色数）=
（3）H（数/色）=H（色数）-H（色）=
5、在一个二进制信道中，信源消息集X={0,1}，且P（0）=P
（1）,信宿的消息集Y={0,1},信道传输概率P（1/2）=1/4,P（0/1）=1/8。
求：
（1）在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息量I（X；
y=0）.
（2）该情况所能提供的平均互信息量I（X;
Y）.
（1）
P（ij）=P（i/j）=
（2）方法1:
=
6某一无记忆信源的符号集为{0,1}，已知p0=1/4,p1=3/4
（1）求符号的平均熵
（2）由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”））的自信息量的表达式。
（3）计算
（2）中的序列的熵。
（1）H（X）=
（2）
=
（3）
7、一阶马氏链信源有三个符号{u1,u2,u3},转移概率为：
P（u1/u2）=1/2,P（u2/u2）=1/2,P（u3/u1）=0,P（u1/u2）=1/3,P（u2/u2）=0,P（u3/u2）=2/3,
P（u1/u3）=1/3,P（u2/u3）=2/3,P（u3/u3）=0,
画出状态图并求出各符号稳定概率。
P（j/i）=解方程组求得W=
8、设有一信源，它在开始时以p（a）=0.6,p（b）=0.3,p（c）=0.1的概率发出X1，如果X1为a时则X2为a,b,c的概率为1/3;
如果X1为b时则X2为a,b,c的概率为1/3;
如果X1为c时则X2为a,b的概率为1/2，而为c的概率是0;
而且后面发出Xi的概率只与Xi-1有关。
又p（Xi/Xi-1）=p（X2/X1）,i≥3。
试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵H∞
P（j/i）=解方程组得到W1=,W2=,W3=
9某信源符号有8个符号{u1,…u8},概率分别是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：
000,001,,011,100,101,110,111。
求
（1）信源的符号熵H（U）
（2）出现一个“1”或一个“0”的概率；
（3）这样码的编码效率；
（4）相应的香农码和费诺玛；
（5）该码的编码效率？
H（U）=
（2）每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P（0）=
P
（1）=
（4）相应的香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp（xi）
码长Ki
码字
x1
1/2
x2
1/4
0.5
2
10
x3
0.75
3
110
x4
1/16
0.875
4
1110
x5
1/32
0.938
5
11110
x6
1/64
0.969
6
111110
x7
1/128
0.984
7
1111110
x8
0.992
11111110
相应的费诺码
第一次分组
第二次分组
第三次分组
第四次分组
第五次分组
第六次分组
第七次分组
二元码
（5）香农码和费诺码相同
平均码长为
编码效率为：
10已知符号集{x1,x2,x3,…}为无限离散集合，他们出现的概率分别是p（x1）=1/2,p（x2）=1/4,p（x3）=1/8,p（xi）=1/2i,…。
（1）用香农编码方法写出各个符号的码字；
（2）计算码字的平均信息传输率。
（3）计算信源编码效率。
3解：
（1）pi=累加概率为Pi=累加概率分别为
符号
…
概率
1/256
累加概率
码长
8
二元码
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为
R＝bit/码
（3）编码效率
R＝100％
11该二进制对称信道的概率转移矩阵为
，
（1）若p（x0）=3/4,p（x1）=1/4,求H（X）,H（X/Y）,H（Y/X）和I（X;
Y）。
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
12、某信源发送端有2个符号，xi,i=1,2,p（xi）=a,每秒发出一个符号。
接收端有3种符号yj,j=1,2,3,转移概率矩阵如下：
（1）计算接收端的平均不确定度；
（2）计算由于噪声产生的不确定度H（Y/X）;
（3）计算信道容量
接收端的不确定度为:
（2）
H（Y/X）=
（3）
=0
得到
得
13发送端有3种等概率符号（x1,x2,x3）,p（xi）=1/3,接收端收到3种符号（y1,y2,y3）,信道转移概率矩阵如下：
（1）求接收端收到一个符号后得到的信息量H（Y）;
（2）计算噪声熵H（Y/X）;
（3）计算当接收到端收到一个符号y2的错误率；
（4）计算从接收端看的平均错误率；
（5）计算从发送端看的平均错误率；
（6）从转移矩阵中你能看出信道的好坏吗：
（7）计算发送端的H（X）和H（X/Y）。
（1）
条件概率，联合概率，后验概率
，，
H（Y/X）=
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：
P（x1/y2）=，P（x2/y2）=，P（x3/y2）=
其中错误概率为：
Pe=P（x1/y2）+P（x3/y2）=
（4）平均错误概率为
（5）仍为0.733
（6）此信道不好
原因是信源等概率分布，从转移信道来看
正确发送的概率x1-y1的概率0.5有一半失真
x2-y2的概率0.3有失真严重
x3-y3的概率0完全失真
（7）
H（X/Y）=
14、设离散无记忆信道的输入符号集X:
{0,1}，输出符号集Y:
{0,1,2}，信道矩阵为
P=
若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。
按最大似然准则写出译码函数，并求出最小平均错误译码概率Pemin。
（1）选择译码函数F（b1）=F（b2）=F（b3）=F（b4）=F（b7）=x1
F（b5）=F（b6）=F（b8）=F（b9）=x2
升级会员 