信息与编码习题答案Word下载.docx

信息与编码习题答案Word下载.docx

《信息与编码习题答案Word下载.docx》由会员分享，可在线阅读，更多相关《信息与编码习题答案Word下载.docx（36页珍藏版）》请在冰豆网上搜索。

（a）任一特定排列的概率为

所以，给出的信息量为

（b）从中任取13张牌,所给出的点数都不相同的概率为

所以，得到的信息量为

比特.

2.5设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。

易证每次出现i点的概率为

所以

2.6园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。

设这12棵树可随机地排列，且每一种排列都是等可能的。

若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?

可能有的排列总数为

没有两棵梧桐树相邻的排列数可如下图求得，

YXYXYXYXYXYXYXY

图中X表示白杨或白桦，它有

种排法，Y表示梧桐树可以栽种的位置，它有

种排法，

所以共有

*

=1960种排法保证没有两棵梧桐树相邻，

因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为

=3.822比特

2.7某校入学考试中有1/4考生被录取，3/4考生未被录取。

被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。

（a）当己知考生来自本市时，给出多少关于考生是否被录取的信息?

（b）当已知考生学过英语时，给出多少有关考生是否被录取的信息?

（c）以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。

试求H（X），H（Y|X），H（Z|YZ）。

X=0表示未录取，X=1表示录取；

Y=0表示本市，Y=1表示外地；

Z=0表示学过英语，Z=1表示未学过英语，由此得

2.8在A、B两组人中进行民意测验，组A中的人有50%讲真话（T），30%讲假话（F），20%拒绝回答（R）。

而组B中有30%讲真话，50%讲假话和20%拒绝回答。

设选A组进行测验的概率为p，若以I（p）表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I（p）的最大值。

令

，则

2.9随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。

试求H（Z|Y）、H（X|Y）、H（Z|XY），H（XZ|Y）和H（Z|X）。

令X=X1,Y=X1+X2,Z=X1+X2+X3,

H（X1）=H（X2）=H（X3）=

H（X）=H（X1）=

=2.585比特

H（Y）=H（X2+X3）

=

=3.2744比特

H（Z）=H（X1+X2+X3）

=3.5993比特

所以

H（Z/Y）=H（X3）=2.585比特

H（Z/X）=H（X2+X3）=3.2744比特

H（X/Y）=H（X）-H（Y）+H（Y/X）=2.585-3.2744+2.585=1.8955比特

H（Z/XY）=H（Z/Y）=2.585比特

H（XZ/Y）=H（X/Y）+H（Z/XY）=1.8955+2.585=4.4805比特

2.12计算习题2.9中的I（Y；

Z），I（X；

Z），I（XY；

Z），I（Y；

Z|X）和I（X；

Z|Y）。

I（Y;

Z）=H（Z）-H（Z/Y）=H（Z）-H（X3）=3.5993-2.585=1.0143比特

I（X;

Z）=H（Z）-H（Z/X）=3.5993-3.2744=0.3249比特

I（XY 

;

Z）=H（Z）-H（Z/XY）=H（Z）-H（Z/Y）=1.0143比特

Z/X）=H（Z/X）-H（Z/XY）=H（X2+X3）-H（X3）=3.2744-2.585=0.6894比特

Z/Y）=H（Z/Y）-H（Z/XY）=H（Z/Y）-H（Z/Y）=0

2.10设有一个系统传送10个数字：

0,1,…,9。

奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。

试求收到一个数字平均得到的信息量。

设系统输出10个数字X等概,接收数字为Y,

显然

，H（Y）=log10

所以I（X;

Y）=

比特

2.11令{ul,u2,…,u8}为一等概消息集，各消息相应被编成下述二元码字:

ul=0000，u2=0011，u3=0101，u4=0110

u5=1001，u6=1010，u7=1100，u8=1111

通过转移概率为p的BSC传送。

试求

（a）接收的第一个数字0与ul之间的互信息量。

（b）接收的前二个数字00与ul之间的互信息量。

（c）接收的前三个数字000与ul之间酌互信息量。

（d）接收的前四个数字0000与ul之间的互信息量。

（a）接收前一个数字为0的概率

（b）同理

（c）同理

（d）同理

2.13令X、Y、Z是概率空间，试证明下述关系式成立。

（a）H（YZ|X）≤H（Y|X）＋H（Z|X），给出等号成立的条件。

（b）H（YZ|X）=H（Y|X）＋H（Z|XY）。

（c）H（Z|XY）≤H（Z|X），给出等号成立的条件。

（b）

（c）

（由第二基本不等式）

或

（由第一基本不等式）

所以

，

等号成立的条件为

对所有

即在给定X条件下Y与Z相互独立。

（a）

2.14对于任意概率事件集X、Y、Z，证明下述三角不等式成立。

H（X|Y）＋H（Y|Z）≥H（X|Z）

H（X|Y）/H（XY）＋H（Y|Z）/H（YZ）≥H（X|Z）/H（XZ）

（a）

（b）

注：

2.15令d（X，Y）=H（X|Y）＋H（Y|X）为X和Y的信息距离，令ρ（X，Y）=[H（X|Y）＋H（Y|X）]/H（XY）为X和Y的信息距离系数。

试证明有关距离的三个公理：

d（X，X）=0d（X，Y）≥0

d（X，Y）=d（Y，X）

d（X，Y）＋d（Y，Z）≥d（X，Z）

2.16定义S（X，Y）=1－ρ（X，Y）=I（X；

Y）/H（XY）为X和Y之间的信息相似度，证明：

0≤S（X，Y）≤1

S（X，X）=1

S（X，Y）=0，X和Y独立时。

又由互信息的非负性，即

，有

，所以

（c）当且仅当X和Y独立时，I（X；

Y）=0，所以，当且仅当X和Y独立时，

。

2.17令X→Y→Z为马尔可夫链，证明：

I（X；

Z|Y）=0

I（XY；

Z）=I（Y；

Z）

I（Y；

Z|X）=I（Y|Z）－I（X；

Z|X）≤I（Y；

X→Y→Z为马尔可夫链，有p（z/xy）=p（z/y）,对所有x,y,z。

2.18若三个随机变量有如下关系：

x＋y=z，其中x和y独立。

试证明：

H（X）≤H（Z）

H（Y）≤H（Z）

H（XY）≥H（Z）

Z）=H（Z）－H（Y）

Z）=H（Z）

YZ）=H（X）

Z|X）=H（Y）

Y|Z）=H（X|Z）=H（Y|Z）

（a）H（X）≤H（Z）

（b）H（Y）≤H（Z）

（c）H（XY）≥H（Z）

（d）I（X；

I（X;

Z）=H（Z）-H（Z/X）=H（Z）-H（Y）

（e）I（XY；

（f）I（X；

（g）I（Y；

H（Y/XZ）=0

Z/X）=H（Y/X）-H（Y/XZ）=H（Y/X）=H（Y）

（h）I（X；

Y/Z）=H（X/Z）-H（X/YZ）=H（Y/Z）-H（Y/XZ）

而H（X/YZ）=0,H（Y/XZ）=0

所以I（X；

Y/Z）=H（X/Z）=H（Y/Z）#

2.19证明

是概率矢量

的上凸函数，即对

，0<

<

1和矢量P1和P2有

证明：

2.20用拉格朗日乘因子法求解下述泛函的极值。

Hn（pl,p2,…,pn），

解：

2.22令U是非负整数集合，事件k∈U的概率为p（k），且

（常数）。

试求使H（U）为最大的分布p（k）。

2.23设X是在[－1，1]上为均匀分布的随机变量。

试求Hc（X），Hc（X2）和Hc（X3）。

（b）令

2.24．设连续随机变量X和Y的联合概率密度为

试求Hc（X），Hc（Y），Hc（XY）及I（X；

Y）。

2.25设X和Y为连续随机变量，且X的概率密度为

条件概率密度为

其中－∞<

x，y<

∞。

试求Hc（X），Hc（Y/X），Hc（X/Y）和I（X；

2.27设x为[0，∞]上分布的连续随机变量，且满足

=S，

求实现最大微分熵的分布及相应的熵值。

2.28令概率空间

，令Y是连续随机变量。

已知条件概率率密度为

试求：

（a）Y的概率密度ω（y）

（b）I（X；

Y）

（c）若对Y作如下的硬判决：

求I（X；

Y），并对结果进行解释。

（a）由已知，

（b）

（c）由

可求得V的分布为

再由

及

可求得V的条件分布为

第三章离散信源无失真编码

3.1解:

长为n码字的数目为Dn,因此长为N的D元不等长码至多有：

3.2解:

3.3解:

3.4解:

3.5解:

（a）二元Huffman编码

（b）三元Huffman编码

注意：

K=10为偶数，需要添一个概率为零的虚假符号

3.6解:

二元Huffman编码

3.10傅P186【5.11】

3.11解:

3.12解:

对

3.13解:

（a）根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。

（b）因为信源是二元无记忆信源，所以有