信源及信源熵习题答案.docx
《信源及信源熵习题答案.docx》由会员分享，可在线阅读，更多相关《信源及信源熵习题答案.docx（18页珍藏版）》请在冰豆网上搜索。
信源及信源熵习题答案
第二章:
2、1试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？
解:
四进制脉冲可以表示4个不同得消息,例如:
{0,1,2,3}
八进制脉冲可以表示8个不同得消息,例如:
{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同得消息,例如:
{0,1}
假设每个消息得发出都就是等概率得,则:
四进制脉冲得平均信息量H（X1）=log2n=log24=2bit/symbol
八进制脉冲得平均信息量H（X2）=log2n=log28=3bit/symbol
二进制脉冲得平均信息量H（X0）=log2n=log22=1bit/symbol
所以:
四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。
2、2居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。
假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？
解:
设随机变量X代表女孩子学历
X
x1（就是大学生）
x2（不就是大学生）
P（X）
0、25
0、75
设随机变量Y代表女孩子身高
Y
y1（身高>160cm）
y2（身高<160cm）
P（Y）
0、5
0、5
已知:
在女大学生中有75%就是身高160厘米以上得
即:
p（y1/x1）=0、75
求:
身高160厘米以上得某女孩就是大学生得信息量
即:
2、3一副充分洗乱了得牌（含52张牌）,试问
（1）任一特定排列所给出得信息量就是多少？
（2）若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？
解:
（1）52张牌共有52！
种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是:
（2）52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下:
2、4设离散无记忆信源,其发出得信息为（23211223210）,求
（1）此消息得自信息量就是多少？
（2）此消息中平均每符号携带得信息量就是多少？
解:
（1）此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是:
此消息得信息量就是:
（2）此消息中平均每符号携带得信息量就是:
2、5从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:
“您就是否就是色盲？
”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？
如果问一位女士,则答案中含有得平均自信息量就是多少？
解:
男士:
女士:
2、6设信源,求这个信源得熵,并解释为什么H（X）>log6不满足信源熵得极值性。
解:
不满足极值性得原因就是。
2、7证明:
H（X3/X1X2）≤H（X3/X1）,并说明当X1,X2,X3就是马氏链时等式成立。
证明:
2、8证明:
H（X1X2。
。
。
Xn）≤H（X1）+H（X2）+…+H（Xn）。
证明:
2、9设有一个信源,它产生0,1序列得信息。
它在任意时间而且不论以前发生过什么符号,均按P（0）=0、4,P
（1）=0、6得概率发出符号。
（1）试问这个信源就是否就是平稳得？
（2）试计算H（X2）,H（X3/X1X2）及H∞;
（3）试计算H（X4）并写出X4信源中可能有得所有符号。
解:
（1）
这个信源就是平稳无记忆信源。
因为有这些词语:
“它在任意时间而且不论以前发生过什么符号……”
（2）
（3）
2、10一阶马尔可夫信源得状态图如下图所示。
信源X得符号集为{0,1,2}。
（1）求平稳后信源得概率分布;
（2）求信源得熵H∞。
解:
（1）
（2）
2、11黑白气象传真图得消息只有黑色与白色两种,即信源X={黑,白}。
设黑色出现得概率为P（黑）=0、3,白色出现得概率为P（白）=0、7。
（1）假设图上黑白消息出现前后没有关联,求熵H（X）;
（2）假设消息前后有关联,其依赖关系为P（白/白）=0、9,P（黑/白）=0、1,P（白/黑）=0、2,P（黑/黑）=0、8,求此一阶马尔可夫信源得熵H2（X）;
（3）分别求上述两种信源得剩余度,比较H（X）与H2（X）得大小,并说明其物理含义。
解:
（1）
（2）
（3）
H（X）>H2（X）
表示得物理含义就是:
无记忆信源得不确定度大与有记忆信源得不确定度,有记忆信源得结构化信息较多,能够进行较大程度得压缩。
2、12同时掷出两个正常得骰子,也就就是各面呈现得概率都为1/6,求:
（1）“3与5同时出现”这事件得自信息;
（2）“两个1同时出现”这事件得自信息;
（3）两个点数得各种组合（无序）对得熵与平均信息量;
（4）两个点数之与（即2,3,…,12构成得子集）得熵;
（5）两个点数中至少有一个就是1得自信息量。
解:
（1）
（2）
（3）
两个点数得排列如下:
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合:
其中11,22,33,44,55,66得概率就是
其她15个组合得概率就是
（4）
参考上面得两个点数得排列,可以得出两个点数求与得概率分布如下:
（5）
2、13某一无记忆信源得符号集为{0,1},已知P（0）=1/4,P
（1）=3/4。
（1）求符号得平均熵;
（2）有100个符号构成得序列,求某一特定序列（例如有m个“0”与（100m）个“1”）得自信息量得表达式;
（3）计算
（2）中序列得熵。
解:
（1）
（2）
（3）
2、14对某城市进行交通忙闲得调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现得相对频度如下:
若把这些频度瞧作概率测度,求:
（1）忙闲得无条件熵;
（2）天气状态与气温状态已知时忙闲得条件熵;
（3）从天气状态与气温状态获得得关于忙闲得信息。
解:
（1）
根据忙闲得频率,得到忙闲得概率分布如下:
（2）
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z
（3）
2、15有两个二元随机变量X与Y,它们得联合概率为
YX
x1=0
x2=1
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量Z=XY（一般乘积）,试计算:
（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）与H（XYZ）;
（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）与H（Z/XY）;
（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）与I（X;Z/Y）。
解:
（1）
Z=XY得概率分布如下:
（2）
（3）
2、16有两个随机变量X与Y,其与为Z=X+Y（一般加法）,若X与Y相互独立,求证:
H（X）≤H（Z）,H（Y）≤H（Z）。
证明:
同理可得。
2、17给定声音样值X得概率密度为拉普拉斯分布,求Hc（X）,并证明它小于同样方差得正态变量得连续熵。
解:
2、18连续随机变量X与Y得联合概率密度为:
求H（X）,H（Y）,H（XYZ）与I（X;Y）。
（提示:
）
解:
2、19每帧电视图像可以认为就是由3×105个像素组成得,所有像素均就是独立变化,且每像素又取128个不同得亮度电平,并设亮度电平就是等概出现,问每帧图像含有多少信息量？
若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播得信息量就是多少（假设汉字字汇就是等概率分布,并彼此无依赖）？
若要恰当得描述此图像,广播员在口述中至少需要多少汉字？
解:
1）
2）
3）
2、20设就是平稳离散有记忆信源,试证明:
。
证明:
2、21设就是N维高斯分布得连续信源,且X1,X2,…,XN得方差分别就是,它们之间得相关系数。
试证明:
N维高斯分布得连续信源熵
证明:
相关系数,说明就是相互独立得。
2、22设有一连续随机变量,其概率密度函数
（1）试求信源X得熵Hc（X）;
（2）试求Y=X+A（A>0）得熵Hc（Y）;
（3）试求Y=2X得熵Hc（Y）。
解:
1）
2）
3）
升级会员 