信息论与编码曹雪虹课后习题答案.docx
《信息论与编码曹雪虹课后习题答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码曹雪虹课后习题答案.docx（45页珍藏版）》请在冰豆网上搜索。
信息论与编码曹雪虹课后习题答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.
1一个马尔可夫信源有3个符号｛“⑷,呵，转移概率为：
〃（曲）=1/2,p（lll\u\）=\//l，/?
（M3lW1）=O,/2（MllW2）=l/3,
2.2由符号集｛0,1｝组成的二阶马尔可夫链，其转移槪£率为：
p（oioo）=0・89p（oiii）=0・2,/?
（iIoo）=0.2,p（i111）=0.8,p（oioi）=0.59〃（oiio）=0・5,p（iioi）=0.5,p（iiio）=0.5。
iffll出状态图，并计算各状态的稳态概率。
/XOIOl）=p（lOIOl）=O.5
解:
p（0100）=/?
（00100）=0.8
状态图为:
设各状态00,01，10,11的稳态分布概率为
叽w2>w3,w4有
率都为1/6,求：
（1）“3和5同时出现”这事件的自信息；
（2）“两个1同时出现”这事件的自信息；
（3）两个点数的各种组合（无序）对的爛和平均信息量；
（4）两个点数之和（即2,3,・・・,12构成的子集）的嫡；
（5）两个点数中至少有一个是1的自信息量。
••\17\17\17解dQ（3
两个点数的排列如下:
111213141516
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11,22,33,其他15个组合的概率是
44,55,66的概率是殳丄=丄
6636
2x-x-=—
6618
1111A
//（X）=-Vp（xi）logp（xl）=-6x—log15x—log—=4.337bit/symbol
iI36〜361818；
（4）
可以得出两个点数求和
参考上面的两个点数的排列,的概率分布如下：
H（X）=-工”（兀）log〃（兀）
i
C1,1c1I1^1,1c-1c5（511'
=一2x——log2x—log—+2x—log—+2x—los—+2x—log—+—log—
36"3618^1812129"936366
=3.274bit!
symbol
pU）=lxlxll=Al
/（兀）=-logp（兀）=—log¥=l・710bit
36
2-4
2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
尤/（是大学生）抢（不是大学
生）
P（X）0.250.75
设随机变量Y代表女孩子身高
Y戸（身力（身高
高>160cm）<160cm）
已知：
在女大学生中有75%是身高160厘米以上的
即•P（yi/“I）=0.75bit
求：
身高160厘米以上的某女孩是大学生的信息量
艮卩：
I（xJX）=—logp（x}/y））=-log=_log0.律,75=1415bjf
0.5
2.6掷两颗骰子，当其向上的面的小圆点之和是3时,该消息包含的信息量是多少？
当小圆点之和是7时，该消息所包含的信息量又是多少？
解：
1）因圆点之和为3的概率朋）=卩（1⑵+陀1）=丄
18
该消息自信息車/（x）=-logp（x）=log18=4.1JOhit
2）因圆点之和为7的概率
p（x）=“（1,6）+p（6,1）+p（2,5）+p（5,2）+“（3,4）+“（4,3）=：
该消息自宿息量/（x）=-logp（x）=log6=2.585肋
2.7设有一离散无记忆信源，其概率空间为
'山=0
X2=1
xi=2
X4=3]
（丿
>3/8
1/4
1/4
1/8）
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202120130
213001203210110321010021032
011223210},求该序列的自信息量和平均每个符
号携带的信息量
仰军:
/（xi）=log2―!
—=log?
—=1.415bit
"（xi）3
同理可以求得1（X2）=2bitJ（X3）=2bityI（X3）=3bit
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和
就有:
I=14Z（xi）+13/（x2）+12/（x3）+67（X4）=87.8\bit
平均每个符号携带的信息量为^=1.95bit/符号
45
2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：
{0,1,2,
3}
八进制脉冲可以表示8个不同的消息，例如:
{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同的消息，例如：
{0,1}假设每个消息的发出都是等概率的，贝I」：
四进制脉冲的平均信息量H（XJ=logn=log4=2hit/symbol
八进制脉冲的平均\S息量H（X2）=logn=log8=3hit/symbol
二进制脉冲的平均信息量H（X。
）=log”=log2=1bit!
symbol
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9“一”用三个脉冲“用一个脉冲
2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,…，38的数字标示，其中有两份涂绿色,18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度
（3）如果颜色已知时，则计算条件燔
解：
令X表示指针指向某一数字，则X二{1,2,.,38}
Y表示指针指向某一种颜色，则Y二{1绿色，红色，黑色}
Y是X的函数，由题意口丁知p（xiyj）=p（xt）
（1）/7（丫）=力（另）1隅亠=舟log孝+2x磐log誥=1.24bit/符号
（2）H（X,Y）=H（X）=Iog238=5.25bit/符号
（3）/7（Xiy）=H（X,y）-H（r）=H（X）-H（y）=5.25-1.24=4.01bit/符号
2.12两个实验X和Y,X={X1x2x3},Y={yiy2y3},l联合概率心,»）=rtj为
'mg
、
"7/24
1/24
0'
r2\r22
r23
=
1/24
1/4
1/24
r33>
<°
1/24
7/24丿
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：
联合概率爪丿）为
=0.72bit/符号
Y
yi
y2
y3
P
8/24
8/24
8/24
2.13有两个二元随机变量X和K它们的联合概率为
并定义另一随机变量Z二府（一般乘积），试计算：
（1）H（X）,H（Y）,H（Z）fH（XZ）,H（YZ）^WH（XYZ）^
（2）H（X/Y）fH（Y/X）,H（X⑵,H（Z/X）,H（Y/Z）fH（Z/Y）,H（X/YZ）,H（Y/XZ）^\H（Z/XY）^
（3）I（X;Y）fI（X;Z）,I（Y;Z）fI（X;Y/Z）,I（Y;Z/X）和I（X;Z/Y）q
解：
（1）
131
yJ+p（^y2）=-+-=7
311
=p（x2y}）+p（x2y2）=-+-=-
H（X）=一》/?
（%,）log=1hit/symboli
P（x）=p（xy）+p（x2^）=|+|=|
P（『2）=讥利2）+P（%2力）=|+£=£
H（Y）=一工〃（儿）log〃（儿）=1bit!
symbol
i
Z=AY的概率分布如下：
■Z■
=0g=i
=-
7
1>
P（Z）.
.8
8.
H（Z）=-》“（Za）=-—log-+-log-=0.544bit!
symbol
P（E）=P（Xi3）+P（X忆2）
卩（和2）=。
〃g）=P（xJ=0・5
P（Z}）=p（xizl）+p（X2Zx）
73
〃（今）=P（zJ一〃（X]Z]）=&-0.5=§
oo
p（z2）=p（v2）+p（x2z2）
p（x2z2）=p（Z2）=^
o
（i1331iA
H（XZ）=_工工〃（兀zjlogp（x忆Q=_-loS-+^log-+-log-=1406hit/symbol
P（y\）=P（>\^）+p（y}z2）p（y1z2）=°P（ViZi）=P（Vi）=0.5p（Z]）=p（y】Z]）+p（y2Z]）
73
P（v2z））=）-p（y}z}）=--0.5=-
oo
p（z2）=p（ylz2）+p（y2z2）
=1.406bit/symbol
/心）辰）=0
卩（坷也）=°
p（兀忆2）=°
/心NZ|）+]心y忆2）=/心X）
P（xlyizi）=p（xly[）=l/S
P（x{儿勺）+pUiJiZi）=PgZ]）
113
〃（X|『2Zi）=〃（兀忆1）一/Xx.y.z,）=---=-
pgy^l）+I心2〉'忆2）=I心2Jl）
3
P^2ylzl）=p（x2yl）=-
P（x2y2zl）=o
P（x2y2Zl）+p（x2y2z2）=p（x2y2）
P（x2y2z2）=p（x2y2）=^
H（XYZ）=-mPg儿.Z女）logM（x*jzk）ijk
11333311
=一-log-+-log-+-log-+-log-=1.811bit!
symbol（8飞888^888丿*
H（XX）=一弓工p（Xi力）log2P（E^）==-^-log-+-log-4--log-+-fog-J=1.811bit!
symbol
H（x/y）=//（xy）-/7（r）=1.811-1=0.811bit/symbol
H（y/X）=H（XY）-H（X）=1.811-1=0.811bit/symbol
H（X/Z）=H（XZ）一H（Z）=1.406-0.544=0.862bit/symbol
H（Z/X）=H（XZ）-H（X）=\.406-1=0.406bit/symbol
H（Y/Z）=H（YZ）-H（Z）=1.406-0.544=0.862bit/symbol
H{Z/Y）=H（YZ）_H（Y）=1.406-1=0.406hit/symbol
H（X/YZ）=H（XYZ）-H（YZ）=1.811-1.406=0.405bit/symbol
H（Y/XZ）=H（XYZ）-H（XZ）=1.81l-l.406=0.405bit/symbol
H（z/xy）=//（xrz）-/7（xr）=1.811-1.811=0bit/symbol
7（x;k）hh（x）ih（x、k71io・811ho・189bi二symbol二X;Z）HH（X）IH（X、Z）H1IO.862HO・138bi二symbol7（y;z）HH（K）—H（K、Z）H110.862H0・138bi二symbo一二x7、z）HH（x、z）—H（x、KZ）H0.862—0.405H0.457b三symbol、（KN、X）HH（K、X）—H（K、xz）H00062—0.405n0.457bii_symbol二x;z、K）HH（x、y）IH（x、yz}HOoolllo・405HO・406b三symbol
2—14
A
p（ijYi一p（i、jYr16J
317
I+—J—
Z1616
（2）过屮1-sYllPMW°+p（es5H^i+T36n<11
2—15
「112
2
|1|
7|
十coI
r
的
Z
2
J
|1|
9|
+
氐1
r
OQ
r
2
、
l-l
7|
+
总1
r
OQ
7
2
|1|
9|
P（UD»p（b占II）1
P^WY丄：
）
pg
笆巨||looq
p（笆b2ll
IX巴&!
3I
XAJ
p&l）.p（b2・IA
"LO&（1I&
HLo&m）
2.16黑白传真机的消息元只有黑色和白色两种，即X=｛黑，白｝,一般气象图上，黑色的出现概率p（黑）=0.3,白色出现的概率p（白）=0.7。
（1）假设黑白消息视为前后无关，求信源爛H（X）,并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为:
P（白丨白）=0.9143,P（黑丨白）=0.0857,P（白丨黑）=0.2,P（黑|黑）=0.8,求这个一阶马尔可夫信源的信源嫡，并画出该信源的香农线图。
（3）比较两种信源炳的大小，并说明原因。
解：
（1）H（X）=0.31og2y+0.71og2y=O.8813bit/符号
P（黑|白）二P（黑）
P（白丨白）=P（白）
P（黑|黑）=P（黑）
p（白|黑）=p（白）
（2）根据题意，此一阶马尔可夫链是平稳的（P（白）
=0.7不随时间变化，P（黑）=0.3不随时
间变化）
H*（X）=H（X2IXl）=V/J（Xr,>7）log2
Vpgyj）
=0.9143X0.7log2—!
—+0.0857X0.7log2―!
—+0.2x0.3log2—J0.91430.0857〜0.2
+0.8x0.31022—!
—
〜0.8
=0.512bit/符号2.17每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？
若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？
若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
解：
1）
H（X）=log2/?
=log2128=7bit/symbol
H（X“）=NH（X）=3x10’x7=2.1x1（）6bit!
symbol
2）
H（X）=log2n=log210000=13.288bit/symbol
H（Xn）=NH（X）=1000x13.288=13288bit（symbol
3）
2.20给定语音信号样值X的概率密度为/心）詁加呦，求Hc（X）,并证明它小于同样方差的正态变量的连续炳。
解:
■KC+X
Hc（X）=一Jpx（x）logp.x（x）dx=一Jpx（x）log—Ae^^dxYY2
-KC|+0C
=_J/?
.t（x）log—Adx_j/?
a（x）（-2卜|）logedx
Y2y
1Y1
=-log—+logej—2^~z^（A|x|）tZv
2y2
1o]w1
=_log—A+log^j—2ezv・A（-x）dx+logJ—Ae~AX（Ax）dx
2y2o2
-+X
-0
=-log-2+21og^j-^xe~Axdx=-log£2-loge[（1+Ax）e~/X
[1a】、2e
=_log_几+loge=log—
2A
E（X）=O,D（X）=*
、1i21.^7te,2\/^7,2\le-e”小八
H（X）=-log2^—y=-log=log―-—>log—-—=H（X）
2人2ATAa
2.24连续随机变量X和卩的联合概率密度为:
/心刃=去宀yf,求h（X）,H（Y）fH（XYZ）和o其他
I（X;Y）o
解:
2
PW==Irr
J~\T-X；"
HC（X）=-[p（x）logp（x）dx
=-fp（x）log^~^—厶
—kt
-x2dx
=-£p（x）log十dx_[p（x）logVr7
2
=log_Pp（x）log7/*2-xdx〜2—
岔2|
=loglogr+1——log2e
22
=log2加一丄log2ebitIsymbol
2
其中：
J/?
（x）log-Jr1-x1dx
=J~~~logJ/2一dx
=戈[Jr1-x2log7r2-x2dx
岔-Jo
令x=rcosO-ij-Lrsin0logrsinOcl（rcosO）
=-logdo--logrpCOS2&/&+-
X/>£
£2logsinOclO£2cos2^1ogsinOclO
=logr-丄logr£2dsin2^+—（-ylog,2）-—J：
cos2&logsinOil0
2\
=logr-1-—|2cos2^logsinOclO
=log厂一1+glog,e
其中：
—£2cos2^1ogsinOdO
1c-
=—£2logsinOclsin2&
1（£、
=—sin20logsinOp-f2sin26cllogsin0
兀J<）j
Hcos2aio
1（）
b2
£]£
=-—log,e£2（10log2cos2&/&
11£=--log2^-—log2esin2踊
=-^\og2e
p®=『器卩（Q）必=匸总存=2r^y（—「＜y•『）
“（y）=pW
HC（Y）=HC（X）=log2nr——log2ebit/symbol
H（（XY）=-jj/?
（xy）logp（xy）dxdyK
=_JJ”5）log—dxdyR加
=log^r2jjp（xy）clxdy
K
=log270」bit/symbol
Zr（X；r）=He（X）+HC（Y）-HC（XY）=21og2zzr_log2e_log岔？
=log2^-log2ebit/symbol
2.25某一无记忆信源的符号集为{0,1},已知P（0）=1/4,P（l）=3/4o
（1）求符号的平均爛；
（2）有100个符号构成的序列，求某一特定序列（例如有加个“0”和（100-加）个“1”）的自信息量的表达式；
⑶计算⑵中序列的嫡。
解：
zI133\
bit/symbol
*
H（X）=-^/7（xr.）log/9（xJ.）=^-log-+-log-J=0.811
31（Xi
■4^
3】00t”
/（召）=-log/?
（x（）=-log——-=41.5+1.585加bit
H（XIW））=100//（X）=100x0.811=81.1bit/symbol
2-26
H（IJ）二
4--Los（8）+2—Losf10）+2■—Loafli）+3•—Loe/36）4-—Lofi/12）=3.415
g10153612
2.29有一个一阶平稳马尔可夫链Xi.X2,…,Xr,…，各Xr取值于集合A={cn.（i2.（n},已知起始概率P（Xr）为
1
1/2
1/4
1/4
2
2/3
0
1/3
3
2/3
1/3
0
（1）求（X】,X2,X3）的联合嫡和平均符号炳
（2）求这个链的极限平均符号嫡
（3）求Ho,Hi,Hi和它们说对应的冗余度解：
（1）
那么
H（X2lXi）=llog4+hog4+llog4+llog|+^log3+llog|+^log3
=1.209bit/符号
良见的联合概率分布为
P（X2iX3j）
1
2
3
1
7/24
7/48
7/48
2
5/36
0
5/12
3
5/36
5/12
0
那么
/7（X3lX2）=—log2+—Iog4+hog4+—log-+—loe3+—loe-+—log3
24J48836°272〜36〜272°
=1.26bit/符号
H（X】,X2,X3）=1.5+1.209+1.26=3.969b〃/符号所以平均符号爛H3（Xi,X2,X3）=竽^=1.323M/符号
（2）设aba2,a3稳定后的概率分布分别为W1,W2,W3,
又满足不可约性和非周期性
H^（X）=^WiH（X|附）=》//（*,*,*）+2x£h（|,*,0）=1.25b”/符号
H\=\.5bit/符号
（3）H（）=log3=1.58/?
z7/符号
1.5+1.
升级会员 