信息论与编码课后习题答案.doc.pdf

信息论与编码课后习题答案.doc.pdf

《信息论与编码课后习题答案.doc.pdf》由会员分享，可在线阅读，更多相关《信息论与编码课后习题答案.doc.pdf（91页珍藏版）》请在冰豆网上搜索。

第二章课后习题第二章课后习题【2.1】设有12枚同值硬币，其中有一枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现用比较天平左右两边轻重的方法来测量。

为了在天平上称出哪一枚是假币，试问至少必须称多少次？

解：

从信息论的角度看，“12枚硬币中，某一枚为假币”该事件发生的概率为121=P；“假币的重量比真的轻，或重”该事件发生的概率为21=P；为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有24log2log12log=+=I比特而用天平称时，有三种可能性：

重、轻、相等，三者是等概率的，均为31=P，因此天平每一次消除的不确定性为3log=I比特因此，必须称的次数为9.23log24log21=II次因此，至少需称3次。

【延伸】如何测量？

分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。

【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？

解：

“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为3616161=P，该事件的信息量为：

17.536log=I比特“两骰子总点数之和为8”共有如下可能：

2和6、3和5、4和4、5和3、6和2，概率为36556161=P，因此该事件的信息量为：

85.2536log=I比特“两骰子面朝上点数是3和4”的可能性有两种：

3和4、4和3，概率为18126161=P，因此该事件的信息量为：

17.418log=I比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？

”则答案中含有多少信息量？

如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？

解：

如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为71=P，因此此时从答案中获得的信息量为807.27log=I比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0比特。

【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设A表示女孩是大学生，25.0）（=AP；B表示女孩身高1.6米以上，75.0）|（=ABP，5.0）（=BP“身高1.6米以上的某女孩是大学生”的发生概率为375.05.075.025.0）（）|（）（）（）（）|（=BPABPAPBPABPBAP已知该事件所能获得的信息量为415.1375.01log=I比特【2.5】设离散无记忆信源=8/14/14/18/33210）（4321aaaaxPX，其发出的消息为（202120130213001203210110321010021032011223210），求

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？

解：

信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。

根据已知条件，发出各消息所包含的信息量分别为：

415.138log）0（0=aI比特24log）1（1=aI比特24log）2（2=aI比特38log）3（3=aI比特在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：

81.8736212213415.114+=I比特45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为95.14581.87=I比特/符号注意：

消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得=91.1）（log）（）（xPxPXH比特/符号【2.6】如有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA,YA）和（XB,YB），但A和B不能落入同一方格内。

（1）若仅有质点A，求A落入任一个格的平均自信息量是多少？

（2）若已知A已落入，求B落入的平均自信息量。

（3）若A、B是可分辨的，求A、B同都落入的平均自信息量。

解：

（1）求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点A落入任一格的概率空间为：

=48148148148148321LLaaaaPX平均自信息量为58.548log）（=AH比特/符号

（2）已知质点A已落入，求B落入的平均自信息量，即求）|（ABH。

A已落入，B落入的格可能有47个，条件概率）|（ijabP均为471。

平均自信息量为55.547log）|（log）|（）（）|（481471=ijijijiabPabPaPABH比特/符号（3）质点A和B同时落入的平均自信息量为13.11）|（）（）（=+=ABHAHABH比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：

“你是否是红绿色盲？

”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？

平均每个回答中含有多少信息量？

如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：

男同志红绿色盲的概率空间为：

=93.007.021aaPX问男同志回答“是”所获昨的信息量为：

836.307.01log=I比特/符号问男同志回答“否”所获得的信息量为：

105.093.01log=I比特/符号男同志平均每个回答中含有的信息量为366.0）（log）（）（=xPxPXH比特/符号同样，女同志红绿色盲的概率空间为=995.0005.0Y21bbP问女同志回答“是”所获昨的信息量为：

64.7005.01log=I比特/符号问女同志回答“否”所获昨的信息量为：

31023.7995.01log=I比特/符号女同志平均每个回答中含有的信息量为045.0）（log）（）（=xPxPYH比特/符号【2.8】设信源=17.016.017.018.019.02.0）（654321aaaaaaxPX，求此信源的熵，并解释为什么6log）（XH，不满足信源熵的极值性。

解：

6log65.2）（log）（）（=xPxPXH原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。

【2.9】设离散无记忆信源S其符号集,.,21qaaaA=，知其相应的概率分别为）,.,（21qPPP。

设另一离散无记忆信源S，其符号集为S信源符号集的两倍，2,.,2,1,qiaAi=，并且各符号的概率分布满足qqqiPPqiPPiiii2,.,2,1,.,2,1）1（+=试写出信源S的信息熵与信源S的信息熵的关系。

解：

）1,（）（）（log）1log（）1（logloglog）1（）1log（）1（log）1log（）1（）（log）（）（+=+=HSHSHPPPPPPPPPPxPxPSHiiiiiiiiii【2.10】设有一概率空间，其概率分布为,.,21qppp，并有21pp。

若取=11pp，+=22pp，其中2120ppx

（2）拉普拉斯概率密度函数，xexp=21）（，0,+=KKXY，XY22=，试分别求出1Y和2Y的熵）（1Yh和）（2Yh。

解：

babaebaxdxxebbdxbxbxdxxpxpXhaaloglog32log92lnlog2loglog）（log）（）（3302022=由于1）（=dxxp，因此33=ba，因此3logloglog32）（+=aeXh当）0（1+=KKXY时，11=YX，因此3logloglog32）（1log）（）（1+=aeXhEXhYh当XY22=时，211=YX，因此23logloglog32）（21log）（）（1aeXhEXhYh+=【4.4】设给定两随机变量1X和2X，它们的联合概率密度为221222121）（xxexxp+=时有01.005.0）（）（SHNIPi式中，）（SH是信源的熵。

（2）试求当0NN=时典型序列集NG中含有的信源序列个数。

解：

（1）该信源的信源熵为811.0）（log）（）（=iispspSH比特/符号自信息的方差为4715.0811.04log4134log43）（）（）（22222=+=SHsIEsIDii根据等长码编码定理，我们知道1）（）（SHNIPi根据给定条件可知，05.0=，99.0=。

而2）（NsIDi=因此5.19099.0*05.04715.0）（220=isIDN取1910=N。

（2）典型序列中信源序列个数取值范围为：

）（）（22）1（+SHNNSHNG代入上述数值得451.164351.1452201.0NG【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F。

表5.2消息）（iaPABCDEF1a1/2000000002a1/4001011010101003a1/1601001111011011001014a1/1601101111110111011011105a1/161000111111110101111101116a1/1610101111111111011011111011

（1）求这些码中哪些是惟一可译码；

（2）求哪些码是非延长码（即时码）；（3）求对所有惟一可译码求出其平均码长L。

解：

（1）上述码字中，A为等长码，且为非奇异码，因此码A为惟一可译码；码B中，根据惟一可译码的判断方法，可求得其尾随后缀集合为11111,1111,111,11,1，且其中任何后缀均不为码字，因此码B是惟一可译码。

码C为逗点码，因此码C为惟一可译码；码D不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字；码E的尾随后缀集合为空集，因此码E是惟一可译码；码F不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字，因此F不是惟一可译码。

（2）码A、C、E是即时码（非延长码）（3）码A的平均码长为3；码B的平均码长为2.125；码C的平均码长为2.125；码F的平均码长为2。

【5.3】证明定理5.6，若存在一个码长为qlll,21K的惟一可译码，则一定存在具有相同码长的即时码。

证明：

如果存在码长为qlll,21K的惟一可译码，则qlll,21K必定满足如下不等式11=qilir而如果码长qlll,21K满足上述不等式，根据Kraft不等式构造即时码的方法，可以构造出码长为qlll,21K的即时码，具体构造过程略，参照课本相关定理。

【5.4】设信源=621621）（pppssssPSLL将此信源编码为r元惟一可译变长码（即码符号集,2,1rXK=），其对应的码长为）3,2,3,2,1,1（）,（621=lllK，求r值的下限。

解：

如果要构造出惟一可译变长码，则相关码长必须满足11=qilir，代入上式有21321+rrr当2=r时，上述不等式不成立；当3=r时，成立。

因此r值的下限为3。

【5.5】若有一信源=2.08.0）（21sssPS每秒钟发出2.66个信源符号。

将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。

试问信源不通过编码能否直接与信道连接？

若通过适当编码能否中在信道中进行无失真传