信息论与编码课后习题答案.doc资料下载.pdf

1、重、轻、相等，三者是等概率的，均为31=P，因此天平每一次消除的不确定性为3log=I比特 因此，必须称的次数为 9.23log24log21=II次 因此，至少需称 3 次。【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为3616161=P，该事件的信息量为：17.536log=I比特 “两

2、骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概率为36556161=P，因此该事件的信息量为：85.2536log=I比特“两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3，概率为18126161=P，因此该事件的信息量为：17.418log=I比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为71=P，因此

3、此时从答案中获得的信息量为 807.27log=I比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？设 A 表示女孩是大学生，25.0）（=AP；B 表示女孩身高 1.6 米以上，75.0）|（=ABP，5.0）（=BP “身高 1.6 米以上的某女孩是大学生”的发生概率为 375.05.075.025.0）（）|（）（）（

4、）（）|（=BPABPAPBPABPBAP 已知该事件所能获得的信息量为 415.1375.01log=I比特【2.5】设离散无记忆信源=8/14/14/18/33210）（4321aaaaxPX，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：415.138log）0（0=aI比特 24log）1（1=aI比特

5、24log）2（2=aI比特 38log）3（3=aI比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为：81.8736212213415.114+=I比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 95.14581.87=I比特/符号 注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得=91.1）（log）（）（xPxPXH比特/符号【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，

6、且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。（1）若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？（2）若已知 A 已落入，求 B 落入的平均自信息量。（3）若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：=48148148148148321LLaaaaPX 平均自信息量为 58.548log）（=AH比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求）|（ABH。A 已落入，B 落入的格可能有 47 个，条件概

7、率）|（ijabP均为471。平均自信息量为 55.547log）|（log）|（）（）|（481471=ijijijiabPabPaPABH比特/符号 （3）质点 A 和 B 同时落入的平均自信息量为 13.11）|（）（）（=+=ABHAHABH比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？男同志红绿色盲的概率空间为：=93.007.021aaP

8、X 问男同志回答“是”所获昨的信息量为：836.307.01log=I比特/符号 问男同志回答“否”所获得的信息量为：105.093.01log=I比特/符号 男同志平均每个回答中含有的信息量为 366.0）（log）（）（=xPxPXH比特/符号 同样，女同志红绿色盲的概率空间为=995.0005.0Y21bbP 问女同志回答“是”所获昨的信息量为：64.7005.01log=I比特/符号 问女同志回答“否”所获昨的信息量为：31023.7995.01log=I比特/符号 女同志平均每个回答中含有的信息量为 045.0）（log）（）（=xPxPYH比特/符号【2.8】设信源=17.016.

9、017.018.019.02.0）（654321aaaaaaxPX，求此信源的熵，并解释为什么6log）（XH，不满足信源熵的极值性。6log65.2）（log）（）（=xPxPXH 原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【2.9】设离散无记忆信源 S 其符号集,.,21qaaaA=，知其相应的概率分别为）,.,（21qPPP。设 另一离散无记 忆信源 S，其符号集为 S 信源符号集 的两倍，2,.,2,1,qiaAi=，并且各符号的概率分布满足 qqqiPPqiPPiiii2,.,2,1,.,2,1）1（+=试写出信源S的信息熵与信源S 的信息熵的关系。）1

10、,（）（）（log）1log（）1（logloglog）1（）1log（）1（log）1log（）1（）（log）（）（+=+=HSHSHPPPPPPPPPPxPxPSHiiiiiiiiii【2.10】设有一概率空间，其概率分布为,.,21qppp，并有21pp。若取=11pp，+=22pp，其中2120pp x（2）拉普拉斯概率密度函数，xexp=21）（，0,+=KKXY，XY22=，试分别求出1Y 和2Y的熵）（1Yh和）（2Yh。babaebaxdxxebbdxbxbxdxxpxpXhaaloglog32log92lnlog2loglog）（log）（）（3302022=由于1）（=d

11、xxp，因此33=ba，因此 3logloglog32）（+=aeXh 当）0（1+=KKXY时，11=YX，因此 3logloglog32）（1log）（）（1+=aeXhEXhYh 当XY22=时，211=YX，因此 23logloglog32）（21log）（）（1aeXhEXhYh+=【4.4】设给定两随机变量1X 和2X，它们的联合概率密度为 221222121）（xxexxp+=时有 01.005.0）（）（SHNIPi 式中，）（SH是信源的熵。（2）试求当0NN=时典型序列集NG中含有的信源序列个数。（1）该信源的信源熵为 811.0）（log）（）（=iispspSH比特/符

12、号 自信息的方差为 4715.0811.04log4134log43）（）（）（22222=+=SHsIEsIDii 根据等长码编码定理，我们知道 1）（）（SHNIPi 根据给定条件可知，05.0=，99.0=。而 2）（NsIDi=因此 5.19099.0*05.04715.0）（220=isIDN 取1910=N。（2）典型序列中信源序列个数取值范围为：）（）（22）1（+SHNNSHNG 代入上述数值得 451.164351.1452201.0NG【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码 A、B、C、D、E 和 F。表 5.2 消息）（iaP A

13、 B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a 1/16 101 011111 111110 1101 1111 011（1）求这些码中哪些是惟一可译码；（2）求哪些码是非延长码（即时码）；（3）求对所有惟一可译码求出其平均码长L。（1）上述码字中，A 为等长码，且为非奇异码，因此码 A 为惟一可译码；码 B

14、 中，根 据 惟 一 可 译 码 的 判 断 方 法，可 求 得 其 尾 随 后 缀 集 合 为11111,1111,111,11,1，且其中任何后缀均不为码字，因此码 B 是惟一可译码。码C 为逗点码，因此码 C 为惟一可译码；码 D 不是惟一可译码，因为其尾随后缀集合中包含 0，而 0 又是码字；码 E 的尾随后缀集合为空集，因此码 E 是惟一可译码；码 F 不是惟一可译码，因为其尾随后缀集合中包含 0，而 0 又是码字，因此 F 不是惟一可译码。（2）码 A、C、E 是即时码（非延长码）（3）码 A 的平均码长为 3；码 B 的平均码长为 2.125；码 C 的平均码长为2.125；码

15、F 的平均码长为 2。【5.3】证明定理 5.6，若存在一个码长为qlll,21K的惟一可译码，则一定存在具有相同码长的即时码。证明：如果存在码长为qlll,21K的惟一可译码，则qlll,21K必定满足如下不等式 11=qilir 而如果码长qlll,21K满足上述不等式，根据 Kraft 不等式构造即时码的方法，可以构造出码长为qlll,21K的即时码，具体构造过程略，参照课本相关定理。【5.4】设信源=621621）（pppssssPSLL 将此信源编码为r 元惟一可译变长码（即码符号集,2,1rXK=），其对应的码长为）3,2,3,2,1,1（）,（621=lllK，求r 值的下限。如果要构造出惟一可译变长码，则相关码长必须满足11=qilir，代入上式有 21321+rrr 当2=r时，上述不等式不成立；当3=r时，成立。因此r 值的下限为 3。【5.5】若有一信源=2.08.0）（21sssPS 每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真传