信息论基础与编码第五章Word文件下载.docx

1、1101100011111101100101011111111010010111111111101111111解：（1）1,2,3,6是唯一可译码；（2）1,3,6是即时码。5-2证明若存在一个码长为的唯一可译码，则一定存在具有相同码长的即时码。证明：由定理可知若存在一个码长为的唯一可译码，则必定满足kraft不等式1。由定理4可知若码长满足kraft不等式，则一定存在这样码长的即时码。所以若存在码长的唯一可译码，则一定存在具有相同码长P（y=0）的即时码。5-3设信源，。将此信源编码成为r元唯一可译变长码（即码符号集），其对应的码长为（）=（1，1，2，3，2，3），求r值的最小下限。要将此

2、信源编码成为r元唯一可译变长码，其码字对应的码长（l1 ,l2 ,l3, l4,l5, l6）=（1,1,2,3,2,3） 必须满足克拉夫特不等式，即 所以要满足 ，其中 r是大于或等于1的正整数。可见，当r=1时，不能满足Kraft不等式。 当r=2, ，不能满足Kraft。 当r=3, ，满足Kraft。所以，求得r的最大值下限值等于3。5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念）（1）如果要求所有公务电话号码为3位长，所有居民电话号码等长

3、，求居民号码长度 的最小值；（2）设城市分为A、B两个区，其中A区有9000门电话，B区有51000门电话。现进一步要求A区的电话号码比B区的短1位，试求A区号码长度的最小值。（a） 805门电话要占用1000个3位数中的805个，即要占用首位为0 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以。 或由Craft不等式，有 解得 ， 即 （b） 在（a）的基础上，将80为首的数字用于最后5个公务电话，8186 为首的6位数用于B区51 000个号码，以9为首的5位数用于A区9 000 个号码。

4、所以，。或由Draft不等式，有 或 解得 即 5-5求概率分布为的信源的二元霍夫曼码。讨论此码对于概率分布为的信源也是最佳二元码。信源的概率分布为：二元霍夫曼码：00，10，11，010，011，码长：2，2，2，3，3当信源给定时，二元霍夫曼码是最佳二元码。所以对于概率分布为的信源，其最佳二元码就是二元霍夫曼码。这二元霍夫曼码一定是三个信源符号的码长为2（码符号/信源符号），另二个信源符号的码长为3（码符号/信源符号），其平均码长最短。因此，上述对概率分布为信源所编的二元霍夫曼码也是概略分布为信源的最佳二元码。5-6 设二元霍夫曼码为（00，01，10，11）和（0，10，110，111）

5、，求出可以编得这些霍夫曼码的信源的所有概率分布。由题意 假设信源所发出的是个符号的概率为 由霍夫曼编码的特点知：根据霍夫曼编码的方法，每次概率最小的两个信源符号合并成一个符号，构成新的缩减信源，直至最后只剩两个符号。而且当缩减信源中的所有符号概率相等时，总是将合并的符号放在最上面。所以，对于二元霍夫曼码为（00，01，10，11）来说，每个信源都要缩减一次，所以要大于和，这时必有同理对于二元霍夫曼码为（0，10，110，111）有信源概率分布满足以上条件则其霍夫曼编码符合题意。5-7 设一信源有K=6个符号，其概率分别为：，对该信源进行霍夫曼二进制编码，并求编码效率。相应的Huffman编码是

6、：1,01,001,0001,00000,00001。平均码长=，熵=5-8 设信源概率空间为：=，（1）求和信源冗余度；（2）设码符号为X=0,1，编出S的紧致码，并求紧致码的平均码长；（3）把信源的N次无记忆扩展信源编成紧致码，试求N=2，3，4，时的平均码长；（4）计算上述N=1，2，3，4这四种码的编码效率和码冗余度。（1）信源其 比特/符号剩余度=（2）码符号X=0,1，对信源S编紧致码为：，其平均码长=1 码符号/信源符号（3） 当N=2时=紧致码（即霍夫曼码）为 码字 0 , 10 , 110 , 111码长 1 , 2 , 3 , 3平均码长=0.645 码符号/信源符号N=3

7、时，=对信源进行霍夫曼编码，其紧致码为 码字 0 , 100 , 101 , 110 , 11100 , 11101 , 11110 , 11111码长 1 , 3 , 3 , 3 , 5 , 5 , 5 , 5平均码长 =0.533 码符号/信源符号N=4时，= 码字 0 , 100 , 101 , 110 , 1110 , 111110 , 1111000 , 1111001,码长 1 , 3 , 3 , 3 , 4 , 6 , 7 , 7 , 码字 1111010 , 1111011 , 1111110 , 1 , 0 , 1 , 00 , 01码长 7 , 7 , 7 , 9 , 9

8、, 9 , 10 , 10平均码长=0.493 码符号/信源符号N=时，根据香农第一定理，其紧致码的平均码长=0.469 码符号/信源符号（4） 编码效率 （r=2）码剩余度 1 （r=2）所以 N=1 编码效率0.469 码剩余度=% N=2 =% N=3 =12% N=4 =% 从本题讨论可知，对于变长紧致码，当N不很大时，就可以达到高效的无失真信源编码。5-9设信源空间为： =，码符号为X=0,1,2，试构造一种三元紧致码。得信源符号 s1 s2 s3 s4 s5 s6 s7 s8三元紧致码 1 00 02 20 21 22 010 0115-10 某气象员报告气象状态，有四种可能的消息

9、：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少所需的二元脉冲数是多少又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少如何编码 第一种情况：需要二元脉冲数两个，可表示四种状态，满足我们的要求。第二种情况：我们采用霍夫曼可编为1/2编为 1；1/4编为01，1/8编为000和001，脉冲数显然。5-11 若某一信源有个符号，并且每个符号等概率出现，对这信源用最佳霍夫曼码进行二元编码，问当和（是正整数）时，每个码字的长度等于多少平均码长是多少当时用霍夫曼编码方法进行最佳编码，由于每个符号是等概率分布的，所以每个符号码长应相等，这样平均码长

10、最短，而且信源符号个数正好等于，则满足： ，所以每个码字的码长。当个1时，因为每个符号等概率分布出现，所以每个符号的码长也应该基本相等，但现在信源符号个数不是正好等于，所以必须有两个信源符号的码长延长一位码长，这样平均码长最短。所以时个码字的码长为，其余2个码字的码长为。平均码长。5-12 若有一信源每秒钟发出个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递2个二元符号。试问信源不通过编码能否直接与信道连接若通过适当编码能否在此信道中进行无失真传输若能连接，试说明如何编码并说明原因。信源 ，其信源熵 而其每秒钟发出个信源符号，所以信源输出的

11、信息速率为：送入一个二元无噪无损信道，此信道的最大信息传输率（信道容量）。而信道每秒钟只传输两个二元符号，所以信道的最大信息传输速率为： 可见：。根据无噪信道编码定理（即无失真信源编码定理），因。所以总能对信源的输出进行适当的编码，使此信源能在此信道中进行无失真地传输。如果对信源不进行编码，直接将信源符号以“0”符号传送，以“1”符号传送，这时因为信源输出为（二元信源符号/秒），大于2（二元信道符号/秒），就会使信道输入端造成信源符号的堆积，信息不能按时发送出去。所以，不通过编码此信源不能直接与信道连接。若要连接，必须对信源的输出符号序列进行编码，也就是对此信源的N次扩展信源进行编码。但扩展次

12、数越大，编码越复杂，设备的代价也越大，所以尽量使扩展的次数N少，而又能使信源在此信道中无失真传输。先考虑，并对二次扩展信源进行霍夫曼编码，得：二元霍夫曼码 得： 二次扩展编码后，送入信道的传输速率为：所以，必须考虑即对三次扩展信源进行霍夫曼编码，得：二元霍夫曼码三次扩展码后，送入信道额传输速率为：此时，就可以在信道中进行无失真传输了。5-13 现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像素上的灰度级。2345678另有一无噪无损二元信道，单位时间（秒）内传输100个二元符号。（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需多

13、长时间才能传送完这幅图像（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求这图像的信源熵，并对每个灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来表示这时需多少时间才能传送完这幅图像（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于比特。（1）3秒。（2）秒。5-14设某无记忆二元信源，概率=P（1）=，=P（0）=，采用下述游程编码方案:第一步，根据0的游程长度编成8个码字，第二步，将8个码字变换成二元变长码，如下表所示：信源符号序列中间码二元码字S01000S1S210100001S3101100001S4000001S500000