信息论基础与编码第五章Word格式文档下载.docx
《信息论基础与编码第五章Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《信息论基础与编码第五章Word格式文档下载.docx（17页珍藏版）》请在冰豆网上搜索。
100
0111
1110
1100
101
01111
11110
1001
805个，即要占用首位为0～7的所有数字及以8为首的5个数字。
因为要求居民电话号码等长，以9为首的数字5位长可定义10000个号码，6位长可定义100000个号码。
所以。
或由Craft不等式，有解得，即
（b）在（a）的基础上，将80为首的数字用于最后5个公务电话，81～86为首的6位数用于B区51000个号码，以9为首的5位数用于A区9000个号码。
所以，。
或由Draft不等式，有
或
解得即
5-5求概率分布为的信源的二元霍夫曼码。
讨论此码对于概率分布为的信源也是最佳二元码。
解：
信源的概率分布为：
二元霍夫曼码：
00，10，11，010，011，码长：
2，2，2，3，3
当信源给定时，二元霍夫曼码是最佳二元码。
所以对于概率分布为的信源，其最佳二元码就是二元霍夫曼码。
这二元霍夫曼码一定是三个信源符号的码长为2（码符号/信源符号），另二个信源符号的码长为3（码符号/信源符号），其平均码长最短。
因此，上述对概率分布为信源所编的二元霍夫曼码也是概略分布为信源的最佳二元码。
5-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这些霍夫曼码的信源的所有概率分布。
由题意假设信源所发出的是个符号的概率为
由霍夫曼编码的特点知：
根据霍夫曼编码的方法，每次概率最小的两个信源符号合并成一个符号，构成新的缩减信源，直至最后只剩两个符号。
而且当缩减信源中的所有符号概率相等时，总是将合并的符号放在最上面。
所以，对于二元霍夫曼码为（00，01，10，11）来说，每个信源都要缩减一次，所以要大于和，这时必有
同理对于二元霍夫曼码为（0，10，110，111）有
信源概率分布满足以上条件则其霍夫曼编码符合题意。
5-7设一信源有K=6个符号，其概率分别为：
，，，对该信源进行霍夫曼二进制编码，并求编码效率。
相应的Huffman编码是：
{1,01,001,0001,00000,00001}。
平均码长=1.95，熵=1.94
5-8设信源概率空间为：
=，
（1）求和信源冗余度；
（2）设码符号为X={0,1}，编出S的紧致码，并求紧致码的平均码长；
（3）把信源的N次无记忆扩展信源编成紧致码，试求N=2，3，4，时的平均码长；
（4）计算上述N=1，2，3，4这四种码的编码效率和码冗余度。
（1）信源
其0.469比特/符号
剩余度0.531=53.1％
（2）码符号X={0,1}，对信源S编紧致码为：
，
其平均码长=1码符号/信源符号
（3）当N=2时
=
紧致码（即霍夫曼码）为
码字0,10,110,111
码长1,2,3,3
平均码长=0.645码符号/信源符号
N=3时，=
对信源进行霍夫曼编码，其紧致码为
码字0,100,101,110,11100,11101,11110,11111
码长1,3,3,3,5,5,5,5
平均码长=0.533码符号/信源符号
N=4时，=
码字0,100,101,110,1110,111110,1111000,1111001,
码长1,3,3,3,4,6,7,7,
码字1111010,1111011,1111110,111111101,111111110,111111111,1111111000,1111111001
码长7,7,7,9,9,9,10,10
平均码长=0.493码符号/信源符号
N=时，根据香农第一定理，其紧致码的平均码长
=0.469码符号/信源符号
（4）编码效率（r=2）
码剩余度1－（r=2）
所以N=1编码效率0.469码剩余度0.531=53.1%
N=20.7270.273=27.3%
N=30.8800.120=12%
N=40.9510.049=4.9%
从本题讨论可知，对于变长紧致码，当N不很大时，就可以达到高效的无失真信源编码。
5-9设信源空间为：
=，码符号为X={0,1,2}，试构造一种三元紧致码。
得信源符号s1s2s3s4s5s6s7s8
三元紧致码10002202122010011
5-10某气象员报告气象状态，有四种可能的消息：
晴、云、雨和雾。
若每个消息是等概的，那么发送每个消息最少所需的二元脉冲数是多少？
又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？
如何编码？
第一种情况：
需要二元脉冲数两个，可表示四种状态，满足我们的要求。
第二种情况：
我们采用霍夫曼可编为1/2编为1；
1/4编为01，1/8编为000和001，脉冲数显然。
5-11若某一信源有个符号，并且每个符号等概率出现，对这信源用最佳霍夫曼码进行二元编码，问当和（是正整数）时，每个码字的长度等于多少？
平均码长是多少？
当时用霍夫曼编码方法进行最佳编码，由于每个符号是等概率分布的，所以每个符号码长应相等，这样平均码长最短，而且信源符号个数正好等于，则满足：
，所以每个码字的码长。
当个1时，因为每个符号等概率分布出现，所以每个符号的码长也应该基本相等，但现在信源符号个数不是正好等于，所以必须有两个信源符号的码长延长一位码长，这样平均码长最短。
所以时个码字的码长为，其余2个码字的码长为。
平均码长。
5-12若有一信源
每秒钟发出2.66个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递2个二元符号。
试问信源不通过编码能否直接与信道连接？
若通过适当编码能否在此信道中进行无失真传输？
若能连接，试说明如何编码并说明原因。
信源，其信源熵
而其每秒钟发出2.66个信源符号，所以信源输出的信息速率为：
送入一个二元无噪无损信道，此信道的最大信息传输率（信道容量）。
而信道每秒钟只传输两个二元符号，所以信道的最大信息传输速率为：
可见：
。
根据无噪信道编码定理（即无失真信源编码定理），因。
所以总能对信源的输出进行适当的编码，使此信源能在此信道中进行无失真地传输。
如果对信源不进行编码，直接将信源符号以“0”符号传送，以“1”符号传送，这时因为信源输出为2.66（二元信源符号/秒），大于2（二元信道符号/秒），就会使信道输入端造成信源符号的堆积，信息不能按时发送出去。
所以，不通过编码此信源不能直接与信道连接。
若要连接，必须对信源的输出符号序列进行编码，也就是对此信源的N次扩展信源进行编码。
但扩展次数越大，编码越复杂，设备的代价也越大，所以尽量使扩展的次数N少，而又能使信源在此信道中无失真传输。
先考虑，并对二次扩展信源进行霍夫曼编码，得：
二元霍夫曼码
得：
二次扩展编码后，送入信道的传输速率为：
所以，必须考虑即对三次扩展信源进行霍夫曼编码，得：
二元霍夫曼码
三次扩展码后，送入信道额传输速率为：
此时，就可以在信道中进行无失真传输了。
5-13现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。
表中数字为相应像素上的灰度级。
2
3
4
5
6
7
8
另有一无噪无损二元信道，单位时间（秒）内传输100个二元符号。
（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需多长时间才能传送完这幅图像？
（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求这图像的信源熵，并对每个灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来表示？
这时需多少时间才能传送完这幅图像？
（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于比特。
（1）3秒。
（2）2.59秒。
5-14设某无记忆二元信源，概率=P
（1）=0.1，=P（0）=0.9，采用下述游程编码方案:
第一步，根据0的游程长度编成8个码字，第二步，将8个码字变换成二元变长码，如下表所示：
信源符号序列
中间码
二元码字
S0
1000
S1
S2
1010
0001
S3
1011
00001
S4
000001
S5
0000001
S6
00000001
S7
1111
00000000
S8
（1）试问最后的二元变长码是否是唯一可译码；
（2）试求中间码对应的信源序列的平均长度；
（3）试求中间码对应的变长码二元码码字的平均长度；
（4）计算比值，解释它的意义，并计算这种游程编码的编码效率；
（5）若用霍夫曼编码，对信源的四次扩展信源进行直接编码，求它的平均码长（对应于每一个信源符号），并计算编码效率，试将此方法与游程编码方法进行比较；
（6）将上述游程编码方法一般化，可把个信源序列（上例中s=3）变换成二元变长码，即个连零的信源序列编为码字0，而其他信源序列都编成s+1位的码字.若信源输出零的概率为，求/的一般表达式，并求=0.995时s的最佳值。
解:
（1）根据唯一可译码的判断方法可知，最后的二元变长码是非延长码（即时码，所以它是唯一可译码。
（2）因为信源是二元无记忆信源，所以有P（si）=P（si1）P（s2）…P（sin）
其中si=（si1si2…sin）si1,si2,…sin{0,1}
已知p1=P
（1）=0.1，p0=P（0）=0.9，可求得信源符号序列的概率P（si）。
根据编码，可排出下列表
序列的概率P（si）
信源符号序列长度l1i
二元码码长l
升级会员 