信息论与编码复习5-6.ppt

信息论与编码复习5-6.ppt

《信息论与编码复习5-6.ppt》由会员分享，可在线阅读，更多相关《信息论与编码复习5-6.ppt（23页珍藏版）》请在冰豆网上搜索。

第第5章信源编码章信源编码oo重点掌握重点掌握nn分组码的属性分组码的属性分组码的属性分组码的属性nn唯一可译码的判断方法唯一可译码的判断方法唯一可译码的判断方法唯一可译码的判断方法nn信源编码定理信源编码定理信源编码定理信源编码定理nn香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码oo一般了解一般了解nn编码的术语编码的术语编码的术语编码的术语nn游程编码、算术编码游程编码、算术编码游程编码、算术编码游程编码、算术编码11/10/20221分组码属性分组码属性码码码码非分组码非分组码非分组码非分组码分组码分组码分组码分组码奇异码奇异码奇异码奇异码非奇异码非奇异码非奇异码非奇异码非唯一可译码非唯一可译码非唯一可译码非唯一可译码唯一可译码唯一可译码唯一可译码唯一可译码非即时码非即时码非即时码非即时码即时码（非延长码）即时码（非延长码）即时码（非延长码）即时码（非延长码）11/10/20222码树码树oo中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字oo每个终端节点对应的码字由从根节点出发到终端节点每个终端节点对应的码字由从根节点出发到终端节点每个终端节点对应的码字由从根节点出发到终端节点每个终端节点对应的码字由从根节点出发到终端节点走过的路径上所对应的符号组成走过的路径上所对应的符号组成走过的路径上所对应的符号组成走过的路径上所对应的符号组成oo当第当第当第当第ii阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的码长为码长为码长为码长为iioo按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义oo树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为满树满树满树满树，否则为否则为否则为否则为非满树非满树非满树非满树oo满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码11/10/20223克劳夫特不等式克劳夫特不等式oo唯一可译码唯一可译码存在存在的充分和必要条件为：

各的充分和必要条件为：

各码字的长度码字的长度Ki应满足下式。

应满足下式。

nnmm是进制数，是进制数，是进制数，是进制数，nn是信源符号数是信源符号数是信源符号数是信源符号数nn注意注意注意注意：

克拉夫特不等式只是说明唯一可译码：

克拉夫特不等式只是说明唯一可译码：

克拉夫特不等式只是说明唯一可译码：

克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据。

是否存在，并不能作为唯一可译码的判据。

是否存在，并不能作为唯一可译码的判据。

是否存在，并不能作为唯一可译码的判据。

11/10/20224唯一可译码的判断法唯一可译码的判断法oo将码将码将码将码CC中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合FF，当且仅当集，当且仅当集，当且仅当集，当且仅当集合合合合FF中没有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码CC为唯一可译码。

为唯一可译码。

为唯一可译码。

为唯一可译码。

oo集合集合集合集合FF的构成方法的构成方法的构成方法的构成方法nn首先观察码首先观察码首先观察码首先观察码CC中最短的码字是否是其它码字的前缀。

若中最短的码字是否是其它码字的前缀。

若中最短的码字是否是其它码字的前缀。

若中最短的码字是否是其它码字的前缀。

若是，将其所有可能的尾随后缀排列出。

而这些尾随后缀是，将其所有可能的尾随后缀排列出。

而这些尾随后缀是，将其所有可能的尾随后缀排列出。

而这些尾随后缀是，将其所有可能的尾随后缀排列出。

而这些尾随后缀又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者某些码字是这些尾随某些码字是这些尾随某些码字是这些尾随某些码字是这些尾随后缀的前缀后缀的前缀后缀的前缀后缀的前缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀列出。

依此下去，直到没有一个尾随后缀是码字的前缀列出。

依此下去，直到没有一个尾随后缀是码字的前缀列出。

依此下去，直到没有一个尾随后缀是码字的前缀列出。

依此下去，直到没有一个尾随后缀是码字的前缀为止。

为止。

为止。

为止。

nn按照上述步骤将次短码字、按照上述步骤将次短码字、按照上述步骤将次短码字、按照上述步骤将次短码字、等等所有码字可能产生的等等所有码字可能产生的等等所有码字可能产生的等等所有码字可能产生的尾随后缀全部列出。

最终得到码尾随后缀全部列出。

最终得到码尾随后缀全部列出。

最终得到码尾随后缀全部列出。

最终得到码CC的所有可能的尾随后的所有可能的尾随后的所有可能的尾随后的所有可能的尾随后缀的集合缀的集合缀的集合缀的集合FF。

11/10/20225唯一可译码判断方法和步骤唯一可译码判断方法和步骤1.1.首先，观察是否是首先，观察是否是奇异码奇异码。

若是，一定不是。

若是，一定不是唯一可译码。

唯一可译码。

2.2.其次，计算码长是否满足其次，计算码长是否满足Kraft不等式不等式。

若。

若不满足，一定不是唯一可译码。

不满足，一定不是唯一可译码。

3.3.按照树图的构造法则，若能将码画成按照树图的构造法则，若能将码画成码树码树则则是即时码，也就是唯一可译码。

是即时码，也就是唯一可译码。

4.4.按按唯一可译码判断法唯一可译码判断法进行判断。

进行判断。

只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码11/10/20226无失真信源编码无失真信源编码oo设信源符号序列的长度为设信源符号序列的长度为设信源符号序列的长度为设信源符号序列的长度为LLoo变换成由变换成由变换成由变换成由KKLL个符号组成的个符号组成的个符号组成的个符号组成的码序列（码序列（码序列（码序列（码字码字码字码字）oo变换要求变换要求变换要求变换要求nn能够无失真或无差错地从能够无失真或无差错地从能够无失真或无差错地从能够无失真或无差错地从YY恢复恢复恢复恢复XX，也就是，也就是，也就是，也就是能正确地进行反变换或译码能正确地进行反变换或译码能正确地进行反变换或译码能正确地进行反变换或译码nn传送传送传送传送YY时所需要的信息率最小时所需要的信息率最小时所需要的信息率最小时所需要的信息率最小11/10/20227定长编码定理定长编码定理oo定长编码定理定长编码定理定长编码定理定长编码定理：

由：

由：

由：

由LL个符号组成的、每个符号的熵个符号组成的、每个符号的熵个符号组成的、每个符号的熵个符号组成的、每个符号的熵为为为为HHLL（XX）的无记忆平稳信源符号序列的无记忆平稳信源符号序列的无记忆平稳信源符号序列的无记忆平稳信源符号序列XX11XX22XXllXXLL，可用可用可用可用KKLL个符号个符号个符号个符号YY11,YY22,YYkk,YYKLKL（每个符号有（每个符号有（每个符号有（每个符号有mm种可能值）进行定长编码。

种可能值）进行定长编码。

种可能值）进行定长编码。

种可能值）进行定长编码。

nn对任意对任意对任意对任意00，00，只要，只要，只要，只要则当则当则当则当LL足够大时，必可使译码差错小于足够大时，必可使译码差错小于足够大时，必可使译码差错小于足够大时，必可使译码差错小于；nn反之，当反之，当反之，当反之，当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当LL足够大时，译码几乎足够大时，译码几乎足够大时，译码几乎足够大时，译码几乎必定出错。

必定出错。

必定出错。

必定出错。

11/10/20228编码效率编码效率oo差错概率差错概率nn当信源序列长度当信源序列长度当信源序列长度当信源序列长度LL满足满足满足满足时，时，时，时，就能达到差错率要求。

就能达到差错率要求。

就能达到差错率要求。

就能达到差错率要求。

oo编码效率编码效率nn最佳编码效率为最佳编码效率为最佳编码效率为最佳编码效率为11/10/20229变长编码定理变长编码定理oo单个符号单个符号变长编码定理变长编码定理nn若一离散无记忆信源的符号熵为若一离散无记忆信源的符号熵为H（X），每个信源符号用每个信源符号用m进制码元进行变长编码，进制码元进行变长编码，一定存在一种无失真编码方法，其码字一定存在一种无失真编码方法，其码字平均长度满足下列不等式平均长度满足下列不等式11/10/202210变长编码定理变长编码定理oo离散平稳无记忆序列离散平稳无记忆序列变长编码定理变长编码定理nn对于平均符号熵为对于平均符号熵为HL（X）的离散平稳无的离散平稳无记忆信源，必存在一种无失真编码方法，记忆信源，必存在一种无失真编码方法，使平均信息率使平均信息率满足不等式满足不等式nn其中，其中，为任意小正数。

为任意小正数。

11/10/202211香农编码步骤香农编码步骤1.1.将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列2.2.确定满足下列不等式的整数码长确定满足下列不等式的整数码长确定满足下列不等式的整数码长确定满足下列不等式的整数码长KKii3.3.令令令令PP11=0=0，计算第，计算第，计算第，计算第ii个消息的累加概率个消息的累加概率个消息的累加概率个消息的累加概率4.4.将累加概率将累加概率将累加概率将累加概率PPii变换成二进制数，取小数点后变换成二进制数，取小数点后变换成二进制数，取小数点后变换成二进制数，取小数点后KKii位为该消息的码字位为该消息的码字位为该消息的码字位为该消息的码字11/10/202212费诺编码方法费诺编码方法oo费诺编码属于费诺编码属于概率匹配编码概率匹配编码，不是最佳的编，不是最佳的编码方法。

编码过程如下：

码方法。

编码过程如下：

1.1.将信源消息符号按其出现的概率依次排列将信源消息符号按其出现的概率依次排列将信源消息符号按其出现的概率依次排列将信源消息符号按其出现的概率依次排列pp（xx11）pp（xx22）pp（xxnn）2.2.按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能接近或相等，并为每一组分配一位码元。

如编接近或相等，并为每一组分配一位码元。

如编接近或相等，并为每一组分配一位码元。

如编接近或相等，并为每一组分配一位码元。

如编二进制码就分成两组，编二进制码就分成两组，编二进制码就分成两组，编二进制码就分成两组，编mm进制码就分成进制码就分成进制码就分成进制码就分成mm组。

组。

组。

组。

3.3.将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤22，直，直，直，直至概率不再可分为止。

至概率不再可分为止。

至概率不再可分为