霍夫曼编码霍夫曼编码 多媒体技术基础(第3版)第2章数据无损压缩PPT文档格式.ppt

1、30 April 1916 in Gaylord,Michigan,USADied:24 Feb 2001 in Medford,Massachusetts,USAhttp:/www.bell- 数据无损压缩6 of 722.0 数据无损压缩概述数据无损压缩概述（续续3）nClaude Shannon The founding father of electronic communications age；American mathematical engineerIn 19361940,MIT:nMasters thesis,A symbolic analysis of relay and

2、switching circuitsnDoctoral thesis:on theoretical geneticsIn 1948:nA mathematical theory of communication,landmark,climax（An important feature of Shannons theory:concept of entropy）2022年10月24日第2章 数据无损压缩7 of 722.1 数据的冗余数据的冗余n冗余概念冗余概念人为冗余n在信息处理系统中，使用两台计算机做同样的工作是提高系统可靠性的一种措施n在数据存储和传输中，为了检测和恢复在数据存储或数据传输

3、过程中出现的错误，根据使用的算法的要求，在数据存储或数据传输之前把额外的数据添加到用户数据中，这个额外的数据就是冗余数据视听冗余n由于人的视觉系统和听觉系统的局限性，在图像数据和声音数据中，有些数据确实是多余的，使用算法将其去掉后并不会丢失实质性的信息或含义，对理解数据表达的信息几乎没有影响数据冗余n不考虑数据来源时，单纯数据集中也可能存在多余的数据，去掉这些多余数据并不会丢失任何信息，这种冗余称为数据冗余，而且还可定量表达 2022年10月24日第2章 数据无损压缩8 of 722.1 数据的冗余数据的冗余（续续1）n决策量决策量（decision content）在有限数目的互斥事件集合中

4、，决策量是事件数的对数值在数学上表示为 H0=log（n）其中，n是事件数决策量的单位由对数的底数决定nSh（Shannon）:用于以2为底的对数nNat（natural unit）:用于以e为底的对数nHart（hartley）：用于以10为底的对数2022年10月24日第2章 数据无损压缩9 of 722.1 数据的冗余数据的冗余（续续2）n信息量信息量（information content）具有确定概率事件的信息的定量度量在数学上定义为 其中，是事件出现的概率 举例：假设X=a,b,c是由3个事件构成的集合，p（a）=0.5，p（b）=0.25，p（b）=0.25分别是事件a,b和c出

5、现的概率，这些事件的信息量分别为，I（a）=log2（1/0.50）=1 sh I（b）=log2（1/0.25）=2 sh I（c）=log2（1/0.25）=2 sh一个等概率事件的集合，每个事件的信息量等于该集合的决策量2022年10月24日第2章 数据无损压缩10 of 722.1 数据的冗余数据的冗余（续续3）n熵（entropy）按照香农（Shannon）的理论，在有限的互斥和联合穷举事件的集合中，熵为事件的信息量的平均值，也称事件的平均信息量（mean information content）用数学表示为2022年10月24日第2章 数据无损压缩11 of 722.1 数据的冗余

6、数据的冗余（续续4）n数据的冗余量数据的冗余量2022年10月24日第2章 数据无损压缩12 of 722.2 统计编码统计编码n统计编码给已知统计信息的符号分配代码的数据无损压缩方法n编码方法方法香农-范诺编码霍夫曼编码算术编码n编码特性特性香农-范诺编码和霍夫曼编码的原理相同，都是根据符号集中各个符号出现的频繁程度来编码，出现次数越多的符号，给它分配的代码位数越少算术编码使用0和1之间的实数的间隔长度代表概率大小，概率越大间隔越长，编码效率可接近于熵2022年10月24日第2章 数据无损压缩13 of 722.2.1 统计编码统计编码香农香农-范诺编码范诺编码n香香农-范范诺编码（Shan

7、nonFano coding）在香农的源编码理论中，熵的大小表示非冗余的不可压缩的信息量在计算熵时，如果对数的底数用2，熵的单位就用“香农（Sh）”，也称“位（bit）”。“位”是1948年Shannon首次使用的术语。例如最早阐述和实现“从上到下”的熵编码方法的人是Shannon（1948年）和Fano（1949年），因此称为香农-范诺（Shannon-Fano）编码法2022年10月24日第2章 数据无损压缩14 of 722.2.1 香农香农-范诺编码范诺编码n香香农-范范诺编码举例例 有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A，B，C，D和E表示。40个像素中出现灰度A

8、的像素数有15个，出现灰度B的像素数有7个，出现灰度C的像素数有7个，其余情况见表2-1n（1）计算该图像可能获得的压缩比的理论值n（2）对5个符号进行编码n（3）计算该图像可能获得的压缩比的实际值表表2-1 符号在符号在图像中出像中出现的数目的数目符号ABCDE出现的次数157765出现的概率15/407/407/406/405/402022年10月24日第2章 数据无损压缩15 of 722.2.1 香农香农-范诺编码范诺编码（续续1）（1）压缩比的理比的理论值按照常规的编码方法，表示5个符号最少需要3位，如用000表示A，001表示B，100表示E，其余3个代码（101，110，111）

9、不用。这就意味每个像素用3位，编码这幅图像总共需要120位。按照香农理论，这幅图像的熵为这个数值表明，每个符号不需要用3位构成的代码表示，而用2.196位就可以，因此40个像素只需用87.84位就可以，因此在理论上，这幅图像的的压缩比为120:87.841.37:1，实际上就是3:2.1961.37 2022年10月24日第2章 数据无损压缩16 of 722.2.1 香农香农-范诺编码范诺编码（续续2）（2）符号编码符号编码对每个符号进行编码时采用“从上到下”的方法。首先按照符号出现的频度或概率排序，如A，B，C，D和E，见表2-2。然后使用递归方法分成两个部分，每一部分具有近似相同的次数，

10、如图2-1所示 2022年10月24日第2章 数据无损压缩17 of 722.2.1 香农香农-范诺编码范诺编码（续续3）（3）压缩比的实际值）压缩比的实际值按照这种方法进行编码需要的总位数为30+14+14+18+1591，实际的压缩比为120:911.32:1 图2-1 香农-范诺算法编码举例 2022年10月24日第2章 数据无损压缩18 of 722.2.2 统计编码统计编码霍夫曼编码霍夫曼编码n霍夫曼霍夫曼编码（Huffman coding）霍夫曼（D.A.Huffman）在1952年提出和描述的“从下到上”的熵编码方法根据给定数据集中各元素所出现的频率来压缩数据的一种统计压缩编码方

11、法。这些元素（如字母）出现的次数越多，其编码的位数就越少广泛用在JPEG,MPEG,H.26X等各种信息编码标准中2022年10月24日第2章 数据无损压缩19 of 722.2.2 霍夫曼编码 Case Study 1n霍夫曼霍夫曼编码举例例1现有一个由5个不同符号组成的30个符号的字符串：BABACACADADABBCBABEBEDDABEEEBB计算（1）该字符串的霍夫曼码（2）该字符串的熵（3）该字符串的平均码长（4）编码前后的压缩比2022年10月24日第2章 数据无损压缩20 of 722.2.2 霍夫曼编码 Case Study 1（续续1）符号出现的次数 log2（1/pi）分

12、配的代码需要的位数B101.585?A81.907?C33.322?D42.907?E52.585?合计30符号出现的概率符号出现的概率2022年10月24日第2章 数据无损压缩21 of 722.2.2 霍夫曼编码霍夫曼编码 Case Study 1（续续2）（1）计算算该字符串的霍夫曼字符串的霍夫曼码步骤：按照符号出现概率大小的顺序对符号进行排序步骤：把概率最小的两个符号组成一个节点P1步骤：重复步骤，得到节点P2，P3，P4，PN，形成一棵树，其中的PN称为根节点步骤：从根节点PN开始到每个符号的树叶，从上到下 标上0（上枝）和1（下枝），至于哪个为1哪个为0则 无关紧要，但通常把概率大的标成1，概率小的 标成0步骤：从根节点PN开始顺着树枝到每个叶子分别写出 每个符号的代码2022年10月24日第2章 数据无损压缩22 of 722.2.2 霍夫曼编码霍夫曼编码 Case Study 1（续续3）符号符号B（10）A（8）E（5）D（4）C（3）P1（7）P2（12）P3（18）P4（30）01101010代码代码B（11）A（10）E（00）D（011）C（010）2022年