第2章1信息论与编码.ppt

第2章1信息论与编码.ppt

《第2章1信息论与编码.ppt》由会员分享，可在线阅读，更多相关《第2章1信息论与编码.ppt（75页珍藏版）》请在冰豆网上搜索。

第第2章信源及信源熵章信源及信源熵2.12.1信源的描述和分类信源的描述和分类2.22.2离散信源熵和互信息离散信源熵和互信息2.32.3离散序列信源熵离散序列信源熵2.42.4连续信源熵和互信息连续信源熵和互信息2.52.5冗余度冗余度11/10/20221复习信息的概念复习信息的概念oo在信息论中，信源是发出消息的源，信源输出在信息论中，信源是发出消息的源，信源输出在信息论中，信源是发出消息的源，信源输出在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。

以符号形式出现的具体消息。

以符号形式出现的具体消息。

以符号形式出现的具体消息。

oo如果符号是确定的而且预先是知道的，那么该如果符号是确定的而且预先是知道的，那么该如果符号是确定的而且预先是知道的，那么该如果符号是确定的而且预先是知道的，那么该消息就无信息而言。

只有当符号的出现是消息就无信息而言。

只有当符号的出现是消息就无信息而言。

只有当符号的出现是消息就无信息而言。

只有当符号的出现是随机随机随机随机的，预先无法确定，那么一旦出现某个符号就的，预先无法确定，那么一旦出现某个符号就的，预先无法确定，那么一旦出现某个符号就的，预先无法确定，那么一旦出现某个符号就给观察者提供了信息。

给观察者提供了信息。

给观察者提供了信息。

给观察者提供了信息。

oo因此，应该用因此，应该用因此，应该用因此，应该用随机变量随机变量随机变量随机变量或或或或随机矢量随机矢量随机矢量随机矢量来表示信源，来表示信源，来表示信源，来表示信源，运用运用运用运用概率论概率论概率论概率论和和和和随机过程随机过程随机过程随机过程的理论来研究信息，这的理论来研究信息，这的理论来研究信息，这的理论来研究信息，这就是香农信息论的基本点。

就是香农信息论的基本点。

就是香农信息论的基本点。

就是香农信息论的基本点。

11/10/202222.12.1信源的描述和分类信源的描述和分类oo按信源在时间和幅度上的分布情况按信源在时间和幅度上的分布情况按信源在时间和幅度上的分布情况按信源在时间和幅度上的分布情况nn离散信源：

文字、数据、电报离散信源：

文字、数据、电报离散信源：

文字、数据、电报离散信源：

文字、数据、电报nn连续信源：

语音、图像连续信源：

语音、图像连续信源：

语音、图像连续信源：

语音、图像oo按发出符号的数量按发出符号的数量按发出符号的数量按发出符号的数量nn单个符号信源：

单个符号信源：

单个符号信源：

单个符号信源：

指信源每次只发出一个符号代表一个消息指信源每次只发出一个符号代表一个消息指信源每次只发出一个符号代表一个消息指信源每次只发出一个符号代表一个消息nn符号序列信源：

符号序列信源：

符号序列信源：

符号序列信源：

指信源每次发出一组含二个以上符号的符号指信源每次发出一组含二个以上符号的符号指信源每次发出一组含二个以上符号的符号指信源每次发出一组含二个以上符号的符号序列代表一个消息序列代表一个消息序列代表一个消息序列代表一个消息oo按符号间的关系按符号间的关系按符号间的关系按符号间的关系nn无记忆信源无记忆信源无记忆信源无记忆信源nn有记忆信源有记忆信源有记忆信源有记忆信源信源所发出的各个符号是相互独信源所发出的各个符号是相互独信源所发出的各个符号是相互独信源所发出的各个符号是相互独立的，发出的符号序列中的各个立的，发出的符号序列中的各个立的，发出的符号序列中的各个立的，发出的符号序列中的各个符号之间没有统计关联性符号之间没有统计关联性符号之间没有统计关联性符号之间没有统计关联性信源所发出的各个符号信源所发出的各个符号信源所发出的各个符号信源所发出的各个符号的概率是有关联的的概率是有关联的的概率是有关联的的概率是有关联的11/10/20223信源分类信源分类信源无记忆信源有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源马尔可夫信源马尔可夫信源马尔可夫信源马尔可夫信源：

某一个符号出现的概率只与前面一：

某一个符号出现的概率只与前面一：

某一个符号出现的概率只与前面一：

某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号个或有限个符号有关，而不依赖更前面的那些符号个或有限个符号有关，而不依赖更前面的那些符号个或有限个符号有关，而不依赖更前面的那些符号11/10/20224概率空间概率空间oo概率概率概率概率nn随机现象中事件发生的可能性大小是客观存在的，因此随机现象中事件发生的可能性大小是客观存在的，因此随机现象中事件发生的可能性大小是客观存在的，因此随机现象中事件发生的可能性大小是客观存在的，因此可以对它进行量度。

量度的数量指标就是可以对它进行量度。

量度的数量指标就是可以对它进行量度。

量度的数量指标就是可以对它进行量度。

量度的数量指标就是概率概率概率概率。

oo样本空间样本空间样本空间样本空间nn某事物各种可能出现的不同状态，即所有可能选择的消某事物各种可能出现的不同状态，即所有可能选择的消某事物各种可能出现的不同状态，即所有可能选择的消某事物各种可能出现的不同状态，即所有可能选择的消息集合。

息集合。

息集合。

息集合。

nn每个可能选择的消息是这个样本空间的一个元素。

每个可能选择的消息是这个样本空间的一个元素。

每个可能选择的消息是这个样本空间的一个元素。

每个可能选择的消息是这个样本空间的一个元素。

oo概率空间概率空间概率空间概率空间nn对于离散消息的集合，对于离散消息的集合，对于离散消息的集合，对于离散消息的集合，概率测度概率测度概率测度概率测度就是对每一个可能选择就是对每一个可能选择就是对每一个可能选择就是对每一个可能选择的消息指定一个概率。

的消息指定一个概率。

的消息指定一个概率。

的消息指定一个概率。

nn一个样本空间和它的概率测度一起构成一个概率空间。

一个样本空间和它的概率测度一起构成一个概率空间。

一个样本空间和它的概率测度一起构成一个概率空间。

一个样本空间和它的概率测度一起构成一个概率空间。

11/10/20225概率空间概率空间oo数学定义数学定义数学定义数学定义一个离散信源发出的各个符号消息的集合为一个离散信源发出的各个符号消息的集合为一个离散信源发出的各个符号消息的集合为一个离散信源发出的各个符号消息的集合为它们的概率分别为它们的概率分别为它们的概率分别为它们的概率分别为该信源的概率空间为该信源的概率空间为该信源的概率空间为该信源的概率空间为显然有显然有显然有显然有信源空间信源空间信源空间信源空间先验概率先验概率先验概率先验概率11/10/20226概率论复习概率论复习oo无条件概率无条件概率无条件概率无条件概率P（xP（xii）nn又称又称又称又称先验概率先验概率先验概率先验概率，指基于以往数据记录统计得到，指基于以往数据记录统计得到，指基于以往数据记录统计得到，指基于以往数据记录统计得到的概率的概率的概率的概率oo条件概率条件概率条件概率条件概率P（B/A）P（B/A）nn在已知事件在已知事件在已知事件在已知事件AA发生条件下，事件发生条件下，事件发生条件下，事件发生条件下，事件BB发生的概率发生的概率发生的概率发生的概率nn又称又称又称又称后验概率后验概率后验概率后验概率oo联合概率联合概率联合概率联合概率P（AB）P（AB）nn事件事件事件事件AA和事件和事件和事件和事件BB同时发生的概率同时发生的概率同时发生的概率同时发生的概率11/10/20227概率论复习概率论复习完备性完备性完备性完备性非负性非负性非负性非负性11/10/20228概率论复习概率论复习联合概率联合概率联合概率联合概率贝叶斯公式贝叶斯公式贝叶斯公式贝叶斯公式11/10/20229单个符号的离散无记忆信源单个符号的离散无记忆信源oo有些信源可能输出的消息数是有些信源可能输出的消息数是有些信源可能输出的消息数是有些信源可能输出的消息数是有限的或可数的有限的或可数的有限的或可数的有限的或可数的，而且每，而且每，而且每，而且每次只输出其中一个消息。

次只输出其中一个消息。

次只输出其中一个消息。

次只输出其中一个消息。

oo如书信文字、计算机的代码、电报符号、阿拉伯数字码如书信文字、计算机的代码、电报符号、阿拉伯数字码如书信文字、计算机的代码、电报符号、阿拉伯数字码如书信文字、计算机的代码、电报符号、阿拉伯数字码等。

等。

等。

等。

oo例如：

掷骰子例如：

掷骰子例如：

掷骰子例如：

掷骰子nn扔一颗质地均匀的骰子，每次扔掷的结果必然是扔一颗质地均匀的骰子，每次扔掷的结果必然是扔一颗质地均匀的骰子，每次扔掷的结果必然是扔一颗质地均匀的骰子，每次扔掷的结果必然是11点点点点66点中的某一面朝上，哪一面朝上是随机的。

点中的某一面朝上，哪一面朝上是随机的。

点中的某一面朝上，哪一面朝上是随机的。

点中的某一面朝上，哪一面朝上是随机的。

11/10/202210单个符号的离散无记忆信源单个符号的离散无记忆信源oo用一维离散型用一维离散型用一维离散型用一维离散型随机变量随机变量随机变量随机变量XX来描述这些信息的输出。

来描述这些信息的输出。

来描述这些信息的输出。

来描述这些信息的输出。

oo数学模型数学模型数学模型数学模型oo当信源给定，其相应的概率空间就已给定；反之，当信源给定，其相应的概率空间就已给定；反之，当信源给定，其相应的概率空间就已给定；反之，当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。

如果概率空间给定，这就表示相应的信源已给定。

如果概率空间给定，这就表示相应的信源已给定。

如果概率空间给定，这就表示相应的信源已给定。

oo信源可能的消息（符号）数是有限的，而且每次信源可能的消息（符号）数是有限的，而且每次信源可能的消息（符号）数是有限的，而且每次信源可能的消息（符号）数是有限的，而且每次必定选取其中一个消息输出，满足完备集条件。

必定选取其中一个消息输出，满足完备集条件。

必定选取其中一个消息输出，满足完备集条件。

必定选取其中一个消息输出，满足完备集条件。

11/10/202211单符号连续无记忆信源单符号连续无记忆信源oo连续信源连续信源连续信源连续信源：

输出在时间和幅度上都是连续分布的连：

输出在时间和幅度上都是连续分布的连：

输出在时间和幅度上都是连续分布的连：

输出在时间和幅度上都是连续分布的连续消息的信源。

续消息的信源。

续消息的信源。

续消息的信源。

oo单符号连续无记忆信源单符号连续无记忆信源单符号连续无记忆信源单符号连续无记忆信源nn消息数无限或不可数，且每次只输出其中一个消息。

消息数无限或不可数，且每次只输出其中一个消息。

消息数无限或不可数，且每次只输出其中一个消息。

消息数无限或不可数，且每次只输出其中一个消息。

可用一维的可用一维的可用一维的可用一维的连续型随机变量连续型随机变量连续型随机变量连续型随机变量XX来描述这些消息。

来描述这些消息。

来描述这些消息。

来描述这些消息。

nn数学描述数学描述数学描述数学描述nn例：

随机取一节干电池测其电压值作为输出符号，符例：

随机取一节干电池测其电压值作为输出符号，符例：

随机取一节干电池测其电压值作为输出符号，符例：

随机取一节干电池测其电压值作为输出符号，符号取值为号取值为号取值为号取值为00，1.51.5之间的所有实数。

之间的所有实数。

之间的所有实数。

之间的所有实数。

ppXX（xx）是随是随是随是随机变量机变量机变量机变量XX的的的的概率密度函概率密度函概率密度函概率密度函数数数数11/10/202212符号序列的离散无记忆信源符号序列的离散无记忆信源oo很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出这种用每次发出这种用每次发出这种用每次发出11组含组含组含组含22个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代表一