信息论与编码复习1-2.ppt

信息论与编码复习1-2.ppt

《信息论与编码复习1-2.ppt》由会员分享，可在线阅读，更多相关《信息论与编码复习1-2.ppt（29页珍藏版）》请在冰豆网上搜索。

第第1章绪论章绪论oo重点掌握重点掌握nn信息的特征信息的特征信息的特征信息的特征nn信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别nn通信系统的物理模型通信系统的物理模型通信系统的物理模型通信系统的物理模型oo一般了解一般了解nn信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程nn信息论的研究内容信息论的研究内容信息论的研究内容信息论的研究内容11/10/20221信息的特征信息的特征oo信息的基本概念在于它的信息的基本概念在于它的不确定性不确定性，任何已任何已确定的事物都不含信息。

确定的事物都不含信息。

nn接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容nn信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识nn信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被携带、贮存及处理携带、贮存及处理携带、贮存及处理携带、贮存及处理nn信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别11/10/20222消息、信号和信息消息、信号和信息uu信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体uu消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式uu信息是抽象的、非物理的信息是抽象的、非物理的信息是抽象的、非物理的信息是抽象的、非物理的哲学层表达哲学层表达哲学层表达哲学层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的数学层表达信息的数学层表达信息的数学层表达信息的数学层表达11/10/20223通信系统模型简介通信系统模型简介信信道道信信道道信信源源信信源源信源编码信源编码信源编码信源编码加密加密加密加密信信道道编编码码信信道道编编码码干干扰扰源源干干扰扰源源信信宿宿信信宿宿信源解码信源解码信源解码信源解码解密解密解密解密信信道道解解码码信信道道解解码码加密加密加密加密密钥密钥密钥密钥解密解密解密解密密钥密钥密钥密钥信源编码提高通信信源编码提高通信信源编码提高通信信源编码提高通信系统的有效性系统的有效性系统的有效性系统的有效性信道编码提高通信信道编码提高通信信道编码提高通信信道编码提高通信系统的可靠性系统的可靠性系统的可靠性系统的可靠性加密编码提高通信加密编码提高通信加密编码提高通信加密编码提高通信系统的安全性系统的安全性系统的安全性系统的安全性11/10/20224第第2章信源及信源熵章信源及信源熵oo重点掌握重点掌握重点掌握重点掌握nn信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述nn自信息量、互信息自信息量、互信息自信息量、互信息自信息量、互信息nn离散信源熵离散信源熵离散信源熵离散信源熵nn离散序列信源的熵离散序列信源的熵离散序列信源的熵离散序列信源的熵nn熵的性质熵的性质熵的性质熵的性质oo一般了解一般了解一般了解一般了解nn连续信源熵连续信源熵连续信源熵连续信源熵nn冗余度冗余度冗余度冗余度11/10/20225信源分类信源分类离散离散离散离散信源信源信源信源离散离散离散离散无记忆无记忆无记忆无记忆信源信源信源信源离散离散离散离散有记忆有记忆有记忆有记忆信源信源信源信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源11/10/20226信源的数学描述信源的数学描述oo单符号无记忆信源单符号无记忆信源单符号无记忆信源单符号无记忆信源nn用一维离散型用一维离散型用一维离散型用一维离散型随机变量随机变量随机变量随机变量XX来描述这些信息的输出。

来描述这些信息的输出。

来描述这些信息的输出。

来描述这些信息的输出。

nn数学模型数学模型数学模型数学模型oo符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源nn很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出这种用每次发出这种用每次发出这种用每次发出11组含组含组含组含22个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做发出符号序列的信源发出符号序列的信源发出符号序列的信源发出符号序列的信源。

nn设信源输出的设信源输出的设信源输出的设信源输出的随机序列随机序列随机序列随机序列为为为为XX，序列中的变量序列中的变量序列中的变量序列中的变量11/10/20227信源的数学描述信源的数学描述oo有记忆信源的有记忆信源的联合概率联合概率表示比较复杂，需要表示比较复杂，需要引入引入条件概率条件概率来反映信源发出符号序列内各来反映信源发出符号序列内各个符号之间的记忆特征。

个符号之间的记忆特征。

11/10/20228信源的数学描述信源的数学描述oo一阶马尔可夫信源一阶马尔可夫信源oom阶马尔可夫信源阶马尔可夫信源11/10/20229自信息量自信息量oo随机事件的自信息量定义为其概率对数的负值，随机事件的自信息量定义为其概率对数的负值，即即ooII（xxii）含义含义含义含义:

nn当事件当事件当事件当事件xxii发生以前，表示事件发生以前，表示事件发生以前，表示事件发生以前，表示事件xxii发生的发生的发生的发生的不确定性不确定性不确定性不确定性nn当事件当事件当事件当事件xxii发生以后，表示事件发生以后，表示事件发生以后，表示事件发生以后，表示事件xxii所含有的所含有的所含有的所含有的信息量信息量信息量信息量11/10/202210自信息量的特性自信息量的特性ooI（xi）是非负值是非负值oo当当p（xi）=1时，时，I（xi）=0oo当当p（xi）=0时，时，I（xi）=ooI（xi）是先验概率是先验概率p（xi）的单调递减函数，即的单调递减函数，即当当p（x1）p（x2）时，时，I（x1）I（x2）oo两个独立事件的两个独立事件的联合信息量联合信息量等于它们分别等于它们分别的信息量之和。

即：

统计独立信源的信息的信息量之和。

即：

统计独立信源的信息量等于它们分别的信息量之和。

量等于它们分别的信息量之和。

11/10/202211联合自信息量联合自信息量oo两个消息两个消息两个消息两个消息xxii，yyjj同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量oo当当当当xxii,yyjj相互独立时，有相互独立时，有相互独立时，有相互独立时，有pp（xxiiyyjj）=）=pp（xxii）pp（yyjj），那，那，那，那么就有么就有么就有么就有II（xxiiyyjj）=）=II（xxii）+）+II（yyjj）。

ooxxiiyyjj所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自信息量。

信息量。

信息量。

信息量。

11/10/202212条件自信息量条件自信息量oo在事件在事件在事件在事件yyjj出现的条件下，随机事件出现的条件下，随机事件出现的条件下，随机事件出现的条件下，随机事件xxii发生的条件概发生的条件概发生的条件概发生的条件概率为率为率为率为pp（xxii/yyjj），则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概率对数的负值：

率对数的负值：

率对数的负值：

率对数的负值：

nn在给定在给定在给定在给定yyjj条件下，随机事件条件下，随机事件条件下，随机事件条件下，随机事件xxii所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。

与条件自信息量相同，但两者含义不同。

与条件自信息量相同，但两者含义不同。

与条件自信息量相同，但两者含义不同。

oo联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量11/10/202213信源熵信源熵oo离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学期望期望期望期望oo信源熵的物理含义信源熵的物理含义信源熵的物理含义信源熵的物理含义nn表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性nn表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息量量量量11/10/202214条件熵条件熵oo在给定在给定在给定在给定yyjj条件下，条件下，条件下，条件下，xxii的条件自信息量为的条件自信息量为的条件自信息量为的条件自信息量为II（xxii/yyjj），XX集合集合集合集合的条件熵的条件熵的条件熵的条件熵oo在给定在给定在给定在给定YY（即各个（即各个（即各个（即各个yyjj）条件下，）条件下，）条件下，）条件下，XX集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo在给定在给定在给定在给定XX（即各个（即各个（即各个（即各个xxii）条件下，）条件下，）条件下，）条件下，YY集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合XYXY上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合