信息论与编码复习1-2.ppt

1、第第1章绪论章绪论oo重点掌握重点掌握n n信息的特征信息的特征信息的特征信息的特征n n信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别n n通信系统的物理模型通信系统的物理模型通信系统的物理模型通信系统的物理模型 oo一般了解一般了解n n信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程n n信息论的研究内容信息论的研究内容信息论的研究内容信息论的研究内容 11/10/20221信息的特征信息的特征oo信息的基本概念在于它的信息的基本概念在于它的不确定性不确定性，任何已任

2、何已确定的事物都不含信息。确定的事物都不含信息。n n接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容n n信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识n n信息可以产生，也可以消

3、失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被携带、贮存及处理携带、贮存及处理携带、贮存及处理携带、贮存及处理n n信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别11/10/20222消息、信号和信息消息、信号和信息uu信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷

4、信息的实体可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体uu消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式uu信息是抽象的、

5、非物理的信息是抽象的、非物理的信息是抽象的、非物理的信息是抽象的、非物理的哲学层表达哲学层表达哲学层表达哲学层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的数学层表达信息的数学层表达信息的数学层表达信息的数学层表达11/10/20223通信系统模型简介通信系统模型简介信信道道信信道道信信源源信信源源信源编码信源编码信源编码信源编码加密加密加密加密信信道道编编码码信信道道编编码码干干 扰扰 源源干干 扰扰 源源信信宿宿信信宿宿信源解码信源解码信源解码信源解码解密解密解密解密信信道道解解码码信信道道解解码码加密加密加密加密密钥密钥密钥密钥解密解密解密解密密钥密钥密钥密钥

6、信源编码提高通信信源编码提高通信信源编码提高通信信源编码提高通信系统的有效性系统的有效性系统的有效性系统的有效性信道编码提高通信信道编码提高通信信道编码提高通信信道编码提高通信系统的可靠性系统的可靠性系统的可靠性系统的可靠性加密编码提高通信加密编码提高通信加密编码提高通信加密编码提高通信系统的安全性系统的安全性系统的安全性系统的安全性11/10/20224第第2章信源及信源熵章信源及信源熵oo重点掌握重点掌握重点掌握重点掌握n n信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述n n自信息量、互信息自信息量、互信息自信息量、互信息自信息量、互信息n n离散信源熵

7、离散信源熵离散信源熵离散信源熵n n离散序列信源的熵离散序列信源的熵离散序列信源的熵离散序列信源的熵n n熵的性质熵的性质熵的性质熵的性质oo一般了解一般了解一般了解一般了解n n连续信源熵连续信源熵连续信源熵连续信源熵n n冗余度冗余度冗余度冗余度11/10/20225信源分类信源分类离散离散离散离散信源信源信源信源 离散离散离散离散无记忆无记忆无记忆无记忆信源信源信源信源离散离散离散离散有记忆有记忆有记忆有记忆信源信源信源信源 发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆

8、信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源11/10/20226信源的数学描述信源的数学描述oo单符号无记忆信源单符号无记忆信源单符号无记忆信源单符号无记忆信源n n用一维离散型用一维离散型用一维离散型用一维离散型随机变量随机变量随机变量随机变量X X来描述这些信息的输出。来描述这些信息的输出。来描述这些信息的输出。来描述这些信息的输出。n n数学模型数学模型数学模型数学模型oo符号序列无记忆信源符号序列无记忆

9、信源符号序列无记忆信源符号序列无记忆信源n n很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出这种用每次发出这种用每次发出这种用每次发出1 1组含组含组含组含2 2个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫做发出符号序列的信源发出符号序列的信源发出符号序列的信源发出符号序列的信源。n n设信源输出的设信源输出的设信源

10、输出的设信源输出的随机序列随机序列随机序列随机序列为为为为X X，序列中的变量序列中的变量序列中的变量序列中的变量11/10/20227信源的数学描述信源的数学描述oo有记忆信源的有记忆信源的联合概率联合概率表示比较复杂，需要表示比较复杂，需要引入引入条件概率条件概率来反映信源发出符号序列内各来反映信源发出符号序列内各个符号之间的记忆特征。个符号之间的记忆特征。11/10/20228信源的数学描述信源的数学描述oo一阶马尔可夫信源一阶马尔可夫信源oom阶马尔可夫信源阶马尔可夫信源11/10/20229自信息量自信息量oo随机事件的自信息量定义为其概率对数的负值，随机事件的自信息量定义为其概率对

11、数的负值，即即ooI I(x xi i)含义含义含义含义:n n当事件当事件当事件当事件x xi i发生以前，表示事件发生以前，表示事件发生以前，表示事件发生以前，表示事件x xi i发生的发生的发生的发生的不确定性不确定性不确定性不确定性n n当事件当事件当事件当事件x xi i发生以后，表示事件发生以后，表示事件发生以后，表示事件发生以后，表示事件x xi i所含有的所含有的所含有的所含有的信息量信息量信息量信息量11/10/202210自信息量的特性自信息量的特性ooI(xi)是非负值是非负值oo当当p(xi)=1时，时，I(xi)=0oo当当p(xi)=0时，时，I(xi)=ooI(x

12、i)是先验概率是先验概率p(xi)的单调递减函数，即的单调递减函数，即 当当p(x1)p(x2)时，时，I(x1)I(x2)oo两个独立事件的两个独立事件的联合信息量联合信息量等于它们分别等于它们分别的信息量之和。即：统计独立信源的信息的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。量等于它们分别的信息量之和。11/10/202211联合自信息量联合自信息量oo两个消息两个消息两个消息两个消息x xi i，y yj j同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量 oo当当当当x xi i,y yj j相互独立时，有相互独立时，有相互独

13、立时，有相互独立时，有p p(x xi i y yj j)=)=p p(x xi i)p p(y yj j)，那，那，那，那么就有么就有么就有么就有 I I(x xi i y yj j)=)=I I(x xi i)+)+I I(y yj j)。oox xi i y yj j所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自信息量。信息量。信息量。信息量。11/10/202212条件自信息量条件自信息量oo在事件在事件在事件在事件y yj j出现的条件下，随机事件出现的条件下，随机事件出现的条件

14、下，随机事件出现的条件下，随机事件x xi i发生的条件概发生的条件概发生的条件概发生的条件概率为率为率为率为p p(x xi i/y yj j)，则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概则它的条件自信息量定义为条件概率对数的负值：率对数的负值：率对数的负值：率对数的负值：n n在给定在给定在给定在给定y yj j条件下，随机事件条件下，随机事件条件下，随机事件条件下，随机事件x xi i所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者

15、含义不同。与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。oo联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量11/10/202213信源熵信源熵oo离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学期望期望期望期望oo信源熵的物理含义信源熵的物理含义信源熵的物理含义信源熵的物理含义n n表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信

16、源的平均不确定性表示信源输出前信源的平均不确定性n n表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息量量量量11/10/202214条件熵条件熵oo在给定在给定在给定在给定y yj j条件下，条件下，条件下，条件下，x xi i的条件自信息量为的条件自信息量为的条件自信息量为的条件自信息量为I I(x xi i/y yj j)，X X集合集合集合集合的条件熵的条件熵的条件熵的条件熵oo在给定在给定在给定在给定Y Y（即各个（即各个（即各个（即各个y yj j）条件下，）条件下，）条件下，）条件下，X X集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo在给定在给定在给定在给定X X（即各个（即各个（即各个（即各个x xi i）条件下，）条件下，）条件下，）条件下，Y Y集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合XYXY上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合