第7章+保真度准则下的信源编码.ppt

第7章+保真度准则下的信源编码.ppt

《第7章+保真度准则下的信源编码.ppt》由会员分享，可在线阅读，更多相关《第7章+保真度准则下的信源编码.ppt（74页珍藏版）》请在冰豆网上搜索。

第第7章章保真度准则下保真度准则下的信源编码的信源编码赵赵越越2011.11无失真信源编码无失真信源编码和和有噪信道编码有噪信道编码告诉我们：

只告诉我们：

只要信道的信息传输速率要信道的信息传输速率R小于信道容量小于信道容量C，总能找到，总能找到一种编码方法一种编码方法,使得在该信道上的信息传输的错误使得在该信道上的信息传输的错误概率任意小；反之，若信道的信息传输速率概率任意小；反之，若信道的信息传输速率R大于大于信道容量信道容量C，则不可能使信息传输错误概率任意小。

，则不可能使信息传输错误概率任意小。

但是，无失真的编码并非总是必要的。

但是，无失真的编码并非总是必要的。

2在很多场合，如果要求对信源进行无失真地传输，在很多场合，如果要求对信源进行无失真地传输，则要求信源的输出速率和信道提供的信息传输率要则要求信源的输出速率和信道提供的信息传输率要充分大甚至无限大充分大甚至无限大，这往往是不现实的。

，这往往是不现实的。

比如连续信源，由于连续信源的绝对熵为无限大，比如连续信源，由于连续信源的绝对熵为无限大，若要求无失真地对其进行传输，则要求信道的信息若要求无失真地对其进行传输，则要求信道的信息传输率也为无限大，这是不现实的。

因此不可能实传输率也为无限大，这是不现实的。

因此不可能实现完全的无失真传输。

现完全的无失真传输。

即使是对于离散信源，由于处理的信息量越来越即使是对于离散信源，由于处理的信息量越来越大，使得信息的存储和传输成本越来越高。

大，使得信息的存储和传输成本越来越高。

3另一方面，在很多场合，过高的信息率也没有必要。

另一方面，在很多场合，过高的信息率也没有必要。

例如：

由于人耳能够接收的例如：

由于人耳能够接收的带宽和分辨率带宽和分辨率是有限的，是有限的，因此对数字音频传输的时候，就允许有一定的失真，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏没有影响。

又如对于数字电视，由于人的并且对欣赏没有影响。

又如对于数字电视，由于人的视觉系统的分辨率视觉系统的分辨率有限，并且对低频比较敏感，对高有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量频不太敏感，因此也可以损失部分高频分量（当然要当然要在一定的限度内在一定的限度内）。

如：

如：

语音信号频率范围语音信号频率范围20Hz20000Hz，可近似为可近似为300Hz3400Hz4所以，在实际通信过程中，绝对避免失真既不所以，在实际通信过程中，绝对避免失真既不可能也没有必要。

只要不超出允许的范围可能也没有必要。

只要不超出允许的范围（限失真限失真条件下条件下），信息的传输仍然是有意义的。

，信息的传输仍然是有意义的。

信息率失真函数信息率失真函数就是研究在不同类型信源和信就是研究在不同类型信源和信宿的各种允许最大失真限度的条件下，信源所必须宿的各种允许最大失真限度的条件下，信源所必须传送的最小信息率传送的最小信息率R，称为称为信息率失真函数信息率失真函数R（D）。

信息率失真函数理论是现代信息处理的理论基础。

信息率失真函数理论是现代信息处理的理论基础。

在限失真信源编码里，一个重要的问题就是：

在限失真信源编码里，一个重要的问题就是：

在在一定程度的允许失真限度内，能把信源信息压缩到一定程度的允许失真限度内，能把信源信息压缩到什么程度，即最少用多少比特数才能什么程度，即最少用多少比特数才能/就能充分地描就能充分地描述信源的特征。

述信源的特征。

5香农首先定义了香农首先定义了信息率失真函数信息率失真函数R（D），并论述了并论述了关于这个函数的基本定理。

关于这个函数的基本定理。

定理指出：

在允许一定失真度定理指出：

在允许一定失真度D的情况下，信源的情况下，信源输出的信息传输率可压缩到输出的信息传输率可压缩到R（D）值，这就从理论上值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。

信息率失真理论的基础。

信息率失真理论是信息率失真理论是进行量化进行量化、数模转换数模转换、频带压频带压缩缩和和数据压缩数据压缩的理论基础。

的理论基础。

6本章主要介绍信息率失真理论的基本内容，侧重本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。

讨论离散无记忆信源。

首先给出信源的首先给出信源的失真度失真度和和信息率失真函数信息率失真函数的定的定义与性质；然后讨论离散信源和连续信源的义与性质；然后讨论离散信源和连续信源的信息率信息率失真函数计算失真函数计算；在这基础上论述；在这基础上论述保真度准则下的信保真度准则下的信源编码定理源编码定理。

77.1失真度和平均失真度失真度和平均失真度7.1.1失真度失真度由于本章只涉及信源编码问题。

因此，将信道由于本章只涉及信源编码问题。

因此，将信道编码和译码看成是一个没有任何干扰的广义信道编码和译码看成是一个没有任何干扰的广义信道的一部分。

这样收信者收到消息后所产生的失真的一部分。

这样收信者收到消息后所产生的失真只是有信源编码带来的。

只是有信源编码带来的。

从直观感觉可知，若允许失真越大，信息传输从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。

率可越小；若允许失真越小，信息传输率需越大。

所以所以信息传输率信息传输率与信源编码所引起的与信源编码所引起的失真失真（或误或误差差）是有关的。

是有关的。

8为了研究在给定允许失真的条件下，是否可以设计为了研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率最低。

为此，先讨论一种信源编码使信息传输率最低。

为此，先讨论失真失真的测度的测度。

由于是失真编码，由于是失真编码，所以这种信道不是一所以这种信道不是一一对应的，用信道传一对应的，用信道传递概率来描述编、译递概率来描述编、译码前后的关系。

码前后的关系。

9设离散无记忆信源设离散无记忆信源，信源变量，信源变量概率分布为概率分布为。

信源符号通过信道传输到某接收端，接收端的信源符号通过信道传输到某接收端，接收端的接收变量接收变量。

对应于每一对对应于每一对，我们指定一个非负的函数：

，我们指定一个非负的函数：

称为称为单个符号的失真度单个符号的失真度（或失真函数或失真函数）。

用它来测度。

用它来测度信源发出一个符号信源发出一个符号，而在接收端再现为接受符号，而在接收端再现为接受符号集中一个符号集中一个符号，所引起的误差或失真。

，所引起的误差或失真。

通常较小的通常较小的d值代表较小的失真，而值代表较小的失真，而表表示没有失真。

示没有失真。

10若信源变量若信源变量U有有r个符号，接收变量个符号，接收变量V有有s个符个符号，则号，则就有就有rs个个,它可以排列成矩阵形式，它可以排列成矩阵形式，即：

即：

它为它为失真矩阵失真矩阵D，是是rs阶矩阵。

阶矩阵。

若失真矩阵若失真矩阵D中每一行都是同一集合中每一行都是同一集合A中诸元素的不中诸元素的不同排列，而且每一列也都是同一集合同排列，而且每一列也都是同一集合B中诸元素的不同排中诸元素的不同排列，则矩阵列，则矩阵D具有对称性。

以这种具有对称性的失真矩阵具有对称性。

以这种具有对称性的失真矩阵来度量失真的信源称为来度量失真的信源称为失真对称信源（简称对称信源）。

失真对称信源（简称对称信源）。

11须强调须强调:

这里假设这里假设U是信源，是信源，V是信宿，那么是信宿，那么U和和V之间必有信道。

实际这里之间必有信道。

实际这里U指的是原始的未失真信指的是原始的未失真信源，而源，而V是指失真以后的信源。

因此，从是指失真以后的信源。

因此，从U到到V之间之间实际上是失真算法，所以这里的转移概率实际上是失真算法，所以这里的转移概率是是指一种指一种失真算法失真算法，原始信源原始信源失真信源失真信源试验信道试验信道UVp（vj/ui）有时又把有时又把称为称为试验信道的转移概率试验信道的转移概率，如，如图所示。

图所示。

12例例7.1离散对称信源离散对称信源（r=s）。

信源变量信源变量接接收变量收变量。

定义单个符号失真度：

。

定义单个符号失真度：

这种失真称为这种失真称为汉明失真汉明失真。

汉明失真矩阵。

汉明失真矩阵D是一方阵，是一方阵，对角线上的元素为零，即：

对角线上的元素为零，即：

对二元对称信源对二元对称信源（sr2），信源信源U0,1，接收接收变量变量V0,1。

在汉明失真定义下在汉明失真定义下，失真矩阵如上。

失真矩阵如上。

它表示当再现的接收符号与它表示当再现的接收符号与发送符号相同时，不存在失发送符号相同时，不存在失真，失真度为零。

不同时，真，失真度为零。

不同时，失真存在，而且都相同，失失真存在，而且都相同，失真度为常数。

真度为常数。

13例例7.2删除信源删除信源。

信源变量信源变量，接收变量，接收变量,（s=r+1）。

定义其单个符号失真度定义其单个符号失真度为：

为：

n其中接收符号其中接收符号作为一个删除符号。

作为一个删除符号。

n在这种情况下，意味着若把信源符号再现为删除符号时，在这种情况下，意味着若把信源符号再现为删除符号时，其失真程度要比再现为其他接收符号的失真程度少一半。

其失真程度要比再现为其他接收符号的失真程度少一半。

n若二元删除信源若二元删除信源s3，r2，U0,1，V0,1,2。

失真度为：

失真度为：

则则d（0,0）=d（1,1）=0d（0,1）=d（1,0）=1d（0,2）=d（1,2）=1/2除除j=s以外所有的以外所有的j和和i所有所有i14例例7.3对称信源对称信源（s=r）。

信源变量信源变量，接收变量接收变量。

失真度定义为：

。

失真度定义为：

若信源符号代表信源输出信号的幅度值，这就是一若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。

它意味着幅度差值大的要比幅种以方差表示的失真度。

它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来度差值小的所引起的失真更为严重，严重程度用平方来表示。

这种失真就是表示。

这种失真就是平方误差失真平方误差失真。

当当r3时，时，U0,1,2，V0,1,2，则失真矩则失真矩阵为：

阵为：

15上述三个例子说明了具体失真度的定义。

一般情上述三个例子说明了具体失真度的定义。

一般情况下根据实际信源的失真，可以定义不同的失真和况下根据实际信源的失真，可以定义不同的失真和误差的度量。

另外还可以按其他标准，如引起的损误差的度量。

另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度失、风险、主观感觉上的差别大小等来定义失真度。

167.1.2平均失真度平均失真度信源信源U和信宿和信宿V都是随机变量，故单个符号失都是随机变量，故单个符号失真度真度也是随机变量。

显然，规定了单个符号也是随机变量。

显然，规定了单个符号失真度失真度后，传输一个符号引起的平均失真，后，传输一个符号引起的平均失真，即信源即信源平均失真度平均失真度：

在离散情况下，信源在离散情况下，信源，其概率分布，其概率分布，信宿，信宿若已知试验信道的传递概率若已知试验信道的传递概率为为时，则平均失其度为：

时，则平均失其度为：

E.是对是对U和和V的联合空间求平均。

的联合空间求平均。

17u可见，单个符号的失真度可见，单个符号的失真度描述了某个信描述了某个信源符号通过传输后失真的大小。

对于不同的信源符源符号通过传输后失真的大小。

对于不同的信源符号和不同的接收符号，其值是不同的。

号和不同的接收符号，其值是不同的。

u但平均失真度已对信源和信道进行了统计平均，但平均失真度已对信源和信道进行了统计平均，所以此值是描述某一信源在某一试验信道传输下的所以此值是描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。

失真大小，是从总体上描述整个系统的失真情况。

1819207.2信息率失真函数及其性质信息率失真函数及其性质7.2.1信息率失真函数信息率失真函数信源给定，且又具体定义了失真函数以后，总希信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的望在满足一定失真的情况下，