第四章-信道率失真函数后续习题课PPT文档格式.ppt

1、实际信道带宽是有限的，所以信道容量受限制。要想实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量无失真传输，所需的信息率大大超过信道容量RC。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University4 4.1.1 失真函数失真函数实际中允许一定程度的失真实际中允许一定程度的失真实际生活中，人们一般并不要求获得完全无失真的消实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的息，通常只要求近似地再现原始消息，即允许一定的失真存在。失

2、真存在。例如打电话：即使语音信号有一些失真，接电话的人例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。也能听懂。放电影：理论上需要无穷多幅静态画面，由于人眼的放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性视觉暂留性”，实际上只要每秒放映，实际上只要每秒放映24幅静态画面。幅静态画面。随着科学技术的发展，数字系统应用得越来越广泛，随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来输和处理效率，往往需要对数据压

3、缩，这样也会带来一定的信息损失。一定的信息损失。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University5 4.1.1 失真函数失真函数问题：问题：在允许一定程度的失真条件下，信在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？少比特的信息率才能描述信源？香农信息率失真理论指出：在允许一定失真度在允许一定失真度D的情况下，信源的情况下，信源输出的信息率可压缩到输出的信息率可压缩到R（D）。R（D）是定义的信息率失真函数。是定义

4、的信息率失真函数。为了描述失真度为了描述失真度D，我们先来引入失真函数。我们先来引入失真函数。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University6 4.1.1 失真函数失真函数定义失真函数：定义失真函数：信源编码器输入Xa1,a2,ai,an输出Yb1,b2,bj,bm称称d（xi,yj）为为单个符号的单个符号的失真函数。表示信源发出一个失真函数。表示信源发出一个符号符号xi，在接收端再现在接收端再现yj所引起的误差或失真。所引起的误差或失真。第四章 信息率失真函数2022/11/5Departme

5、nt of Communication China Ji Liang University7 4.1.1 失真函数失真函数失真矩阵失真矩阵失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式称称d 为失真矩阵。它是为失真矩阵。它是nm阶矩阵阶矩阵。如例题：41第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University8 4.1.1 失真函数失真函数信源符号信源符号X取自取自0，1,编码器输出符号取自编码器输出符号取自0,1,2,规规定失真函数为：定失真函数为：d（0,0）=d（1,1）=0 d（0,1）=d

6、（1,0）=1，d（0,2）=d（1,2）=0.5,则失真矩阵为：则失真矩阵为：l 失真函数是根据人们的实际需要和失真引起的损失、失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素风险、主观感觉上的差别大小等因素人为规定的人为规定的。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University9 4.1.1 失真函数失真函数第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University10 4.1.

7、2 平均失真平均失真平均失真定义平均失真定义d（xi,yj）只能表示两个特定的具体符号只能表示两个特定的具体符号 xi和和 yj之间之间的失真。的失真。平均失真平均失真：平均失真为失真函数的数学期望，：平均失真为失真函数的数学期望，第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University11 4.1.2 平均失真平均失真平均失真的意义平均失真的意义 是在平均意义上，从总体上对整个系统失真情况的描述。是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性它是信源统计特性p（xi）、信道统计特性信

8、道统计特性p（yj/xi）和失真度和失真度d（xi,yj）的函数的函数。当。当p（xi），p（yj/xi）和和d（xi,yj）给定后，平均失给定后，平均失真度就不是一个随机变量了，而是一个确定的量。真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，如果信源和失真度一定，就只是信道统计特性的函数。就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。保真度准则保真度准则人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。保真度准则保真度准则：规定平均失真度：规定平均失真度 不能超过某一限定的值不能超过某一限定的值D，即即 ，则，则D就是允

9、许失真的上界。该式称为保真度准就是允许失真的上界。该式称为保真度准则。则。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University12 4.1.2 平均失真平均失真第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University13 4.1.3 信息率失真函数信息率失真函数R（D）信源编码器信源编码器输入Xx1,x2,xi,xn输出Yy1,y2,yj,ym假想信道假想信道图图42 将信源编码器看作信道将信源编码器看作信道这样

10、就可以用分析信道传输的方法来研究限失真信源编码问题。这样就可以用分析信道传输的方法来研究限失真信源编码问题。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University14 4.1.3 信息率失真函数信息率失真函数R（D）对于信息容量为对于信息容量为C的信道传输信息传输率为的信道传输信息传输率为R的信源时，如果的信源时，如果RC,就必须对信源压缩，使其压缩后信息传输率小于就必须对信源压缩，使其压缩后信息传输率小于C，但同时但同时要保证压缩所引入的失真不超过预先规定的限度要保证压缩所引入的失真不超过预先规定的限

11、度D，所以信息压所以信息压缩问题就是对于给定的信源，在满足保真度准则缩问题就是对于给定的信源，在满足保真度准则 下，使其下，使其R值尽可能小。值尽可能小。R 值就是所需要输出的有关信源值就是所需要输出的有关信源X的信息量，对应到信道，即的信息量，对应到信道，即为接收端为接收端Y需要获得的有关需要获得的有关X的信息量，亦是互信息的信息量，亦是互信息I（X；Y）。）。这样就将这样就将选择信源编码方法的问题选择信源编码方法的问题转化为转化为选择假想信道的问题选择假想信道的问题，符号转移概率符号转移概率p（yj/xi）对应信道转移概率。对应信道转移概率。第四章 信息率失真函数2022/11/5Depa

12、rtment of Communication China Ji Liang University15 4.1.3 信息率失真函数信息率失真函数R（D）试验信道试验信道 平均失真平均失真 是信源统计特性是信源统计特性p（xi）、信道统计特性信道统计特性p（yj/xi）和失真度和失真度d（xi,yj）的函数的函数。当p（xi）和和d（xi,yj）给定后，则可以给定后，则可以求出满足保真度准则求出满足保真度准则 下的所有转移概率分布下的所有转移概率分布 pij，构构成一个信道集合成一个信道集合PD，那么那么PD 称为称为D允许试验信道。允许试验信道。第四章 信息率失真函数2022/11/5Depa

13、rtment of Communication China Ji Liang University16 4.1.3 信息率失真函数信息率失真函数R（D）信息率失真函数信息率失真函数在信源和失真度给定以后，在信源和失真度给定以后，PD是满足保真度准则是满足保真度准则 的试验信道集合，平均互信息的试验信道集合，平均互信息I（X;Y）是信道传递概率是信道传递概率p（yj/xi）的下凸函数，所以在的下凸函数，所以在PD中一定可以找到某个试验中一定可以找到某个试验信道，使信道，使I（X;Y）达到最小，即达到最小，即 这个最小值这个最小值R（D）称为信息率失真函数称为信息率失真函数，简称，简称率失真函数率

14、失真函数。对无记忆离散信源，有：第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University17 4.1.3 信息率失真函数信息率失真函数R（D）应当注意：应当注意：在研究R（D）时，我们引用的条件概率 并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反应的仅是不同的有失真信源编码，或称信源压缩。第四章 信息率失真函数2022/11/5Department of Communication China Ji Liang University18 4.1.3 信息率失真函数信息率失真函数R（D）例如：司令员发布命令：“请各部队