信息率失真函数地绘制.docx
《信息率失真函数地绘制.docx》由会员分享，可在线阅读，更多相关《信息率失真函数地绘制.docx（10页珍藏版）》请在冰豆网上搜索。
信息率失真函数地绘制
课程设计任务书
2011—2012学年第一学期
专业：
通信工程学号：
姓名：
课程设计名称：
信息论与编码课程设计
设计题目：
信息率失真函数的绘制
完成期限：
自年月日至年月日共周
一．设计目的
1、理解信息率失真函数的定义与物理意义；
2、分析离散信源在误码失真下的信息率失真函数表达式；
3、提高综合运用所学理论知识独立分析和解决问题的能力；
4、使用相关软件进行曲线的绘制。
二．设计内容
分析离散信源在误码失真下的信息率失真函数表达式，并绘制曲线图。
三．设计要求
1、绘制曲线使用数据不能过少；
2、分析曲线的特点。
四．设计条件
计算机、MATLAB或其他语言环境
五．参考资料
[1]曹雪虹，张宗橙.信息论与编码.北京：
清华大学出版社，2007.
[2]王慧琴.数字图像处理.北京：
北京邮电大学出版社，2007.
指导教师（签字）：
教研室主任（签字）：
批准日期：
年月日
摘要
研究信息率失真函数是为了解决在已知信源和允许失真率D的条件下，使信源必须传送给信宿的信息率最小。
即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。
首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算。
通过使用MATLAB软件进行对信息率失真函数曲线的绘制，直观的理解了信息率失真函数R（D）与失真率D和P的函数关系。
关键字：
信息率失真函数；失真率D；MATLAB
1信息率失真函数
1.1信息率失真函数的定义
研究在限定失真下为了恢复信源符号所必需的信息率，简称率失真理论。
信源发出的符号传到信宿后，一般不能完全保持原样，而会产生失真。
要避免这种失真几乎是不可能，而且也无必要，因为信宿不管是人还是机器，灵敏度总是有限的，不可能觉察无穷微小的失真。
倘若在处理信源符号时允许一定限度的失真，可减小所必需的信息率，有利于传输和存储。
率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。
因此，这一理论是现代所有信息处理问题的理论基础。
香农首先定义了信息率失真函数R（D），并论述了关于这个函数的基本定理。
定理指出：
在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R（D）值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。
信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
图1.1信息率失真函数定义
信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。
给出一个失真的限制值D，在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。
信息率R就是所需输出的有关信源X的信息量。
将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I（X;Y）。
这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p（bj/ai）就对应信道转移概率。
由于互信息取决于信源分布和信道转移概率分布，当p（ai）一定时，互信息I是关于p（bj/ai）的下凸函数，存在极小值。
因而在上述允许信道PD中，可以寻找一种信道p（bj/ai）使给定的信源p（ai）经过此信道传输后，互信息I（X；Y）达到最小。
该最小的互信息就称为信息率失真函数R（D），限定失真为D的条件下，信源输出的最小信息率。
即
（1-1）
在信源给定后，希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。
从信宿来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最小平均信息量。
即在满足保真度准则条件下寻找平均互信息I（X;Y）的最小值。
（1-2）
1.2信息率失真函数的物理意义
对于给定的信源，在满足保真度准则下，必须传送的最小信息量，它既反映了用户容忍程度,也反映了信息率允许压缩的最小值，R（D）越大,越难压缩，反之可压缩率就大.
对于固定的信源分布，平均互信息量I（X;Y）是信道转移概率p（bj/ai）的下凸函数。
也就是说:
存在一个信道使某一特定信源经过此信道传输时，信道的平均互信息达到极小值.
2信息率失真函数表达式
2.1信息率失真函数的定义域
率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题，即[Dmin,Dmax]。
2.1.1失真率D的下界
由于平均失真度是非负实数d（xi,yj）的数学期望，因此也是非负实数，即D的下界为0。
（2-1）
Dmin＝0，对应于无失真情况，相当于无噪信道，信道传输的信息量等于信源熵，即R（D）=R（0）=H（X）
允许平均失真度能否达到其下限值0，与单个符号的失真函数有关。
只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。
2.1.2失真率D的上界
由于I（X;Y）是非负函数，而R（D）是在约束条件下的I（X;Y）的最小值，所以R（D）也是一个非负函数，即R（D）≥0，它的下限值为零。
Dmax是满足R（D）=0时所有平均失真度中的最小值。
（2-2）
2.2参数p的影响
R（D）不仅与D有关，还与p有关。
概率分布不同，R（D）曲线就不一样。
当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R（Dmax）=0的含义。
2.3信息率失真函数表达式的推导
（2-3）
称D（R）为失真信息率函数，是R（D）的逆函数，它是求在允许最大速率情况下的最大失真D。
引用拉氏乘子法，并设
与
分别表示（n+1）个约束条件的待定参数，则有：
（2-5）
（2-4）
求得
（2-6）
由归一化条件有
求得
（2-7）
再将（2-6）式两边同乘pi并对i求和，且设qj>0，则有
（2-8）
代（2-7）入（2-8），得：
（2-9）
当信源给定pi=pi0，选定S与dij以后，它是一个求解m个qj的方程组，则可按下列顺序求解：
最后求得参量方程如下：
（2-10）
（2-11）
这就是用参量S[R（D）的斜率]表达的R（D）函数形式，又称为参量方程。
由公式（2-8），有：
（2-12）
求得
将它带入式（2-7），有
（2-13）
求得
（2-14）
再将
带入（2-10）式D（S）中：
（2-15）
再将它带入R（S0，有：
综上所述：
R（D）=-p*log2（p）-（1-p）*log2（1-p）+D.*log2（D）+（1-D）.*log2（1-D）（2-16）
3信息率失真函数的matlab实现
3.1实验程序
forp=0.1:
0.1:
0.5
d=0.000001:
0.0001:
0.5;
R1=-p*log2（p）-（1-p）*log2（1-p）+d.*log2（d）+（1-d）.*log2（1-d）;
holdon;
plot（d,r）;
end
holdoff;
figure;fori=2:
6
p=1/i;
d=0.000001:
0.0001:
1-p;
R2=-log（p）-d*log（i-1）+d.*log（d）+（1-d）.*log（1-d）;
plot（d,r）;holdon;
end
holdoff;
3.2实验结果
图3.1R（D）1图3.2R（D）2
3.3图像的分析
R（D）在定义域内是失真度D的U型下凸函数。
R（D）在定义域内是关于D的连续函数。
R（D）的单调递减性，容许的失真度越大，所要求的信息率越小。
当D相同时，信源越趋于等概率分布，R（D）就越大。
由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R（D）正是去除信源不确定性所必须的信息传输率。
总结
通过这次实验,我了解了信息率失真函数的定义与物理意义、离散信源在误码失真下的信息率失真函数表达式的推导以及信息率失真函数的matlab实现，并得到了正确的结论。
通过对实验输出结果的分析，我更直观的认识了率失真曲线的图像，信息率失真函数R（D）是关于失真率（D）的一个下凸形函数，当失真率（D）=0.5时，率失真函数取得最小值。
这一结论对二元信源和等概率分布的信源都成立。
实验改进意见：
在输出图像时，因为绘制图像的程序是用循环结果绘制的，所以画出的曲线形状都是一样的，所以利用了Matlab的图像菜单操作对不同p值的曲线的线性进行改变，但在程序中无法体现，改进意见：
能够用程序进行线性的改变。
参考文献
[1]曹雪虹，张宗橙.信息论与编码.北京：
清华大学出版社，2007.
[2]王慧琴.数字图像处理.北京：
北京邮电大学出版社，2007.
升级会员 