信息论实验指导书Word格式文档下载.docx

1、信息熵H（x）是对信源的平均不确定性的描述。它从平均意义上来表征信源的总体信息测度。对于某特定的信源，其信息熵是一个确定的数值。信息熵具有如下三种物理意义。第一，信息熵H（x）是表示信源输出后，每个消息或符号所提供的平均信息量。第二，信息熵H（x）是表示信源输出前，信源的平均不确定性。第三，信息熵H（x）可表征变量X的随机性。由此可以看出，自信息量与信息熵的含义是不同的：（1）信息熵是表征信源本身统计特性的一个物理量，它表示信源的平均不确定性，是信源输出的每一个消息所能提供的平均信息量；自信息量表示的是每一个消息的信息量度。（2）信息熵是针对信源的，是信源输出的信息量，表示信源输出前的平均不确

2、定性；自信息量是针对信宿的，是接收者在消除了信源不确定性后所获得的信息的度量。（3）若信道无干扰，接收者获得的信息量在数量上等于信源的熵，若有干扰时，则两者不相等。四、实验内容 1、已知信源概率分布为：p=1/2,1/4,1/8,1/8,编写出计算自信息量的Matlab 程序。程序：function I = deal（p）n=4;for i =1: n I（i）=-log2（p（i） ;end打开空白的M文件编辑器，将上述程序输入。保存。通过M文件调用的形式完成仿真。步骤：在command window中输入p=1/2,1/4,1/8,1/8调用deal.M文件输入I=deal（1/2,1/4

3、,1/8,1/8），仿真实现。 2、写出信源概率分布为：p=1/2,1/4,1/8,1/8离散信源熵的Matlab 程序。 程序：function H = deal（p）n =4;H =0; H = H + p（i）*I（i）;在command window中输入p=1/2,1/4,1/8,1/8调用deal.M文件输入H=deal（1/2,1/4,1/8,1/8），仿真实现。3、写出信源概率分布为：p=1/2,1/4,1/8,1/8的离散信源自信息量和信源熵的Matlab程序。function I H = deal（p）n = length（p）;H = 0;在command window中

4、输入p=1/2,1/4,1/8,1/8调用deal.M文件输入I H=deal（1/2,1/4,1/8,1/8），仿真实现。4、将程序在计算机上仿真实现，验证程序的正确性并完成思考题的程序设计。五、思考题1、说明离散信源自信息量和信息熵的不同含义。2、甲地天气预报构成的信源空间为：X晴云大雨小雨 乙地信源空间为：Y 求此两个信源的熵。求各种天气的自信息量。六、实验报告要求总结离散信源的特点及离散信源平均信息量的计算,写出实验内容中的仿真程序及结果，完成思考题中MATLAB实现语句,并附上仿真实现的结果。实验二 最大离散熵定理 1、熟悉熵函数的基本性质。 2、掌握最大熵定理。3、学习Matlab

5、仿真二维曲线图的方法。信息熵H（x）是随机变量X的概率分布p（x）的函数，它有如下性质：1、对称性H（P）=H（p1,p2,p3,，pn）= H（p2,p3,，pn p1）=H（pn,p1,p2,p3,，pn-1） 概率分布的顺序是可以任意互换的，互换后的概率分布表示的是相同的随机变量，随机变量的总体结构没有变化，则可证明对应的熵函数的值也不会变。该性质表明熵函数只与信源的总体统计特性有关。这也说明，信息熵只抽取了信源信息输出的统计特征，而没有考虑信息的具体含义和效用。也就是说，信息熵有它的局限性，它不能描述时间本身的具体含义和主观价值等。2、确定性H（1,0）=0在概率矢量P=（p1,p2,

6、p3,，pn）中，只要有一个分量为1，其它分量必为0，这由概率分布的完备性可以得到。也就是说信源的平均不确定度为0。3、非负性H（P）=H（p1,p2,p3,，pn）0因为P=（p1,p2,p3,，pn）是概率分布，0pi1，-logpi0，故上式成立。需要注意的是，只有离散信源熵才有非负性，连续信源的相对熵将可能出现负值。4、扩展性（p1,p2,p3,，pn-，）=Hn（p1,p2,p3,，pn）这个性质的含义是：增加一个基本不会出现的小概率事件，信源的熵保持不变。虽然小概率事件的出现给予接收者的信息量很大，但在熵的计算中，它占的比重很小，可以忽略不计，这也是熵的总体平均性的体现。5、连续性

7、（p1,p2,p3,，pn-1-，pq+）= Hn（p1,p2,p3,，pn）即信源概率空间中的概率分量的微小波动，不会引起熵的变化。6、递增性H（p1,p2,p3,，pn-1，q1，q2，q3，qm）=H（p1,p2,p3,，pn）+ pn H（q1/ pn ，q2/ pn，q3/ pn，qm/ pn）q1+q2+q3，+qm =pn 这个性质表明，假如有一个信源的n个元素的概率分布为（p1,p2,p3,，pn），其中某个元素pn又被划分为m个元素，这某个元素的概率之和等于pn，这样得到的新信源的熵增加了一项，增加的一项是由于划分产生的不确定性。7、极值性H（p1,p2,p3,，pn） H（

8、1/n,1/n,，1/n）=logn上式中，当且仅当n个离散消息等概率出现时等式成立。这一性质说明，对不同概率分布p（xi）所构成的熵，只有当等概率分布时，信源的不确定性最大，熵达到极大值。8、上凸性熵函数H（p）是概率矢量P=（p1,p2,p3,，pn）的严格上凸函数，正因为熵函数具有上凸性，所以熵函数具有极值，熵函数的最大值存在。9、唯一性1、已知二元信源概率空间为p（x）=x 1-x，对应的二元信源的熵可表示为：H（x）=-xlog2（x）-（1-x）log2（1-x）。通过Matlab软件画出概率分布函数p（x）与熵函数之间的二维曲线图，编写出程序。仿真结果如下图所示：编程过程中要注意

9、的地方：x的步长设置为0.001，H（x）的运算为矩阵运算，必须用点乘：“.*”。2、用同样的方法画出三元信源空间的熵函数与概率分布的三维曲线图。仿真结果如下所示。1、熵函数的基本性质有哪些？2、最大熵定理的结论是什么？写出用Matlab软件画出概率分布函数p（x）与熵函数之间的二维、三维曲线图的程序，并附上仿真结果图。并对本实验进行总结、分析。实验三 费诺编码 1、掌握费诺编码的编码原理 2、熟悉 Matlab 编程。3、通过Matlab仿真费诺编码的过程。费诺编码的步骤:1、将概率按从大到小的顺序排列；2、按编码进制数将概率分组，使每组概率和尽可能接近或相等；3、给每组分配一位码元；4、将

10、每一分组再按同样原则划分，重复2和3，直到概率不再可分为止。对给定信源进行二进制费诺编码，通过MATLAB进行编码过程仿真，并计算平均码长。程序如下：clc;clear;A=0.4,0.3,0.1,0.09,0.07,0.04;A=fliplr（sort（A）;m,n=size（A）;for i=1:nB（i,1）=A（i）;a=sum（B（:,1）/2;for k=1:n-1if abs（sum（B（1:k,1）-a）=abs（sum（B（1:k+1,1）-a）break;n if i=kB（i,2）=0;elseB（i,2）=1;END=B（:,2）;END=sym（END）;j=3;wh

11、ile （j=0）p=1;while（p1 & B（i,j）=B（i-1,j） d=d+1; else d=1; B（B（n,j+1）,j+1）=-1; temp=B（:,j+1）; x=find（temp=B（i,j）; END（i）=END1（x（d）; y=B（n,j+1）; END（t-1）=char（END1（y）, END（t）=char（END1（y）, t=t+1; END1=END; A END a,b=size（char（END（i）; L（i）=b;avlen=sum（L.*A） H1=log2（A）;H=-A*（H1） P=H/avlen%进行二进制霍夫曼编码。 写出用

12、Matlab进行霍夫曼编码的程序，并给出仿真结果。实验五 香农编码 1、掌握香农的编码原理 2、熟悉 C+编程。3、通过C+仿真香农编码的过程。C+给定某个信源符号的概率分布，通过以下的步骤进行香农编码1、将信源消息符号按其出现的概率大小排列：2、确定满足下列不等式的整数码长Ki ；3、为了编成唯一可译码，计算第i个消息的累加概率：4、将累加概率Pi变换成二进制数。5、取Pi二进制数的小数点后K i 位即为该消息符号的二进制码。进行二进制香农编码，通过C+进行编码过程仿真。香农（Shannon）编码参考程序int main（） int N; coutN;”请输入各符号的概率：”endl； do

13、uble *X=new doubleN; /离散无记忆信源 int i,j; for（i=0;ii+） ”X”i+1”=”;Xi;/由小到大排序 for（j=i+1;jj+） if（Xi=1） /累加概率乘2大于1,对应码字加1,累加概率自身取余 codei+=”1”;Pai=Pai*2-1; else /累加概率乘2小于1时,对应码字加0,累加概率自身取余 codei+=”0”;Pai*= 2; codei= codei.substr（0,Ki）; /求码字 /输出码字setw（12）”信源”概率p（x）”累加概率 Pa（x）”setw（8）”码长 K”码字”endl;coutXiPai” Kicodei delete X; delete Pa; delete K; delete code; getch（）; retuen 0;进行二进制香农编码。 写出用C+进行香农编码的程序，并给出仿真结果。【此文档部分内容来源于网络，如有侵权请告知删除，本文档可自行编辑和修改内容，感谢您的支持！】