绘制二元熵函数曲线.docx

1、绘制二元熵函数曲线课程设计任务书20112012学年第一学期专业： 通信工程 学号：100310012 姓名： 蒲佳佳 课程设计名称： 信息论与编码课程设计 设计题目： 绘制二元熵函数曲线 一设计目的1巩固所学的理论知识。2提高综合运用所学理论知识独立分析和解决问题的能力。3更好地将理论与实践相结合。4掌握、理解熵函数表达式及其性质。5熟练使用MATLAB语言进行编程实现。二设计内容1在理解熵函数的定义基础上，准备一组数据，计算H(p)。2绘制与分析曲线图。三设计要求1认真查阅相应资料掌握Matlab绘图方法。2查阅资料，理解实验原理。3认真编写课程设计四设计条件 计算机、MATLAB语言环境

2、五、参考资料1邓家先 信息论与编码课程教学改革撂讨 期刊论文 -电气电子教学学报2007(02) 2李正权.潘立兵.李琳 信息论与编码研究性教学初步探讨 2008(04)指导教师（签字）： 教研室主任（签字）： 批准日期： 年 月 日摘 要这次课程设计介绍了基于MATLAB的对熵函数的绘制设计，并使之实现的过程。理解与掌握课程中的基本概念、基本原理、基本分析方法，利用Matlab软件绘制。自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。此外，熵是自信息量的统计平均，因此单

3、位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号本课程设计介绍了在MATLAB环境中如何采集语音信号和语音信号采集后的文档处理方法绘制函数，利用MATLAB的语言进行编写，并通过实例分析了二元熵函数曲线。关键词： MATLAB；二元熵函数曲线目 录1课程描述 12设计原理 13设计过程 23.1软件介绍 23.2设计内容 33.3设计步骤 4总 结 5参考文献 61课程描述自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平

4、均不确定性。熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。特殊公式某个pk=0时，0log0=0 ( )在熵的定义中忽略零概率事件。利用MATLAB工具实现对二元熵函数曲线的绘制在理解熵函数的定义基础上，准备一组数据，计算H(p)并绘制与分析曲线图，。自信息量具有下列特性：（1）（2）（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）。信源熵：，条件熵：联合熵，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：，熵的性质

5、：非负性，对称性，确定性，极值性。2设计原理自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。 熵的表示 注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。特殊公式：某个pk=0时，0log0=0 ()在熵的定义中忽略零概率事件。3设计过程3.1软件介绍MATLAB是目前流行的理论与工程仿真软件之一。该软件自产生以来，就以其独有的特点和明显的优势吸引了各行各业的工作者。MA

6、TLAB的函数主要包括MATLAB操作基础、矩阵及其基本运算、与数值计算相关的基本函数、符号运算的函数、概率统计函数、绘图与图形处理函数、MATLAB程序设计相关函数、Simulink仿真工具函数、图形用户界面制作函数、信号处理工具箱函数和符号数学工具箱函数等内容。MATLAB的基本数据单位是矩阵，它的指令表达式与数学、工程中常用的形式十分相似，故用MATLAB来解算问题要比用C，FORTRAN等语言完成相同的事情简捷得多，并且mathwork也吸收了像Maple等软件的优点,使MATLAB成为一个强大的数学软件。在新的版本中也加入了对C，FORTRAN，C+，JAVA的支持。可以直接调用,用

7、户也可以将自己编写的实用程序导入到MATLAB函数库中方便自己以后调用，此外许多的MATLAB爱好者都编写了一些经典的程序，用户可以直接进行下载就可以用。 MATLAB和Mathematic、并称为三大数学软件。它在数学类科技应用软件中在数值计算方面首屈一指。MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。 20世纪70年代，美国新墨西哥大学计算机科学系主任Cleve Moler为了减轻学生编程的负担，用FORTRAN编写了最早的MATLAB。1984年由

8、Little、Moler、Steve Bangert合作成立了的MathWorks公司正式把MATLAB推向市场。到20世纪90年代，MATLAB已成为国际控制界的标准计算软件MATLAB 的应用范围非常广，包括信号和图像处理、通讯、控制系统设计、测试和测量、财务建模和分析以及计算生物学等众多应用领域。3.2设计内容用 Matlab 软件绘制二进熵函数曲线。 二元信源 二元信源的熵为绘制当p从0到1之间变化时的二元信源的信息熵曲线.Matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title(二进熵函数曲线)

9、;ylabel(H(p,1-p)3.3设计步骤运行matlab6.5打开matlab6.5-单击工具栏中的Nue M-File输入如下代码p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title(二进熵函数曲线);ylabel(H(p,1-p)将代码复制到编辑窗口处 运行得如图（1）所示：xCZ xvvyy f vf图（1）二元二元熵函数曲线分析：信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于0，1区间。 H(p)函数曲线如图所示。如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二

10、元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。总 结信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时

11、信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。这次课程设计是用学过的信息论与编码为依据，用MATLAB代码实现，通过这次课程设计，感触特别多，也学到了很多东西。首先，为了完成这次的课程设计，翻阅了很多有关这次设计的参考书，对这些参考书的有关内容都做了认真的分析，了解了一些函数的用法。其次，通过本次课程设计，学习了信息熵有关的计算，定义具有概率为的符号的自信息量为：。自信息量具有下列特性：（1）（2）（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）

12、。信源熵：，条件熵：联合熵，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：。还加强了我们的动手能力和自觉性，巩固和运用在课程中所学的理论知识和实验技能，提高了自己的发现问题，分析问题和解决问题的能力。再次，在做课程设计的过程中会遇到很多的困难，在困难面前不要放弃，只要有细心和耐心，坚持下去会达到想要的设计结果。参考文献1陈运 信息论与缡码 2008 2曹雪虹.张宗橙 信息论与编码 2004 3邓家先 信息论与编码课程教学改革撂讨 期刊论文 -电气电子教学学报2007(02) 4李正权.潘立兵.李琳 信息论与缡码研究性教学初步探讨 2008(04) 5席在芳.欧青立.曾照福 信息论与蝙码实验教学的探索与实践 2008(02)