信息熵及其性质和应用_精品文档.doc

信息熵及其性质和应用_精品文档.doc

《信息熵及其性质和应用_精品文档.doc》由会员分享，可在线阅读，更多相关《信息熵及其性质和应用_精品文档.doc（12页珍藏版）》请在冰豆网上搜索。

青岛农业大学

本科生课程论文

论文题目  信息熵及其性质和应用

学生专业班级  信息与计算科学09级2班 

学生学号姓名  20093992   

指导教师   吴慧   

完成时间    2012年06月25日 

2012年06 月25 日

课程论文任务书

学生姓名指导教师吴慧

论文题目信息熵及其性质和应用

论文内容（需明确列出研究的问题）：

研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。

文中介绍了信息熵的定义和性质及其应用。

使我们对信息熵有跟深入的了解。

资料、数据、技术水平等方面的要求：

论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。

文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。

内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。

参考文献的书写按论文中引用的先后顺序连续编码。

发出任务书日期06月15日完成论文日期06月25日

教研室意见（签字）

院长意见（签字）

信息熵及其性质和应用

信息与计算科学专业

指导教师吴慧

摘要：

信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。

信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。

人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。

香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。

关键词；信息熵性质应用

InformationentropyanditspropertiesandApplication

StudentmajoringinInformationandComputingScienceSpecialtydongqiang

TutorWuHui

Abstract：

informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwi

delynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.

Keywords:

informationentropypropertiesapplication

引言:

作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=（p1,p…，pn），香农熵定义为H（X）=E[I（）]=log在p1+p2+p3+…pk=1的条件下，为使H（X）最大，显然是pi＝1/k（i=1,2,…，k），即在等概率分布情况下H（X）达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw（ｗ是系统状态的概率）是后来Planck的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。

信息熵（entropy）的概念

设一个离散型随机变量和它的概率分布为

任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I（）

=-log。

自信息量I（）是指某一信源X发出某一消息信号所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。

香农将平均自信息量定义为信息熵，简称为熵。

即H（X）=E[I（）]=log。

二、信息熵的性质

1、对称性：

设某一概率系统中n个事件的概率分布为，当对事件位置的顺序进行任意置换后，得到新的概率分布为，并有以下关系成立:

H（）=H（）它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与事件的顺序无关。

2、非负性：

因为每个p<1，所以它们的以不小于1的数为底的对数是不大于零的。

3、确定性：

设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。

这是一种确定的系统，对于这样的系统有:

H（1,0）=H（1,0,0）=H（1,0,0,0）=…=H（1,0,0,…,0）=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。

此时，信源中每个事件对熵的贡献都为0，因而熵总为零。

4、扩展性：

若集合X有n个事件，另一集合Y中有n+1个事件，但集合X和Y的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。

即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。

式子表达如下：

5、可加性与强可加性：

（涉及到了两个变量！

）

H（XY）为两个随机变量的联合熵。

可加性：

H（XY）等于X的无条件熵，加上已知X时

Y的条件概率的熵的平均值，即条件熵

对于X与Y独立的情况有：

（强可加性）

6、递增性：

（子集再划分，第n个分为m个）

按照定义证明：

例题：

计算

7、极值性：

可利用两个引理证明；（以后再利用Jensen证明。

）

引理1：

对于x>0

引理2：

其中：

8、上凸性：

是P的上凸函数 即对于和两个概率矢量，有：

函数f的图象

几何解释：

f（EP）总在Ef（P）上边

9、1证明离散平稳信源有，试说明等式成立的条件。

解：

=

根据信源的平稳性，有=，因此有

等式成立的条件是

9、2证明离散信源有，并说明等式成立

的条件。

证明

而

=

即

代入上述不等式，有

等号成立的条件是：

9、3在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明

（1）h（X|Y）£h（X），当且仅当X和Y统计独立时等号成立；

（2）当且仅当X1X2L彼此统计

独立时等式成立。

证明：

（1）

等号成立当且仅当p（x|y）=p（x），即p（x,y）=p（x）p（y），因此仅当X和Y统计

独立时等号成立。

（2）根据条件概率密度的相关公式，有

根据

（1）的结论，条件差熵小于差熵，因此有

等号成立当且仅当

即

9、4N维连续型随机序列,有概率密度以及以及

。

证明：

当随机序列的分量各自达到正态