信息模型PPT文件格式下载.ppt

1、问谁提供的信息量大？诉你一条消息：乙虽然只提供了一条消息，但这一条消息对此人在什么乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性消除得更多，所以后者包含的信息量应位置上这一不确定性消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大比前者提供的两条消息所包含的总信息量更大例例13 假如在盛夏季节气象台突然预报假如在盛夏季节气象台突然预报“明天无雪明天无雪”的消的消息。在明天是否下雪的问题上，根本不存在不确定性，所息。在明天是否下雪的问题上，根本不存在不确定性，所以这条消息包含的信息量为零。以这条消息包含的信息量为零。是否存在信息量的度量公式是否存在信息

2、量的度量公式 基于前面的观点，美国贝尔实验室的学者香农基于前面的观点，美国贝尔实验室的学者香农（Shannon）应用应用概率论知识和逻辑方法概率论知识和逻辑方法推导出了信息量推导出了信息量的计算公式的计算公式 In his words I just wondered how things were put together.Claude Elwood Shannon（April 30,1916-February 24,2001）has been called the father of information theory.Shannon提出的四条提出的四条基本性质基本性质（不妨称它们为公理（

3、不妨称它们为公理）公理公理1信息量是该事件发生概率的连续函数信息量是该事件发生概率的连续函数 公理公理2如果事件如果事件A发生必有事件发生必有事件B发生，则得知事件发生，则得知事件A发生发生的信息量大于或等于得知事件的信息量大于或等于得知事件B发生的信息量。发生的信息量。公理公理3如果事件如果事件A和事件和事件B的发生是相互独立的，则获知的发生是相互独立的，则获知A、B事件将同时发生的信息量应为单独获知两事件事件将同时发生的信息量应为单独获知两事件发生的信息量之和。发生的信息量之和。公理公理4任何信息的信息量均是有限的。任何信息的信息量均是有限的。将某事件发生的信息记为将某事件发生的信息记为M

4、，该事件发生的概率记为该事件发生的概率记为p，记，记M的信息量为的信息量为I（M）。）。上述公理怎样推出信息量的计算公式呢上述公理怎样推出信息量的计算公式呢定理定理11.2 满足公理满足公理1公理公理4的信息量计算公式为的信息量计算公式为I（M）=Clogap，其中其中C是任意正常数，对数之底是任意正常数，对数之底a可取任意为不为可取任意为不为1的正实的正实数。数。证明证明:由由公理公理1 I（M）=f（p），函数函数f连续连续。由由公理公理2 若若A发生必有发生必有B发生，则发生，则pApB，有有f（pA）f（PB），故函数故函数f是单调不增的是单调不增的。由公理由公理3 若若A、B是两个独

5、立事件，则是两个独立事件，则A、B同时发生同时发生 的概率为的概率为pApB，有，有f（PAPB）=f（pA）+f（pB）。先作变量替换先作变量替换 令令p=a-q，即，即q=logaP 记记 ，又，又 有：有：，g亦为连续函数亦为连续函数。g（x+y）=g（x）+g（y）的连续函数有怎样的性质的连续函数有怎样的性质 首先，由首先，由g（0）=g（0+0）=2g（0）得出得出g（0）=0或或g（0）=。但由公理但由公理4，后式不能成立，故必有，后式不能成立，故必有g（0）=0。记记g（1）=C，容易求得容易求得g（2）=2C,g（3）=3C,一般地，一般地，有有g（n）=nC。进而进而 ，可得

6、可得 。于是对一切正有理数于是对一切正有理数 m/n，g（m/n）=（m/n）C。由由连续性连续性可知：对一切非负实数可知：对一切非负实数x，有，有g（x）=Cx 当当x取负实数时，由取负实数时，由g（x）+g（x）=g（0）=0，可得可得出出g（x）=g（x）=cx也成立，从而也成立，从而对一切实数对一切实数x，g（x）=Cx,故故g（q）=Cq。现作逆变换现作逆变换q=logap，得得I（M）=f（P）=ClogaP （11.3）证毕证毕。各种信息量单位各种信息量单位 若取若取a=2,C=1，此时信息量单位称为比特此时信息量单位称为比特若取若取a=10,C=1，此时信息量单位称为迪吉特此时

7、信息量单位称为迪吉特若取若取a=e,C=1，此时信息量单位称为奈特此时信息量单位称为奈特例例14 设剧院有设剧院有1280个座位，分为个座位，分为32排，每排排，每排40座。现欲从中座。现欲从中找出某人，求以下信息的信息量。（找出某人，求以下信息的信息量。（i）某人在第十排；（某人在第十排；（ii）某人在第某人在第15座；（座；（iii）某人在第十排第某人在第十排第15座。座。解解：在未知任何信息的情况下，在未知任何信息的情况下，此人在各排的概率可以认此人在各排的概率可以认为是相等的，他坐在各座号上的概率也可以认为是相等的，故为是相等的，他坐在各座号上的概率也可以认为是相等的，故 （i）“某人

8、在第十排某人在第十排”包含的信息量为包含的信息量为 （比特）（比特）（ii）“某人在第某人在第15座座”包含的信息量为包含的信息量为 （比特）（比特）（iii）“某人在第十排第某人在第十排第15座座”包含的信息量为包含的信息量为 （比特）（比特）5bit+5.32bit=10.32bit这一例子反映了对完全独立的这一例子反映了对完全独立的几条信息，其总信息量等于各几条信息，其总信息量等于各条信息的信息量之和。条信息的信息量之和。对于相应不独立的信息，要计算对于相应不独立的信息，要计算在已获得某信息后其余信息的信在已获得某信息后其余信息的信息量时，需要用到条件概率公式，息量时，需要用到条件概率公

9、式，可以参阅信息论书籍。可以参阅信息论书籍。至此，我们已经引入了信息度量的定量公式。如前至此，我们已经引入了信息度量的定量公式。如前所述，它是信息对消除问题的不确定性的度量。这种讲所述，它是信息对消除问题的不确定性的度量。这种讲法似乎有点难以为人们所接受，其实，这只是人们的习法似乎有点难以为人们所接受，其实，这只是人们的习惯在起作用。这里，我们不妨来作一比较。在人们搞清惯在起作用。在人们搞清热的奥秘以前，温度也是一个较为抽象的概念，因它实热的奥秘以前，温度也是一个较为抽象的概念，因它实质上是物体分子运动平均速度的一种映。人们天生就知质上是物体分子运动平均速度的一种映。人们天生就知道冷和热，但如

10、何来度量它却曾经是一个难题。只有在道冷和热，但如何来度量它却曾经是一个难题。只有在解决了这一问题以后，以定量分析为主的热力学才能得解决了这一问题以后，以定量分析为主的热力学才能得到飞速的发展。信息问题也是这样，人们对各种信息包到飞速的发展。信息问题也是这样，人们对各种信息包含的实质含的实质“内容内容”究竟有多少往往也有一个直观的感觉，究竟有多少往往也有一个直观的感觉，但用什么方法来度量它，却比但用什么方法来度量它，却比“今天今天15度度”这样的讲法这样的讲法更不易理解，因为它是通过较为抽象的概率来计算的。更不易理解，因为它是通过较为抽象的概率来计算的。平均信息量（熵）问题平均信息量（熵）问题

11、设某一实验可能有设某一实验可能有N种结果，它们出现的概率分别为种结果，它们出现的概率分别为p1,pN,则则事先告诉你将出现第事先告诉你将出现第i种结果的信息，其信息量为种结果的信息，其信息量为log2pi，而该而该实验的不确定性则可用这组信息的平均信息量（或熵）实验的不确定性则可用这组信息的平均信息量（或熵）来表示来表示例例15 投掷一枚骼子的结果有六种，即出现投掷一枚骼子的结果有六种，即出现16点、出现每点、出现每 种情况的概率均为种情况的概率均为1/6，故熵，故熵 H=log262.585（比特）。比特）。投掷一枚硬币的结果为正、反面两种，出现的概率均为投掷一枚硬币的结果为正、反面两种，出

12、现的概率均为1/2，故熵，故熵 H=log22=1（比特）。向石块上猛摔一只鸡蛋，其结果必然是将鸡蛋摔破，出向石块上猛摔一只鸡蛋，其结果必然是将鸡蛋摔破，出现的概率为现的概率为1，故熵，故熵H=log21=0 从例子可以看出，熵实质上反映的是问题的从例子可以看出，熵实质上反映的是问题的“模糊度模糊度”，熵为，熵为零时问题是完全清楚的，熵越大则问题的模糊程度也越大零时问题是完全清楚的，熵越大则问题的模糊程度也越大 离散型概率分布的随机试验，熵的定义为离散型概率分布的随机试验，熵的定义为：（11.5）连续型概率分布的随机试验，熵的定义为连续型概率分布的随机试验，熵的定义为:（11.6）熵具有哪些有

13、趣的性质熵具有哪些有趣的性质 定理定理11.3 若实验仅有有限结果若实验仅有有限结果S1,Sn，其发生的概率分别为其发生的概率分别为 P1,Pn，则当则当 时，此实验具有最大熵。时，此实验具有最大熵。此定理既可化为条件极值问此定理既可化为条件极值问题证明之，也可以利用凸函题证明之，也可以利用凸函数性质来证明，请大家自己数性质来证明，请大家自己去完成去完成 定理定理9.4 若实验是连续型随机试验，其概率分布若实验是连续型随机试验，其概率分布P（x）在在a,b区间以外均为零，则当区间以外均为零，则当 P（x）平均分布时具有最大熵。平均分布时具有最大熵。定理定理9.5 对于一般连续型随机试验，在方差

14、一定的前提下，正对于一般连续型随机试验，在方差一定的前提下，正态分布具有最大的熵。态分布具有最大的熵。定理定理9.6 最大熵原理，即受到相互独立且均匀而小的随机因素最大熵原理，即受到相互独立且均匀而小的随机因素影响的系统，其状态的概率分布将使系统的熵最大。影响的系统，其状态的概率分布将使系统的熵最大。上述结果并非某种巧合。根据概率论里的中心极限定理，若试上述结果并非某种巧合。根据概率论里的中心极限定理，若试验结果受到大量相互独立的随机因素的影响，且每一因素的影验结果受到大量相互独立的随机因素的影响，且每一因素的影响均不突出时，试验结果服从正态分布。最大熵原理则说明，响均不突出时，试验结果服从正

15、态分布。最大熵原理则说明，自然现象总是不均匀逐步趋于均匀的，在不加任何限止的情况自然现象总是不均匀逐步趋于均匀的，在不加任何限止的情况下，系统将处于熵最大的均匀状态。下，系统将处于熵最大的均匀状态。例例16 有有12个外表相同的硬币，已知其中有一个是假的，可能个外表相同的硬币，已知其中有一个是假的，可能轻些也可能重些。现要求用没有砝码的天平在最少次数中找出轻些也可能重些。现要求用没有砝码的天平在最少次数中找出假币，问应当怎样称法。假币，问应当怎样称法。解解 假币可轻可重，每枚硬币都可能是假币。故此问题共有假币可轻可重，每枚硬币都可能是假币。故此问题共有 24种情况，每种情况的概率为种情况，每种情况的概率为1/24。所以此问题的熵为。所以此问题的熵