从信息知识智能统一理论看信息科学.docx

1、从信息知识智能统一理论看信息科学从“信息-知识-智能统一理论”看信息科学钟义信（北京邮电大学）一、引言：信息问题的重要性人们普遍认为，20世纪中叶以来，人类社会就开始了从工业（农业）时代向信息时代转变的历史进程。自那时起，关于信息问题的研究就逐渐成为了当今时代的主题。由于篇幅的原因，我们就用表1来表现信息问题的重要性。表1所处的时代古代近代现代所利用的表征性资源物质能量信息表征性科学技术材料科学技术能量科学技术信息科学技术制造的表征性工具人力工具动力工具智能工具扩展的表征性能力体质体力智力导致的社会文明农业时代文明工业时代文明信息时代文明资源是人类生存发展的基础，人类一切活动说到底都是把资源转

2、化为支持人类生存发展所需要的产品（包括物质产品和精神产品）。为此，就需要发明创造相应的科学技术，借以制造相应的工具，完成由资源到产品的转化。表1示出了古代、近代、现代人类通过创造科学技术、制造工具、把相应资源转化为产品、建设当代文明的历史过程。物质、能量、信息三种资源之中，物质资源相对比较直观，能量资源比较抽象，信息资源更为抽象；而人类的认识规律则总是从直观而逐渐至于抽象。因此，在社会发展的历史进程中，人类必然最先利用比较直观的物质资源（自古开始，不断发展），然后及于较为抽象的能量资源（近代崛起，不断深化），再至于信息资源（现代兴起）。需要说明的是，表中所谓“表征性资源”，是指在当代具有表征性

3、地位的资源。例如古代人类虽然也利用能量资源（用火熟食）和信息资源（用指南针获取方向信息），但具有表征性意义的却是物质资源；到了近代，人类能够更好地利用物质资源，也会利用一定的信息资源，但是具有表征性意义的却是利用能量资源；现代人类能够在更高水平上利用物质资源和能量资源，但是具有表征性意义的是利用信息资源。其他的“表征性”含义类同。表1的结论是：历史发展到现代，人类在利用物质和能量资源的基础上进入了“深入认识和利用信息资源，创建信息科学技术，创制智能工具，扩展人类的智力功能，开创信息时代的社会文明”的新时代。这是历史大潮的总体走向。因此，深入认识信息的本质，发展信息科学技术，是时代赋予现代人类的

4、光荣使命。那么，什么是信息？什么是信息科学？什么是智能工具？1945年，以飞机、大炮、坦克、原子弹这样一些先进能量武器所支撑的第二次世界大战的结束，标志了人类历史一个旧时代的结束和一个新时代的开端。1946年，第一部电子计算机问世，开启了信息技术的新时代；1948年，美国Bell实验室科学家申农（Claude E. Shannon）发表了“通信的数学理论”（后人把它称为信息论），开创了信息理论研究的新纪元。二、追溯“信息全过程”，领略信息论的成就与不足01020306申农理论的原著是通信的数学理论（Mathematical Theory of Communication）。在他的理论中，通信被

5、理解为“噪声背景下，接收端以一定准确度恢复发送端所发信号波形”的过程，关注的是信号波形本身，而不必关心波形的含义和价值。信号与噪声两者都具有统计的性质，因此可以用概率论和随机过程来描述通信的过程。进而，他把通信系统的信息定义为“用来消除（随机）不定性的东西”，于是可以用所消除的随机不定性的大小来度量，而后者则可以用定义在概率分布上的“熵”来测度。在此基础上，定义了互信息、信道容量和信息率失真函数，建立了三大编码定理，揭示了有效通信、可靠通信和安全通信的规律和实现途径，完成了通信理论的完美建构。申农因此而成为开辟新时代的通信理论大师。在调研文献的时候发现，令人奇怪的是，学界并没有遵照申农的本意把

6、这一理论命名为“通信论”，却把它称之为“信息论”。按照“系统思维”的规范，“信息论”应当是适用于“全部信息过程”的基本理论。那么，作为“通信数学理论”的申农理论，是否能够有效地解释全部的信息过程呢？我们注意到：通信是信息运动的子过程之一，即信息的传递过程；信息运动的典型全过程应当包括：信息的产生、信息的获取、信息的传递、信息的认知、信息的决策、以及信息的执行，如图1所示，它也恰好就是人们认识世界和改造世界活动的信息全过程。图1 信息全过程模型于是，除了信息传递过程以外，申农理论是否可以描述和解释图2所示的其它各种信息过程、特别是信息过程的高端其中的信息认知与决策过程（智能过程）呢？这是系统思维

7、直接引发的疑问，也是作者当时关注的核心问题。在“通信的数学理论”（现名“信息论”）问世8年之后，“信息论”已经名声大噪的时候，申农在1956年第3期的IEEE Transactions on Information Theory头版头条发表了一篇题为“The Bandwagon”的文章，诚恳地告诫世人：信息论现在声名远播，但它肯定不是万灵药。它是一个演绎系统，一个严格的数学分支，不适用于那些统计原理不能成立的场合。事实上，现实世界许多信息问题（包括智能问题）不能完全归结为统计问题；按照申农的忠告，“通信的数学理论”不能完全适用于智能理论研究。由此可见，人们把“通信的数学理论”冠以“信息论”的称

8、谓，夸大了“通信数学理论”的应用范围。申农是伟大的，不仅仅因为他创建了使后人受益无穷的理论，而且还因为他的严谨求实的科学态度和崇高严肃的社会责任感。他没有沉醉于学术界和公众的颂扬和赞誉，始终保持冷静的头脑，客观公正地对待科学问题。三、探究“信息概念内核”，初创“全信息理论”04050708为什么申农认为他所创建的“信息论”不是万灵药呢？如前所说，在申农建立“通信的数学理论”的时候，他抓住了“通信只需要关注信号波形的复制，不必考虑波形的含义和价值”这个道理，而噪声背景下的随机波形复制问题是一个典型的统计问题。因此他的理论是一种“统计的通信理论”。如果人们的研究对象是通信问题（或满足统计条件的其它

9、问题），申农理论是完美的。但是，正像式（1）和（2）所表明的那样，不满足统计条件的场合不能建立概率分布，因而不能计算概率熵和信息量。通信是重要的，因为它给人们提供了信息交流和共享的平台。但是考察图2的信息全过程就会发现，信息认知和决策（智能）是比通信更为核心的过程。这是因为：人类的一个根本任务是认识世界，而信息是关于世界的原始的、粗糙的、表面的、局部的表现，仅仅依靠信息不足以认识事物的本质；人类另一个根本任务是优化世界，而信息本身并不能直接提供优化世界的策略；智能是人们认识世界和优化世界的能力，然而智能又来源于信息，没有信息，智能就成为无源之水，无本之木。因此，人们应当重视通信的研究，又不能满

10、足于通信的研究；应当循着信息的线索，去探索智能的本质。当人们把目光转向智能研究的时候马上就会发现：智能策略的一个基本标志是“以最小的代价获得最大的效益”。因此，“效益”成为一个不可回避的概念。而在研究通信问题的场合，信息的效益是被有意地回避了。进一步，判断一个事物的效益的性质和大小离不开对它的内容的理解。于是，“内容”也成为一个必要的概念。同样，在研究通信的场合，信息的内容也是被有意排除的东西。可见，在研究智能问题的时候，曾经被审慎排除了的“信息内容和价值”因素成为不可缺少的基础。这就引出了“全信息”的概念。全信息，是同时计及形式、内容和含义这三种相互联系的因素的信息：如图2所示。 图2 全信

11、息概念模型图2的意思是：人们通常可以用某种抽象符号来表示事物的某种“状态”，符号之间的转移方式就可以表示“事物运动状态的变化方式”，而“事物运动的状态及其变化方式”正是事物的抽象化的形式信息，称为语法信息；当这个语法信息与它所描述的事物客体相联系的时候，抽象的语法信息就有了具体的内容，这就是语义信息；而当语法信息和语义信息与某个主体相关联的时候，这种语法信息（形式）和语义信息（内容）就会对主体表现出某种价值，这就是语用信息。语法信息、语义信息、语用信息的整体，则是全信息。按照这个概念可以知道：申农理论所研究的信息“不考虑内容和价值因素”，显然是一种语法信息，而且是一种“状态之间按照概率方式进行

12、转移”的语法信息，即“统计型语法信息”，因而是全信息的一种特殊情形。在智能研究的场合，如果人们获得了某个事物的全信息，就不仅知道了这个事物的外在形式（语法信息）。而且知道了它的内容（语义信息）和价值（语用信息），因此就有可能做出合理的决策。可见，与申农信息（统计型语法信息）理论不同，全信息理论可以支持智能理论的研究。1978年以来，作者通过一系列论文先后发表了关于全信息理论探讨的结果，包括全信息的定义、分类、数学描述和计算方法。1988年首次正式出版了信息科学原理，系统总结了这些研究结果，形成了全信息理论。它的结果包括以下方面：（1）发现信息的概念非常复杂，笼统的研究很难取得成效，必须按照研究

13、的条件划分为不同的层次；（2）把无条件约束的信息称为“本体论信息”，因为没有约束条件因而适用范围最广；（3）如果施加一个约束条件，站在主体的立场来研究信息，本体论信息便转化为“认识论信息”；取消这个约束条件，认识论信息就转化为本体论信息；（4）其它层次的信息概念可以根据具体的条件依此类推，但最有意义最为重要的信息概念是本体论信息和认识论信息；（5）事物的本体论信息只与事物本身的因素有关，定义为“事物运动状态及其变化方式的自述”；（6）认识论信息既与事物本身的因素有关，也与主体的因素有关，定义为“主体所表述的事物运动状态及其变化方式，包括这些状态及其变化方式的形式（语法信息）、含义（语义信息）和

14、效用（语用信息）”；因此，认识论信息也称为全信息，它是语法信息、语义信息、语用信息的三位一体；（7）发现全信息按其性质可以划分为72类，但4类是最基本的，即：状态有限离散清晰的确定性语法信息、状态有限离散清晰的概率性语法信息、状态有限离散清晰的偶发性语法信息、状态有限离散模糊的确定性语法信息，其它各类都可以在这4类的基础上逐一演绎出来；（8）建立了各类信息的定量测度方法，发现各类测度公式之间具有内在的相互转化关系，形成一个和谐的测度体系，如图3所示： 图3 各类信息测度公式的内恰关系图中是作者建立的全信息测度公式，也称为综合语用信息量公式，是综合语义信息测度公式，I（C，C*；R）是统一语法信

15、息测度公式；I（T，T*；R）是单纯语义信息测度公式，I（U，U*；R）是单纯语用信息测度公式，H（P）是申农-维纳概率熵公式，d（F）是模糊熵公式，LogN是阿什比（Ashby）的变异度公式，也是波尔兹曼的热熵公式。可见，历史上所有著名的信息测度公式都是全信息测度公式的特例。这也说明了全信息理论的合理性。确实，维纳的论断“信息就是信息，既不是物质也不是能量”和申农的定义“信息是用来消除（随机）不定性的东西”都与本体论信息和认识论信息的概念相通：“事物的运动状态及其变化方式”当然不是物质，也不是能量；而是能够用来消除（关于事物运动状态及其变化方式的）不定性的东西。正是利用了图3所示的全信息理论

16、，我们才得以用统一的理论完成“信息获取（检测理论）、信息传递（通信理论）、信息处理（认知理论）、信息再生（决策理论）、信息执行（控制理论）、信息组织（系统理论）”的贯通集成，形成了图1所描述的统一的“信息科学”理论体系。这是“全信息理论”研究带来的重要的副产品。在此之前，上述这些分支之间几乎一直是相互独立地发展的。四、考察“信息深加工”，构建“知识理论”0910111214全信息理论的建立，从信息理论上沟通了信息科学领域的各个分支，为智能科学的研究奠定了必要的基础。这是一个明显的进步。没有这个进步，智能理论的研究将只能停留在经验的水平上，难以形成系统的理论。但是深入分析发现，在典型的情况下，即

17、使人们拥有了全信息，往往还很难解决智能决策问题。原因很明显：在“信息”与“智能”之间应有一座桥梁，这就是“知识”；必须先把大量具体的表象性的信息提炼成为抽象的能够反映事物运动本质规律的知识，利用这样的知识和必要的信息，才能有效地研究和解决智能问题。于是从20世纪90年代起，作者转向了“知识理论”的研究。知识是人类的宝贵财富。迄今人类已经积累了大量的科学知识，但是关于知识本身的理论却鲜有顾及。那么，什么是知识？怎样来研究和建立知识的一般理论？同样基于系统的思维，我们注意到“知识的生长链”（见图2），因而不能孤立地就知识本身来研究知识，而必须从信息、知识、智能之间相互联系相互作用的过程来研究知识问

18、题。按照这个思路，我们发现，信息、知识、智能之间确实存在本质的联系与区别：信息表现的是“事物运动的状态和状态变化的方式”；知识表现的是“事物运动的状态和状态变化的规律”，智能表现的是“利用抽象的知识和具体的信息，生成求解问题的策略，进而解决问题达到目标的能力”。由此可知：作为“事物运动状态及其变化方式”的信息是具体的表象的，作为“事物运动状态及其变化规律”的知识是抽象的本质的。由此也可以体会：抽象的知识只能从具体的信息中提炼出来；信息也只有被抽象为知识才具有更大的价值。信息是原材料，知识是从信息提炼出来的抽象产物。这就是知识与信息之间的关系。另一方面，知识只是“事物运动状态及其变化规律”的表述

19、，知识本身并不能解决实际的问题。因此，面对具体的问题及其环境（约束条件），针对预期的目标，必须把知识激活成为求解问题的智能策略；后者再被转换为求解问题的智能行为，才能最终有效地解决实际问题。这就是知识与智能之间的关系。于是，我们认为，知识理论应当由三个基本部分构成，即：（1）知识的基础理论（研究知识的定义、分类、描述、度量）；（2）知识生成理论（研究知识是怎样产生的），（3）知识激活理论（研究知识是怎样被激活为求解问题的智能策略的）。三者的综合，构成了知识的完整理论。明确了信息、知识、智能之间的本质联系，就可以比较合理地建立知识的定义、分类、数学表示和数值计量。研究表明，任何知识都包含三个基本

20、分量：形态性知识（表述事物运动状态及其变化的形式规律），内容性知识（表述形态性知识的内涵），效用性知识（表述这个知识对于主体而言具有什么效用）。我们可以用形态的广义肯定度C、内容的广义真实度T、价值的广义效用度U来分别描述知识的三个分量，进而可以建立形态性知识、内容性知识、效用性知识的数值度量公式K（C，C*；R）、K（T，T*；R）、K（U，U*；R）以及整体知识的数值度量，从而形成知识理论的基础。在此基础上，根据信息、知识、智能的相互关系，我们建立了由信息提炼知识的一系列原则算法：包括从大量语法信息样本中归纳形态性知识的算法；由语法信息和语用信息形成效用性知识的算法；由语法信息、语义信息、

21、语用信息形成内容性知识的算法等等。这些算法从原理上指明了把信息提炼为知识（知识生成）的基本途径。可以证明，当前国内外都在高度关注的“数据挖掘与知识发现（Data Mining and Knowledge Discovery）”都是这些原则算法的各种具体实现。我们还探讨了知识激活的算法。知识激活算法的基本思想，就是在给定具体问题、给定问题约束条件和预期目标的条件下，求解一种能够解决问题、满足约束条件、达到预期目标的智能策略。策略，是智能的集中体现，是“狭义智能”，因而称为智能策略。把知识激活成为智能策略，就完成了“由知识到智能的转换”过程。知识激活与经典决策论的主要区别在于：前者是在某种连续解空

22、间求解的过程，后者是在给定的几种行动策略中进行最优选择的过程。因此，与经典决策理论相比，知识激活具有更重大的科学意义和应用价值。研究还发现，同其它事物一样，知识也有生长的过程。按照一般的共识，知识的生长过程可以划分为三个阶段（标志了三类不同成熟程度的知识）：最初阶段是在实践中逐渐积累起来尚未经过严格验证的经验性知识，第二阶段是经验性知识经过严格验证所形成的规范性知识，第三阶段是规范性知识通过普及成为人所共知的常识性知识，后者也可以包括本能性的知识。可以认为，任何知识都存在这样三个成长的阶段，只是各个阶段经历的时间的长短各不相同。一般而言，对于处在不同生长阶段的知识，它们的生成方法和激活方法都会

23、有许多各不相同的特点。五、探索“信息-知识-智能”转换机制，形成“智能统一理论”131516“全信息理论”和“知识理论”的建立，在理论上铺平了“从信息到知识”和“从知识到智能”的道路，揭示了智能创建的基本机制，还带来了一个意义重大的额外收获，一个重要的“副产品”：找到了人工智能原先“三分而立”且互不认可的三大理论学派“符号主义”学派、“联结主义”学派和“行为主义”学派之间实现统一的理论机制，从而可以打通三者之间长期存在的理论藩篱，建构“智能的统一理论”。统一人工智能理论三大学派的奥妙在于揭示“智能生成机制”。如前所说，在一般的情况下，由信息创建智能需要通过知识的桥梁（当然，在特殊的情况下也可以

24、化简），而知识本身又存在三种不同的生长形态：经验性知识、规范性知识和常识性知识。因此，如果所使用的知识形态不同，那么由信息提炼知识和把知识激活成智能的方法也就不同，从而创建的智能类型也不相同。具体地说，如果所利用的知识是经验性知识，那么，人工神经网络的训练学习就可以成为由信息生成知识和把知识激活成为智能策略的有效方法，这就导致了结构主义（也称为联结主义）的智能理论；而如果所使用的知识是规范性知识，那么用人工方法搜集知识和用逻辑推理的方法把知识激活成为智能策略就是一种自然的选择，这就导致了功能主义（也称为符号主义）的智能理论；如果所使用的知识是常识性知识，那么只要感知到了某种类型的输入信息，与此

25、相应的智能策略就可以按照常识直接选定而无需通过学习与推理的过程，这就导致了行为主义（可称为直觉主义）的智能理论。这些就是现有三种智能理论之间的基本区别。但是不难发现，三种智能理论学派其实都遵循着同样的“智能生成机制”：首先由信息提炼知识，然后由知识激活智能。可见，从“智能生成机制”观念来看，结构主义、功能主义、行为主义三大学派都遵循相同的智能生成机制，它们之间的差别只是具体的实现途径。换言之，“机制主义”可以实现对结构主义、功能主义、行为主义三种智能理论的统一。由此，可以把信息-知识-智能转换这个“机制主义”共性与结构主义、功能主义、行为主义的个性总结于表2。表2共性机制机制主义通过信息提炼生

26、成知识通过知识激活创建智能策略个性实现结构主义神经网络训练神经网络工作功能主义人工收集/机器学习逻辑推理行为主义信息归类信息类与策略类直接对应进一步，这个信息-知识-智能转换“机制主义”与结构主义、功能主义、行为主义三者之间的关系也可以更具体地用图4来表示： 图4 智能生成机制的“三分归一统”图中不仅表明了神经网络（智能的结构主义理论）、专家系统（智能的功能主义理论）和感知-动作系统（智能的行为主义理论）是“信息-知识-智能转换机制理论”的三种具体实现方式，而且还明确揭示了这三种具体机制之间的衔接关系：神经网络方法（结构主义）所学习到的经验性知识通过验证成为规范性知识后就可以提供给专家系统（功

27、能主义）使用；专家系统的规范性知识经过普及化成为常识性知识之后则可以提供给感知-动作系统（行为主义）使用。这样，通过“机制主义”，原先三种理论就完全实现了统一。值得注意的是：像智能这样的复杂对象，应当存在许多不同的研究方法。当然，不同的方法会有不同的效果（不同的优越性和局限性）。其中，从结构上进行分析和模拟是最直观也最自然的方法；但是复杂系统往往具有非常复杂的结构，从结构的角度进行研究可能会遭遇难以克服的困难。于是，人们自然会想到可以回避结构复杂性困难的功能模拟的途径。但是，功能分析与模拟只是复杂对象的外部功能的模拟，在回避结构复杂性困难的同时也回避了复杂对象的内在本质。不追究结构也不关注功能

28、分析的行为主义在一定条件下是可行的，但是在复杂对象的场合并不总是有效的，而且行为主义方法显然也忽视了复杂系统的内在机制。因此，虽然结构主义、功能主义和行为主义都不失为研究复杂对象的重要方法，但是它们都回避了复杂系统内在本质机制的研究。这是它们共同的缺陷。面对“智能”这个复杂的研究对象，我们探讨了“机制主义”方法。与上面三种方法不同，“机制主义”方法抓住了“智能生成的内在机制”这个要害。按照“机制主义”方法的思路，发现了“由信息生成知识，由知识激活智能”这个具体的共性机制。由此不但揭示了智能创建的共性机制，而且发现了统一现有三种理论的途径。六、“知行理论”浮出水面，高屋建瓴再话“信息”13192

29、0在“信息-知识-智能”转换理论中，把信息转换成知识的过程本质上是“认知”的活动过程；得到“知识”是实现“认知”的标志；在目标引导下把知识激活成为智能策略的过程本质上是确定求解问题的行动方略的过程；生成“策略”是确定“行动方略”的标志。在这两个相互关联的过程中，前者解决的是“知”的问题；后者解决的是“行”的问题。两者的有机综合，就构成了“知”与“行”的基本理论。因此，完整地说，“知行学”就是研究“在给定问题、给定问题的约束条件（即问题的环境）和预期目标的条件下，有目的地获得相关信息、把信息提炼成为知识、在目标牵引下把知识和信息激活成为求解问题的智能策略、并把智能策略转换成为智能行为、满足约束解

30、决问题达到目标”的理论。显然，从“自底向上”的观点来看，“知行学”是贯穿信息运动全过程的信息科学；而从“自顶向下”的观点来看，“知行学”则是贯穿智能机制全过程的智能科学。换言之，“知行学”是完全的信息科学，也是完全的智能科学。在这个意义上可以认为，“知行学”、“完全信息学”、“完全智能学”三者具有完全相同的含义。它们的区别只是考察的角度不同：“完全信息学”是自底向上（自信息向智能），“完全智能学”是自顶向下（自智能向信息），“知行学”则是全局鸟瞰（既自底向上又自顶向下）。总之，“知行学”的基本理论体系是“全信息理论”、“知识理论”以及“统一智能理论”，它的核心是“信息、知识、智能的转换理论”。

31、作者认为，这是可以与物理学的能量转换定律相媲美的信息定律。综上所述，从信息、知识、智能运动的全过程可以理解：（1）信息是一类复杂的研究对象，在本体论意义下，事物的信息是“事物本身运动状态及其变化方式的自述”；在认识论意义下，事物的信息是“认识主体关于事物运动状态及其变化方式的形式、内容和价值的描述”。（2）信息的主要作用是可以被提炼成为知识，后者是“认识主体关于事物运动状态及其变化规律的形式、内容和价值的描述”。（3）在目的引导下，信息和知识可以被激活成为解决问题的策略，后者体现为狭义的智能。（4）人类可以通过“信息-知识-智能转换”的机制不断地从外部世界获得新的信息、知识和智能，实现认识世界

32、和优化世界的目的。这就是信息科学、智能科学、“知行学”的价值和意义。【点评一】该文在信息的语义、语法、语用基础上进一步试图解决知识、智慧的“全信息”问题，为人工智能、专家系统提出研究方向。但是，智慧涉及到思维科学、脑科学、神经科学等，特别是顿悟、灵感、创造性思维，计算机中的信息解决数据、知识问题是完全没有问题的，要解决智慧问题，可能不是现代的计算机能够做到的。（马蔼乃 ）【点评二】全信息理论是作者的一项重要创新，是本书导论高度评价钟教授工作的主要依据之一。但正因为重要，中国信息学界更要认真评析，提出质疑，展开争论，以便将它推向前进。我认为，信息既然是非物质的，就不能类比于研究物质运动那样研究信息运动，萧瑞宁关于“信息无量变化”的命题可能是有道理的。语义信息和语用信息原则上不可能像物理量那样度量。申农对语法信息的度量实际是对符号载体（特殊的物质）的度量。要度量语义信息和语用信息，可能也须改变思路，对信源、载体和信宿的某种