信息科学原理作业.docx

1、信息科学原理作业 信息科学原理作业 1、1、信息科学是指以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以信息科学方法论为主要研究方法，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门科学。我认为信息科学就是研究信息，找寻信息的规律，利用和总结这些规律，来找到更好更高效的扩展信息功能的方法。信息科学，上面已经提到了信息科学的概念和定义，它主要以信息为研究对象，这是它区别于其它科学的最根本的地方。信息理论，通常指经典信息论，仙农提出的信息熵理论。信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同

2、规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。通信原理，通信原理的主要理论体系，即信息论基础、编码理论、调制与解调理论、同步和信道复用等。区别在于通信原理主要的研究目的是如何高效准确的传送消息（数据、语音和图像等）。计算机科学，研究计算机及其周围各种现象和规律的科学，亦即研究计算机系统结构、程序系统（即软件）、人工智能以及计算本身的性质和问题的学科。计算机科学是一门包含各种各样与计算和信息处理相关主题的系统学科，从抽象的算法分析、形式化语法等等，到更具体的主题如编程语言、程序设计、软件和硬件等。2、我认为信息科学对我们大学生是很重要的一门学科。首先，我们研究的通信方面

3、与信息科学本身存在极大的关联；其次，信息科学可以看作是一个指南针，为很多的研究指明了方向，那么学习它是从根本上对自己的研究打基础；第三，现在大家对信息科学的理解大部分都停留在经典信息论的部分，那么我们需要不断的去发展和学习信息科学，所以说信息科学对于我们来说是很有意义的。2、1、信息的定义：香农和韦弗1948年在通信的数学理论中指出：“凡是在一种情况下能减少不确定性的任何事物都叫做信息（information）。”。钟教授对信息的定义：“信息是事物的运动状态及其状态变化的方式。”我认为信息是在事物运动状态中产生的减少不确定性的事物。2、信息论（Information Theory）是人们在长期

4、的通信工程的实践中总结经验，由通信技术与概率论、随机过程、数理统计相结合而逐步发展起来的一门科学。全信息（Comprehensive Information ）是主体关于“事物运动状态及其变化方式”的表述，包括“状态-方式”的形式、内容和价值的表述。或者把同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息称为全信息。全信息理论与经典信息论的区别。从经典信息论对信息的定义中也可以看到其应用的前提条件是，事物状态的变化或事件的发生是随机的可以用概率空间来描述的，从而利用不确定性的大小来计算其信息量。实际事件发生的不确定性通常含有模糊性的因素，而香农理论则无法涵盖。根据全

5、信息理论来看，经典信息论讨论的是语法信息，其目的是应用于通信系统，因此忽略了语义和语用信息，而这种缺陷可能就是导致目前通信系统中信息保密、安全方面问题的根源。经典信息论（香农信息论）认为最基本的通信系统模型如下：信源-信道-信宿。是一个抽象的通信系统的数字模型，忽视了信息的价值，不能涉及到真正意义上的“信息”。全信息的模型则是语法信息（形式）、语义信息（内容）、语用信息（价值）三位一体，将客体，符号和主体联系起来，形成一个具体的模型，充分反映了信息的本质。3、语法信息（形式）、语义信息（内容）、语用信息（价值）4、语法信息，就是主体所感知或所表述的事物运动状态和方式的形式化关系。 语义信息，就

6、是认识主体所感知或所表述的事物运动状态和方式的逻辑含义。 语用信息，就是认识主体所感知或所表述的事物运动状态和方式相对于某种目的的效用。 先验信息：观察者关于某事物的先验信息是指他在观察之前通过某种途径所感知的该事物运动的状态和方式。 实得信息：在观察过程中，观察者关于某事物的实得信息，是指他通过观察所新感知到的该事物运动的状态和方式。 实在信息，是指该事物实际的运动状态和方式，这也是在理想观察条件下观察者所获得的关于该事物的全部信息。 3、1、我认为信息是可以度量的。信息也是一种事物，世界上的所有的事物在被人理解和应用的方面来讲都是可以被度量的，在过去的理论中也有很多学者提出了各种度量信息的

7、方法，所以我认为信息是可以被度量的。2、香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小，不确定性越多，信息量就大，反之则少。3、在1928年Hartly提出了一种度量信息量的方法，就是最早的信息测度方法，即用符号序列数来表示信息量的大小，这种方法排除了主观因素，建立了纯粹化信息测度，这一方法后来由香农的信息熵继承，以香农为代表的经典信息论提出的理论是，事物状态的变化或事件的发生是随机的，可以用概率空间来描述，根据“事物运动状态或存在方式的不确定性”的大小，来计算其

8、信息量。然而实际中许多事件发生的不确定性不是仅由随机性引发的，还有模糊性的因素。况且随机性事件也不一定都存在概率空间或合适的概率空间。两者都存在根本的缺陷是没有考虑语义和语用信息，钟教授定义仅仅计及外在形式因素的信息部分称为“语法信息”；计及内在含义因素的信息部分称为“语义信息”；计及效用价值因素的信息部分称为“语用信息”。 “综合语用信息”是包括了语法信息、语义信息的语用信息，它综合反映了事物状态变化的外在形式、内在含义和效用价值。钟教授定义了一个“综合效用度”来测度全信息的信息量。4、在理解语义信息时，我们要解决的是事物各种运动状态在逻辑上的真实程度的描述问题，所以设置了一个“状态逻辑真实

9、度”参量，记为t，当t等于1的时候状态逻辑度为真，t等于0的时候状态逻辑度为假，当t等于1/2的时候状态逻辑度不定，t在0和1之间时状态效用模糊。如果某个事物X具有N个可能的运动状态：Xn，n=1，N，记状态Xn的逻辑真实度为tn，tn的总和不一定归一。 在描述语用信息时，我们采用效用度的概念来处理事物运动状态及其变化方式的价值表征的问题。设置一个“状态效用度”参量，记为u，当u等于1的时候状态效用度最大，u等于0的时候状态效用最小，u在0和1之间时状态效用模糊。具体来说如果某事物X具有N个可能的运动状态Xn，n=1，N，记状态Xn的效用度为Un，Un的总和不一定归一。4、1、因为仙农指出，通

10、信工程的基本任务，是在噪声干扰下尽可能准确的复制从发端传来的消息波形，而与消息的内容和价值无关。并且一个实际的小时是从可能消息的集合中随即选择出来的，是一种大量重复发证的统计现象。仙农将信息定义为用来消除不定性的东西，运用非决定论的观点和统计方法，解决了概率型语法信息的定量测度。2、模式识别的基本原理。第一，语法信息识别（分类）的基本原理是信息特征的比较。不同那个类别的信息，其特征也不相同。因此，子要把握了类别特征，原则上就可能准确识别。第二，识别的准则是：相似而认同，相异而拒斥。因此，建立信息类别相似性（或差异性）的表示和度量是信息识别的关键。第三，由于环境存在干扰，待识别的信息不理想，信息

11、类别下相似性的表达不完善，因此无论怎样设计信息识别系统，理想的识别是不现实的。第四，更为有效的信息识别方法，是对全信息的“理解”。3、机器学习的原理：第一，及其学习系统必须设置明确的目的，以知道学习的方向；机器学习系统必须有反馈机制，以便通过学习效果与学习目的的比较来改进学习的性能。第二，及其学习系统硬钢充分利用全信息，使系统能够理解学习的“目的”，并根据全信息作出学习的性能判断。第三，在系统不能利用全信息的情况下，机器学习就只能采用“大量统计”的方法和“随即凑试”的技术途径。这是目前大多数机器学习的共同特征。目前存在的机器学习系统都局限于简单的基础学习模式，更多的重复的机械活动的不断叠加和筛

12、选来达到目的，高效的学习模式实现困难，在机器学习没有运用全信息理论的的情况下，学习的理论都是单一的语法信息，会阻碍人机交互的发展，如何在学习系统中充分利用全信息来改善机器系统仍然有很长的路要走。4. 现今的机器学习系统有很多种，每一种都有各自不同的特点，可以根据实际情况运用在不同场合，在对学习质量要求高的场合需要更高效的方法，然而计算机无法真正的模拟人脑的运算方式，通过归纳学习的方式可以部分提高学习质量。5、1。您是否满意对信息传递原理的描述？为什么呢？信息传递原理又是通常所说的“通信论”是信息科学的分支。信息传递的实质，就是一种事物运动的状态及其状态变化的方式脱离开源事物而附着于另一事物并通

13、过后者的运动将这种状态方式在空间中从一点传到另一点。传统的通信论中普遍强调的是语法信息的传递，而与信息的内容和价值无关，于是将信息的传递的传递理解为概率语法信息的传递。所以我认为这里对信息传递原理的描述是合适的但不够的，通信系统不能仅仅是搬运工，而应该是运动的载体，“由语法信息恢复全信息”的任务落在人的思维上，以后的科学发展将有人工智能系统来完成。2。如果在通信中应用的全信息理论？请举例说明。在通信系统的最佳接收部分我们可以应用全信息理论。首先经典信息论下的最佳接收是事件发生概率为随机，通过条件概率作为决策的依据，通过后验概率决策规则来判断发送端信息。那么在考虑实际问题时，人们不仅要研究差错率

14、的大小，更要研究决策差错所造成的损失或所必须付出的代价。但实际上，倘若发生的决策差错并不引起任何损失，不需要付出任何代价，那么这种差错的概率是大是小就无所谓了，引入了全信息理论，即在语法信息的基础上增加了语义信息和语用信息对信息决策规则的影响。以平均信息量损失最小为准则的最佳决策规则，以平均风险为准则的最小平均风险准则，以全差错概率为准则的理想观察者决策规则，以加权差错概率为准则的加权差错概率决策规则。6、1、信息不能脱离载体存在，因此，信息处理必须通过载体来处理或操作执行。信息处理通过对载体的处理表现出来，从这里看信息处理和信号处理是相似的。信息处理通常指随即信号处理，而信号处理指非随机信号

15、处理。信息处理是对信息的操作而不是对载体信号本身的处理。例如， 我们一串01二进制序列是数字信号，我们对二进制序列的编码处理就是做信号处理，在这个过程中我们没有考虑这一串信号所携带的信息是什么，但是当我们考虑到一个事件的发生，并对这个事件做出判断其肯定度，真实度时就是对信息进行了处理。2、信息分为语法信息、语义信息和语用信息。信息具有相对独立性，可以无限地进行复制，但本身的语法信息不会增加。信息处理是必要的，因为大多数种类的信息的原始的形式可能不好使用，因此信息处理是后续操作的基础。信息处理的唯一目的是使原始形式的信息等被更容易和更好地使用。换句话说，信息处理的作用是使信息能更方便的被使用，而

16、不是增加信息的数量。例如，在通信工程中，语法信息只关注传递的波形，而不关注波形的含义和价值，对波形的处理只不过是减少了噪声对原始波形的干扰，让原有的语法信息能更好的被人们所使用。3、在人类的大脑中，传统的信息处理海马（古代皮质）和丘脑（旧皮质）中进行。智能信息处理将新皮层的所有感官联合在一起共同处理问题，以产生全面的知识和决策。每当“不确定性”成为问题的关键性因素时，智能信息处理被定义为需要其智能的能力来解决问题，而不是依靠其计算能力。所有的没有不确定性的处理都被认为是传统的信息处理。4、在本科期间有做过语音信号处理的工作，将语音进行采集、编码、压缩和存储，然后再读取、解压、解码和播放出来，语

17、音信号是模拟的波形，将模拟的波形通过模数转换变成数字信号，然后对二进制序列进行编码处理，从而能够高效的存储，这些都是信号处理的过程，现在有很多语音识别软件，可以识别语音命令来执行相应的操作，这些可以看作是智能信息处理。7.1、1、信息：通常我们说的信息是关于某个事物，知道这个事物现在处在什么样的运动状态以及知道这个运动状态会按照什么方式发生变化。本体论信息是指事物运动的状态和状态变化的方式本身；认识论信息是指主体所表述的事物运动的状态及其变化方式，包括这些状态/方式的形式、含义和价值。知识是由经验总结升华出来的，知识是经验的结晶。与认识论信息的不同在于知识强调的是“事物运动状态变化的规律”，而

18、不是简单的“事物运动状态变化的方式”。认识论信息是具体的，通过人对信息的加工转变成为抽象的知识，同时信息虽然可以被加工成为知识，但信息却不一定就是知识。2、我同意第一类信息转换规律。因为，本体论信息是一种直观的信息，可以很容易的得到，但不能容易的使用，也是我们说的语法信息。第一类信息转换是信息内部的转换，是语法信息到语义和语用信息的转换，是将复杂的信息转换成有价值的，容易被人使用的信息的过程。例如，一个教室，首先得到的信息是这是一个正方形的空间，长宽高是多少，里面有些什么东西，但人的大脑将这些信息处理转换成为“教室”和“教室可以用来自习和上课”的信息。这样的转换是重要的，是信息处理的基础，只有

19、经过了这些转换，才是真正意义的全信息。3、你如何理解主意识，或等价意识？这个没有在书中或PPT中找到相应的概念。7.2、1、信息转换规律研究具有极其深远的意义。在信息转换的过程中，第一步是对信息进行认知的过程，由信息提炼知识的算法，对知识进行归纳和演绎，从而得到新的知识。我们知道这一步是非常重要的，因为他是沟通全信息理论知识理论智能理论之前的桥梁，为简历“信息知识智能的转换与统一理论”奠定必要的基础；第二步是通过对信息的认知得到策略，因为认知本身不等与解决实际问题，不解决实际问题就不可能改善人类生存和发展的环境和条件，所以，面对实际的问题，我们要运用科学的信息分析方法，通过综合处理信息、知识和

20、目标来解决问题。以上可以看出不管是在那个方面，信息转换规律对科学的进步和发展或者是人类生活都有着极其重要的意义。研究清楚了这些规律才能更好的解决问题。2、算法1：本体论信息语法信息1）给定一个变量：X2）建立一个映射：XY3）计算映射的误差：4）如果误差小于某一个值，则映射Y是满意的，反之，回到第二步，直到映射是满意的；5）X是本体论信息，Y是语法信息。算法2：语法信息语用信息1）给出问题和相关目标，G；2）给出Xn和Zn的一个优先信息：3）输入一个新的X。将X与Xn做比较。如果 |X-Xn0|= min 这时设计一个与X有关的量Zn0，有 Xn0 Zn0.4）如果X不属于Xn，则经由实际经验

21、或计算得到ZZ = k Cor (X, G). 算法3：语法和语用语义信息1）给出问题P和目标G2）通过应用算法1获得语法信息X3）通过应用算法2掌握语用信息Z4）通过对X和Z的推导得到Y。在最简单的情况下，推导过程可以简化为“求和”5）得到的Y是与X和Z相关的语用信息。8、1、控制机制就是从信息到行为的过程中，实现由决策指导行为的执行，从而将信息通过有效用的行动表达出来。在一个事件中，决策到执行中起作用的是信息，通常是有用的经验信息，而由执行到事件产生则是由行为来决定。换一种方式来说，就是针对给定的问题、问题的环境和目标，有效的获得与问题和环境相关的信息，恰当的处理这些信息以生成相应的知识，

22、并在目标的引导下由知识再生出求解问题的智能策略，然后把所生成的只能策略转变成智能行为，从而成功的解决所面对的问题。其中知识与智能之间的转化是通过形成求解问题的策略来实现的，而求解问题的策略有事在所求解问题的目标的引导下有相关的知识所生成的。2、控制的信息阀值法则：在最简控制模型中，为了实现有效的控制，首先必须获得被控对象的信息（这里以H（X）来描述）和环境信息（这里表现为干扰，用H（N）来描述），为了在这种情况下实现H（X|Y）=0的控制目标，控制信息量H（Y）必须大于、至少必须等于干扰信息量H（N）。如果满足这个条件，控制目标就可能实现；反之如果不能满足这个条件，控制目标就不可能实现。证明如

23、下：假定H(X|Y)=0;H(X)=H(N); 由I(X;Y)=H(X)-H(X|Y);得到H(X|Y)=H(X)-H(Y)-H(Y|X)=H(Y|X)+H(X)-H(Y);因为恒有H(Y|X)=0故有H(X|Y)=H(X)-H(Y);得到H(Y)=H(X) 即H(Y)=H(N).3、我同意控制论是信息科学的组成部分的说法。N.Wiener说过：“工程中的控制理论，不论是关于人、动物还是机器、都不过是信息理论中的一部分”。控制的基础在信息，没有信息，没有从信息中加工出来的控制策略，控制就会是盲目的。信息不但是控制的基础，更是控制的出发点、前提和归宿改变控制对象的运动状态机器变化方式，使之符合控

24、制的目标。控制就是信息的施效，信息的效用也是为了实现对外部世界的合理控制。抓住信息问题，即信息的获取、加工和利用，就是抓住了控制理论的核心和灵魂。所以说控制论是信息理论中的一部分。9、1、系统科学是以系统为研究对象的基础理论。系统是指互相联系、互相作用并具有一定整体目的和整体功能的诸要素的有机综合体。系统科学与信息科学不同但存在着一定的联系。首先研究对象不同，系统不等同与信息，但信息是系统的灵魂；其次系统科学以系统思想为中心，侧重研究系统之间的特性，以及如何优化系统。2、因为开放的系统会产生自组织（序化）行为，而封闭系统则不会，从而导致了两种系统的行为差异。3、一个自组织系统的必要条件是这个系

25、统是开放的，同时这个开放的系统能够与外部世界进行物质、能量和信息交换，但这不是系统实现自组织的充分条件。要使系统成为一个自组织系统，必须保证系统开放之后，与外部环境交换的结果有利于降低系统的熵值水平，实际上，就是要求从外部环境获得必要的信息（负熵）来降低系统的熵值水平。系统自组织机制就是在满足一定条件的时候（由系统序参量的变化来实现这种条件），系统原有的稳定平衡状态就会产生“二分支”的突变现象，变为不稳定的平衡状态。在这种情况下，由于随机力的作用，有可以使系统由不稳定平衡状态转变到新的稳定平衡状态，从而实现了自组织。10、1、方法论是关于方法的理论。方法论，就是人们认识世界、改造世界的一般方法

26、，是人们用什么样的方式、方法来观察事物和处理问题。传统自然科学方法论有一个完整的体系，包括观察的方法、实验的方法、收集和处理数据的方法、科学抽象的方法、假说检验与理论建构、数学方法等等。科学方法论，包括培根阐述的实验方法与归纳逻辑、笛卡儿论述的数学方法与演绎逻辑，以及贝塔郎菲的一般系统论方法与中国曾邦哲的系统逻辑结构论。研究各门具体学科，带有一定普遍意义，适用于许多有关领域的方法理论是一般科学方法论；研究某一具体学科，涉及某一具体领域的方法理论是具体科学方法论。2、理解方法论是必要的，也是我们需要去理解和学习的。因为方法论是研究问题的基础，随着时代的前景，人们认识能力的提高以及新的研究对象和研

27、究内容的出现，不断的有新的科学方法论出现和发展，补充原有方法论的不足，新城更完善的方法论体系。自19世纪末 20世纪初物理学革命以后，各门科学都有了突飞猛进的发展。方法论在科学知识中的比重日益提高，方法论对科学发展的作用也日益显著。所以我们要认识方法论，研究新的方法论，不断的掌握认识问题方法和提高解决问题的能力。3、在信息已经成为当代和未来社会最重要的战略资源之一的环境下，形成了信息科学方法论，指导人们对信息资源进行开发、加工和利用，从而更好的认识和改造世界。信息科学方法论本身具有独立和相对完整的体系结构，包含三个基本“方法”和两个基本“法则”（1）信息系统更细方法（认识复杂事物的方法）；（2）信息系统综合方法（综合复杂系统的方法）；（3）信息系统进化方法（变革复杂系统的方法）；（4）物质能量信息三位一体准则；（5）结构功能行为辩证相依准则。