信息理论与编码.docx
《信息理论与编码.docx》由会员分享，可在线阅读，更多相关《信息理论与编码.docx（12页珍藏版）》请在冰豆网上搜索。
信息理论与编码
一
1、信息论与编码的关系
信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。
2、编码与通讯的关系
通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。
3、什么是摩尔斯码？
摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。
4、SOS的含义
这三个救急信号是摩尔斯码里的“…———…”，不是英文缩写。
5、信息论的发展简史
1917年频分复用（载波）；
1924年采样定理；
1932年摩尔斯电报系统；
1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。
6、什么是加密编码？
举例说明。
利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。
例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。
7、编码需要解决通讯中的哪三个问题？
1）压缩数据；
2）检错和纠错；
3）通讯过程中的加密。
二
1、什么是信息科学、信息论
信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息传递、加密、压缩、纠错。
2、信息论和信息科学的关系、区别
信息论只要讲通讯里的信息处理问题，范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。
信息论是信息科学中的一部分。
3、信息科学研究的范围和具体内容
信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。
三
1、信息的定义
维纳的信息定义——信息就是信息，不是物质也不是能量。
仙农的定义——用来减少随机不定性的东西。
我们自己的定义——信息是内容和载体的统一体，指代了内容的载体就是信息。
2、信息的三要素以及它们之间的关系
信息三要素：
载体、内容、指代；
内容：
传输的信息，指代的原像；
载体：
物质、场；
指代：
编码
同一载体可指代不同内容，同一内容也可指代不同载体。
载体是物质的，内容是精神的，内容通过指代到载体。
3、成为载体的三个必要条件
必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。
四
1、什么是符号集、时空位？
符号集中的符号与时空位的区别？
举例说明。
符号集就是由符号组成的集合，例：
英文26个字母、汉字、0到9阿拉伯数字；
时空位就是通讯过程中的一个时空的点，其有不同的可分辨状态。
这个时空点可填充不同符号，例：
一排红绿灯中的某个灯、7位ASCII码中的一位。
时空位是指信息中一个时空的位置，即存放编码符号集的位子。
2、什么是信息序列、信息流？
信息序列：
指代了内容的时空位序列；
信息流：
信息序列随时间变换，由时空位构成的指代了内容信息载体。
3、什么是信源、信宿以及信道？
举例说明
信源——信息的产生和发送者，例：
嘴；
信宿——信息接受者，例：
耳朵；
信道——信源与信宿之间的信息传输媒介，例：
空气。
4、信息如何分类？
1语法信息、语义信息、语用信息；②自然信息、编码信息；③离散信息、连续信息。
5、通讯中有哪三种编码？
信源编码、信道编码、加密编码。
6、信源编码与信道编码之间的关系、区别
信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。
7、什么是调制与解调？
为什么要调制与解调？
调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。
原因：
1）因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地发射，必须把低频信号加载到高频信号上去；
2）可实现N个人和N个人之间的通讯。
五
1、什么是载体和内容信息量？
载体信息量：
载体最大能承载的信息量；
内容信息量：
内容包含的信息的多少。
2、物理量的一般定量方法的三个步骤
1）寻找一个单位，单位保证不变，容易获取以及测量，不能消失；
2）将待测量与单位比较，得到倍数关系；
3）用测量倍数和单位得到测量值。
3、信息的单位及换算关系
信息单位：
1）状态数（个）；
2）bit（以二为底的对数）；
3）det（以十为底）；
4）nat（e）。
换算关系：
用N的单位为种，I的单位为位bit，换算公式为I=
（bit）
4、什么是Hartley公式？
其单位是？
1928年Hartley载体信息公式：
I=
（bit），N为可分辨状态数。
5、如何来计算一张光盘的信息量？
光盘中有n个时空位，每个时空位有b种表示，则光盘的信息量为:
N=
（种），I=n
（bit）
6、如何提高一张光盘存储信息量？
光盘储存信息量的决定因素为:
1）时空位的密度——增加时空位的密度；
2）一个时空位上的可分辨物理状态数——提高一个时空位上的可分辨物理状态数。
可据以上两个因素提高光盘储存信息量。
六
1、十个天干和十二个地支分别是什么？
今年、明年是什么年？
天干：
甲、乙、丙、丁、戊、己、庚、辛、壬、癸；
地支：
子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。
天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。
今年是庚寅年，计算方法：
天干——年数减3，除以10所得余数；地支——年数减3，除以12所得余数。
明年是辛卯年。
2、易经中表示阴、阳的符号分别是什么？
64卦和二进制的关系式？
阴：
—；阳：
——；
64卦对应的是：
六位二进制编码；信息量=6（bit）
3、什么是内容信息量？
其公式是？
内容信息量：
指代原像的多少，内容对应的状态数对数的个数；
计算公式为：
I=
（bit），N为内容的可分辨状态数。
七
1、什么是满指代、容余？
满指代：
每一个载体状态上都指代了内容。
容余：
载体里有一部分没有指代内容。
2、为什么符号集中的符号等概率使用时，符号集中的符号利用率最高？
根据Shannon熵公式极值性有
H（
，…，
）≤H（
…，
）=logN
由此可见，符号集中的符号等概率使用时，符号集中的符号利用率最高。
3、什么是符号集的概率模型？
模型：
符号集状态可能性的模型。
条件概率：
有事件A、B，其中P（A）＞0，在A事件发生的条件下，B事件发生的概率记为P（B/A）。
4、什么是信息熵？
其公式、含义、单位
信息熵：
有一定概率分布的符号集,在一个时空位上的平均载体信息量。
公式：
含义:
符号集在一个时空位上平均载体信息量。
是符号
出现的概率,
是以
为等概率的符号集中符号的个数,
是以
为等概率的符号集的载体信息量。
八
1、符号集的概率空间如何获得？
举例说明。
概率空间由统计获得。
，其中0≤
≤1，
=1。
2、什么是Shannon第一定理？
给出了离散无记忆信源，无失真条件下，信息的压缩编码极限。
设
为载体信息量，
为需要传递的内容信息量，则通过信息编码得到的信源无失真的充要条件是：
≥
。
3、哈夫曼编码及其步骤？
举例说明。
哈夫曼编码是一种编码方式，一种可变长编码。
步骤：
1）将信源符号集的N个符号概率从大到小排列；
2）用0和1代表两个概率最小的信源符号，0指代给二个符号中的大概率还是小概率可任意选择，但编码过程中必须保持一致。
将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。
将合并后的符号与原有符号组成新的符号集（N-1），这个新符号集称为缩减符号集；
3）将缩减信源符号集中的符号再按概率从大到小排列，并且用0、1表示两个概率最小的符号。
然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；
4）以此类推，最后缩减为只有两个符号的缩减符号，将0,1,赋于这两个字符；
5）从最后一个缩减符号回溯得到的二进制码序列即为哈夫曼编码。
4、哈夫曼编码的特点是什么？
为什么哈夫曼编码能压缩数据？
特点：
1）可以保证概率大的信源符号对应短码，概率小的对应长码；
2）哈夫曼编码并非唯一；
3）哈夫曼编码对不同的信源的编码效率不同；
4）对信源进行哈夫曼编码后，形成一个哈夫曼编码表。
解码时，必须参照这一哈夫编码才能正确译码。
因为当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。
九、十
1、什么是物理信道？
举例说明？
由物理实体构成的信道，如：
双绞线、同轴电缆、光纤、空气、真空等。
2、什么是信息传输速率？
单位时间内在信道中传输的载体信息量，用
表示，单位：
bit/s
3、什么是无噪声物理信道容量？
物理信道内可达到的最大信息传输速率，用Cw表示，单位：
bit/s，Cw=max（
）
4、什么是噪声平均误码速率、有噪物理信道容量？
单位时间内，由于噪声干扰而产生的错误载体信息量，用
表示，单位：
bit/s
单位时间内可正确接收的最大载体信息量，Cw=max（
-
）bit/s
5、决定有噪物理信道容量的因素是什么？
1）信道载体的时空位密度（与技术有关）；
2）噪声水平（与环境有关）。
6、什么是数学信道？
数学信道：
由数学模型决定的信道。
7、什么是信息传输码率？
在信道中一个时空位可传输的载体信息量，用R表示，单位为：
bit/时空位
8、什么是噪声平均错误码率？
在信道中，由噪声引起的一个时空位中的错误信息量，用
表示，单位bit/时空位。
9、什么是数学信道容量？
在数学信道中一个时空位最大可正确接收的载体信息量，用C表示，单位为bit/时空位
10、什么是Shannon第二定理？
在有噪声数学信道中，无失真信道纠错编码存在的充要条件是R≤C，其中R为信息传输码率，C为信道容量，R=C为编码极限。
11、什么是奇偶检验码？
举例说明。
奇偶校验码能检出几位错误码？
能纠错吗？
一种通过增加容余位使得码字中“1”的个数恒为奇数或偶数的编码方法，它是一种检错码，是信道编码的一种。
例：
需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的奇偶检验码分别为赵-0000、钱-1001、孙-0101、李-1100、周-0011、吴-1010、郑-0110、王-1111
奇偶校验码可以检查出一位错误，不能纠错。
12、什么是重复码？
举例说明。
n次重复码（n为奇数）时可检出几位错误码？
可纠正几位？
重复码：
各码字的码元是重复的，是信道编码的一种。
例：
需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的重复码分别为赵-000000000、钱-100100100、孙-010010010、李-110110110、周-001001001、吴-101101101、郑-011011011、王-111111111
n次重复码可以检出（n-1）位错，可纠正（n-1）/2位错
十一
1、
1）什么是失真？
失真：
信息序列中允许一定的错误时空位出现。
2）什么是失真误码码率？
一个时空位上的平均误码信息量。
用
表示，bit/时空位
3）什么是限失真误码码率？
一个时空位上允许的最大平均误码码率。
用
表示，bit/时空位
2、什么是Shannon第三定理？
举例说明限失真的压缩编码。
第三定律：
允许失真的信率压缩编码的极限。
Cs表示一个是时空位中的载体信息量，Cc表示一个时空位中的内容信息量。
信源限失真编码存在的必要条件是：
≥
-
，其中
=
-
为编码极限。
令R（D）=Cc-Cd，R（D）称为信息率失真函数，其中D为失真度，则Cs≥R（D）
例：
1张图有1024*768个点，现在允许100个点失真，问：
如何进行压缩编码？
方法1：
1）从整个图中找出均匀的100个点，将这100个点去掉；
2）收到信号后用去掉点的前后点的平均值代替去掉的点。
从而恢复图像。
方法2：
在边缘取100个点，去掉后再恢复。
3、知识的定义
1）高级的信息，是加工后的信息；
2）规律的总结；
3）经验的总结；
4）概念之间的关联。
4、知识的分类？
1）自然科学：
理科（物理、化学、数学）和工科（通讯、建筑、桥梁、化工）；
2）社会科学：
历史、地理、哲学、政治学、经济学、心理学。
5、知识可以用什么来表示？
举例说明。
知识可以用：
1）数学符号；
2）文字和语言表示。
举例：
苹果可以用英文、希腊文或者中文等表示；空间关系可以用几何来表示。
6、什么是知识的结构？
如何使一个人的知识结构适应社会？
公理化的知识结构:
公理定理命题、实践
一个人所拥有的所有知识集合。
7、获得知识的方法
1）归纳法：
不完全归纳法和完全归纳法，例：
数学归纳法。
2）演绎法：
从普遍性结论或一般性事理推导出个别性结论的论证方法。
3）类比法。
十二
1、传感器的三个基本参量
1）感知域；
2）灵敏度；
3）保真度。
2、列举几种常用的传感器及其在生活中的应用
光敏传感器、声敏传感器、化学传感器、压力传感器等。
3、什么是模式识别？
举例说明。
根据模式库中的模式与识别对象的比较，判断识别对象属于哪种模式的过程。
十三
1、什么是控制论及其研究对象？
控制论：
研究各种控制系统的共同规律和方法的一门学科。
研究对象：
各种控制系统。
2、控制论的创始人是谁？
维纳
3、举例说明生活中常用的控制系统，并简单说明其工作原理。
P161水位控制系统、姿态控制器等等。
4、什么是控制系统？
控制系统的方框图及其整个工作原理是什么？
十四
1、什么是科学方法论？
研究人如何获得知识和能力的方法的一门学科。
2、方法论的分类
哲学分为：
1）自然科学方法论：
数学、物理、化学方法论
2）社会科学方法论：
历史学、地理学、经济学方法论
3、研究方法论的意义
事半功倍
4、历史上有哪几位重要的方法论科学家？
笛卡尔、牛顿、休谟、培根
5、信息在方法研究里起的作用，并谈体会。
用哈弗曼编码求：
平均码长求法：
升级会员 