信息论基础课程总结Word文件下载.docx
《信息论基础课程总结Word文件下载.docx》由会员分享，可在线阅读，更多相关《信息论基础课程总结Word文件下载.docx（8页珍藏版）》请在冰豆网上搜索。
第三章数据压缩和信源编码
1信源编码的基本问题，了解即时码的定义；
2等长码概念及其码率；
Kraft不等式；
3变长码编码及平均码长的定义；
4熟练进行哈夫曼码与算术码的编码及构造码树；
5了解通用码概念，会编LZW码和YK码；
6会计算通用码的压缩率（码率）。
第四章数据可靠传输和信道编码
1了解离散无记忆信道和信道容量；
2会用定义.极值法和Lagrange乘子法计算信道容量；
3了解信道编码的作用和常见类型；
4理解信道编码定理的内容。
信息科学基础习题课
一.填空题（20分）：
1.利用数字结构进行信息处理是当今社会信息社会的一大特色，因此有人称当今的信息社会乂是一个数字化的社会,这就是把现实世界中的各种不同类型的信息与信号都设法用数字来表达，并在数字化的条件下进行处理。
2.信息具有可设计、传递、复制、存储、修改与扩展等特性，对这些特性的处理过程统称为信息处理。
信息科学为研究信息处理提供理论基础，其中包括它们的数学模型、基本的度量关系与性质、相关的优化算法等。
3•时间与空间实际上是信息处理中的最基本的资源，在信息处理中除了加快速度与节省空间之外，寻找它们的最优信息处理方案是信息科学理论中的重要内容与基本LI标。
1/101
希望对大家有所帮助.蚩谢您的浏览！
4.信息论一般是指在信息的加工、传递、存储等处理问题中的基础理论问题。
5.1948年香农发表了具有奠基性的论文《通信系统的数学理论》,拉开了信息科学研究的帷幕。
信息的度量问题包括：
信息能否度量？
如何度量？
信息度量的内在含义是什么？
信息度量的基本特征（其中包括信息度量与其他学科的相互关系等问题）与信息度量的各种应用问题等。
2/102
希望对大家有所帮助.多谢您的浏览！
6.一个量的引进，它的出发点必须基本合理，对这个量的度量对象、意义和内容有一个较为明确而乂合理的解释；
一个量的引进是否有意义，最终还要看它能否解决问题，解决了什么样的问题，以及它在这些问题中的作用与特征；
理解一个量的意义，既要从它原始定义的岀发点来理解，乂要从它最终解决问题的意义上来理解。
信息不可能通过一种量而确定所有的信息度量问题。
香农爛是信息的一种最基本与重要的度量。
7.一个通信系统的数学模型山信源、信道、翻码与译码组成，它们可用概率论模型给以描述，并山信息量确定它们的特征。
8•山消息变信号，再山信号还原成消息的运算称为编码。
编码的数学本质是一种蠅其核心问题是码元的设计与选择。
9.信息的传递过程可归结为：
首先山信源发出消息（原始消息），山编码将原始消息变为信号，并进入信道成为信道的输入信号（简称输入信号，或入口信号），输入信号经信道的
编码通过信道,经过信道的传送，到达另一端，经过信道译码形成输出信号或出口信号，再经过信源译码运算把输出信号变为消息，这种消息是原始消息的还原；
所以乂称还原消息，还原消息最终山接收者接收。
10.山于干扰的存在，信道的输出信号可能与输入信号不同；
从而形成还原消息与原始消息的不同，这种现象称为通信误差，是通信系统中需要克服的。
通信误差的克服一般通过硬件与软件两个途径来解决。
软件的改进就是信道编码方式的改进。
11・为实现有效编码，在编码理论中同时从两方面来进行考虑首先从信源角度考虑，在不丢失信源的原始信息条件下对信源的数据量尽可能精简压缩，这就是问题。
另一方面则从信
道角度考虑，主要口的是克服误差干扰，使数据实现无误差或误差很小的传递，这就是信道编码问题。
12.香农信息论的主要1_1的是讨论编码的可行性问题。
讨论在什么样的条件下信源在信道中的可通过，或有效编码的存在性问题。
信源编码定理研究的是只耍编码的岀率丿m源的嫡，则必存在信源编译码方案，使X被编码的信源分组长度趋于无穷时，译码误差概率可以任意小,信道编码定理研究的是虫果编码速率R小于信道容量，则对任意小的正数，存在码率为R的信道码，只要分组反度充分大，就可以使误差概率任意小。
13•信源编码问题分有失真与无失真编码问题。
所谓无失真编码问题就是要求编码运算能够白分之白恢复原来的数据信息，经编码运算后不丢失任何信息；
而有失真编码运算问题就是允许编码运算有一定的误差发生，在允许误差的条件下，寻找信源的最小“信号体积”°
14.无失真信源编码的主要类型分等（或定）长码与变长码两种。
15.使用定长码的主要优点是编码运算简单，它可以依据消息与信号的长度自动区分各自所对应的字符。
但它的缺点是编码利用率低。
16.无论是等长码还是变长码，它们的编码原则都必须具有可还原性。
17・所谓通用码就是针对以上问题，在不知道信源的概率分布的情况下,对随时出现的数据序列直接进行编码。
常用的通用码有LZW码与YK码。
18.哈夫曼（Huffman）码与算术码是两种重要的变氏码。
19.H（X\H（Y\H（X,y）,H（XIY\H（Y\X）与I（XV）
的相互关系可用軽之间的相互关系来表示：
2/102
H（X.Y）
20-无记忆离散信源序列的最小可达速率就是信源的香农爛（或爛率）。
但这是在“too极限意义下的结论。
实际应用时，应该在给定有限的”值的意义下，建立尽可能好的编码方案。
二判断题（10分）：
（对的在括号内打，错的在括号内打）
（1）C={0,10,00,01}是即时码；
（）
C={0,10,110,1110,10110,1101}是唯一可译码；
（3）C={1,01,001,0001}是即时码；
（4）C二｛0,100,101,110,111,011｝是唯一可译码；
（5）信源定长码的编码问题是求最大可达速率；
（6）连续型随机变量的微分爛具有非负性；
（7）全直线上的随机变量，其期望和方差固定，则它的最大爛分布为指数分布；
（8）r-3,/I-/2-l,/3-/4-/5-/6-/7-3,/8-/9-/10-/11-4fi<
jmSKraft不等式；
（9）信道编码和信源编码就是映射关系，都是一一对应的映射关系；
（10）信源输出符号所携带的信息的有效程度即冗余度。
3/103
希望对大家有所帮助•弱谢您的浏览!
三、计算题：
1・X与Y的联合分布给定如下
计算H（X）,H（Y）,H（X,Y）,H（X/Y）,I（X,Y）o解：
计算边缘密度
X
1
1/3
2/3
1/9
2/9
Xi
4/9
5/9
根据嫡的定义及H（X）,H（Y）*（X"
）,H（X\Y\I（X;
Y）之间的关系，可得
24455
W（X）=-X^logp,=--ln---ln-=0.5117⑺亦）
同理，
H（Y）=0.6931（加『）
4/104
22
H（X,丫）二-工工Pijlogp/7=1.1996（nat）
/=!
/=1
H（X\Y）=H（X,Y）-H（Y）=0.5056（^）/（X;
Y）=H（X）-H（X|Y）=0.0052（/^0
2.已给信源概率分布S为
5/105
（0.400.200.200.100.10丿
=2.45
如取码字母表W={0,1},试进行二元Huffman编码，并计算平均码长和方差。
信源
概率
码
0.05
0000
0.15
000
0.30
00
0.10
0001
001
0.20
10
0.20
0.43
0.23
11
0.23
（1分）
=±
门（厶一O'
=0.5475.……（2分）1=1
3.设信源序列为aacdbbaaadc,对其进行LZW编码。
4.试构造以下序列的YK数据压缩编码：
兀=00010001010111110001OlOlOOOlllo
5.设随机变量X的概率密度为J"
/。
'
"
】，求
（1）常数b；
（2）微分爛h（x）。
0其它
6.信源的概率分布p=（0.25,0.25,0.20,0.15,0.15）,在D二2时给出算术编码，并计算平均码长。
A
%）
戸（七）的二进制表示
A码长
码字
0.25
0.125
0.001
3
2
0.375
0.011
011
5/105
6/106
希望对大家有所帮助•炙谢您的浏览!
0.600
0.10011
4
1001
0.775
0.1100011
1100
5
0.925
0.1110110
1110
希望对大家有所帮助，慕谢您的浏览!
（8分）
L=3.5（2分）
7.已知lzw码的码字集合为{（0,Z?
）,（0,a）.（l,c）,（2,Z?
）,（l,a）,（5,〃）,（4,c）},画出码树图，并进行译码，写出信源消息。
8.根据教材110页1）
（2）的信道，写出转移概率矩阵，计算信道容量。
9.已知M信道的信道转移概率矩阵为：
^0.800.2、
’00.80.2
计算信道容量。
四、证明题
1.证明H（X）,H（Y）,H（X,Y）,H（XIY）,H（YIX^/（X;
Y）之间的链法则。
2.证明以下结论：
如果X”是无记忆信源，记％是由X确定的随机变量，厶，是X”的最优不等长编码
Ln1
的平均长度，那么不等式：
H（x）W——wH（x）+—
nn
成立，其中H（x）是X的爛。
3.证明：
二进对称信道的信道容量为
C=l_（-glog£
_（l_g）log（l_£
））。
4.设X,Y,Z是三个离散型随机变量，根据相关的定义证明下面关系式成立
H（x,y,z）=w（z）+H（y|z）+w（x|r,z）o
5.设离散型随机变量X的分布为P（X）,当厂T1时，厂阶燔的极限为香农燔，即
limHAX）=liin—log（工［“（»
］「）=H（X）,r>
0,厂H1
广T1r->
l］—r\xeXL）
6/106
（注：
可编辑下载，若有不当之处，请指正，谢谢!
）
7/107
升级会员 