信息论与编码答案傅祖芸Word格式文档下载.docx
《信息论与编码答案傅祖芸Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《信息论与编码答案傅祖芸Word格式文档下载.docx（11页珍藏版）》请在冰豆网上搜索。
p1?
p2?
......?
pnb、确定满足下列不等式的整数码长ki为：
lb（pi）?
1c、为了编成唯一可译码，计算第i个消息的累加概率：
pi?
p（ak）
k?
1i?
1
d、将累加概率pi变换成二进制数。
e、取pi二进制数的小数点后ki位即为该消息符号的二进制码字。
在香农编码中对于求解编码效率主要是依靠这个公式:
r=h（x）/k,其中
p（aik）i
h（x）=?
对于求解信源熵主要依靠公式：
，
三、设计流程图
【篇二：
信息论与编码论文（香农信息论对现代的影响）】
txt>
摘要：
1948年香农在bellsystemtechnicaljournal上发表了《amathematicaltheoryofcommunication》。
论文由香农和威沃共同署名。
这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。
这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。
此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。
今天这已司空见惯，但在当时是相当新鲜的。
他建立的信息理论框架和术语已经成为技术标准。
他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
关键词：
香农、通信、编码
abstract:
in1948,shannonbellsystemtechnicaljournalpublishedamathematicaltheoryofcommunication.paperco-signedbythehongfarmers.thisground-breakingpaperisbasedonshannonsobservationofthecommunicationthatthefundamentalproblemofcommunicationisthemessageofregeneration,atsomepointwithanotherpointtoreporttheselectedtextshouldbereproducedexactlyorapproximately.thispaperestablishedthedisciplineofinformationtheory,giventhelinearsignalmodelofcommunicationsystem,thatinformationsource,sender,channel,receiver,messageplaces,thisisanewidea.sincethen,thecommunicationtoconsidertheelectromagneticwavessenttothechannel,bysendingastreamofbits1and0,onecantransferimages,text,andsoon.ithasbecomecommonplacetoday,butwasveryfresh.heestablishedthetheoreticalframeworkandterminologyofinformationtechnologyhasbecomethestandard.histheoryincommunicationsengineerinimmediatesuccess,andstimulatetheneedfortheinformationageoftodaystechnology.
keywords:
shannon、communications、coding
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。
但是通信技术已经有了相当的发展。
从十九世纪中叶，电报就已经很普遍了。
电报所用的摩斯码（morsecode），就是通信技术的一项杰作。
摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。
但是每个字母的码不是一样长的。
常用的字母e只有一个点。
而
不常用的z有两划两点。
这样，在传送英语时，平均每个字母的码数就减少了。
事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。
这在一百五十多年前，是相当了不起了。
除了用点，划来表示两个状态外，后来的电报也用极性相反的电流来代表这两个状态，从而使“点”和“划”都能用短的脉冲来表达，加快了传送速度。
爱迪生更发明了用四个不同的电流值来同时传输两路电报。
这和今天用的数字调幅（ask）很像，只是没有载波而已。
另一方面，电话在二十世纪初也迅速发展。
电话公司通过在不同载波上的调制，可以用一路电线传输多路电话。
在二次世界大战时，雷达和无线电在军事上广泛应用。
无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。
各种不同的调制方式也纷纷问世。
于是就出现了这样一个问题：
给定信道条件，有没有最好的调制方式，来达到最高的传送速率？
在这种情况下，香农（claudeeshannon）在1948年发表了《通信的一个数学理论》，完整地解决了通讯速度上限的问题。
“信息论”（informationscience）从此诞生。
要建立信息理论，首先要能够度量信息。
信息是由信号传播的。
但是信息与信号有本质的区别。
所以如何度量一个信号源的信息量，就不是简单的问题。
从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西，而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。
而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。
例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。
而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。
从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。
他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？
（比特就是二进制数据的位数）。
为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。
由于每个符号值的出现是随机的，这样的序列就有很多可能性。
显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。
我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。
而数学上可以证明，当n趋于无穷大时，“非典型序列”出现的几率趋于零。
也就是说，我们只要注意“典型序列”就行了。
而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。
而码字所携带的数据量，就是它的个数以2为底的对数。
所以，这样的分析就得出了序列所含的数据量。
除以序列的长度，就得到每个符号所含的数据量。
而这个结果恰好就等于上面所说的信息量！
至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：
信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送，对付噪声的办法是减少每个符号所带的比特数：
“而每个波特所含的比特数，则是受噪声环境的限制。
这是因为当每个波特所含的比特数增加时，它的可能值的数目也增加。
这样代表不同数据的信号就会比较接近。
例如，假定信号允许的电压值在正负1伏之间。
如果每个波特含一个比特，那么可能的值是0或1。
这样
我们可以用-1伏代表0，用1伏代表1。
而假如每波特含两个比特，那么可能的值就是0，1，2，3。
我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。
这样，如果噪声造成的误差是0.5伏的话，那么在前一种情况不会造成解读的错误（例如把-1v错成了-0.5伏，它仍然代表0）。
而在后一种情况则会造成错误（例如把-1v错成了-0.5伏，它就不代表0，而代表1了）。
所以，每个波特所含的比特数也是不能随便增加的。
以上两个因素合起来，就构成了对于数据传输速率的限制。
”
其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
例如，如果符号值是0和1，那么三个符号组成的序列就有8个：
000，001，010，011，100，101，110，111。
我们现在只用其中两个来代表信息：
000和111。
这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还是知道发送的是000而不是111。
这个方法的代价与前面的方法一样，就是降低了传送速率。
这种选取特定序列，而不是使用所有序列的方法称为编码。
以上的例子，是一个极为简单的码，远非最优。
可见，用降低速率来减少错误的方法有很多选项。
那么怎样才能达到速度和准确度之间最好的权衡呢？
这看来是一个非常棘手的问题。
然而，香农却得出了一个非常简明的结论：
对于一个信道，有这样一个速率（称为信道的容量）：
一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；
而超过这个速率的话，误差的几率就一定会大于某个下限。
也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！
不仅结论出乎意料地简单，香农的证明也是如此。
他的基本思路是：
噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。
也就是说，一个收到的序列可能对应多个发送的序列。
这个对应的个数可以用上面讲到的“典型序列”的个数来估计。
因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。
这样才能避免混淆。
所以，我们的传送速率就要降低了。
这个直观解释听起来简化得离谱。
我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？
然而，香农在数学上严格地证明了这些结论。
关键在于：
他考虑序列长度趋向于无穷的情况。
这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的几率趋向于零。
所以说，香农的简化显示他真正抓住了问题的关键。
对于通常遇到的信道，香农定理说：
信道容量（即最高传送速率）与频宽成正比，与信噪比的对数（底数为2）成正比。
信噪比是在接收端信号功率与噪声功率的比。
增加发射功率能增加信噪比从而增加容量，但因为是对数关系，不是那么有效。
而增加频宽则是线性地增加容量。
通常，频率较低的频道频宽也小。
如前一讲中提到的调幅（am）广播，在几百千赫频段，频宽是20千赫。
而调频（fm）广播是在一百兆赫频段，频宽是200千赫。
这就是调频广播音质较好的主要原因。
所以现代的数字通信服务不断往高频段扩展（目前已到2千兆赫）。
当我们听到某个服务能提供更高速率的时候，并不等于它使用了性能更好的技术。
很可能它只是用了更宽的频道而已。
香农完美地给出了信道容量，所以有人说他“开创并结束”了信息论。
但是香农还是留下了一些困难的问题。
比如，当信道随时间变化时，应用香农理论就远不是直截了当的。
最重要的，是为了达到香农极限，我们处理的符号序列必须无限长。
而实际上，信道编码的长度受着传送延迟和系统复杂性的限制。
在这样的限制下，如何达到最高的传送速度？
六十年后的今天，人们还在为此奋斗。
参考文献：
1.傅祖芸.信息论—基础理论与运用.北京：
电子工业出版社,2009
2.王育民，梁传甲编著.信息与编码理论.西安：
西安电子科技大学出版社，1986
3．王新梅.纠错码与差错控制.北京：
人民邮电出版社，2001
4．张宗橙.纠错编码原理与应用.北京：
电子工业出版社，2003
【篇三：
信息论与编码教学大纲】
电子信息工程专业（本科）
课程编号：
（）
课程名称：
信息论与编码参考学时：
52其中实验或上机学时：
0说明部分
1．课程性质
本课程是电子信息类专业的技术基础课
2．课程教学的目的及意义
人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。
特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。
信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论和编码》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。
本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。
通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。
使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。
3．教学内容及教学要求
该课程是电子信息工程、信息安全工程专业的专业课。
是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。
该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。
信息论是现代通信与信息工程的理论基础，主要内容包括：
信息的定义和测度；
各类离散信源和信息熵；
剩余度；
信道和互信息；
平均互信息和信道容量；
数据处理和信息测量理论；
信息率失真函数和数据压缩原理；
离散信源无失真和限失真信源编码理论和编码方法；
离散有噪信道编码理论和编码原则。
教学基本要求：
了解通信系统各部分的主要组成以及作用、香农的三大编码定理；
掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。
4.教学重点、难点
教学重点：
信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。
教学难点：
?
典型序列以及由此推导出的香农三大编码定理及其逆定理。
5.教学方法及教学手段
课堂讲学为主，习题讲解为辅。
6.教学学材及主要参考书
1.傅祖芸编著，《信息论－基础理论与应用》，北京：
电子工业出版社，2001年
2.姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年
3.曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年
7.其它
考核形式：
考试（笔试），教学环境：
课堂
本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。
总学时数
课程总学时数：
52
其中，课堂讲授：
46作业：
6
二、正文部分
第一章：
绪论
一、教学要求
了解信息论研究对象、目的、发展简史与现状；
了解通信系统的模型以及通信系统各部分的主要组成以及作用
二、教学内容
第一节信息的概念
知识要点：
信息的概念及自信息
第二节信息论研究的对象、目的和内容
信息论研究的对象、目的和内容
第三节：
信息论发展简史
三、本章学时数
2学时
第二章：
离散信源及其测度
了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。
掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
第一节信源的数学模型及分类
信源的数学模型，离散无记忆信源及其扩展信源。
第二节信息熵及其基本性质
知识要点：
自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。
第三节离散平稳信源
离散平稳信源定义，联合熵，条件熵以及极限熵。
第四节马尔可夫信源
马尔可夫信源定义，马尔可夫信源熵
第四节信息剩余度
信息剩余度以及自然语言熵
8学时
第三章：
离散信道及其信道容量
了解一般信道容量计算。
掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
第一节信道数学模型及分类
信道数学模型及不同的分类，信道矩阵。
第二节平均互信息及特点
信道疑义度，互信息和平均互信息及其特性，平均条件互信息。
第三节信道容量及一般计算方法
离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。
第四节离散无记忆扩展信道及其容量
离散无记忆扩展信道及其容量，信源与信道的匹配。
6学时
第四章：
无失真信源编码
了解其它一些无失真信源编码方法。
理解渐近等分割性及?
典型序列，算术编码方法及具体实现方案；
掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：
香农编码方法，费诺编码方法，哈夫曼编码方法。
第一节等长码及等长信源编码定理
编码器的概念，码的定义，等长码及等长信源编码定理，?
典型序列及其性质，编码效率。
第二节变长码及变长信源编码定理
唯一可译码定义及其判断方法，即时码的树图法构造，kraft不等式，紧致码，变长信源编码定理。
第三节编码方法
香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。
10学时
第五章：
有噪信道编码
了解检错码与纠错码的方法。
典型序列。
掌握的重点内容有：
有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。
第一节错误概率与译码规则和编码方法
最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。
第二节有噪信道编码定理
有噪信道编码定理及其逆定理，信源信道编码定理。
第三节纠错码
纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。
第六章：
波形信源和波形信道
了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。
掌握连续信源和波形信源的信息测度。
第一节连续信源和波形信源的信息测度
连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。
第二节连续信道和波形信道的分类
按噪声统计特性分类，按噪声对信号的作用和功能分类。
第三节连续信道和波形信道的信息传输率
单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。
第四节连续信道和波形信道的信道容量
单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。
8学时
第七章：
限失真信源编码
了解保真度准则下的信源编码定理
掌握失真度与平均失真度，信息率失真函数与特性，r（d）函数的参数表述及其计算。
第一节失真度与平均失真度
失真度与平均失真度，d失真许可试验信道。
第二节信息率失真函数与特性
信息率失真函数r（d）的定义，离散信源的r（d）函数，高斯连续信源的r（d）函数，r（d）的定义域和单调性等性质。
第三节信息率失真函数的参量表述与计算
知识要
升级会员 