现代通信及香农三大定理Word文档下载推荐.docx

1、各种不同的坍制方式也纷纷同世。 于是就岀现了这样一个IO：给定信道条件，有没有最好的调制方式，来达到最 高的传送速率？“传输速率是波特率与每波特所含比特数的乘枳。波特率受颛宽的限制,而 每波特所含比特数受凜声的限制。”前一个限制,由那奎斯特（Harry Nyquist）在 1928年漂亮地解决了。而后一个冋題则更夏杂o1928年，盼特利（R.V.L. Hartley ） 首先提岀了信息量的IM念，并指出编侶（如摩斯胡）在提高传送速度中的重要作 用。但是他未能完整定量地解决InJSo二故期间，维纳（Norbert Wiener）发 展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展

2、。在这种悄况下,香农（Claude EShannon ）在1948年发表了通信的一个数 学理论（C. E. Shannon, A Mathematical Theory of Communication”, The Bell System Technical Journal, Vol. 27, pp. 379-423,1948 cm.bell-labs./cm/ms/what/shannonday/shannon1948.pdf）,完整地解决了 通讯速 H 上 限的问题。“信息论” （Information Science） Hitt 生。要建立信息理论，首先要能够贋量信息。信息是由信号传播的

3、。但是信息与 信号有本质的区别。所以如何度量一个信号源的信息量,就不是简单的rOo从 直觉上说，如果一个信号源发出不变的符号值（比如总是1）,它是没有信息量 的，因为它没有告诉别人任何东西。而且如果信号源发出的符号值是变化的但是 可HRit的（比血冏周率的数字序列），期也是没有信息量的，因为我不需要接 受任何东西，就可以把这些符号值重复出来。而且，即使信号源发岀的符号不是 完全可确定的，它的信息量也和“确定”的程度有关。例如，如果一个地方90%的 时候是睛天，气象报告就没有名大用处。而如果50%的时候是睛天其余时候下甬， 人们就需要气象报告了。从这点出发,香衣就把信息量与信号源的不确定性，也就

4、是各个可能的符号 值的几率分布朕系起来。他从直现上给岀了信息量需要满足的几个简单的数学性 质（如连续性，单调性等），而给岀了一个唯一可能的表这形式。期么这样定义的信息量与我们通常所说的数据量，也就是需要名少比特来传 送数据，有什么关系昵？（比特就是二进制数据的fin ）o为此，我们来看看一 个含有固定符号数的序列（也就是信号或码字）。由于毎个符号值的岀现是师机 的，这样的序列就有很名可能性。显然，毎f可能的符号在序列中出现次数，对 于所有可能序列的平均值正比于符号岀现的几率。我们把毎个符号岀现次数“正 好”等干其次数平均值的序列叫歎碘里序列”，而其他的就叫作“非典塑序列”。 而数学上可WilW

5、,当N趣于无穷大时，“非典塑序列”岀现的几率范干零。也就 是说,我m只要注意“典塑序列”就fiTo而典型序列的个数,就是它们岀观側率 的别数（因为总做率为1）。而侶字所携带的数弼量，就是它的个数以2为底的 对数。所以，送样的分析就得岀了序列所含的数据量。除以序列的长度，就得到 毎f袴号所含的数据量。而这f结果恰好就等干上面所说的信息量！至此,香农开创性地引入了“信息量”的IR念,从而把传送信息所需要的比特 数号信号源本身的貌it特性联系起来。送个工作的恵义甚至超越了通信领域，而 成为信息惆存，数据压缩等技术的基础。解决了信号源的数据量间题后，我们就可以来看信道了。信道（channel） 作用是

6、把信号从一地传到另一地。在香农以前，那奎斯特已经证明了：信道毎杪 能传送的符号数是其颐宽的一半。但冋題是，即使这些符号，也不是总能正确地 到这目的地的。在有蝶声的悄况下，信道传送的信号僉发生崎变，而使得接收者 不能正确地判Bi是哪个符号被发送了。对付躁声的亦法是减少每个符号所带的比 特数：“而毎个波特所含的比特数，则是受噪声坏境的限制。迪是因为当每个波 特所含的比特数増加时，它的可能值的数目也增加。这样代表不同数弼的信号就 会比较接近。側如，假定信号允许的电压值在正负1伏之同。如果毎个波特含一 个比特，那么可能的值是0或1。这样我可以用伏代表0, ffl1伏代表1。 而假如每波特含两个比特，期

7、久可能的值就是0, 1, 2, 3。我们需要用-1伏， -0.33伏，0.33伏，1伏来代表着四个可能值。这样，如果蝶声造成的误差是0.5 伏的话，朋么在前一种悄况不会造成辭读的錯戻（側如把-1V備成了-0.5伏，它 阳然代表0）。而在后-种悄况则会造成錯淚（例如JfiJV錯BST-0.5伏，它就不 代表0,而代表1 了）。所以，St特所含的比特数也是不能砸便增加的。以 上两f因素合起来，就构成了对于数据传输速率的限制。”其实，除此之外，S 有一个对付噪声的亦法，就是在所有可能的符号序列中只选用一些来代表信息。 例虬如果符号值是0和1,那么三个符号组成的序列就有8个:000, 001, 010

8、, 011, 100, 101, 110, 111o我们现在只用其中两个来代表信息:000和111o & 样，如果蝶声造成了一个符号的塔误，比ftoooo变成了 010,朋我们还是知道发 送的是000而不是111o送f方法的代价与前面的方法一样，就是降低了传送速 率（原来可以送三个比特，现在只能送一个比特了）。这种选取特定序列，而不 是使用所有序列的方法称为编侶。以上的側子，是一个枚为简单的码，远非最优。可见，用降Of速率来减少错锲的方法有很多选顶。影么怎样才能达到速度和 准确度之间最好的权饬昵？这看来是一个非常棘手的间题。然而，香农却得出了 一个非常简明的结论：对于一个信道，有这样一个速率（

9、称为信道的容量）：一 定有一个方法能在这个速率以下传送数播而误差的几率达到任恿小；而超il这个 速率的话，误差的几率就一定会大于某f下限。也就是说，香农同时给岀了无備 误的条件下传送速度的上限（即不可能趙il ）和下限（即有办法达到），而这两 者是同一个值！不仅结论出乎意料地简单,农的证明也是如此。他的基本思路是:蝶声使 得接收常收到信号后，对于所发送的信号仍笊有个不确定性。也就是说，一个收 到的序列可能对应多个发送的序列。这个对应的个数可以用上面讲到的“典型序 列”的个数来into因为ant,我们只能用这多个发送序列之中的一个来作为码 字，代表要传送的信息,而其余都弃之不用。这胖才能避兑混淆

10、。所以，a in m 传送速率就要降IK 了。fi观解释听起来简化得离谱。找们知道，I机il程是 很夏杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严怡地证明了这些 结论。关谜在于：他考虑序列长度趋向于无穷的悄乱。这样，在样本数量赶干无 穷的悄况下，实际悄况偏于平均值的几率趋向于零。所以说，香农的简化显示他 真正抓住了间题的关罐。对于通常遇到的信道，香农定理说：信道容量（即最高 传送速率）与颐宽成正比，与信蝶比的对数（底数为2）成正比。信喋比是在接 收常信号助率与蝶声功率的比。增加发射功率能增1信碟比从而增加容量,但因 为是对数关系，不是期么有效。而增加頻宽則是线性地增加容量。通常，颐率较

11、 低的颐道频宽也小。如前一讲中提到的调帕（AM）广播，在几百干赫频段，频 宽是20干赫。而调頫（FM）广播是在一百兆赫频段，頫宽是200干赫。这就是 调幅广播音质较好的主要原因。所以现代的数字通信服务不Bi住高频段扩展（目 前已到2兆赫）。当我们昕到某个服务能提侯更高速率的时候，并不等于它使用 了性能更好的技术。很可能它只是用了更宽的频道而已。现有的通信系貌的分层结购决定了各子层技术只能保込局部最优的系貌性 能,跨层优化设廿打破了传统通信系统的层次给枸,对各子层的关建技术谨行 朕合优化，特别是通信系貌的收发联合优化以求这到全局最优的系统性能。本 文分折了通信系貌的收发朕合优化，并冃在此基础之上

12、对运用于其中的香农定 aaiiT分折研究，然后阐述了香农定理三夫定理之间的内在朕系，分析了香 农定理与通信系貌J!论沟建之间的关系，释放数字时代背景下海量信息腔制边 界的观点。香农定理和控制论模型,越11 了信息有效传输和信息接收端胃的物 理通信范晴，散发岀了悠长的跨学科话培魅力。香农在二十世纪E1十年代初奠定了通信的数字理论基础。同时香农三大定律 是信息论的基础，虽然没有提岀具体的编阳实现方法，（1是为通信信息的研究指 明了方向。他的“信道容量定理”指岀，可以找到送样一种技术，当数据传输速 率不大干某个最大传输的速率时，通il它可IHHf ig小的错炭槪率传输信号。同 时香农也给岀了有噪声信

13、道的最大传输速率与宽带的关系。1948年，香衣发表 了他的著名论文通信的数学理论，刖底奠定了信息论的理论基础。正如我们 所知道的期样，信息传输的有效II和可靠性一直都是人们过论的热点。在1948 年以前，科学界一般都认为有效性和可靠性是牙暦的两f方面：提高信息传输率 往往会使折干扰能力械弱；反之，提高折干扰能力Q常常会使信息传输率降低， 也就是说要使最小平均錯误译码IH率达到任意小,信息传输率R也会趋于0（要 使Pemin-0, i R-0 ）o这是-个很悲观的结论。如果从博奔的观点来看，信息 传输的有效性和可靠性就是博弈的双方，双方的决策部会使信息传输这个“市场” 发生不同的悄况。但是，经i

14、l潇人的研究，香农发现，作为牙暗的双方，是可以 达到的粉込的貌一的，当熟这也是有条件的，在一定条件下，可以使信息的传输 既有效Q可靠。香农的三大定理部是针对编码理论而甯述的,在通信系统中，编码理论显得 尤其重要，编侶很大程度上决定了能否有效、可靠的传递信息。一般来说，通信 系貌要把信源所发出的信息高速度、高质量的通过信道传输给信宿，需要解决三 个方面的间题:第一、信源发岀的符号或消息有可能不适合信道的传输。因为信道能传递的 仔号与信源发岀的仔号消息有可能不一致，期么信道将无法完成传输的任务。第二、信道能否尽快地传输信源发岀的符号消息。也就是说要用尽量少的信 道符号去代表信源发岀的符号消息，这就

15、是传输的有效性。第三、在信道中一般部有繰声的随机干扰,这就Q要求増加信息传输的可靠 性，减低通信可能发生的传输錯误。解决第一、第二个间题，可以通过信源编侶来完成，最后一f冋題，则可以 通11信道编码来完成。香农三大定理是信息论的基础理论。香衣三大定理是存在性定理，虽然并没 有提哄具It的编码实观方法，但为通信信息的研究岳明了方向。香农第一定理是 可变长无失真信温编侶定理。香农第二定理是有蝶信谊编侶定理。香农第三定理 是保失真度准则下的有失真信源编网定理。具体血下：香农第一定理香我第一定理（可变长无失真信源编网定理）设离散无记忆信源X色含N个符号x1 ,x2,xi,.,xN,信源发岀K重符号序列

16、, 刚此信源可发岀Nk个不同的符号序列消息，其中第j个符号序列消息的岀观| 率为PKj,其信源编码后所得的二进制代码组长度为Bj,代侶组的平均长度B为B=PK1B1+PK2B2+PITkBITk当K范于无限大时,B和H（X）之同的关系为B/K=H（X）（K趋近无穷）香农第一定3 511$为无失真信温编码定理或变长儕信源编儕定理。香农第一定理的意艾:将原始信源符号转化为新的码符号，使码符号尽量服 从等IB分布，从而毎个侶符号所構带的信息量这到最大，进而可以用尽量少的码 符号传输信源信息。香农第二定理香我第二定理（有蝶信谊编侶定理）有蝶信道编侶定理。当信道的信息传输率不超过信道容量时，呆用合适的信

17、 道编国方法可以实观任恿高的传输可靠性，但若信息传输率起过了信道容量，就 不可能实现可靠的传输。设某信道有f输入符号，sf输岀符号，信道容量为C,当信道的信息传输 率RC,码长N足服长时，总可以在输入的集合中（含有广N个长度为N的码符 号序列），找到M （M=27N（C-a）, a ft任意小的正数）个码字，分别代表M个 等可能性的消息,组成一个码以及相应的译码規此使信道输出端的最小平均錯 误译侶1率Pminit到任意小。公武：C = B.loS2 + -注：b为信道带宽；S/N为信蝶比，通常用分贝 （dB ）表示。香农第三定H （ S失真18准剧下的有失真信源编侶定理）保真废准则下的信源编码

18、定理,或称有损信源编儕定理。只要码长足够长,总可以找到一种信源编码,使编码后的信息传输率略大于率失真函数,而码的平 均失真度不大于给定的允许失真度,HP D=0,和任意小的a0,以恥意足够长的码长N,则 一定存在一种信源编码W,其码字个数为M =EXPNR（D）+a）,而编码后码的平 均失真度D（W）=D+ao砸着数字通信、计算机网络的飞速发展和互IK网技术的普遍应用，多媒依通 信已经成为一种不可避免的趙势。但是视頫信息具有确定性、直观性、高效性 等优極性,于是视顺传输在通信系貌中的优势越来極明显，占据了重要的地鼠然 而传送包含视濒信息的信号需要较高的通信网络。因此，在非常有限的通信网络 条件

19、下，最大限度地做到通信系境接收的联合优化。而信道编码定理,从理论上 解决理想编码器、译码器存在性冋！8,也就是解决信道能传送的最大信息率的可 能II和超11这个最大値时的传输间题。并目信道编侶理论込明信道由离散信道发 展到连续信道，从无记忆信道到有记忆信道,从单用户信道到多用户信道,从证 明差缙枫率可接近于零到以荷数规律逼近干零，正在不Bi完善，但尚未这到编 的定理所启示的限度，尤其是关于有蝶声多用户信道，更显得不足，干是通信 系筑工程Ji在香农的信瀾编码和信道编码分离理论所提出的达到最优编码性能 的基础之上开始研究信源/信道联合编胡，它可以媒合考虑信源和信道两方面 的条件，从而实现信息传输性

20、能的整体优化。信源/信道联合编码通过优化分 配信源的不同部分之间与信源和信道之间的比特率，使得通信系统网络受陨时， 信息发岀竭到信息接收端的传输失真达到最小。侧如在通信系缆接收联合优化 运用了一种了一种基于低密度奇偶校验的的SVC不等差錯保护的信源/信道 朕合编侶方案，就是以一个图像组为基本单也，首先通ilit算各层率失真函数 得到各硕的D-R包络曲线，然后借助于朕合码率分配算法呆用二分搜索不斷调 整拉格朗日乘子优化分配有限比特给毎个质层，使得在满足码率约東的条件下， 信号发岀常到与信息接收常失真率最小，从而优化通信系统的整体11能。在通信 系貌接收IK合优化中还可以利用分级技术，它是一种有效

21、的抗衰落技术，他可 以大大提高名径衰落信道下信号传输的可靠性，它是充分利用传输中多径信号 的能量，以改善信号传输与接收的可靠性。为了在接收端得到几平相互独立的 不同路径，可以通il空域、頫域、时域的不同轴贋、不同方法与措施来实现。 时间分集就是对干一个I机衰落的信号而言，当取样时间间愠足够大时，两个 取样点间衰落是不相关的，当发射端将侍发信号毎隔一定的时同同隔重夏发送 时，接收常就可以得到多条独立的分集支胳，从而进行时间分集接收，这样 就可以减少接收天线的数目。在分集接收中，对于接收端从不同的分集之路所 获得的信号，可以用不同形式的合并技术来获得分集增益。在通信系境联合优化时as采用延长非连续

22、接收时间间碉的方法,也就是 当股盖区中没有活动用户时，通信网络系筑可以转人到空用状态，只保持一部 分必要的通信。果用延长非连续接收时间间隔的方法同样也可以减少传输的参考 信号（RS），同时可以通11功率调整节省不需要传输参考信号的能量，但是在 这种悄形下，用户只能需要通il测量同步腔制信道来补偿由于参考信号减少导致 的同步间题，送种优化方案通常只适用于没有活动用户的ffiiSo &有通信系筑优 化时在活动状态下的基站天线常口数目是国定的，用户的设备可通ii读取腔制信 息来监测天线的数目信息。物理广播信道的循坏冗余码校騎比特是根据基站发射 天线的配置来进行加密编码的，天线数目更改通知的一种合适方

23、法是呆用系貌信 息（SI）更改通知机制，基地天线的数目可以在下一个通信系统信息更改周 期开始wail更改，并且岀于节能轴度的考虑，天线的数目需要经常改变。血 果通信系貌接收站在没有通知用户的悄况下更改了天线的数目，用户將无法准 确接收助要的腔制信息和数据信息，会影响用户的正常通信。信道编码理论证明信道由离散信道发展到连续信道,从无记忆信道到有记忆 信道，从单用户信道到多用户信道，11込明差錯阀率可接近干零到以指数规律if ifi于零，正在不Bi完善，但曲未达到编码定理所启示的限度，尤其是关于有蝶 声名用户信道，更显得不足，干是通信系貌工程帅在香农的信源编码和信道编 侶分离理论所提岀的达到最优编

24、侶性能的基础之上开始研究信源/信道联合编 码,它可以综合考虑信源和信道两方面的条件,从而实现信息传输性能的整体优 化。信源/信道朕合编码通过优化分配信源的不同部分之间与信源和信道之间 的比特率，使得通信系貌网络受巩时，信息发岀常到信息接收端的传输失真达 到最小。例如在通信系统接收联合优化运用了一种了一种基于低密度奇偶校验 码的SVC不等差错保护的信源/信道朕合编侶方案，就是以一彳、图像组为基 本单位，首先通过汁算各层率失真函数得到各硕的D-R 0络曲线，然后借助 于朕合码率分配算法采用二分搜索不BfiiH整拉怡即日乘子优化分出有限比特给 每个质量层，使得在满足码率约東的条件下，信号发出端到与信

25、息接收竭失真率 最小，从而优化通信系统的整体11能。在通信系貌接收联合优化中还可以利用分 级技术，它是一种有效的杭衰落技术，他可以大大提髙乡径衰落信道下信号传 输的可靠性，它是充分利用传输中多径信号的能量，以改善信号传输与接收的 可靠性。为了在接收常得到几平相互迪立的不同路径，可以通il空域、航域、 时域的不同fflir不同方法与措隨来实现。时间分集就是对干一个趾m衰落的 信号而言，当取样时同间隔足够大时，两个取样直同衰落是不相关的，肖发 射竭将待发信号毎開一定的时间间碉重夏发送时,接收常就可以得到多条独立 的分集支路，从而进行时间分集接收，送样就可以减少接收天线的数目。在分 集接收巾，对于接

26、收端从不同的分集之胳所获得的信号，可以用不同形式的合 并技术来获得分集增益，如选择分集就是顺序检測所有分集的信号，并冃选择 信蝶比（可以根据香农定律廿算得新技术）最高的那一路作为合并器的输岀。选 择式合并分集的接收常是N个分集之路的接收机，利用选择Rf遐辑选择中最大 信蝶比SNRf大干某个门限值的支路作为输岀，显然，选择式合并的平均输岀 信蝶比为：SNR=SNRiN i = 1朗i, N为分集数目，K= N朗収称 为合并增益。在通信系统联合优化时还应该果用延长非连续接收时间间隔的方法，也就是 当覆盖区中没有活动用户时，通信网络系筑可以转人到空用状态，只保持一部 分助要的通信。采用延长非连续接收

27、时间间隔的方法同样也可以减少传输的参考 信号（RS），同时可以通il功率调整节省不需要传输参考信号的能量，但是在 这种悄形下，用户只能需要通11测量同步腔制信道来补偿由于参考信号减少导致 的同步间题，这种优化方案通常只适用于没有活和用户的悄况。还有通信系筑优 化时在活动状态下的基站天线常口数目是固定的，用户的设备可通过读取腔制信 息来监测天线的数目信息。物理广播信道的循坏冗余侶校醴比特是根据基站发射 天线的配置来进行加密编侶的，天线数目更改通知的一种合适方法是采用系统信 息（SI）更改通知机翎，基地天线的数目可以在下一个通信系统信息更改周 期开始MiSIl更改，并冃岀干节能闻度的考虑，天线的数

28、目需要经常改变。如 果通信系貌接收站在没有通Bl用户的悄况下更改了天线的数目，用户将无法准 确接收必要的腔制信息和数据信息，会影响用户的正常通信。香农完美地给岀了信道容量，所以有人说他“开创并结束” 了信息论。但是 香农还是留下了一些困难的间题。比如，当信道蹶时同变化时，应用香农理论就 远不是直截了当的。最重要的，是为了这到香农极限，我们处理的符号序列必须 无眼长。而实际上，信道编网的长度受着传送延迟和系统复杂11的限抽。在这样 的限制下，如何这到最高的传送速度？兀十年后的今天，人们还在为此奋斗。首先，在理论研究方面，信息论所处的地15已远远起岀了当年所界定的 “通信的数学理论”的范H,得到了

29、不Bi的扩充和发展,岀现了培义信息、iS 法信息与培用信息等研究与信息的恵义有关的学科，以及面向智能研究的全信 息理论。第二，在技术应用方面，信息论为现代通信理论和技术的发展做岀了不可 暦灭的贡亂信息科学与林料科学、能源科学一起已成为现代高新技术领域的 三大关建枝术，信息产业已是当今社会巾发展最快、效益最高、潜力最大、影 响最广的最重要的支柱产业之一。第三，在社会经济领域，21世纪人类社会将全面进人信息时代，智力、 技术和信息已成为现代社会经济生活中不可觎少的重要资源。信息科学的迅速发 展和信息高速公路的岀现，使先进的技术和信息能够为不同国家和民族所使 用，有利于国际11的合作和交往的发展，同

30、时也为市场经济中资源的有效配置 和利用提哄了良好的社会坏境，避兑了顶目的重复建设和产品的盲目生产。企 业充分利用互联网上的有用信息和在互联网上at广告也为其利网的增加和经济 的发展开辟了新的天地。第皿，在思维方式方面，信息高速公路的开通和信息的快速传递将导致思 绒方贰上的不断更新。互联网的开通大大加快了人1接受新思想、新信息的速 , 181ST不同生活方式和思绒模式的落合，使得期些原来遥不可及的事悄变得唾手可得，原来不可思议的新事物变得司空见愦，原来不可接受的生活方 式、思维模式和文化传统变得争相仿效。人们毎天部能从网络上接受到大量的不 同种类、具有不同文化特质和民族风恪的信息，通过对不同民族的优良文化传 统和独特的思维方式的学习和消化,分析和综合，加快了人1思维方式的变革 和更新,is a t新的恩维模式的形成,将人们从静态思维转向动态思维，从 局域性思维转向全局性思维,从封冈性思维转向开放性思维，从单向性思维转 向名向性思绒。有利于全方位、名层次、多渠道地展开思绒活动，促进跳趺性、 联想性、创造性的思绒网络的形成。所有这些对人类的文明和社会的进步31務起 到枳极的促进作用。参考文献:1罗杰斯传播学史一种传记式的方8M