信息论文Word文档下载推荐.docx

1、DNA是一种信息存储物质，正是信息论帮助人们解开了生物基因组密码之谜。简单地说，信息论包含了生命、宇宙乃至一切。关键词：信息熵，信道容量，信息压缩，信息传输第一章 率失真编码1.1 失真测度d（ x, y ） 给定离散信源 信道输出符号yj引起的失真用 d （xi ,y j）（i =1, 2, ,I j = 1, 2, , J）表示，简记为d ij，将所有的dij列出来，可以得到下面的失真测度矩阵1.2平均失真 离散信源 经有扰信道传输，信道输出符号为Y = y1, y2, , yJ，平均失真即对dij（i =1, 2, ,I; j = 1, 2, , J）求统计平均值，记为平均失真是对在给定

2、信源分布q（x）条件下，通过有扰信道传输而引起失真的统计平均度量。1.3 率失真函数1.3.1 率失真函数定义 在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R（D）。 给定信源，即信源概率分布q （x） 一定，给定失真测度矩阵d=dij，寻找信道，记它的转移概率矩阵为 要求满足中式D是预先给定的失真度，上式称为保真度准则. 当信源q （x）一定时，平均互信息量I （X ; Y）是信道转移概率函数p（yx）的型凸函数，这意味着可以关于p（yx）对平

3、均互信息量I （X ; Y）求得极小值，定义这个极小值为率失真函数R（D），即： 选择p（yx）即选择某种编码方法在满足的前提下，使I （X ; Y） 达到最小值R（D） ，这就是满足平均失真条件下的信源信息量可压缩的最低程度。1.3.2 率失真函数值域和定义域 1.R（D）的值域 率失真函数的值域为 0 R（D） R （D）的情况称为保真度准则下的率失真编码定理，R R （D）的情况称之为逆定理。1.5 本章小结（1） 失真测度 可以理解为误码带来的代价，实际上发送同一符号而错成不同符号所带来的代价是不同的 。（2） 平均失真 对给定信源q （x） 进行压缩编码，不同的编码方法对应不同的实验

4、信道，可用信道转移概率p（yx） 来描述该实验信道，用概率分布 p（x y） = q （x） p（yx）对给定的失真测度求统计平均值就得到平均失真.（3） 香农第三定理香农第三定理保真度准则下的率失真编码定理，这是信息理论的重要定理之一。第2章 信源信道联合编码2.1 研究意义 无论是Shannon信源/信道分离编码,还是信源/信道联合编码,其最终关心的都是系统的整体最佳性。正如Gallager 1968年指出的那样，虽然信源编码与信道编码的分离并不影响通信系统的基本性质，但并不能说明这是一种最经济的做法。由分离最佳最终达到系统最佳，必然要以系统的复杂性为代价。分离设计通常遵循这样一种过程:1

5、.对一给定的失真要求，首先要找到一种能达到这种失真度的信源编码方法，即信源空间的划分方式:2.根据信道的情况，选择一个合适的信道纠错码，有规律地增加一些冗余度来抗拒信道噪声的干扰。实际上，如果信道的情况太差，对信源空间划分的过细，反而是一种浪费。拿一个极端的情况来说，当信道容量为零时，即使对信源划分的再细，信道码的冗余度再多，信宿也无法得到信源发送的任何信息，此时，一切工作都是浪费。由此可见，如果不综合地考虑信源、信道的因素，对通信系统的设计势必要付出一些不必要的代价。 图像的信源编码是为了压缩数据，减少数据冗余量。信道编码的作用在于保护信源编码后的信号和图像数据，通过适当的增加冗余码，增加信

6、号和图像数据在信道传输中的抗噪声及其它不稳定因素的性能，在接收端先经过译码纠错后再传给信源译码器重建图像。虽然信源与信道的编码思想与功能有严格的区别，但是它们有一个共同的目标，就是使得图像更快的传输，使重建图像的质量尽可能接近原始图像。因此如果将两者进行联合编码，能够更好地达到其共同目标。联合信源信道编码的优越性在于使得信道编码只增加少量纠错码，就可以达到较好的纠错性能，由此可以提高传输效率。 总之,信源/信道联合编码研究的主要目的在于使通信系统的设计与实现更加简单、更加经济、更加优化，这也正是联合编码/解码理论研究的意义所在，正是处于这种原因，近年来，对联合编码/解码的研究逐渐受到了人们的广

7、泛视，使之成为编码理论研究中的一个重要领域。2.2 信源信道联合编码的应用范围信源信道联合编码将通信系统的信源编码和信道编码联合考虑进行最优化设计，并且允许用户根据信道或网络条件改变信源编码参数，或是根据信源特性选择信道编码、调制及网络参数。这种方法适用于各种违背信源信道分离设计理论前提条件的情况，尤其是在以下四种应用环境中:1.资源受到限制的通信系统资源有限包括数据传输时的速率和带宽限制，低成本系统所要求的复杂度限制，便携设备的功率限制，实时系统的延时限制。其实，实际环境总是有这样或是那样的限制。信源信道联合编码会从整体出发在各种资源之间进行最优分配，从而获得端对端的系统性能的最佳。2.多用

8、户共享信道的通信系统比如包交换的数据网和蜂窝移动通信系统，用户共用有限的带宽资源竞争地传输信息。在这种系统中，多个用户通过统计时分或者码分等复用方式共享信道，一个用户的信源信息，可能就是其它用户信道中的噪声。在多用户接入的情况下，信源编码和信道编码无法独立进行，信源信道联合编码可以用来减少用户间的干扰，提高系统整体性能。3.异质信源、异类信道、异种用户或拓扑结构共存的通信系统在这种通信系统中,信源、信道、用户或网络结构都可能具有异构性。信源的异构性体现在不同类型的信源对数据丢失、数据错误以及时延具有不同的敏感特性:信道的异构性体现在同一通信网下的不同信道可能具有不同的信道质量，它们的速率、误码

9、率、时延或时延抖动相差很大;用户的异构性指的是各种用户的自身系统计算能力、可获得的带宽需求以及对服务质量（Quality of Service -QoS）的要求不同;网络的异构性体现在相同的网络可以同时应用于点对点通信系统、广播系统、多接入系统等等。2.3 信源信道联合编码定理 设U1、U2、是取值于有限字母表N的无记忆信源，有熵率H（N）; X，Q（y|x）,为无记忆信道，有信道容量C. （a）若H（U）0，存在复（联） 合信源 信道码（ f, g）使Pe（n）C ，则Pe（n）0. 2.4 两步编码与一步编码用尽可能少的信道符号来表达信源，以减少编码后的数据的剩余度. 信源编码后的数据适当

10、增加一些剩余度，使能纠正和克服信道中引起的错误和干扰. 2.5 两步编码与一步编码优缺点 经典的无线通信系统是将信源编码和信道编码分别进行的。信源编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特性。 优点是设计简单、通用性好，可以分别形成标准。 缺点是没有充分利用各自的优势，因而不是最佳的。 无线系统的信源编码由于压缩比很高，对差错十分敏感；而信道编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。 在这种背景下，需要将信源编码和信道编码综合考虑。这就是联合编码的基本思路。 在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。第三章 分布式信源编码3.1 分布式信源编码定义 分布

11、式信源编码（Distributed Source Coding（DSC）是对信息互相关联但不互相通信的信源的一种信息压缩方式. 它和其他信源编码不同的是, 在这里使用的是信道码.分布式信源编码的主要应用领域有传感器网络（sensor network）和图像,视频,多媒体压缩）. 其最主要的特点有两条,第一, 编码计算非常简单, 解码相对比较复杂; 第二, 互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率. 3.2 分布式信源编码信息论基础 分布式信源编码要求编码端独立编码，解码端联合解码，在解码端解析信息冗余这种编码方式大大降低了编码端的复杂度，并且在解码时考虑了各节点之间的信息冗余，

12、提高了编码效率，把编码端的复杂度转移到了解码端。这种思想的理论基础是Slepian-Wolf理论和Wyner-Ziv理论。Slepian-Wolf理论提出：对于互相关的两个离散随机信号X、Y，服从联合概率分布p（x,y），那么在编码端得不到Y的情况下对X进行编码可以取得编码效率和在编码端得到Y的情况下对X进行编码的效率一样。也就是说，在编码端可以不需要直接跟Y通信，X最少也能以H（X|Y）比特编码，只要在解码端可以得到Y，那么X仍能正确解码。3.3 基于LDPC码的分布式编码虽然分布式编码理论早在20多世纪前就已经提出，但是Slipian-Wolf理论和Wyner-Ziv理论只提出了信源编码的

13、理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。直到近几年，研究者才找到实现分布式信源编码的可行方法，发现了信源编码和信道编码的密切关系，如果信道码能够渐近地接近信道容量，那么把它应用于分布式信源编码就能渐近地接近Slepian-Wolf理论极限，其中Pradhan和Ramchandran提出的Discus方案具有重要意义，对研究者后来的研究工作有着巨大的启发和指导作用。接下来的几年，研究者们提出了一些具体实现方案，2001年，J. Garca-Fras提出可以用Turbo码来实现Wyner-Ziv编译码，2002年，A.Aaron 和B.Girod提出了用Turbo码作为边

14、信息的实现方案，P. Mitran and J. Bajcsy从理论上证明了使用Turbo码可以接近Selpian-Wolf编码效率，A.Liveris等人则提出使用LDPC可以达到与Turbo类似的效果。3.4 多级编码系统3.4.1 多级编码系统多级编码调制（MLCMultilevel Codes）自1977年得到了广泛的关注，具有设计灵活、能提供不等错误保护度等许多优点。而同时信道容量规则在MLC设计中的提出和应用,从信息论的角度真正指导了纠错码的设计。3.4.2 多级编码的译码目前的多级编码的译码方法主要有三种：最大似然译码（MLD. Maximum likelihooddecodin

15、g），多级译码（MSD. Multistage Decoding）和并行译码（PDL-Parallel Decoding of Levels）。最大依然译码在任何情况下都是准确率最高的译码方案，但由于复杂度和时延等方面的原因，在MLC系统中使用MLD译码方法不切实际；多级译码（MSD）是一种性能仅次于最大似然译码的准最佳译码方法，它提供了最佳的系统渐进性能，其译码复杂度较最大似然译码也低得多，但是MSD存在“错误传播”现象。并行译码法（PLD）的结构简单，各级之间没有关联，并行独立译码，译码时延小，可以用在对系统准确性要求不高的情况下第4章 MIMO信源的信道容量4.1 MIMO技术背景多输入

16、多输出技术（Multiple-Input Multiple-Output，MIMO）是指在发射端和接收端分别使用多个发射天线和接收天线，使信号通过发射端与接收端的多个天线传送和接收，从而改善通信质量。它能充分利用空间资源，通过多个天线实现多发多收，在不增加频谱资源和天线发射功率的情况下，可以成倍的提高系统信道容量，显示出明显的优势,被视为下一代移动通信的核心技术1。OFDM作为多载波调制技术具有频谱利用率高、抗选择性衰落能力强等突出的优点，具有广阔的应用前景，被认为是第四代移动通信的支柱技术。如何使二者优势互补，有效整合，便成为国内外学者广泛关注的热点。本文介绍了MIMO技术的概念，分析了系统

17、容量，给出了MIMO技术与OFDM技术有效整合的实用方案，这些研究对促进移动通信技术的发展有一定指导意义。4.2 MIMO系统原理MIMO系统在发射端和接收端均采用多个天线和多个通道，如图所示。 C1（k） R1（k） Sj（k） CM（k） RN（k）图 MIMO系统原理传输信息流S（k）经过空时编码形成M个信息子流，这M个子流由M个天线发送出去，经空间信道后由N个接收天线接收，多天线接收机能够利用先进的空时编码处理技术分开并解码这些数据子流，从而实现最佳处理。MIMO是在收发两端使用多个天线，每个收发天线之间对应一个MIMO子信道，在收发天线之间形成信道矩阵H，在某一时刻t,信道矩阵为：其

18、中H的元素是任意一对收发天线之间的增益。M个子流同时发送到信道，各发射信号占用同一个频带，因而并未增加带宽。若各发射天线间的通道响应独立，则MIMO系统可以创造多个并行空间信道。通过这些并行的信道独立传输信息，必然可以提高数据传输速率。对于信道矩阵参数确定的MIMO信道，假定发射端总的发射功率为P，与发送天线的数量M无关；接收端的噪声用矩阵n表示，其元素是独立的零均值高斯复数变量，各个接收天线的噪声功率均为；为接地端平均信噪比。此时，发射信号是M维统计独立，能量相同，高斯分布的复向量。发射功率平均分配到每一个天线上，则容量公式为：固定N，令M增大，使得，这时可以获得到容量的近似表达式：det代

19、表行列式，IN代表M维单位矩阵，HH表示H的共扼转置。从上式可以看出，此时的信道容量随着天线数的增加而线性增大。即可以利用MIMO信道成倍地提高无线信道容量，在不增加带宽和天线发射功率的情况下，频谱利用率可以成倍地提高,充分展现了MIMO技术的巨大优越性。4.3 MIMO信道容量假定系统发送端有M根天线，接收端有N根天线，发射端不知信道的状态信息。总的发射功率为P,每根发射天线的功率为P/M每根接收天线接收到的总功率等于总的发射功率信道受到加性白高斯噪声（WGN）的干扰且每根接收天线上的噪声功率为2,于是每根接收天线上的信噪比为=P/2又假定发射信号的带宽足够窄，信道的频率响应可以认为是平坦的

20、，用M*N的复矩阵H来表示信道矩阵，H的第i和j元素，hij表示第i根发射天线到第j根接收天线的信道衰落系数。4.3.1 单输入单输出信道的容量对于确定性的单输入单输出（SISO）信道.由于M=N=1，信道矩阵H=h=1,信噪比大小为，根据Shannon公式，该信道的归一化容量可表示为C=log2（1+）。该容量的取得一般不受编码或信号设计复杂性的限制，即只要信噪比每增加3 dB，信道容量每秒每赫兹增加1比特。实际的无线信道是时变的，要受到衰落的影响，如果用h表示在观察时刻，单位功率的复高斯信道的幅度（H=h），信道容量可表示为C=log2（1+|h|2）。4.3.2 多输入单输出信道的容量对

21、于多输入单输出（MISO）信道，发射方有M根天线。接收方有一根天线N=1,这相当于发射分集，信道矩阵H变成1个矢量，即H=h1，h2，hM H其中hi表示从发射方的第i根天线到接收方的信道幅度，符号H 表示复共轭转置。如果信道系数的幅度固定则该信道的容量可以表示为C=log2（1+HHH/M）=log2（1+）4.3.3 单输入多输出信道的容量对于单输人多输出（SIMO）信道即接收方有N根天线，发射方只有1根天线M=1这相当于接收分集，信道可以看成是由N个不同系数，即H=h1，h2，hM H组成，其中hj表示从发射方到接收方的第j根天线的信道系数，如果信道系数的幅度固定，则该信道容量可以表示为

22、C=log2（1+HHH/M）=log2（1+N）4.3.4 多输入多输出信道的容量对于分别配有M根发射天线和 根接收天线的多输人多输出（MIMO）信道，发射端在不知道传输信道的状态信息条件下，如果信道的幅度固定，则信道容量为C=log2det（Imin+Q/M）参考文献1 龚耀寰.多输入多输出智能天线技术J.中兴通信技术，2002（6）:19-21.2 付景兴MIM0无线高速数据传输的关键技术J通信世界200310：56573 Slepian J, Wolf J. Noiseless coding of correlated information sources J. IEEE Trans

23、actions on Information Theory,1973, 7（19）: 471-480.4 Wyner A, Ziv J. The rate-distortion function for source coding with side information at the decoder J. IEEE5 张豫伟，无失真信源一信道联合编码.电子科技大学学报，1993, 22 （2）: 117-1226 马仲华，余松馒，一种基于数据分类和不对称保护的视频流信源信道联合编码算法.上海交通大学学报，2002,3 6 （12）: 1727-1730.7 Pradhan S, Ramchandran K. Distributed source coding