信息论文Word文档下载推荐.docx
《信息论文Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《信息论文Word文档下载推荐.docx（12页珍藏版）》请在冰豆网上搜索。
DNA是一种信息存储物质，正是信息论帮助人们解开了生物基因组密码之谜。
简单地说，信息论包含了生命、宇宙乃至一切。
关键词：
信息熵，信道容量，信息压缩，信息传输
第一章率失真编码
1.1失真测度d（x,y）
给定离散信源
信道输出符号yj引起的失真用d（xi,yj）（i=1,2,…,Ij=1,2,…,J）表示，简记为dij，将所有的dij列出来，可以得到下面的失真测度矩阵
1.2平均失真
离散信源
经有扰信道传输，信道输出符号为Y={y1,y2,…,yJ}，平均失真即对dij（i=1,2,…,I;
j=1,2,…,J）求统计平均值，记为
平均失真
是对在给定信源分布q（x）条件下，通过有扰信道传输而引起失真的统计平均度量。
1.3率失真函数
1.3.1率失真函数定义
在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R（D）。
给定信源，即信源概率分布q（x）一定，给定失真测度矩阵[d]=[dij]，寻找信道，记它的转移概率矩阵为
要求满足
中式D是预先给定的失真度，上式称为保真度准则.
当信源q（x）一定时，平均互信息量I（X;
Y）是信道转移概率函数p（y∣x）的∪型凸函数，这意味着可以关于p（y∣x）对平均互信息量I（X;
Y）求得极小值，定义这个极小值为率失真函数R（D），即：
选择p（y∣x）即选择某种编码方法在满足
的前提下，使I（X;
Y）达到最小值R（D），这就是满足平均失真
条件下的信源信息量可压缩的最低程度。
1.3.2率失真函数值域和定义域
1.R（D）的值域
率失真函数的值域为
0<
R（D）<
H（X）
2.R（D）的定义域
（1）D最的小值Dmin
在给定的失真测度矩阵中，对每一个xi，找一个最小的dij，然后对所有的i=1,2,…,I求统计平均值，就是D的最小值，即
（2）D的最大值Dmax
当R（D）达到其最小值Rmin（D）=0时，对应的失真最大，这种情况下D对应着R（D）函数定义域的上界值Dmax
=min{D:
I（X;
Y）=0}
1.4率失真信源编码定理
离散无记忆平稳信源的信息率失真函数为R（D）,只要满足R＞R（D）,当信源序列L足够长时，一定存在一种编码方法，其译码失真小于或等于D＋ε，其中ε是任意小的正数；
反之，若R＜R（D）,则无论采用什么样的编码方法，其译码失真必大于D.
定理包括两部分，R>
R（D）的情况称为保真度准则下的率失真编码定理，R<
R（D）的情况称之为逆定理。
1.5本章小结
（1）失真测度
可以理解为误码带来的代价，实际上发送同一符号而错成不同符号所带来的代价是不同的。
（2）平均失真
对给定信源q（x）进行压缩编码，不同的编码方法对应不同的实验信道，可用信道转移概率p（y︱x）来描述该实验信道，用概率分布p（xy）=q（x）p（y︱x）对给定的失真测度求统计平均值就得到平均失真.
（3）香农第三定理
香农第三定理——保真度准则下的率失真编码定理，这是信息理论的重要定理之一。
第2章信源—信道联合编码
2.1研究意义
无论是Shannon信源/信道分离编码,还是信源/信道联合编码,其最终关心的都是系统的整体最佳性。
正如Gallager1968年指出的那样，虽然信源编码与信道编码的分离并不影响通信系统的基本性质，但并不能说明这是一种最经济的做法。
由分离最佳最终达到系统最佳，必然要以系统的复杂性为代价。
分离设计通常遵循这样一种过程:
1.对一给定的失真要求，首先要找到一种能达到这种失真度的信源编码方法，即信源空间的划分方式:
2.根据信道的情况，选择一个合适的信道纠错码，有规律地增加一些冗余度来抗拒信道噪声的干扰。
实际上，如果信道的情况太差，对信源空间划分的过细，反而是一种浪费。
拿一个极端的情况来说，当信道容量为零时，即使对信源划分的再细，信道码的冗余度再多，信宿也无法得到信源发送的任何信息，此时，一切工作都是浪费。
由此可见，如果不综合地考虑信源、信道的因素，对通信系统的设计势必要付出一些不必要的代价。
图像的信源编码是为了压缩数据，减少数据冗余量。
信道编码的作用在于保
护信源编码后的信号和图像数据，通过适当的增加冗余码，增加信号和图像数据
在信道传输中的抗噪声及其它不稳定因素的性能，在接收端先经过译码纠错后再
传给信源译码器重建图像。
虽然信源与信道的编码思想与功能有严格的区别，但
是它们有一个共同的目标，就是使得图像更快的传输，使重建图像的质量尽可能
接近原始图像。
因此如果将两者进行联合编码，能够更好地达到其共同目标。
联
合信源信道编码的优越性在于使得信道编码只增加少量纠错码，就可以达到较好
的纠错性能，由此可以提高传输效率。
总之,信源/信道联合编码研究的主要目的在于使通信系统的设计与实现更加简单、更加经济、更加优化，这也正是联合编码/解码理论研究的意义所在，正是处于这种原因，近年来，对联合编码/解码的研究逐渐受到了人们的广泛视，使之成为编码理论研究中的一个重要领域。
2.2信源信道联合编码的应用范围
信源信道联合编码将通信系统的信源编码和信道编码联合考虑进行最优化设计，并且允许用户根据信道或网络条件改变信源编码参数，或是根据信源特性选择信道编码、调制及网络参数。
这种方法适用于各种违背信源信道分离设计理论前提条件的情况，尤其是在以下四种应用环境中:
1.资源受到限制的通信系统
资源有限包括数据传输时的速率和带宽限制，低成本系统所要求的复杂度限制，便携设备的功率限制，实时系统的延时限制。
其实，实际环境总是有这样或是那样的限制。
信源信道联合编码会从整体出发在各种资源之间进行最优分配，从而获得端对端的系统性能的最佳。
2.多用户共享信道的通信系统
比如包交换的数据网和蜂窝移动通信系统，用户共用有限的带宽资源竞争地传输信息。
在这种系统中，多个用户通过统计时分或者码分等复用方式共享信道，一个用户的信源信息，可能就是其它用户信道中的噪声。
在多用户接入的情况下，
信源编码和信道编码无法独立进行，信源信道联合编码可以用来减少用户间的干
扰，提高系统整体性能。
3.异质信源、异类信道、异种用户或拓扑结构共存的通信系统
在这种通信系统中,信源、信道、用户或网络结构都可能具有异构性。
信源的异构性体现在不同类型的信源对数据丢失、数据错误以及时延具有不同的敏感特性:
信道的异构性体现在同一通信网下的不同信道可能具有不同的信道质量，它们的速率、误码率、时延或时延抖动相差很大;
用户的异构性指的是各种用户的自身系统计算能力、可获得的带宽需求以及对服务质量（QualityofService-QoS）
的要求不同;
网络的异构性体现在相同的网络可以同时应用于点对点通信系统、
广播系统、多接入系统等等。
2.3信源—信道联合编码定理
设U1、U2、…是取值于有限字母表N的无记忆信源，有熵率H（N）;
[X，Q（y|x）,Ұ]为无记忆信道，有信道容量C.
（a）若H（U）<
C，则对任ε>
0，存在复（联）合信源—信道码（f,g）使Pe（n）<
ε;
（b）反之若H（U）>
C，则Pe（n）>
0.
2.4两步编码与一步编码
用尽可能少的信道符号来表达信源，以减少编码后的数据的剩余度.
信源编码后的数据适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰.
2.5两步编码与一步编码优缺点
经典的无线通信系统是将信源编码和信道编码分别进行的。
信源编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特性。
优点是设计简单、通用性好，可以分别形成标准。
缺点是没有充分利用各自的优势，因而不是最佳的。
无线系统的信源编码由于压缩比很高，对差错十分敏感；
而信道编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。
在这种背景下，需要将信源编码和信道编码综合考虑。
这就是联合编码的基本思路。
在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。
第三章分布式信源编码
3.1分布式信源编码定义
分布式信源编码（DistributedSourceCoding（DSC））是对信息互相关联但不互相通信的信源的一种信息压缩方式.它和其他信源编码不同的是,在这里使用的是信道码.
分布式信源编码的主要应用领域有传感器网络（sensornetwork）和图像,视频,多媒体压缩）.其最主要的特点有两条,第一,编码计算非常简单,解码相对比较复杂;
第二,互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率.
3.2分布式信源编码信息论基础
分布式信源编码要求编码端独立编码，解码端联合解码，在解码端解析信息冗余．这种编码方式大大降低了编码端的复杂度，并且在解码时考虑了各节点之间的信息冗余，提高了编码效率，把编码端的复杂度转移到了解码端。
这种思想的理论基础是Slepian-Wolf理论和Wyner-Ziv理论。
Slepian-Wolf理论提出：
对于互相关的两个离散随机信号X、Y，服从联合概率分布p（x,y），那么在编码端得不到Y的情况下对X进行编码可以取得编码效率和在编码端得到Y的情况下对X进行编码的效率一样。
也就是说，在编码端可以不需要直接跟Y通信，X最少也能以H（X|Y）比特编码，只要在解码端可以得到Y，那么X仍能正确解码。
3.3基于LDPC码的分布式编码
虽然分布式编码理论早在20多世纪前就已经提出，但是Slipian-Wolf理论和Wyner-Ziv理论只提出了信源编码的理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。
直到近几年，研究者才找到实现分布式信源编码的可行方法，发现了信源编码和信道编码的密切关系，如果信道码能够渐近地接近信道容量，那么把它应用于分布式信源编码就能渐近地接近Slepian-Wolf理论极限，其中Pradhan和Ramchandran提出的Discus方案具有重要意义，对研究者后来的研究工作有着巨大的启发和指导作用。
接下来的几年，研究者们提出了一些具体实现方案，2001年，J.Garcí
a-Frí
as提出可以用Turbo码来实现Wyner-Ziv编译码，2002年，A.Aaron和B.Girod提出了用Turbo码作为边信息的实现方案，P.MitranandJ.Bajcsy从理论上证明了使用Turbo码可以接近Selpian-Wolf编码效率，A.Liveris等人则提出使用LDPC可以达到与Turbo类似的效果。
3.4多级编码系统
3.4.1多级编码系统
多级编码调制（MLC．MultilevelCodes）自1977年得到了广泛的关注，具有设计灵活、能提供不等错误保护度等许多优点。
而同时信道容量规则在MLC设计中的提出和应用,从信息论的角度真正指导了纠错码的设计。
3.4.2多级编码的译码
目前的多级编码的译码方法主要有三种：
最大似然译码（MLD.Maximumlikelihooddecoding），多级译码（MSD.MultistageDecoding）和并行译码（PDL-ParallelDecodingofLevels）。
最大依然译码在任何情况下都是准确率最高的译码方案，但由于复杂度和时延等方面的原因，在MLC系统中使用MLD译码方法不切实际；
多级译码（MSD）是一种性能仅次于最大似然译码的准最佳译码方法，它提供了最佳的系统渐进性能，其译码复杂度较最大似然译码也低得多，但是MSD存在“错误传播”现象。
并行译码法（PLD）的结构简单，各级之间没有关联，并行独立译码，译码时延小，可以用在对系统准确性要求不高的情况下
第4章MIMO信源的信道容量
4.1MIMO技术背景
多输入多输出技术（Multiple-InputMultiple-Output，MIMO）是指在发射端和接收端分别使用多个发射天线和接收天线，使信号通过发射端与接收端的多个天线传送和接收，从而改善通信质量。
它能充分利用空间资源，通过多个天线实现多发多收，在不增加频谱资源和天线发射功率的情况下，可以成倍的提高系统信道容量，显示出明显的优势,被视为下一代移动通信的核心技术[1]。
OFDM作为多载波调制技术具有频谱利用率高、抗选择性衰落能力强等突出的优点，具有广阔的应用前景，被认为是第四代移动通信的支柱技术。
如何使二者优势互补，有效整合，便成为国内外学者广泛关注的热点。
本文介绍了MIMO技术的概念，分析了系统容量，给出了MIMO技术与OFDM技术有效整合的实用方案，这些研究对促进移动通信技术的发展有一定指导意义。
4.2MIMO系统原理
MIMO系统在发射端和接收端均采用多个天线和多个通道，如图所示。
C1（k）R1（k）
Sj（k）
CM（k）RN（k）
图MIMO系统原理
传输信息流S（k）经过空时编码形成M个信息子流
，这M个子流由M个天线发送出去，经空间信道后由N个接收天线接收，多天线接收机能够利用先进的空时编码处理技术分开并解码这些数据子流，从而实现最佳处理。
MIMO是在收发两端使用多个天线，每个收发天线之间对应一个MIMO子信道，在收发天线之间形成
信道矩阵H，在某一时刻t,信道矩阵为：
其中H的元素是任意一对收发天线之间的增益。
M个子流同时发送到信道，各发射信号占用同一个频带，因而并未增加带宽。
若各发射天线间的通道响应独立，则MIMO系统可以创造多个并行空间信道。
通过这些并行的信道独立传输信息，必然可以提高数据传输速率。
对于信道矩阵参数确定的MIMO信道，假定发射端总的发射功率为P，与发送天线的数量M无关；
接收端的噪声用
矩阵n表示，其元素是独立的零均值高斯复数变量，各个接收天线的噪声功率均为
；
ρ为接地端平均信噪比。
此时，发射信号是M维统计独立，能量相同，高斯分布的复向量。
发射功率平均分配到每一个天线上，则容量公式为：
固定N，令M增大，使得
，这时可以获得到容量的近似表达式：
det代表行列式，IN代表M维单位矩阵，HH表示H的共扼转置。
从上式可以看出，此时的信道容量随着天线数的增加而线性增大。
即可以利用MIMO信道成倍地提高无线信道容量，在不增加带宽和天线发射功率的情况下，频谱利用率可以成倍地提高,充分展现了MIMO技术的巨大优越性。
4.3MIMO信道容量
假定系统发送端有M根天线，接收端有N根天线，发射端不知信道的状态信息。
总的发射功率为P,每根发射天线的功率为P/M每根接收天线接收到的总功率等于总的发射功率．信道受到加性白高斯噪声（WGN）的干扰．且每根接收天线上的噪声功率为δ2,于是每根接收天线上的信噪比为ρ=P/δ2又假定发射信号的带宽足够窄，信道的频率响应可以认为是平坦的，用M*N的复矩阵H来表示信道矩阵，H的第i和j元素，hij表示第i根发射天线到第j根接收天线的信道衰落系数。
4.3.1单输入单输出信道的容量
对于确定性的单输入单输出（SISO）信道.由于M=N=1，信道矩阵H=h=1,信噪比大小为ρ，根据Shannon公式，该信道的归一化容量可表示为C=log2（1+ρ）。
该容量的取得一般不受编码或信号设计复杂性的限制，即只要信噪比每增加3dB，信道容量每秒每赫兹增加1比特。
实际的无线信道是时变的，要受到衰落的影响，如果用h表示在观察时刻，单位功率的复高斯信道的幅度（H=h），信道容量可表
示为
C=log2（1+ρ|h|2）。
4.3.2多输入单输出信道的容量
对于多输入单输出（MISO）信道，发射方有M根天线。
接收方有一根天线N=1,这相当于发射分集，信道矩阵H变成1个矢量，即H=[h1，h2，⋯hM]H其中hi表示从发射方的第i根天线到接收方的信道幅度，符号[]H表示复共轭转置。
如果信道系数的幅度固定．则该信道的容量可以表示为
C=log2（1+HHHρ/M）=log2（1+ρ）
4.3.3单输入多输出信道的容量
对于单输人多输出（SIMO）信道．即接收方有N根天线，发射方只有1根天线M=1．这相当于接收分集，信道可以看成是由N个不同系数，即H=[h1，h2，⋯hM]H组成，其中hj表示从发射方到接收方的第j根天线的信道系数，如果信道系数的幅度固定，则该信道容量可以表示为
C=log2（1+HHHρ/M）=log2（1+Nρ）
4.3.4多输入多输出信道的容量
对于分别配有M根发射天线和Ⅳ根接收天线的多输人多输出（MIMO）信道，发射端在不知道传输信道的状态信息条件下，如果信道的幅度固定，则信道容量为
C=log2[det（Imin+ρQ/M）]
参考文献
[1]龚耀寰.多输入多输出智能天线技术[J].中兴通信技术，2002（6）:
19-21.
[2]付景兴．MIM0—无线高速数据传输的关键技术[J]．通信世界．2003．10：
56—57．
[3]SlepianJ,WolfJ.Noiselesscodingofcorrelatedinformationsources[J].IEEETransactionsonInformationTheory,
1973,7（19）:
471-480.
[4]WynerA,ZivJ.Therate-distortionfunctionforsourcecodingwithsideinformationatthedecoder[J].IEEE
[5]张豫伟，无失真信源一信道联合编码.电子科技大学学报，1993,22
（2）:
117-122
[6]马仲华，余松馒，一种基于数据分类和不对称保护的视频流信源信道联合编码算法.上海交通大学学报，2002,36（12）:
1727-1730.
[7]PradhanS,RamchandranK.Distributedsourcecoding
升级会员 