通信原理第八章.docx

1、通信原理第八章通信原理第八章第八章 离散信道及信道容量信道，顾名思义就是信号的通道。图中位于调制器和解调器之间的信道指用来传输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为信道，这就是广义信道的概念。如图所示，由调制器，信道和解调器构成了一个广义编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。编码信道图 信道的定义本章首先讨论离散信道的统计特性和数学模型，然后定量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。离散信道的数学模型及分类我们已

2、知信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。信道会引入噪声或干扰，它使信号通过信道后产生错误和失真。故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。离散信道的数学模型一般如图所示。图中输入和输出信号用随机矢量表示。输入信号X = ，输出信号Y = ，其中i = 表示时间或空间的离散值。而每个随机变量X i和Y i又分别取值于符号集A =a1,a r和B =b1,b s，其中r 不一定等于s 。图中条件概率P = 描述了输入信号和输出信号的依赖关系，它由调制器、信道和解调器的性能共同决定。图 离散信道模型 XY根

3、据信道的统计特性即条件概率P 的不同，离散信道又可分为三种情况。无干扰信道。信道中没有随机性的干扰或者干扰很小，输出信号Y 与输入信号X 之间有确定的一一对应的关系。即，y =f1 y=f 并且 P = 0 yf有干扰无记忆信道。实际信道中常有干扰，即输出符号与输人符号之间无确定的对应关系。若信道任一时刻输出符号只统计依赖于对应时刻的输人符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。满足离散无记忆信道的充要条件是P =P =Ni=1P 有干扰有记忆信道。这是更一般的情况，即有干扰 又有记忆。实际信道往往是这种类型。例如在数字信道中，由于信道滤波使频率特性

4、不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。这时信道的条件概率P 不再满足式。下面我们着重研究离散无记忆信道，并且先从简单的单符号信道人手。设单符号离散信道的输入变量为x，可能取值的集合为a1, a2,a r；输出变量为Y，取值于b1, b2,b s。并有条件概率P =P =P i=这一组条件概率称为信道的传递概率或者转移概率。因为信道中有干扰存在，若信道输入为x=a i时，输出是哪一个符号事先无法确定。但信道输出一定是b1, b2,b s中的一个。即有sP =1 i=

5、 j=1由于信道的干扰使输入的符号x，在传输中发生错误，所以可以用传递概率P )输入和输出的联合概率为P =P P =PP 其中 P 是信道传递概率，即发送为a i，通过信道传输接收到为b j的概率。通常称为前向概率。它是由于信道噪声引起的，所以描述了信道噪声的特性。而P 是已知信道输出端接收到符号为b j而发送的输入符号为a i的概率，又被称为后向概率。根据联合概率可得输出符号的概率P =r i=1P P 根据贝叶斯定律可得后验概率P =平均互信息及平均条件互信息在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关P P =P P i=1P P 系以后，我们将深入研究在此信道

6、中信息传输的问题。损失熵和噪声熵信道输入信号x 的熵为H =ri=1P logP i1H 是在接收到输出Y 以前，关于输入变量X 的先验不确定性的度量，所以称为先验熵。如果信道中无干扰 ，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有干扰 存在，接收到输出Y 后对发送的是什么符号仍有不确定性。那么，怎样来度量接收到Y 后关于X 的不确定性呢? 接收到输出符号y =b j后，关于X 的平均不确定性为rH =Plogi=11P =P log P X这是接收到输出符号b j后关于X 的后验熵。后验熵在输出y 的取值范围内是个随机量，将后验

7、熵对随机变量Y 求期望，得条件熵为ssrH =EH=PH =P Plogj=1rsj=1i=11P=Plogi=1j=11P 这个条件熵称为信道疑义度。它表示在输出端收到输出变量Y 后，对于输人端的变量X尚存在的平均不确定性。它也表示信源符号通过有噪信道传输后所引起的信息量的损失，故也可称为损失熵。这个对X 尚存在的不确定性是由于干扰 引起的。如果是一一对应信道，那么接收到输出Y 后，对X 的不确定性将完全消除，则信道疑义度H =0。由于一般情况下条件熵小于无条件熵，即有H H 表示在已知X 的条件下，对于随机变量Y 尚存在的不确定性。我们将H 称为噪声熵，或散布度，它反映了信道中噪声源的不确

8、定性。H =P logi =1j =1r s1 P 平均互信息根据上述，我们已知H代表接收到输出符号以前关于输入变量X 的平均不确定性，而H 代表接收到输出符号后关于输入变量X 的平均不确定性。可见，通过信道传输消除了一些不确定性，获得了一定的信息。所以定义I = H H I 称为X 和Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于X的信息量。根据式和式得I =X,YP根据熵的定义和表达式，可得以下关系I = H H=H +H H =H H由此，可以进一步理解熵只是平均不确定性的描述，而不确定性的消除才等于接收端所获得的信息量。下面，我们观察二种极端情况的信道。一种信道是输

9、入符号与输出符号完全一一对应，即无噪信道。输入符号集A =a1, a2,a r，输出符号集B =b1, b2,b r，它们的信道传递概率为P =0ij1i=jP P它表示输入符号和输出符号之间有一一对应关系。根据可推出0P =1由式和式计算得H =0H =0信道中损失熵和噪声熵都等于零。所以，I =H =H在此信道中，因为输入和输出符号一一对应、所以接收到输出符号Y 后对于输入X 不存在何不确定性。这时，接收到的平均信息量就是输人信源所提供的信息量。第二种极端情况，信道输人端X 与输出端Y 完全统计独立，即 ij i=jP =P xX,yYP =P xX, yY在这种信道中输入符号与输出符号没

10、有任何依赖关系。接收到Y 后不可能消除输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X 中获得任何关于Y 的信息量。因此，平均互信息I =0。平均互信息特性本节将介绍平均互信息I 的一些特性。1）平均互信息的非负性离散信道输入概率空间为X ，输出概率空间为Y ，则I 0，当X 和Y 统计独立时，等式成立。这个性质告诉我们：通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。2）平均互信息的极值性I H 因为信道疑义度H 总大于零，所以平均互信息总是小于熵

11、H。只有当H =0, 即信道中传输信息无损失时，等号才成立。在一般情况下，平均互信息必在零和H值之间。3）平均互信息的对称性根据I的定义式可以证明，I =I I 表示从Y 中提取的关于X 的信息量，而I 表示从X 中提取的关于Y 的信息量，它们是相等的。4）平均互信息I 的凸状性平均互信息I 是输入信号X 的概率分布函数P和信道传递概率P 的函数。关于互信息I和P，P 的关系我们有如下结论：定理 平均互信息I 是信道输入信号的概率分布P 的形凸函数。例8、,1，设二元对称信道的输入概率空间为所示。可以算出 X0=P1。而信道特性如图=1P = p+ p=p+pP = p+ p=p+p因此，H

12、= log log p)11H = p log+plog因此，I = log log p)=H H 在式中当信道转移概率p固定时，可得I 是的型凸函数，其曲线如图所示。从图中可知，当二元对称信道的矩阵固定后，输入变量X 的概率分布不同，在接收 端平均每个符号获得的信息量就不同。只有当输人变量X 是等概率分布，即P =P =2定理意味着，当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源 )，使输出端获得的平均信息量为最大。信道容量及其一般计算方法我们研究信道的目的是要讨论信道中平均每个符号所能传递的信息量，即信

13、道的信息传输率R 。由前已知，平均互信息I 就是从信道输出符号Y 后中获得的关于X 的信息量。因此信道的信息传输率就是平均互信息。即R =I =H H p 其单位是比特/符号，而对应的输入信号概率分布称为最佳输入分布。若平均传输一个符号需要t 秒钟，则信道单位时间内平均传输的最大信息量为1C = t m ax I t p 信道容量C 与输入信源的概率分布无关，它只与信道的转移概率有关。所以，信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。如例中，二元对称信道的平均互信息I = H H 。由图看出，当=2时，I取得最大值。因而平均互信息的极大值为I =1H因此，二元对称信道的信道容

14、量为由此可见，二元对称信道的信道容量只是信道传输概率p的函数，而与输入符号X 的概率分布无关。下面我们讨论一些特殊类型信道的信道容量。三类特殊信道容量信道输人和输出间有确定的一一对应关系的信道，称为无噪无损信道。无噪无损信道的疑义度H 和信道的噪声熵H 都等于零，所以I =H =H 因此，无噪无损信道的信道容量为1 C=1H C=max H=logr p 表明当信道输入等概分布时，信道的传输速率达到信道容量。另一类信道是输入一个X 值对应有几个输出Y 值，而且每个X 值所对应的Y 值不重合，如图所示。这类信道被称为有噪无损信道。在这类信道中，输入符号通过传输变成若干输出符号，虽它们不是一一对应

15、关系，但这些输出符号仍可分成互不相交的一些集合。所以接收到符号Y 后，对发送的X 符号是完全确定的，即损失熵H =0，但噪声熵H 0。X无 噪无损信道有噪无损信道图 无损信道因此这类信道的平均互信息为：I =H其信道容量C=max H=logr p 比特/符号 第三类特殊信道如图所示。信道的一个输出值Y 对应好几个信道的输入，而且每个Y 值所对应的X 值不重合。这类信道被称为有噪无损信道。图 无噪有损信道这类信道的噪声熵H =0，而信道疑义度H 0。它的平均互信息是I =H信道容量为C=max H=logs p 假设一定能找到一种输入分布使输出符号Y 达到等概率分布。对称离散信道的信道容量离散

16、信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵P中每一行都是由同一p1, p2, 都是由同一q1, q2, 对称离散信道。例如，信道矩阵, p s 集合的各元素的不同排列组成，并且每一列也, q r 集合的各元素的不同排列组成。具有这种对称性信道矩阵的信道称为13P =16是对称离散信道。1316161311261 和P =61131312163161312若输入符号和输出符号个数相同，都等于r，且信道矩阵为p p P =r1p r1p r1p r1rH p 现已知输出Y 的符号集共有s个符号，则H log s。只有当P = s等概率分布)时，H 才达到最

17、大值log s。一般情况下，不一定存在一种输入符号的概率分布P ，能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一q1, q2, , qr集的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即P= rY 一定也是等概率分布，这时H =log s。即111P =P P =r X X Y1P =P P = r X X Y 1P =P P =r X X Y 由于信道矩阵的对称性，可推出P = P =P 对于对称离散信道，当输入符号X 达到等于等概率分布，则输出符号Y 一定也达到等概率分布。由此得对称离散信道的信道容量为C=log sH 例， 强对称信道的信道矩阵是

18、rr阶矩阵，信道转移矩阵为。根据式得强对称信道的信道容量为C=log rH=log r+plogr1=logrlog H 式中p是总的错误传递概率，p是正确的传递概率。准对称信道的信道容量若信道矩阵Q 的列可以划分为若干个互不相交的子集Bk, 即B1B2Bn=，B1B2Bn=Y，由Bk为列组成的矩阵Qk是对称矩阵，则称信道矩阵Q 所对应的信道为pppp准对称信道。例如信道矩阵13P1=1611613113131161610、76 P2=10、230、10、20、10、7都是准对称信道。在信道矩阵P1中Y 可以划分为三个子集，由子集的列组成矩阵为3163，61 ，1。它们满足对称性，所以P1所对

19、应的信道为准对称信道。同理P2可划63 和。我们可以证明达到准对称离散信道信道容量的输入分布是等概分布准对称离散信道的信道容量为 分为两个对称阵nC=log rH Nklog Mk k=1其中r 是输入符号集的个数， 为准对称信道矩阵中的行元素。设矩阵可划分成n 个互不相交的子集。Nk 是第k 个子矩阵Qk中行元素之和，Mk是第k 个子矩阵Qk中列元素之和。例， 设信道传输矩阵为P=1pqpqqp1pq可表示成如图所示。根据式可计算得N1=1q, N2=q M1=1q, M2=2q因此，信道容量为C=plogp log + log2图 例的信道模型离散无记忆扩展信道及其信道容量前几节讨论了最简

20、单的离散信道，即信道的输入和输出都只是单个随机变量的信道。然而一般离散信道的输人和输出却是一系列时间 离散的随机变量，即为随机序列。在离散无记忆信道中，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。设离散无记忆信道的输入符号集输入符号集A=a1, , ar，输出符号集B=b1, , bs，信道矩阵为。则此无记忆信道的N次扩展信道的数学模型如图所示。X N Y N1= 中，每一个随机变量Xi有r 种可能的取值，所以随机矢量X 的可能取值有rN个。同理，随机矢量Y 的可能取值有sN个。根据信道无记忆的特性，可得対N次扩展信道的信道矩阵1121=r N11222rN

21、2 r N S N 1S 2S N N图 离散无记忆信道N 次扩展信道的信道矩阵式中k=P 并满足sNk=1 =PN=P i=1例，求例中二元无记忆对称信道的二次扩展信道。因为二次扩展信道的输入符号集为和输出变量X 和Y 的取值都是0或1，因此，二次扩展信道的输人符号集为A2=00,01,10,11。输出符号集为B2=00,01,10,11。根据无记忆信道的特性，求得二次扩展信道的传递概率为P =P = P P =p2 P =P = P P =ppP =P = P P =pp P =P = P P =p2 同理求得其他传递概率k，最后得二次扩展信道，即= ppppp2根据平均互信息的定义，可得

22、无记忆信信道的N 次扩展信道的平均互信息I =H H =H Hp2ppp2p2ppppp2ppp2pp ppp2p2P =P log kNNX ,Y若信源与信道都是无记忆的，可进一步化简为NI =I i=1若信道的输入序列X= 中的随机变量X i取自于同一信源符号集，并且有同一种概率分布，而且通过相同的信道传送到输出端，则有I =I =I =I 因此，I =NI 此式说明当信源是无记忆时，无记忆的N次扩展信道的平均互信息等于原来的信道的平均互信息的N倍。根据，可进一步推出离散无记忆信道的N 次扩展信道的容量为N NC N =max 式说明离散无记忆的N 次扩展信道的信道容量等于原符号离散信道的

23、信道容量的N 倍。且只有当输入信源是无记忆的及每一输入变量Xi的分布各自达到最佳分布P时，才能达到这个信道容量NC 。独立并联信道及其信道容量一般独立并联信道如图所示。设有N 个信道，它们的输入分别是X1, X2, XN，它们的输出分别是Y1, Y2, YN，它们的传递概率分别是P , P ，P 。在这N 个独立并联信道中，每一个信道的输出Yi只与本信道的输入Xi有关，与其他信道的输人、输出都无关。那么，这N 个信道的联合传递概率满足p 图 独立并联信道P =P P P 相当于信道是无记忆时应满足的条件。因此，当输入符号Xi相互独立时，输入和输出序列的互信息为I =Ni=1I 因此得独立并联信道的信道容量NC1,2,N=Ni=1max p I =i=1C i 当输入符号Xi相互独立，且输入符号Xi的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量等于子信道容量之和。本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！-本文为网络收集精选范文、公文、论文、和其他应用文档，如需本文，请下载-