信道容量的计算.docx

1、信道容量的计算 4.2信道容量的计算这里，我们介绍一般离散信道的信道容量讣算方法，根据信道容量的定义，就是在固定信 道的条件下，对所有可能的输入概率分布P（x）求平均互信息的极大值.前面已知/（XV）是 输入概率分布的上凸函数，所以极大值一定存在而/（XV）是厂个变虽:（州）,（花）,（）的多元函数。并且满足工”（兀）=1。所以可用拉格朗日乘子法来 r-I（4o 2o计算这个条件极值。引入一个函数：0 = /（X;Y） /l工）解方程组.2（易）=1 1）。（沽）（X）可以先解岀达到极值的概率分布和拉格朗日乘子久的值，然后在解出信道容MCo因为/（xv）=ja）e（xk）iog/=| 1而卩（

2、必）=卩（兀）2（牙也），所以r-1希log （）；）=（為 In （x） log e =岑勢 log e。解（4。2。1）式有 Q（x |兀）-XX （兀 Q（）i k） loge -兄=0気 p（x） 务気 p（yj（对i = i,2,都成立）又因为C $（丑）2（片|无）=（丹）A-!u）T假设使得平均互信息/（XV）达到极值的输入概率分布pvp2 Pr这样有从而上式左边即为信道容咼，得现在令C = A + ogez(xf.；y)= (2(y|)iog冃0(儿|兀)丽式中，I（Xi;Y）是输岀端接收到Y后获得关于X=Xj的信息量.即是信源符号X=对输 出端Y平均提供的互信息.一般来讲，心

3、;Y）值与為有关根据（4。2.2）式和（4。2.3）式，z（xf.；r）= c a = i2 “）所以对于一般离散信道有如下定理。定理4。2.1 一般离散信道的平均互信息/（XV）达到极大值（即等于信道容量）的充 要条件是输入概率分布（召）,卩（兀）满足（“） /（y）= c 对所有的召,卩（召）工0（方）/（x.；y）Cq）H0按照下式不断地对概率分布进行迭代，更新:Pr+l = P (x；) k 1=1其中 Aw)=cxp“x=无;y)|p“由此所得的/（P ,0序列收敛于信道容量c.我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1）/厶 Tog工P（G0a（P）【U = lo

4、g皿于仅（P）k图4.2.1 信道容量的迭代算法对于一些特殊的离散信道，我们有方便的方法计算其信道容量。定义4。2.1设X和Y分别表示输入信源与输岀信源，则我们称H（X|Y）为损失燔,H（Y|X）为信道噪声炳如果信道的损失爛H（X|Y）=O,则次信道容量为C = max/（X;Y）= max（H（x）-H（X|y）= maxH（X） = logr （bit/符号）这里输入信源X的信源符号个数为r.如果信道的噪声爛H（Y|X）=O.则此信道容量为C = max /（X; Y）= max H（Y） = log s （bit/符号） P（x P（x这里输出信源符Y的符号个数为s.定义4.2。2 一个

5、信道Q称为对称离散信道，如果它满足下而的性质:（1）信道Q矩阵中每一行是另一行的置换:（2）每一列式另一列的置换.例如，信道矩阵满足对称性，所以对应信道是对称离散信道. 定义4。2.3对称离散信道的信道容量为C = logy H（尺 （bit/符号）上式只与対称信道矩阵中行矢量人；尺,尺和输出符号集的个数s有关。 证明 I（X;Y） = H（Y）-H（YX）而 h（yx）=X P 工 P（y|x）log 詁刁= J；p（A-）H（r|x=x）X由于信道的对称性，所以H（YX=x）与；r无关，为一常熟，即C = ,/?）P （X= log$ H（尺尽,尺）接着举一个例子加以说明。例4.20 1某

6、对称离散信倒的信道矩阵为丄r3 3 6 6P =1 - 61 - 6用公式计算信道容量c 1 1 L 1 1, 1 L 1= 2-log- + -logr-log- + -log-J=0.0817 (bit/符号)定义4。2。3若信道矩阵Q的列可以划分成若干互不相交的子集矩阵即Bj cB, =（i H力且目UB? U= Y。由Bk为列组成的矩阵Q是对称矩阵, 则称信道矩阵Q所对应的信道为准对称信道。例如，信道矩阵3 3 6 6(0.7 0.1 0.2、1111弓一0.2 00.7,都是准对称信道，在信道矩阵片中.Y可以划分为三个子集，由子集的列组成的矩阵为T36396111163;它们满足对称

7、性，所以片对应的信道是准对称信道。冋理可划分为P.7 0.2)fo.n 伙=12 山）并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留 给读者。例422设信道传递矩阵为-p-q q p r =I p q i_p_q丿可表示成如图4.2。2所示，计算其信道容量 根据上而计算公式可得N =i-qN2=qM = -q.M2 =2q则有C = log2 _ Ha _ p _ q,q, p)一(1 一 q) log(l q)_q og2q=log + (l-q)log(l-一g) + (l-g)log 图 422i_q下而我们举一些其他信道容量的例子h2例4.2。3设离散信道

8、如图4。2。3所示，输入符号集为他心“，输出 符号集为%$，信道矩阵为图 4。 2。 32 20 1lo 1)由于输入符号他传递到妨和仇是等概率的，所以他可以省去。而且5皿2与% 你 都分别传递到勺和方2,因此可只取5和5,所以设输入概率分布P(q) = P(y)= ，2 卩(。2)=卩(“3)=卩4)= 0,可以计算得P(bl) = P(b2) = ,由定理4。2。1得/(X = aY) = /(x = a2 Y) = log2I(x = a4; Y) = I(x = a5;Y) = log2 /(x = 6/3；y)= O可见，此假设分布满足眾理4.2。1,因此，信道容量C = log2

9、= 1 (bit/符号)最佳分布是 P(q) = P(aJ =丄，”(a?) = P(“3)= P(5)= 0厶若设输入分布为p(e)=m)=p)=pa)=-.p(3)=oo同理可得4P() = P2)= *，根据定理 4.2.1 有/Z(A；.；y)= log2 (xt =avavaa5)W(x/.；y)1移项后得E2（y；klc+】ogP（丹）=Q（“k）iogQSk）j=i ）=i（，=1,2,“）令Q =C+logP（兀），代入上式得E。（旳 X k = E。（力 X ）1。2（刀闰）户1 尸10 = 1,2,，门化为矩阵形式为QP：=_6（牛）H（牛2）、卩这是含有S个未知数0丿个方

10、程的非齐次线性方程组。如果设厂=$,信道矩阵0为非奇异矩阵，则此方程组有解，并且可以求出0,的数值,户ICiog工2为（bi符号）J由这个C值可解得对应的输出概论分布P（丹）。P（刀）= 20Y 0 = 1,2,.）再根据P（兀）=乞叫風咖）j = 1,2,s,即可解出达到信道容量的最佳输入 r-1分布P3）.下面给出一例。例4。24设离散无记忆信道输入X的符号集为他心心，输岀丫的符号集 为%彷03上4、如图4。2。4所示。其信道矩阵为丄丄0 y2 4 40 10 00 0 10丄 0 丄丄.4 4 2我们才用上而所讲的方法来计算信道容量：z 1 . 1 . 1 . H 1 1, 1 1, 1

11、討+捫+护=尹产叫+才陀02=00产。1/7 1/? 1 1 1 1 - 1 1】1P，+Px + P 信道 2 Y2。（乃卜2）解根据泄理4.1 o 1有/（x&2；睾）s/（x 誌）1-1即联合平均互信息不大于各自信道的平均互信息之和，因此得到独立并联信道的信道容量为2G.2 = max/（X/2；程）P（XiX2）C产max/（/），是个独立信道的信道容量。p只有当输入符号兀互相独立，且输入符号无的概率分布达到各子信道容量的概率分布 时，独立并联信道的信道容量才等于各信道容疑之和，即C孑土 G1-1这个方法推广到N个独立并联信道容量的讣算，即有C= max KX.X. - XM -Yn） II图 4。2.7 而两个信道的信道矩阵分别为e.=a =1-“ P所以串联信道总的信道矩阵为根据平均互信息定义C = (bit/符号)L/(X;Z) = 1- H2p(l - /?) (bit/符号)当串联信道数目越多时，损失的信息其中J(XV)n/(X;Z)(根据信息不增原理)因此, 越多，可证：Iim/(X;XJ = Oonx对于本例中两个串联的二元离散对称信道，其信道容量为C:|;(IJI) = max /(X;Z) = 1 - H(2(l 一 仍)(bit/符号)