信道容量的计算.docx
《信道容量的计算.docx》由会员分享，可在线阅读，更多相关《信道容量的计算.docx（13页珍藏版）》请在冰豆网上搜索。
信道容量的计算
§4.2信道容量的计算
这里，我们介绍一般离散信道的信道容量讣算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布P（x）求平均互信息的极大值.前面已知/（XV）是输入概率分布的上凸函数，所以极大值一定存在•而/（XV）是厂个变虽:
{"（州）,〃（花）,…"（》）}的多元函数。
并且满足工”（兀・）=1。
所以可用拉格朗日乘子法来r-I
（4o2o
计算这个条件极值。
引入一个函数：
0=/（X;Y）—/l工〃©）解方程组
.2>（易）=11）
。
（沽）
"（X）
可以先解岀达到极值的概率分布和拉格朗日乘子久的值，然后在解出信道容MCo因为
/（xv）=£j>a）e（xk）iog
/=|>1
而卩（必）=£卩（兀）2（牙也），所以
r-1
希log〃（）；）=（為In〃（x））loge=岑勢loge。
解（4。
2。
1）式有
£Q（x|兀）-XX〃（兀Q（）'ik'）loge-兄=0
気p（x）务気p（yj
（对i=i,2,都成立）
又因为
C$>（丑）2（片|无）=〃（丹）
A-!
<
乞。
（兀X）TJT,2,…，厂
97=1
所以（4.2。
1）式方程组可以转化为
'C（Vj\Xi）log^—J—=24-logeQ=l,2,--,r）j=ip（yj）
i>u）T
假设使得平均互信息/（XV）达到极值的输入概率分布｛pvp2^Pr｝这样有
从而上式左边即为信道容咼，得
现在令
C=A+\oge
z（xf.；y）=^（2（y>|\）iog
冃
0（儿|兀）
丽
式中，I（Xi;Y）是输岀端接收到Y后获得关于X=Xj的信息量.即是信源符号X=£对输出端Y平均提供的互信息.
一般来讲，心;Y）值与為有关•根据（4。
2.2）式和（4。
2.3）式，
z（xf.；r）=ca=i2…“）
所以对于一般离散信道有如下定理。
定理4。
2.1一般离散信道的平均互信息/（XV）达到极大值（即等于信道容量）的充要条件是输入概率分布｛〃（召）,・・・,卩（兀）｝满足
｛
（“）/（®y）=c对所有的召,卩（召）工0
（方）/（x.；y）这时c就是所求的信道容量。
对于离散信道来说，其实信道容量还有一个解法：
迭代解法.
定理4。
2.2设信道的向前转移概率矩阵为Q=（Q（刀卜；））加，刊是任给的输入字母
的一个初始概率分布，其所有分量P>Cq）H0°按照下式不断地对概率分布进行迭代，更新:
Pr+l=P'（x；）k—
1=1
其中Aw）=cxp[“x=无;y）]|p“
由此所得的/（P,0序列收敛于信道容量c.
我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1）
/厶Tog｛工P（G0a（P）｝
【U=log｛〃皿于仅（P）｝
k
图4.2.1信道容量的迭代算法
对于一些特殊的离散信道，我们有方便的方法计算其信道容量。
定义4。
2.1设X和Y分别表示输入信源与输岀信源，则我们称H（X|Y）为损失燔,
H（Y|X）为信道噪声炳"
如果信道的损失爛H（X|Y）=O,则次信道容量为
C=max/（X;Y）=max（H（x）-H（X|y））=maxH（X）=logr（bit/符号）这里输入信
源X的信源符号个数为r.
如果信道的噪声爛H（Y|X）=O.则此信道容量为
C=max/（X;Y）=maxH（Y）=logs（bit/符号）P（x>P（x>
这里输出信源符Y的符号个数为s.
定义4.2。
2一个信道Q称为对称离散信道，如果它满足下而的性质:
（1）信道Q矩阵中每一行是另一行的置换:
（2）每一列式另一列的置换.
例如，信道矩阵
满足对称性，所以对应信道是对称离散信道.定义4。
2.3对称离散信道的信道容量为
C=logy—H（尺％（bit/符号）
上式只与対称信道矩阵中行矢量｛人；尺,・「尺｝和输出符号集的个数s有关。
证明I（X;Y）=H（Y）-H（Y\X）
而h（y\x）=XP⑴工P（y|x）log詁刁
=J；p（A-）H（r|x=x）
X
由于信道的对称性，所以H（Y\X=x）与；r无关，为一常熟，即
C=■,/?
）］
P（X》
=log$—H（尺尽…,尺）
接着举一个例子加以说明。
例4.201某对称离散信倒的信道矩阵为
'［丄r
3366
P=
1-6
1-6
用公式计算信道容量
c11L11,1L1
=2^-log-+-logr-log-+-log-J
=0.0817（bit/符号）
定义4。
2。
3若信道矩阵Q的列可以划分成若干互不相交的子集矩阵即
BjcB,=^（iH力且目UB?
U…=Y。
由Bk为列组成的矩阵Q是对称矩阵,则称信道矩阵Q所对应的信道为准对称信道。
例如，信道矩阵
<1111>
3366
（0.70.10.2、
1111
弓一〔0.20」0.7,
<6363>
都是准对称信道，在信道矩阵片中.Y可以划分为三个子集，由子集的列组成的矩阵为
<1
1>
T
3
6
3
9
6
1
1
1
1
<6
3;
<3>
<3>
它们满足对称性，所以片对应的信道是准对称信道。
冋理£可划分为
P.70.2）
fo.n
<0.20.7J'
、0」丿
这两个矩阵也满足对称性。
下面，我们给岀准对称离散信道的信道容量计算公式
C=log—H（片,马,…，尺）-丈MlogM&
—1
英中"是输入符号集的个数,（只£,…为准对称信道矩阵中的行矢量。
设矩阵可划分为”个互不相交的子集。
N衣是第R个子矩阵Q中行元素之和，是第R个子矩阵Q中列元素之和，即
m严》pb\xi\yeYk>伙=12…山）
并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。
例422设信道传递矩阵为
\-p-qqp｝r=
Ipqi_p_q丿
可表示成如图4.2。
2所示，计算其信道容量根据上而计算公式可得
N｝=i-q^N2=q
M]=\-q.M2=2q
则有
C=log2_Ha_p_q,q,p）
一（1一q）log（l—q）_q\og2q
=〃log〃+（l-"-q）log（l-〃一g）+（l-g）log^^图422
i_q
下而我们举一些其他信道容量的例子
h2
例4.2。
3设离散信道如图4。
2。
3所示，输入符号集为他心®®“｝，输出符号集为｛%$｝，信道矩阵为
图4。
2。
3
22
01
lo1）
由于输入符号他传递到妨和仇是等概率的，所以他可以省去。
而且5皿2与%你都分别传递到勺和方2,因此可只取5和"5,所以设输入概率分布P（q）=P（y）=］，
2卩（。
2）=卩（“3）=卩@4）=0,可以计算得P（bl）=P（b2）=^,由定理4。
2。
1得
/（X=a^Y）=/（x=a2\Y）=log2
I（x=a4;Y）=I（x=a5;Y）=log2/（x=6/3；y）=O
可见，此假设分布满足眾理4.2。
1,因此，信道容量
C=log2=1（bit/符号）
最佳分布是P（q）=P（aJ=丄，”（a?
）=P（“3）=P（5）=0
厶
若设输入分布为p（e）=m）=p⑷）=pa）=-.p（«3）=oo同理可得
4
P（®）=P@2）=*，根据定理4.2.1有
/^Z（A；.；y）=log2（xt=avava^a5）
W（x/.；y）从而，输入分布P{ax）=P（a2）=P（a4）=P（a,）=1,P{a.）=0也是最佳分布，可见，信道最佳输入分布不是唯一的.
对于一般的离散信道，我们很难利用特殊汁算方法，因此只能采用解方程组式（4.2。
2）的方法。
我们将（4.2。
2）式的前r个方程组改写成
丈。
（牙kJiogUk）-乞Q（）；k）iogP（yJ=C
冃>1
移项后得
E2（y；klc+】ogP（丹）］=£Q（“k）iogQSk）
j=i）=i
（，=1,2,…“）
令Q=C+logP（兀），代入上式得
E。
（旳Xk=E。
（力X）1。
2（刀闰）
户1尸1
0=1,2,…，门
化为矩阵形式为
QP：
=_
6（牛）
H（牛2）
、卩"
这是含有S•个未知数0丿"个方程的非齐次线性方程组。
如果设厂=$,信道矩阵0为非奇异矩阵，则此方程组有解，并且可以求出0,的数值,
户I
Ciog工2为（bi"符号）
J
由这个C值可解得对应的输出概论分布P（丹）。
P（刀）=20Y0=1,2,."）
再根据P（兀）=乞叫風咖）j=1,2,…s,即可解出达到信道容量的最佳输入r-1
分布｛P3）｝.
下面给出一例。
例4。
2・4设离散无记忆信道输入X的符号集为他心®心｝，输岀丫的符号集为｛%彷03上4、如图4。
2。
4所示。
其信道矩阵为
丄丄0y
244
0100
0010
丄0丄丄
'.442>
我们才用上而所讲的方法来计算信道容量：
z1.1.1.H11,11,1
討+捫+护=尹产叫+才陀
02=0
'0产。
1/71/?
1々111-11】1
—P，+—Px+—P<=—102—+—log—+—102—
41434匕4~44~42
解方程组得
02=屈=0;0严阳-2;
信道容量C=log2（2-2+2°+2°+2_）=log25-1（bit/符号）
又求得输出分布
P（b）=P（bJ==_L
4
P®）=P（b沪百
因此可以求得最佳输入分布为
4
叫）*（斫元
例4。
2.5设有两个独立并联信道如图425,计算它的信道容量。
X,►信道］►Y}
亦阿）
X,>信道2►Y2
。
（乃卜2）
解根据泄理4.1o1有
•>
/（x&2；睾）s£/（x誌）
1-1
即联合平均互信息不大于各自信道的平均互信息之和，因此得到独立并联信道的信道容量为
2
G.2=max/（X/2；程）
P（XiX2）
C产max/（/<），是个独立信道的信道容量。
p⑷
只有当输入符号兀互相独立，且输入符号无的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容疑之和，即
C孑土G
1-1
这个方法推广到N个独立并联信道容量的讣算，即有
C»=maxKX.X.-XM-Yn）Pg…心）~1
对于信道【和II,我们将它串联起来组成新的信道（如图4・2。
6）
丛_►信道］—►信道II
图4.2.6
则此信道容量为C,,（IJI）=max/（X;Z）
P（r）
例4.2.6设有两个离散二元对称信道（BSC信道），其串联信道如图4。
2.7,并设第一个信道输入符号集的概率空间为
（X\
[pm）
1
2;
X
二元对称信
Y
二元对称信
Z
逍I
il->II
■
图4。
2.7而两个信道的信道矩阵分别为
e.=a=
‘1-“
所以串联信道总的信道矩阵为
根据平均互信息定义
C=（bit/符号）
L/（X;Z）=1-H[2p（l-/?
）]（bit/符号）
当串联信道数目越多时，损失的信息
其中J（XV）n/（X;Z）（根据信息不增原理）•因此,越多，可证：
Iim/（X;XJ=Oo
n^x
对于本例中两个串联的二元离散对称信道，其信道容量为
C:
|;（IJI）=max/（X;Z）=1-H（2〃（l一仍）（bit/符号）
升级会员 