通信原理第八章.docx

资源描述

通信原理第八章.docx

《通信原理第八章.docx》由会员分享，可在线阅读，更多相关《通信原理第八章.docx（17页珍藏版）》请在冰豆网上搜索。

通信原理第八章.docx

通信原理第八章

第八章离散信道及信道容量

信道，顾名思义就是信号的通道。

图中位于调制器和解调器之间的信道指用来传输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。

狭义信道的输入为波形信号，输出为连续信号。

还有一种定义即凡是信号经过的路径都称为信道，这就是广义信道的概念。

如图所示，由调制器，信道和解调器构成了一个广义编码信道。

编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。

编码信道

图信道的定义

本章首先讨论离散信道的统计特性和数学模型，然后定量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。

离散信道的数学模型及分类

我们已知信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。

信道会引入噪声或干扰，它使信号通过信道后产生错误和失真。

故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。

离散信道的数学模型一般如图所示。

图中输入和输出信号用随机矢量表示。

输入信号X=，输出信号Y=，其中i=表示时间或空间的离散值。

而每个随机变量Xi和Yi又分别取值于符号集A={a1,…,ar}和B={b1,…,bs}，其中r不一定等于s。

图中条件概率P=描述了输入信号和输出信号的依赖关系，它由调制器、信道和解调器的性能共同决定。

图离散信道模型X

根据信道的统计特性即条件概率P的不同，离散信道又可分为三种情况。

无干扰信道。

信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信

号X之间有确定的一一对应的关系。

即，y=f

1y=f并且P={0y≠f

有干扰无记忆信道。

实际信道中常有干扰，即输出符号与输人符号之间无确

定的对应关系。

若信道任一时刻输出符号只统计依赖于对应时刻的输人符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。

满足离散无记忆信道的充要条件是

P=P=∏Ni=1P

有干扰有记忆信道。

这是更一般的情况，即有干扰又有记忆。

实际信道往往

是这种类型。

例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。

在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。

这时信道的条件概率P不再满足式。

下面我们着重研究离散无记忆信道，并且先从简单的单符号信道人手。

设单符号离散信

道的输入变量为x，可能取值的集合为{a1,a2,…,ar}；输出变量为Y，取值于{b1,b2,…,bs}。

并有条件概率

P=P=Pi=

这一组条件概率称为信道的传递概率或者转移概率。

因为信道中有干扰存在，若信道输入为x=ai时，输出是哪一个符号事先无法

确定。

但信道输出一定是b1,b2,…,bs中的一个。

即有

∑P=1i=

j=1

由于信道的干扰使输入的符号x，在传输中发生错误，所以可以用传递概率P）

⎥⎦

输入和输出的联合概率为

P=PP=PP

其中P是信道传递概率，即发送为ai，通过信道传输接收到为bj的概率。

通常称为前向概率。

它是由于信道噪声引起的，所以描述了信道噪声的特性。

而P是已知信道输出端接收到符号为bj而发送的输入符号为ai的概率，又被称为后向概率。

根据联合概率可得输出符号的概率

P=∑ri=1PP

根据贝叶斯定律可得后验概率

平均互信息及平均条件互信息

在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关PP=PP∑i=1PP

系以后，我们将深入研究在此信道中信息传输的问题。

损失熵和噪声熵

信道输入信号x的熵为

H=∑ri=1PlogPi1

H是在接收到输出Y以前，关于输入变量X的先验不确定性的度量，所以称为先验熵。

如果信道中无干扰，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。

但一般信道中有干扰存在，接收到输出Y后对发送的是什么符号仍有不确定性。

那么，怎样来度量接收到Y后关于X的不确定性呢?

接收到输出符号y=bj后，关于X的平均不确定性为

H=∑Plog

i=11P=−∑PlogP

这是接收到输出符号bj后关于X的后验熵。

后验熵在输出y的取值范围内是个随机量，

将后验熵对随机变量Y求期望，得条件熵为

ssr

H=E[H]=∑PH=∑P∑Plog

j=1

rsj=1i=11P

=∑∑Plog

i=1j=11P

这个条件熵称为信道疑义度。

它表示在输出端收到输出变量Y后，对于输人端的变量X

尚存在的平均不确定性。

它也表示信源符号通过有噪信道传输后所引起的信息量的损失，故也可称为损失熵。

这个对X尚存在的不确定性是由于干扰引起的。

如果是一一对应信道，那么接收到输出Y后，对X的不确定性将完全消除，则信道疑义度H=0。

由于一般情况下条件熵小于无条件熵，即有H

H表示在已知X的条件下，对于随机变量Y尚存在的不确定性。

我们将H称

为噪声熵，或散布度，它反映了信道中噪声源的不确定性。

H=∑∑Plog

i=1j=1rs1P

平均互信息

根据上述，我们已知H代表接收到输出符号以前关于输入变量X的平均不确定性，而

H代表接收到输出符号后关于输入变量X的平均不确定性。

可见，通过信道传输消除了一些不确定性，获得了一定的信息。

所以定义

I=H−H

I称为X和Y之间的平均互信息。

它代表接收到输出符号后平均每个符号获得的关于X

的信息量。

根据式和式得

I=∑X,YP

根据熵的定义和表达式，可得以下关系

I=H−H

=H+H−H

=H−H

由此，可以进一步理解熵只是平均不确定性的描述，而不确定性的消除

才等于接收端所获得的信息量。

下面，我们观察二种极端情况的信道。

一种信道是输入符号与输出符号完全一一对应，即无噪信道。

输入符号集

A={a1,a2,…,ar}，输出符号集B={b1,b2,…,br}，它们的信道传递概率为

P={0i≠j1i=jPP

它表示输入符号和输出符号之间有一一对应关系。

根据可推出

0P={1

由式和式计算得

H=0

信道中损失熵和噪声熵都等于零。

所以，

I=H=H

在此信道中，因为输入和输出符号一一对应、所以接收到输出符号Y后对于输入X不存在何不确定性。

这时，接收到的平均信息量就是输人信源所提供的信息量。

第二种极端情况，信道输人端X与输出端Y完全统计独立，即i≠ji=j

P=Px∈X,y∈Y

在这种信道中输入符号与输出符号没有任何依赖关系。

接收到Y后不可能消除输入端X

的任何不确定性，所以获得的信息量等于零。

同样，也不能从X中获得任何关于Y的信息量。

因此，平均互信息I=0。

平均互信息特性

本节将介绍平均互信息I的一些特性。

1）平均互信息的非负性

离散信道输入概率空间为X，输出概率空间为Y，则I≥0，当X和Y统计独立

时，等式成立。

这个性质告诉我们：

通过一个信道获得的平均信息量不会是负值。

也就是说，观察一

个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。

除非信道

输入和输出是统计独立时，才接收不到任何信息。

2）平均互信息的极值性

I≤H

因为信道疑义度H总大于零，所以平均互信息总是小于熵H。

只有当H=0,即信道中传输信息无损失时，等号才成立。

在一般情况下，平均互信息必在零和H值之间。

3）平均互信息的对称性

根据I的定义式可以证明，

I=I

I表示从Y中提取的关于X的信息量，而I表示从X中提取的关于Y的信息量，

它们是相等的。

4）平均互信息I的凸状性

平均互信息I是输入信号X的概率分布函数P和信道传递概率P的函数。

关

于互信息I和P，P的关系我们有如下结论：

定理平均互信息I是信道输入信号的概率分布P的∩形凸函数。

例

8、,1，设二元对称信道的输入概率空间为[

所示。

可以算出X0]=[Pω1]。

而信道特性如图ω̅=1−ω

P=ωp̅+p=ωp̅+ω̅p

P=ωp+p̅=ωp+ω̅p̅

因此，H=loglog̅p̅）

11H=plog+p̅log因此，

I=loglog̅p̅）

=H−H

在式中当信道转移概率p固定时，可得I是ω的∩型凸函数，其曲线如图所示。

从图中可知，当二元对称信道的矩阵固定后，输入变量X的概率分布不同，在接收端平均每个符号获得的信息量就不同。

只有当输人变量X是等概率分布，即P=

P=2

定理意味着，当固定某信道时，选择不同的信源与信道连接，在信道输出端接

收到每个符号后获得的信息量是不同的。

而且对于每一个固定信道，一定存在有一种信

源），使输出端获得的平均信息量为最大。

信道容量及其一般计算方法

我们研究信道的目的是要讨论信道中平均每个符号所能传递的信息量，即信道的信息传输率R。

由前已知，平均互信息I就是从信道输出符号Y后中获得的关于X的信息量。

因此信道的信息传输率就是平均互信息。

即

R=I=H−Hp

其单位是比特/符号，而对应的输入信号概率分布称为最佳输入分布。

若平均传输一个符号需要t秒钟，则信道单位时间内平均传输的最大信息量为

1C=tmax{I}tp

信道容量C与输入信源的概率分布无关，它只与信道的转移概率有关。

所以，信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。

如例中，二元对称信道的平均互信息I=H−H。

由图看出，

当ω=ω̅=2时，I取得最大值。

因而平均互信息的极大值为

I=1−H

因此，二元对称信道的信道容量为

由此可见，二元对称信道的信道容量只是信道传输概率p的函数，而与输入符号X的概率分布ω无关。

下面我们讨论一些特殊类型信道的信道容量。

三类特殊信道容量

信道输人和输出间有确定的一一对应关系的信道，称为无噪无损信道。

无噪无损信道的

疑义度H和信道的噪声熵H都等于零，所以

I=H=H

因此，无噪无损信道的信道容量为

1C=1−HC=maxH=logrp

表明当信道输入等概分布时，信道的传输速率达到信道容量。

另一类信道是输入一个X值对应有几个输出Y值，而且每个X值所对应的Y值不重合，

如图所示。

这类信道被称为有噪无损信道。

在这类信道中，输入符号通过传输变成若

干输出符号，虽它们不是一一对应关系，但这些输出符号仍可分成互不相交的一些集合。

所以接收到符号Y后，对发送的X符号是完全确定的，即损失熵H=0，但噪声熵H≠0。

无噪无损信

道有噪无损信道

图无损信道

因此这类信道的平均互信息为：

I=H

其信道容量

C=maxH=logrp比特/符号

第三类特殊信道如图所示。

信道的一个输出值Y对应好几个信道的输入，而且每个Y值所对应的X值不重合。

这类信道被称为有噪无损信道。

图无噪有损信道

这类信道的噪声熵H=0，而信道疑义度H≠0。

它的平均互信息是

I=H

信道容量为

C=maxH=logs

假设一定能找到一种输入分布使输出符号Y达到等概率分布。

对称离散信道的信道容量

离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。

所谓对称性，就是指信道矩阵P中每一行都是由同一[p1,p2,都是由同一[q1,q2,对称离散信道。

例如，信道矩阵

ps]集合的各元素的不同排列组成，并且每一列也

qr]集合的各元素的不同排列组成。

具有这种对称性信道矩阵的信道称为

⎡1

⎢3⎢P=⎢

⎢1⎢⎣6

是对称离散信道。

1316

1613

1⎤⎡1

⎢26⎥⎢⎥

1⎥和P=⎢⎢6

1⎥⎢⎥⎢13⎦⎢

31216

⎣3

1⎤6⎥⎥1⎥

3⎥⎥1⎥⎥2⎦

若输入符号和输出符号个数相同，都等于r，且信道矩阵为

⎡⎢p⎢⎢pP=⎢r1

pr1

pr1pr1⎥

⎥⎥

rH⎤⎦

现已知输出Y的符号集共有s个符号，则H≤logs。

只有当P=s等概率分布）

时，H才达到最大值logs。

一般情况下，不一定存在一种输入符号的概率分布P，能使输出符号达到等概率分布。

但对于对称离散信道，其信道矩阵中每一列都是由同一{q1,q2,…,qr}集的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即P=rY一定也是等概率分布，这时H=logs。

即

1⎫

P=∑P∑P=∑⎪

rXXY

⎪1

P=∑P∑P=∑⎪

⎬rXXY⎪⎪1

P=∑P∑P=∑⎪

rXXY⎭

由于信道矩阵的对称性，可推出

P=P=⋯=P

对于对称离散信道，当输入符号X达到等于等概率分布，则输出符号Y一定也达到等概率分布。

由此得对称离散信道的信道容量为

′′′

C=logs−H

例，强对称信道的信道矩阵是r×r阶矩阵，信道转移矩阵为。

根据式得强对称信道的信道容量为

C=logr−H

=logr++plogr−1=logr−log−H

式中p是总的错误传递概率，p̅是正确的传递概率。

准对称信道的信道容量

若信道矩阵Q的列可以划分为若干个互不相交的子集Bk,即B1∩B2∩…Bn=∅，B1∪B2∪…Bn=Y，由Bk为列组成的矩阵Qk是对称矩阵，则称信道矩阵Q所对应的信道为

准对称信道。

例如信道矩阵

⎡1⎢3P1=⎢

⎢1⎢⎣6

1]3

1313

16161⎤

⎡0、7

6⎥

⎥P2=⎢1⎥⎢

⎣0、2⎥3⎦

0、1⎤0、2

⎥⎥

0、1⎦0、7

都是准对称信道。

在信道矩阵P1中Y可以划分为三个子集，由子集的列组成矩阵为

[31

，

[61]，[1]。

它们满足对称性，所以P1所对应的信道为准对称信道。

同理P2可划

]和[]。

我们可以证明达到准对称离散信道信道容量的输入分布是等概分布准对称离散信道的信道容量为分为两个对称阵[

C=logr−H−∑NklogMk

k=1

其中r是输入符号集的个数，为准对称信道矩阵中的行元素。

设矩阵可划分成

n个互不相交的子集。

Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和。

例，设信道传输矩阵为

P=[

1−p−q

]

1−p−q

可表示成如图所示。

根据式可计算得

N1=1−q,N2=qM1=1−q,M2=2q

因此，信道容量为

C=plogp−log+log

图例的信道模型

离散无记忆扩展信道及其信道容量

前几节讨论了最简单的离散信道，即信道的输入和输出都只是单个随机变量的信道。

然而一般离散信道的输人和输出却是一系列时间离散的随机变量，即为随机序列。

在离散无记忆信道中，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。

设离散无记忆信道的输入符号集输入符号集A={a1,…,ar}，输出符号集B={b1,…,bs}，信道矩阵为。

则此无记忆信道的N次扩展信道的数学模型如图所示。

XNYN

β1=中，每一个随机变量Xi有r种可能的取值，所以随机矢量X的可能取值有rN个。

同理，随机矢量Y的可能取值有sN个。

根据信道无记忆的特性，可得対N次扩展信道的信道矩阵

⎡π11⎢π21⎢π=⎢⎢⎢⎣πrN1

π12

π22πr

⎥⎥πrNSN⎥⎦

π1S⎤π2S⎥⎥

图离散无记忆信道N次扩展信道的信道矩阵

式中πkℎ=P并满足

∑πkℎ=1=P

=∏P

i=1

例，求例中二元无记忆对称信道的二次扩展信道。

因为二次扩展信道的输入符号集为和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输人符号集为A2={00,01,10,11}。

输出符号集为B2={00,01,10,11}。

根据无记忆信道的特性，求得二次扩展信道的传递概率为

P=P=PP=p̅2P=P=PP=p̅p

P=P=PP=pp̅P=P=PP=p2同理求得其他传递概率πkℎ，最后得二次扩展信道π，即

π=p̅p

pp̅[p2

根据平均互信息的定义，可得无记忆信信道的N次扩展信道的平均互信息

I=H−H=H−H

p̅2

p̅pp̅2p2pp̅

pp̅

p2pp̅

p̅2p̅pp̅pp̅2]

=∑Plog

kNN

X,Y

若信源与信道都是无记忆的，可进一步化简为

I=∑I

i=1

若信道的输入序列X=中的随机变量Xi取自于同一信源符号集，并且有同一种概率分布，而且通过相同的信道传送到输出端，则有

I=I=⋯=I=I

因此，

I=NI此式说明当信源是无记忆时，无记忆的N次扩展信道的平均互信息等于原来的信道的平均互信息的N倍。

根据，可进一步推出离散无记忆信道的N次扩展信道的容量为

CN=max式说明离散无记忆的N次扩展信道的信道容量等于原符号离散信道的信道容量的N倍。

且只有当输入信源是无记忆的及每一输入变量Xi的分布各自达到最佳分布P时，才能达到这个信道容量NC。

独立并联信道及其信道容量

一般独立并联信道如图所示。

设有N个信道，它们的输入分别是X1,X2…,XN，它们的输出分别是Y1,Y2…,YN，它们的传递概率分别是P,P，…，P。

在这N个独立并联信道中，每一个信道的输出Yi只与本信道的输入Xi有关，与其他信道的输人、输出都无关。

那么，这N个信道的联合传递概率满足

图独立并联信道

P=PP…P相当于信道是无记忆时应满足的条件。

因此，当输入符号Xi相互独立时，输入和输出序列的互信息为

I=∑Ni=1I因此得独立并联信道的信道容量

C1,2,…,N=∑Ni=1maxpI=∑i=1Ci

当输入符号Xi相互独立，且输入符号Xi的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量等于子信道容量之和。

本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！

---------------本文为网络收集精选范文、公文、论文、和其他应用文档，如需本文，请下载--------------

展开阅读全文