信息论讲义第三章3.docx
《信息论讲义第三章3.docx》由会员分享,可在线阅读,更多相关《信息论讲义第三章3.docx(17页珍藏版)》请在冰豆网上搜索。
信息论讲义第三章3
第三章信道与信道容量
主要内容:
(1)信道的分类和表示参数;
(2)离散单个符号信道及其容量;(3)离散序列信道及其容量;(4)连续信道及其容量。
重点:
离散单个符号信道及其容量。
难点:
连续信道及其容量。
说明:
信道是构成信息流通系统的重要部分,其任务是以信号形式传输和存储信息。
在物理信道一定的情况下,人们总是希望传输的信息越多越好。
这不仅与物理信道本身的特性有关,还与载荷信息的信号形式和信源输出信号的统计特性有关。
本章主要讨论在什么条件下,通过信道的信息量最大,即所谓的信道容量问题。
本章概念和定理也较多,较为抽象,课堂教学时考虑多讲述一些例题,着重阐明定理和公式的物理意义,对较为繁琐的推倒过程做了部分省略。
作业:
3.1,3.2。
课时分配:
4课时。
板书及讲解要点:
本章首先讨论信道的分类及表示信道的参数,然后讨论各种信道的容量和计算方法。
3.1信道的分类和表示参数
信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系,只有统计依赖的关系。
因此可以通过研究分析输入输出信号的统计特性来研究信道。
首先来看下一般信道的数学模型,这里我们采用了一种“黑箱”法来操作。
通信系统模型,在信道编码器和信道解码器之间相隔着许多其他部件,如调制解调、放大、滤波、均衡等器件,以及各种物理信道。
信道遭受各类噪声的干扰,使有用信息遭受损伤。
从信道编码的角度,我们对信号在信道中具体如何传输的物理过程并不感兴趣,而仅对传输的结果感兴趣:
送人什么信号,得到什么信号,如何从得到的信号中恢复出送入的信号,差错概率是多少。
故将中间部分全部用信道来抽象。
可得到下图表示的一般信道模型。
3.1.1信道的分类
(1)根据输入输出随机信号的特点分类
离散信道:
输入、输出随机变量都取离散值。
连续信道:
输入、输出随机变量都取连续值。
半离散/半连续信道:
输入变量取离散值而输出变量取连续值,或反之。
(2)据输入输出随机变量个数的多少分类
单符号信道:
输入和输出端都只用一个随机变量来表示。
多符号信道:
输入和输出端用随机变量序列/随机矢量来表示。
(3)根据输入输出个数分类
单用户信道:
只有一个输入和输出的信道。
多用户信道:
有多个输入和输出的信道。
(4)根据信道上有无干扰分类
有干扰信道
无干扰信道
(5)根据信道有无记忆特性分类
有记忆信道,
无记忆信道。
(6)根据输入和输出之间有无反馈
有反馈信道
无反馈信道。
实际信道的带宽总是有限的,所以输入和输出信号总可以分解成随机序列来研究。
一个实际信道可同时具有多种属性。
最简单的信道是单符号离散信道。
3.1.2信道参数
分四部分来讲述。
1.二进制离散信道模型
二进制离散信道模型由一个允许输入值的集合X={0,1}和可能输出值的集合Y={0,1},以及一组表示输入、输出关系的条件概率(转移概率)组成。
最简单的二进制离散信道是二进制对称信道(binarysymmetricchannel,BSC)。
如图3-2所示。
它是一种无记忆信道。
转移概率为:
图3-2二进制对称信道
2.离散无记忆信道
假设信道编码器的输入是n元符号,即输入符号集由n个元素X={x1,x2,…,xn}构成,而检测器的输出是m元符号即信道输出符号集由m个元素Y={y1,y2,…,ym}构成,且信道和调制过程是无记忆的,那么信道模型黑箱的输入一输出特性可以用一组共nm个条件概率来描述
。
式中,i=1,2,…,n;j=1,2,…,m,;这样的信道称为离散无记忆信道(DMC)。
信道转移概率矩阵
定义由nm个
构成的矩阵为P矩阵(信道矩阵),如下:
式中:
。
无扰离散信道
如果信道转移概率矩阵的每一行中只包含一个“1”,其余元素均为“0”,说明信道无干扰,叫无扰离散信道。
有扰离散信道
在信道输入为xi的条件下,由于干扰的存在,信道输出不是一个固定值而是概率各异的一组值,这种信道就叫有扰离散信道。
3.离散输入连续输出信道
假设信道输入符号选自一个有限的、离散的输入字符集X={x1,x2,…,xn},而信道输出未经量化(m-)∞),这时的译码器输出可以是实轴上的任意值,即y={-∞,∞}。
这样的信道模型为离散时间无记忆信道。
这类信道中最重要的一种是加性高斯白噪声(AWGN)信道,对它而言Y=X+G,式中G是一个零均值、方差为
的高斯随机变量,X=xi,i=1,2,…,n。
当X给定后,Y是一个均值为xi、方差
为的高斯随机变量。
4.波形信道
波形信道是这样一种信道模型:
其输入是模拟波形,其输出也是模拟波形。
假设输入该信道的是带限信号x(t),相应的输出是y(t),那么
y(t)=x(t)+n(t)
这里n(t)代表加性噪声过程的一个样本函数。
说明:
a.设计和分析离散信道编、解码器的性能,从工程角度出发,最常用的是DMC信道模型或其简化形式BSC信道模型;
b.若分析性能的理论极限,则多选用离散输入、连续输出信道模型;
c.如果我们是想要设计和分析数字调制器和解调器的性能,则可采用波形信道模型。
本书的主题是编、解码,因此主要使用DMC信道模型。
3.2离散单个符号信道及其容量
信道模型:
见3-1图,图中,输入X∈{x1,x2,…,xi,…,xn},输出Y∈{y1,y2,…,yj,…,ym}。
如果信源熵为H(X),希望在信道输出端接收的信息量就是H(X),由于干扰的存在,一般只能接收到I(X;Y)。
信道的信息传输率:
就是平均互信息R=I(X;Y)。
输出端Y往往只能获得关于输入X的部分信息,这是由于平均互信息性质决定的:
I(X;Y)≤H(X)。
I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数,当信道特性p(yj/xi)固定后,I(X;Y)随信源概率分布p(xi)的变化而变化。
调整p(xi),在接收端就能获得不同的信息量。
由平均互信息的性质已知,I(X;Y)是p(xi)的上凸函数,因此总能找到一种概率分布p(xi)(即某一种信源),使信道所能传送的信息率为最大。
信道容量C:
在信道中最大的信息传输速率,单位是比特/信道符号
单位时间的信道容量Ct:
若信道平均传输一个符号需要t秒钟,则单位时间的信道容量为:
3.2.1无干扰离散信道
介绍三种信道:
1.具有一一对应关系的无噪信道
对应的信道矩阵是:
因为信道矩阵中所有元素均是“1”或“0”,X和Y有确定的对应关系:
已知X后Y没有不确定性,噪声熵H(Y/X)=0;
反之,收到Y后,X也不存在不确定性,信道疑义度H(X/Y)=0;
故有I(X;Y)=H(X)=H(Y)。
当信源呈等概率分布时,具有一一对应确定关系的无噪信道达到信道容量:
2.具有扩展性能的无噪信道
虽然信道矩阵中的元素不全是“1”或“0”,但由于每列中只有一个非零元素:
已知Y后,X不再有任何不确定度,信道疑义度H(X/Y)=0,
I(X;Y)=H(X)-H(X/Y)=H(X)。
例如,输出端收到y2后可以确定输入端发送的是x1,收到y7后可以确定输入端发送的是x3,等等。
信道容量为:
与一一对应信道不同的是,此时输入端符号熵小于输出端符号熵,H(X)3.具有归并性能的无噪信道
信道矩阵中的元素非“0”即“1”,每行仅有一个非零元素,但每列的非零元素个数大于1:
已知某一个xi后,对应的yj完全确定,信道噪声熵H(Y/X)=0。
但是收到某一个yj后,对应的xi不完全确定,信道疑义度H(X/Y)≠0。
信道容量为:
结论:
无噪信道的信道容量C只决定于信道的输入符号数n,或输出符号数m,与信源无关。
3.2.2对称DMC信道
如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称的;如果转移概率矩阵的每一列都是第一列的置换(包含同样元素),称该矩阵是输出对称的;如果输入、输出都对称,则称该DMC为对称的DMC信道。
对应对称的DMC信道,当输入呈等概分布时,信道到达信道容量,为:
其中第二项为矩阵任一行元素的信息熵。
例题3-1:
已知P矩阵,求C。
解:
二进制信道的C值:
3.2.3准对称DMC信道
如果注意概率矩阵P是输入对称而输出不对称,则称为准对称DMC信道。
例如:
它的信道容量求解较为复杂。
3.2.4一般DMC信道
为使I(X;Y)最大化以便求取DMC容量,输入概率集{p(xi)}必须满足的充分和必要条件是:
I(xi;Y)=C,对于所有满足p(xi)>0条件的i
I(xi;Y)≤C,对于所有满足p(xi)=0条件的i
即是每个概率非零的输入符号对Y提供相同的平均互信息。
3.3离散序列信道及其容量
定义:
多符号离散信源X=X1X2…XL在L个不同时刻分别通过单符号离散信道{XP(Y/X)Y},则在输出端出现相应的随机序列Y=Y1Y2…YL,这样形成一个新的信道称为离散序列信道。
由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次,所以也称为单符号离散信道{XP(Y/X)Y}的L次扩展。
离散序列信道模型
如下图所示,设信源矢量X的每一个随机变量Xl(l=1,2,…,L)均取自并取遍于信道的输入符号集{a1,a2,…,an},则信源共有nL个不同的元素ai(i=1,2,…,nL)。
则输出矢量Y由L个符号组成的输出序列Y=Y1Y2…YL,它的每一个随机变量Yl均取自并取遍于信道的输出符号集{b1,b2,…,bm}。
对于无记忆离散序列信道,其信道转移概率为:
平均互信息I(X;Y)=H(Y)-H(Y/X)
例题3-7,p55,BSC二次扩展信道
由题图可知其转移概率:
对应的转移概率矩阵:
是一个对称DMC信道,当输入序列等概分布时,容量为:
3.4连续信道及其容量
3.4.1连续单符号加性信道
输入和输出随机变量都取值于连续集合的信道。
其传递特性用条件转移概率密度函数p(y/x)表示,用{Xp(y/x)Y}表示信道数学模型。
连续随机变量之间的平均互信息满足非负性,并可以证明,它是信源概率密度函数p(y/x)的上凸函数。
连续信道的信道容量C:
信源X等于某一概率密度函数p0(x)时,信道平均互信息的最大值,即
。
一般连续信道的容量并不容易计算,当信道为加性信道时,情况要简单一些。
下图为连续加性信道模型:
噪声为连续随机变量N,且与X相互统计独立的信道。
这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加,即Y=X+N。
加性连续信道的条件熵等于其噪声熵,说明Hc(Y/X)=Hc(N)。
加性连续信道的信道容量:
加性噪声N和信源X相互统计独立,X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变,所以加性信道的容量C就是选择p(x),使输出熵Hc(Y)达到最大值,即:
。
高斯加性信道的容量:
高斯噪声为N,均值为0,方差为σ2,噪声功率为P;概率密度函数为pn(N)=N(0,σ2),噪声的连续熵为
。
所以,高斯加性连续信道的容量等于:
根据最大连续熵定理,要使Hc(Y)达到最大,Y必须是一个均值为0、方差为σ2Y=P的高斯随机变量。
若限定输入平均功率S,噪声平均功率PN=σ2,对高斯加性信道,输出Y的功率P也限定了,P=S+PN,因为pY(y)=N(0,P),pn(N)=N(0,σ2),所以有:
px(x)=N(0,S),即输入X满足正态分布时,Hc(Y)达到最大值,达到信道容量。
实际系统中噪声不是高斯型的,但若为加性的,如果均值为0,平均功率为
,则信道容量存在下面的上下界:
实际非高斯噪声信道的容量要大于高斯噪声信道的容量,所以在处理实际问题时,通过计算高斯噪声信道容量来保守地估计容量。
3.4.2多维无记忆加性连续信道
多维无记忆加性连续信道等价于L个独立并联加性信道。
对上式进行讨论:
(1)当每个单元时刻的高斯噪声都是同分布时,即:
则有信道容量
。
当且仅当输入矢量X各分量统计独立,且各分量都服从
时,信息传输率达到最大。
(2)当每个单元时刻的高斯噪声均值为零,但是方差不同且为
时,若输入信
号的总平均功率受限,约束条件为:
则此时各单元时刻的信号平均功率应该合理分配,才能使得信道容量最大。
从而转换为求极大值得问题。
可用注水法来求解。
有以下结论:
a)在噪声平均功率过于大,甚至超过输出平均功率时,可以不给于功率,即不发送信号;
b)在噪声平均功率较大,但还没有超过输出平均功率时,我们可以少给点输入平均功率;
c)在噪声平均功率较小的时间里,我们可以多给点输入平均功率。
这一结论符合客观规律和人们的习惯概念:
例如,当人们说话的总的平均功率受限制时,总是把仅有的说话功率用在风小的时候。
在风比较大的时候,就少花点力气。
在风大到对方已经无法听到你说话声音时,干脆就暂停说话。
等风小一点,或基本上没有风时,才提高嗓音使劲地大声喊叫。
把仅有的一点功率,分配到噪声小的时候使用,增加所能传递的信息量,提高通信的效率。
3.4.3限时限频限功率的加性高斯白噪声信道
波形信道中,限时tB,限频fm条件下可根据采样定理,将输入随机过程{x(t)},输出随机过程{y(t)}转化为多维随机序列,进而求其信道容量。
设信道的频带限于(-W,W);根据采样定理,如果每秒传送2W个采样点,在接收端可无失真地恢复出原始信号;把信道的一次传输看成是一次采样,由于信道每秒传输2W个样点,所以单位时间的信道容量为:
Ps是信号的平均功率,PN是噪声的平均功率。
对高斯白噪加性信道,PN=1/2*N0*2W=N0W,N0/2是噪声的双边功率谱密度。
说明:
1.信道容量仅与信噪比和带宽有关系。
2.表明了在噪声信道中可靠通信,信息传输速率的上限值。
3.实际信道一般为非高斯噪声波形信道,其噪声熵小于高斯噪声熵,故信道容量以上式为下限值。
4.W一定时,Ct与信噪比SNR成对数关系,如下图所示。
提高信号功率或者降低噪声功率,有助于提高容量。
5.当信道容量一定时,增大信道带宽,可以降低对信噪功率比的要求(如扩频通讯);反之,当信道频带较窄时,可以通过提高信噪功率比来补偿。
6.当信道频带无限时,其信道容量与信号功率成正比。
表明即使带宽无限,信道容量仍然时有限的。
香农限
频带利用率Ct/W(单位频带的信息传输率)(bps/Hz)
当Ct/W=1bps/Hz时,SNR=1(0dB);
当Ct/W逼近零时,SNR=-1.6dB,此时信道将逼近香农限。
例题3-9:
电话信道带宽是3.3kHz,若信噪比为20dB,即SNR=100,运用香农公式可求初该信道的信道容量为Ct=Wlog(1+SNR)=22kbps,实际信道考虑到串音、回波等干扰因素,最大到达的信道传输率为19.2kbps,比理论计算值要小。
频带利用率与信噪比的关系