信息论课件优质PPT.ppt
《信息论课件优质PPT.ppt》由会员分享，可在线阅读，更多相关《信息论课件优质PPT.ppt（103页珍藏版）》请在冰豆网上搜索。
根据输入端和输出端的关联：
单用户信道：
只有一个输入端和一个输出端。
多用户信道：
至少有一端有两个以上的用户，双向通信。
无反馈信道：
输出端信号对输入端信号无影响、无作用。
有反馈信道：
输出端信号会影响输入端信号变化。
根据输入输出随机变量个数的多少：
单符号信道：
输入和输出端都只用一个随机变量表示。
多符号信道：
输入和输出端用随机变量序列/随机矢量表示。
3.1.1信道分类信道分类第三章信道与信道容量7根据信道参数与时间的关系：
根据信道参数与时间的关系：
固定参数信道：
信道的统计特性不随时间变化而变化。
时变参数信道：
信道的统计特性随时间变化而变化。
根据信道输入和输出的关系：
离散信道：
输入、输出随机变量都取离散值。
连续信道：
输入、输出随机变量都取连续值。
半离散半连续信道：
输入变量取离散值而输出变量取连续值，或反之。
波形信道信道分类信道分类第三章信道与信道容量8根据信道上有无干扰关系：
根据信道上有无干扰关系：
根据信道上有无记忆关系：
无记忆信道：
输出仅与当前输入有关，而与过去输入无关的信道。
有记忆信道：
信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。
有干扰信道：
存在干扰或噪声或两者都有的信道。
实际信道一般都是有干扰信道。
无干扰信道：
不存在干扰或噪声，或干扰和噪声可忽略不计的信道。
计算机和外存设备之间的信道可看作是无干扰信道。
以下我们只研究无反馈、固定参数的单用户离散信道。
信道分类信道分类第三章信道与信道容量信息论与编码92210922109西北大学信息学院西北大学信息学院信道分类信道分类按输入输出信号之间的关系是否是确定关系:
输入/输出符号之间有确定的一一对应关系有干扰信道：
输入/输出之间关系是一种统计依存的关系输入/输出的统计关系：
离散无记忆信道：
用条件概率矩阵来描述。
离散有记忆信道：
可像有记忆信源中那样引入状态的概念。
第三章信道与信道容量信息论与编码102210922109西北大学信息学院西北大学信息学院无干扰无干扰（无噪声无噪声）信道信道无干扰（无噪声）信道信道的输出信号Y与输入信号X之间有确定的关系Y=f（X）,已知X后就确知Y转移概率:
）f（）f（pXYXYXY,0,1）|（第三章信道与信道容量信息论与编码112210922109西北大学信息学院西北大学信息学院有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:
）|（）|（）|（）|（2211LLxypxypxyppXY有干扰无记忆信道可分为:
二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道第三章信道与信道容量信息论与编码122210922109西北大学信息学院西北大学信息学院有干扰有记忆信道一般情况都是如此，例如实际得数字信道中，当信道特性不理想，存在码间干扰时，输入信号不但与当前得输入信号有关，还和以前的输入信号有关。
第三章信道与信道容量13单符号离散信道的数学模型设输入Xa1an输出Yb1bm信道转移概率/信道传递概率：
条件概率p（bj/ai）。
其信道模型如图所示。
1122（|）jirsababPbaab禳镲镲睚镲镲铪MM3.1.23.1.2信道参数信道参数第三章信道与信道容量14P=a1a2anb1p（b1/a1）p（b1/a2）p（b1/an）b2p（b2/a1）p（b2/a2）p（b2/an）bmp（bm/a1）p（bm/a2）p（bm/an）件率条概p（bj/ai）表示成矩形式：
阵第三章信道与信道容量15例1二元对称信道（BSC）X=0,1;
Y=0,1;
p（0/0）=p（1/1）=1-p;
p（0/1）=p（1/0）=p;
010111Ppppp=-轾犏-臌01-p0pp11-p1第三章信道与信道容量16例2二元删除信道（BEC）X=0,1；
Y=0,2,1。
0p01-q1-p1q12021010101Pppqq=-轾犏-臌第三章信道与信道容量17由此可见，一般单符号离散信道的传递概率可以用矩阵表示由此可见，一般单符号离散信道的传递概率可以用矩阵表示:
111212122212.ssrrrsppppppPppp轾犏犏=犏犏犏臌1211121121222212.sssrrrsrbbbpppaPpppapppa轾犏=犏犏犏犏臌LMMMM（/）jiijPbap=第三章信道与信道容量西北大学信息学院1822109221093.2平均互信息平均互信息设有两个随机事件X和Y,X取值于信源发出的离散消息集合,Y取值于信宿收到的离散符号集合有扰信道干扰源信源X信宿Y）（）（）（2121nnxpxpxpxxxPX）（）（）（2121mmypypypyyyPY第三章信道与信道容量西北大学信息学院192210922109互信息互信息如果信道是如果信道是无噪无噪的的,当信源发出消息当信源发出消息xi后后,信宿必能准信宿必能准确无误地收到该消息确无误地收到该消息,彻底消除对彻底消除对xi的不确定度的不确定度,所获所获得的信息量就是得的信息量就是xi的不确定度的不确定度I（xi）,即即xi本身含有的本身含有的全部信息。
全部信息。
一般而言一般而言,信道中总是存在着噪声和干扰信道中总是存在着噪声和干扰,信源发出消信源发出消息息xi,通过信道后信宿只可能收到由于干扰作用引起的通过信道后信宿只可能收到由于干扰作用引起的某种变型某种变型yj。
信宿收到信宿收到yj后推测信源发出后推测信源发出xi的概率的概率p（xi|yj）称为称为后验概率后验概率。
信源发出消息信源发出消息xi的概率的概率p（xi）称为称为先验概率先验概率。
第三章信道与信道容量西北大学信息学院202210922109互信息互信息互信息定义为xi的后验概率与先验概率比值的对数）（）|（log）;
（2ijijixpyxpyxI互信息I（xi;
yj）表示接收到某消息yj后获得的关于事件xi的信息量。
）（）|（log）（）（）（log）（）|（log）;
（jijjijiijijiypxypypxpyxpxpyxpyxI）|（）（）|（）（）;
（ijjjiijixyIyIyxIxIyxI第三章信道与信道容量互信息量的三种不同表达式互信息量的三种不同表达式观察者站在输出端观察者站在输出端自信息量：
自信息量：
对yj一无所知的情况下xi存在的不确定度；
条件自信息量：
已知yj的条件下xi仍然存在的不确定度；
互信息量：
两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。
观察者站在输入端观察者站在输入端观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。
）/（）（loglog）;
（）/（12）（12jiiyxpxpjiyxIxIyxIjii）/（）（loglog）;
（）/（12）（12ijjxypypijxyIyIxyIijj信息论与信息论与编码编码第二章信源与信源熵观察者站在通信系统总体立场上观察者站在通信系统总体立场上通信前：
输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：
p（xiyj）=p（xi）p（yj）先验不确定度通信后：
输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度：
p（xiyj）=p（xi）p（yj/xi）=p（yj）p（xi/yj）后验不确定度通信后的互信息量，等于前后不确定度的差这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。
）（）（12log）（jiypxpjiyxI）（12log）（jiyxpjiyxI）（）（）（）（）（loglog）;
（）（12）（）（12jijijijiyxpypxpjiyxIyIxIyxIyxIyxIjiji第三章信道与信道容量互信息的性质互信息的性质对称性对称性相互独立时的相互独立时的X和和Y互信息量可为正值或负值互信息量可为正值或负值第三章信道与信道容量对称性对称性I（xi;
yj）=I（yj;
xi）互信息量的对称性表明：
互信息量的对称性表明：
两个随机事件的可能结果xi和yj之间的统计约束程度；
从yj得到的关于xi的信息量I（xi;
yj）与从xi得到的关于yj的信息量I（yj;
xi）是一样的，只是观察的角度不同而已。
第三章信道与信道容量相互独立时的相互独立时的X和和Y这时这时p（xiyj）=p（xi）p（yj）互信息量为互信息量为表明表明xi和和yj之间不存在统计约束关系，从之间不存在统计约束关系，从yj得不到关于的得不到关于的xi任何信息，反之亦然。
任何信息，反之亦然。
）,2,1,2,1（0loglog）;
（）（12）（）（12mjniyxIjijiyxpypxpji第三章信道与信道容量互信息量可为正值或负值互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。
当后验概率大于先验概率时，互信息量为正。
当后验概率小于先验概率时，互信息量为负。
说明收信者未收到yj以前，对消息xi的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息yj后对xi是否出现的猜测的难疑程度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值。
当后验概率与先验概率相等时，互信息量为零。
这就是两个随机事件相互独立的情况。
第三章信道与信道容量西北大学信息学院272210922109例3某地二月份天气构成的信源为：
8/18/14/12/1）（雪雨阴晴xpXbitxIxIbitxIbitxI3）（）（,2）（,121log）（43221若得知“今天不是晴天”,把这句话作为收到的消息y1当收到y1后,各种天气发生的概率变成后验概率了p（x1|y1）=0,p（x2|y1）=1/2,p（x3|y1）=1/4,p
升级会员 