信息论课件优质PPT.ppt

1、根据输入端和输出端的关联：单用户信道：只有一个输入端和一个输出端。多用户信道：至少有一端有两个以上的用户，双向通信。无反馈信道：输出端信号对输入端信号无影响、无作用。有反馈信道：输出端信号会影响输入端信号变化。根据输入输出随机变量个数的多少：单符号信道：输入和输出端都只用一个随机变量表示。多符号信道：输入和输出端用随机变量序列/随机矢量表示。3.1.1信道分类信道分类第三章 信道与信道容量7根据信道参数与时间的关系：根据信道参数与时间的关系：固定参数信道：信道的统计特性不随时间变化而变化。时变参数信道：信道的统计特性随时间变化而变化。根据信道输入和输出的关系：离散信道：输入、输出随机变量都取离

2、散值。连续信道：输入、输出随机变量都取连续值。半离散半连续信道：输入变量取离散值而输出变量取连续值，或反之。波形信道信道分类信道分类第三章 信道与信道容量8根据信道上有无干扰关系：根据信道上有无干扰关系：根据信道上有无记忆关系：无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。以下我们只研究无反馈、固定参数的单用户离散信道。信道分类信道分

3、类第三章 信道与信道容量信息论与编码92210922109 西北大学信息学院 西北大学信息学院信道分类信道分类 按输入输出信号之间的关系是否是确定关系:输入/输出符号之间有确定的一一对应关系有干扰信道：输入/输出之间关系是一种统计依存的关系 输入/输出的统计关系：离散无记忆信道：用条件概率矩阵来描述。离散有记忆信道：可像有记忆信源中那样引入状态的概念。第三章 信道与信道容量信息论与编码102210922109 西北大学信息学院 西北大学信息学院无干扰无干扰（无噪声无噪声）信道信道无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的关系 Y=f（X）,已知 X 后就确知 Y 转

4、移概率:）f（）f（pXYXYXY,0,1）|（第三章 信道与信道容量信息论与编码112210922109 西北大学信息学院 西北大学信息学院有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定的关系,但转移概率满足:）|（）|（）|（）|（2211LLxypxypxyppXY有干扰无记忆信道可分为:二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道第三章 信道与信道容量信息论与编码122210922109 西北大学信息学院 西北大学信息学院有干扰有记忆信道 一般情况都是如此，例如实际得数字信道中，当信道特性不理想，存在码间干扰时，输入信号不但与当前得输入信号有关，

5、还和以前的输入信号有关。第三章 信道与信道容量13单符号离散信道的数学模型 设输入Xa1 an 输出 Yb1 bm 信道转移概率/信道传递概率：条件概率p（bj /ai）。其信道模型如图所示。1122（|）jirsababP baab禳镲镲睚镲镲铪MM3.1.2 3.1.2 信道参数信道参数第三章 信道与信道容量14P=a1a2anb1p（b1/a1）p（b1/a2）p（b1/an）b2p（b2/a1）p（b2/a2）p（b2/an）bmp（bm/a1）p（bm/a2）p（bm/an）件率条概p（bj/ai）表示成矩形式：阵第三章 信道与信道容量15 例 1 二元对称信道（BSC）X=0,1;

6、Y=0,1;p（0/0）=p（1/1）=1-p;p（0/1）=p（1/0）=p;010 111Ppppp=-轾犏-臌 0 1-p 0 pp 1 1-p 1第三章 信道与信道容量16 例 2 二元删除信道（BEC）X=0,1；Y=0,2,1。0 p 0 1-q1-p1 q 120210101 01Pppqq=-轾犏-臌第三章 信道与信道容量17由此可见，一般单符号离散信道的传递概率可以用矩阵表示由此可见，一般单符号离散信道的传递概率可以用矩阵表示:111212122212.ssrrrsppppppPppp轾犏犏=犏犏犏臌1211121121222212.sssrrrsrbbbpppaPpppap

7、ppa轾犏=犏犏犏犏臌LMMMM（/）jiijP bap=第三章 信道与信道容量西北大学信息学院1822109221093.2平均互信息平均互信息设有两个随机事件 X 和 Y,X 取值于信源发出的离散消息集合,Y 取值于信宿收到的离散符号集合有扰信道干扰源信源 X信宿 Y）（）（）（2121nnxpxpxpxxxPX）（）（）（2121mmypypypyyyPY第三章 信道与信道容量西北大学信息学院192210922109互信息互信息 如果信道是如果信道是无噪无噪的的,当信源发出消息当信源发出消息 xi后后,信宿必能准信宿必能准确无误地收到该消息确无误地收到该消息,彻底消除对彻底消除对 xi的

8、不确定度的不确定度,所获所获得的信息量就是得的信息量就是 xi的不确定度的不确定度 I（xi）,即即 xi本身含有的本身含有的全部信息。全部信息。一般而言一般而言,信道中总是存在着噪声和干扰信道中总是存在着噪声和干扰,信源发出消信源发出消息息 xi,通过信道后信宿只可能收到由于干扰作用引起的通过信道后信宿只可能收到由于干扰作用引起的某种变型某种变型 yj。信宿收到信宿收到 yj 后推测信源发出后推测信源发出 xi的概率的概率 p（xi|yj）称为称为后验概率后验概率。信源发出消息信源发出消息 xi的概率的概率 p（xi）称为称为先验概率先验概率。第三章 信道与信道容量西北大学信息学院20221

9、0922109互信息互信息互信息 定义为 xi的后验概率与先验概率比值的对数）（）|（log）;（2ijijixpyxpyxI 互信息 I（xi;yj）表示接收到某消息 yj后获得的关于事件 xi的信息量。）（）|（log）（）（）（log）（）|（log）;（jijjijiijijiypxypypxpyxpxpyxpyxI）|（）（）|（）（）;（ijjjiijixyIyIyxIxIyxI第三章 信道与信道容量 互信息量的三种不同表达式互信息量的三种不同表达式 观察者站在输出端观察者站在输出端 自信息量：自信息量：对 yj一无所知的情况下 xi存在的不确定度；条件自信息量：已知 yj 的条件

10、下 xi 仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。观察者站在输入端观察者站在输入端观察者得知输入端发出 xi前、后对输出端出现 yj的不确定度的差。）/（）（loglog）;（）/（12）（12jiiyxpxpjiyxIxIyxIjii）/（）（loglog）;（）/（12）（12ijjxypypijxyIyIxyIijj信息论与信息论与编码编码第二章信源与信源熵 观察者站在通信系统总体立场上观察者站在通信系统总体立场上 通信前：输入随机变量 X 和输出随机变量 Y 之间没有任何关联关系，即 X，Y 统计独立：p（xi yj）=p（

11、xi）p（yj）先验不确定度 通信后：输入随机变量 X 和输出随机变量 Y 之间由信道的统计特性相联系，其联合概率密度：p（xi yj）=p（xi）p（yj/xi）=p（yj）p（xi/yj）后验不确定度 通信后的互信息量，等于前后不确定度的差 这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。）（）（12log）（jiypxpjiyxI）（12 log）（jiyxpjiyxI）（）（）（）（）（loglog）;（）（12）（）（12jijijijiyxpypxpjiyxIyIxIyxIyxIyxIjiji第三章 信道与信道容量互信息的性质互信息的性质对称性对称性

12、相互独立时的相互独立时的 X 和和 Y互信息量可为正值或负值互信息量可为正值或负值第三章 信道与信道容量 对称性对称性I（xi;yj）=I（yj;xi）互信息量的对称性表明：互信息量的对称性表明：两个随机事件的可能结果 xi和 yj之间的统计约束程度；从 yj得到的关于 xi的信息量 I（xi;yj）与从 xi得到的关于 yj的信息量 I（yj;xi）是一样的，只是观察的角度不同而已。第三章 信道与信道容量 相互独立时的相互独立时的X和和Y 这时 这时 p（xi yj）=p（xi）p（yj）互信息量为互信息量为 表明表明 xi和和 yj之间不存在统计约束关系，从之间不存在统计约束关系，从 yj

13、得不到关于的得不到关于的xi任何信息，反之亦然。任何信息，反之亦然。）,2,1,2,1（0loglog）;（）（12）（）（12mjniyxIjijiyxpypxpji第三章 信道与信道容量 互信息量可为正值或负值互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。说明收信者未收到 yj以前，对消息 xi的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息 yj后对 xi是否出现的猜测的难疑程度增加了，也就是收信者接收到消息 yj后对 xi出现的不确定性反而增加，所以获得的信息量为负值。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。第三章 信道与信道容量西北大学信息学院272210922109例 3某地二月份天气 构成的信源为：8/18/14/12/1）（雪雨阴晴xpXbitxIxIbitxIbitxI3）（）（,2）（,121log）（43221 若得知“今天不是晴天”,把这句话作为收到的消息 y1 当收到 y1后,各种天气发生的概率变成后验概率了 p（x1|y1）=0,p（x2|y1）=1/2,p（x3|y1）=1/4,p