信息论期末总结.docx

1、信息论期末总结信息论期末总结消息中包含信息,消息是信息的载体.信息：信息是对事物运动状态或存在方式的不确定性的描述.通信的过程就是消除不确定性的过程.信息与概率的关系：事件发生的概率越大,该事件包含的信息量越小；如果一个事件发生的概率为 1,那么它包含 的信息量为0;两个相互独立事件所提供的信息量应等于 它们各自提供的信息量之和.1某个消息的不确定性(含有的信息里,可以)表示为：q信源的平均不确定性:.(x)l09 p(xi)信源发出的消息的统计特性?离散信源、连续信源、波形信源?有记忆信源和无记忆信源?平稳信源和非平稳信源编码器的功能：将消息变成适合信道传输的信号编码器包括：1信源编码器2信

2、道编码器3调制器信源编码器：去除信源消息中的冗余度,提高传输的有效性信道编码器：将信源编码后的符号加上冗余 符号,提升传输的可靠性.调制器：功能：将信道编码后的符号变成适合信道传输的信号目的：提升传输效率信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道有记忆信道和无记忆信道恒参信道平稳信道和随参信道非平稳信道 单用户信道和多用户信道信道传输信息的最高速率：信道容量译码器的功能：从接收到的信号中恢复消广/d、o包括：(1)解调器(2)信道译码器(3)信源译 码器提升有效性：(数据压缩)信源编码：无失真信源编码和限失真信源编码 提升可靠性：(可靠传输)信道编码香农第一定理： 如果编

3、码后的信源序列的 编码信息率不小于信源的燧,那么一定存在 一种无失真信源编码方法；否那么,不存在这 样的一种无失真信源编码方法.香农第二定理：如果信道的信息传输 率小于信道容量,那么总可以找到一种编码 方式,使得当编码序列足够长时传输过失任 意小；否那么,不存在使过失任意小的信道编 码方式.香农第三定理D： 0对而任意的失真 度d D ,只要码字足够长,那么总可以找 到一种编码方法,使编码后的编码信息 率,而码的平均失真度.公理性条件：(1)如果 p(x1) I(x2), I(xi )是 p(xi)的单调递减函数； 如果 p(xi)=0,那么 I (xi ) - 00 ；如果 p(xi)=1,

4、 那么 I(xi ) =0 ;(3)由两个相对独立的事件所提供的信息 量,应等于它们分别提供的信息量之和： I(xiyj)=I(xi )+I(yj) 自信息可以从两个方面来理解：自信息是事件发生前,事件发生的不确定性.自信息表示事件发生后,事件所包含的信息量.先验概率：信源发出潸鱼 的概率 . 后验概率：信宿收到消息x 后推测信瘴爰 出 的概率,即条件概率.I(xyj) I (xi) I(xjyj)10gp(x) 10gp(x|yj)(i 1,2, ,n ; j 1,2, ,m)10gg2 p(X)互信息有两方面的含义：?表示事件由现前后关手事件的不确定性减少的量；?事件由现以后信宿获彳急的关

5、于事件的信息量.观察者站在输出端I(xi;yj)=logp(xi |yj) -logp(xi)=I (xi)T(xi|yj)?观察者站在输入端I(yj； xi)=logp(yj | xi) 4ogp(yj)=I (yj)一I(yj I xi)当后验概率大于先验概率时,互信息为正 当后验概率小于先验概率时,互信息为负.当后验概率与先验概率相等时,互信息为零.任何两个事件之间的互信息不可能大于其中任一事件的自信息例6:居住某地区的女孩中有25%是大学生, 在女大学生中有75%是身高1.6m以上的, 而女孩中身高1.6m以上的占总数一半.假 如我们得知 身高1.6m以上的某女孩是大学生的消息,问获得

6、多少信息量?此消息在二进制对称信道上传输,信道传输特性为求互信寞里1abb和 .自信息是一个随机变量：自信息是指信源发 出的某一消息所含有的信息量.不同的消 息,它们所含有的信息量也就不同 平热碗舄儒踞oJ卿商/香农嫡/无条件 嫡/嫡函数/嫡)例2: 一信源有6种输出符号,概率分 别为 P(A)=O.5, P(B)=0.25, P(C)=0.125, P(D)=P(E)=0.05,P(F)=0.025o1)计算 H(X)O2)求符号序列ABABBA和FDDFDF的信 息量,并将之与6位符号的信息量期望值相 比拟.递增性h速推性Pn),qi,q2,L ,qm)qi q2, qm、H (Pi, P

7、2,L , Pn) PnH (, L ,)Pn Pn Pn nm其中：Pi 1, qj Pn i 1j 1例4 :利用递推性计算嫡函数H(1/3, 1/3,1/6, 1/6)的值极值性(最大离散嫡定理)冷理：离散无记忆信裾辄用lognn个不同的信息i n符号,当且仅当各个符号出现概率相等时(即),嫡最大,即定义2.4随机变量 X和Y的联合分布为 p(xiyj),那么这两个随机变量的联合嫡定义为： n mH (XY)p(Xiyj)10g p(Xiyj)i 1 j 1联合嫡表示对于二维随机变量的平均不确定 性.定义2.5随机变量X和Y的条件嫡定义为：H (X |Y)p(xyj)10gp(Xi |y

8、j)H (Y |X)p(Xjyj)10g p(yj |为)i j条件燧表示一个随机变量时,对另一个随 机变量的平均不确定性.例6: 联合概率分布如下,求：H(XY), H(X), H(Y), H(Y|X), H(X|Y).%y2 y3y?X10.25000x20.100.30000.25X300.050.1000.40X4000.050.100.15X5000.0500.150.050.35 0.35 0.20 0.10各种嫡之间的关系? H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)? H(X|Y) H(X), H(Y|X) H(Y)? H(XY) H(X)+H(Y)假设X与Y统

9、计独立,那么H(XY)=H(X)+H(Y)I (XY)土牛(X信息的概念H(Y) H(Y|X)H(X) H (Y) H(XY)平均互信息和各类嫡的关系I(X;Y)= H(X)-H(X|Y)= H(Y) H (Y|X)= H(X)+H (Y) H(XY)X, Y互相独立时定义2:随机变量序列中,对前N个随机变量 的联合燧求平均称为平均符号燧1Hn(X)1H (X1X2LXN)N如果当N1mH牌工式极限存在,那么被称为燧率,或极限燧,记为H Nm Hn(X)离散平稳无记忆信源的N次扩展信源的嫡等于离散单符号信源嫡的N倍：H(X) H(Xn) NH (X)1H3H(X1X2) H (X)对于马氏链

10、符号间相关性越大,嫡越小 嫡的相对H率信道的数学模型为X, P(Y|X),Y二元对称信道输入符号集A=0,1,输出符号集8=0,1, r = s= 2.传递概率: p(0|0)p p(0|1) pp p p p pp(1|0) pp(1|1) p二元删除信道输入符号集A=0,1,符号输出集8=0,?,1, r=2, s=3平均互信患X ；Y) H (X ) H (X |Y)例3:求二元螂限信道的1Y和IX；Y信道容蛰IX；Y比特/符号例4以二元对称信道.p信源的概率空间为p r信道矩阵为求信道容量?一个输入对应f出嘴HX logr 一个输出对拉籁饰输大需HY logs定义1 :假设信道矩阵P中每行都是第一行的 排列,那么称此信道是行对称信道.定义2:假设信道矩阵中每行都是第一行的排列, 并且每列都是第一列的排列,那么称之为对称信道.定义3:虽然不是对称信道,但是信道矩阵可 以按列分为一些对称的子阵,那么称之为准对 称信道.定义4:假设r=s,且对于每一个输入符号,正 确传输概率都相等,且错误传输概率p均匀地分配到r-1个符号,那么称此信道为强对 称信道或均匀信道.