编码第2章.docx
《编码第2章.docx》由会员分享，可在线阅读，更多相关《编码第2章.docx（23页珍藏版）》请在冰豆网上搜索。
编码第2章
信息的概念是什么？
信息是指各个事物运动的状态及状态变化的方式。
人们从来自对周围世界的观察得到的数据中获得信息。
信息是抽象的意识或知识，它是看不见、摸不到的。
人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。
消息的概念是什么？
消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。
在通信中，消息是指担负着传送信息任务的单个符号或符号序列。
这些符号包括字母、文字、数字和语言等。
信号是什么？
信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。
信号是信息的载荷子或载体，是物理性的。
如电信号、光信号等。
什么叫数据？
载有信息的可观测、可传输、可存储及可处理的信号均称为数据。
通信系统的性能指标有哪些？
通信系统的性能指标主要是有效性、可靠性、保密性、认证性。
信源输出的消息分为几类？
离散消息，例如由字母、文字、数字等符号组成的符号序列或者单个符号；
连续消息，例如话音、图像、在时间上连续变化的电参数等。
信息的基本特征是什么？
接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容；
信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；
信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；
信息是可以量度的，信息量有多少的差别。
第二章 信源及信源熵
1）信源：
信源是发送消息的源；是由含有信息的符
号消息组成的集合。
2）信息量：
定义单个符号消息信息量的大小，单个
符号消息的不确定度；
3）信源熵：
信源（符号消息的集合）平均信息量的
大小，信源的平均不确定度；
2.1信源的描述和分类
2.1.1信源的分类
1）连续信源：
语音、图象、图形
2）离散信源：
数字、文字、数据
单个符号信源：
信源每次只发出一个符号表示一个消息。
符号序列信源：
信源每次发出一组两个或两个以上的符号序列表示一个消息。
无记忆信源：
所发出的各个符号或符号序列之间无统计（概率）关联性。
有记忆信源：
所发出的各个符号或符号序列之间有统计（概率）关联性。
2.1.2离散信源的分类
发出单个符号的无记忆信源
离离散无记忆信源发出符号序列的无记忆信源
散
信发出符号序列的有记忆信源
源离散有记忆信源发出符号序列的马尔可夫信源
例:
离散无记忆信源
单个符号X={0,1}X={A,B,…,Z}
符号序列X={00,01,10,11}
X={AA,AB,…,AZ,BA,BB,…,BZ,…,ZZ}
基本事件：
随机试验的每一个可能的结果（样本点）。
样本空间：
基本事件的集合。
复杂事件：
多个基本事件所组成的事件。
随机事件：
无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。
事件域：
基本事件和复杂事件是样本空间的子集，所有子集的的全体。
概率空间：
三要素—样本空间、事件域（集合）、概率。
事件A的概率：
A中样本点数与样本空间中样本点之比。
先验概率：
根据以往的统计规律得到的。
例掷骰子
1以下几种情况中,基本事件:
骰子朝上面的点数,求样本空间的大小,或样本点的数量
掷一个骰子
掷两个骰子
掷n个骰子
2以上几种情况中,骰子朝上面的点数>5的概率
掷一个骰子
掷两个骰子
掷n个骰子
1）条件概率
2）联合概率
3）全概率：
设B1,B2,…是一列互不相容的事件（BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p（Bi）＞0，i=1，2，…，则对任一事件A，有：
4）Bayes公式:
设B1,B2,…是一列互不相容的事件（BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p（Bi）＞0，i=1，2，…，则对任一事件A，有：
单/多符号信源
单符号信源：
信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。
多符号信源：
信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。
如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。
我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量。
于是，信源的输出可用N维随机矢量（Xk,k=1,2,...,N）来描述，N一般为有限正整数。
离散信源（单个符号）的数学模型
定义一个离散无记忆信源是由n个符号消息组成的集合:
X={x1，x2···xn}，
这n个符号消息的概率分布为了：
称为符号xi的先验概率,离散信源数学模型表示为：
称为概率空间,其中
从概率的角度看，可以将符号消息xi看一个随机事
件。
因此xi具有不确定性。
多符号信源的数学模型—N重离散概率空间
2.2离散信源熵和互信息
美国科学家L.V.R.Hartley于1928年给出了信息的度量方法。
2.2.1信息量定义
通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。
定义若信源发出一符号xi，由于信道存在干扰，收到的不是xi而是yi，从yi中获取有关xi的信息量用I（xi；yi）表示，称为互信息量。
定义上述情况，若信道无干扰，收到的就是xi本身，这样I（xi；yi）就可以用I（xi；xi）表示，或简单记作I（xi），并称为自信息量。
2.2.2自信息量
1）函数I（xi）的属性
1º若有两个事件xi，xj，其先验概率为p（xi）＜p（xj），则事件xi比事件xj有更大的不确定性，同时会带来更多的信息量；I（xi）>I（xj）
2º事件xi先验概率p（xi）=1（确定事件）,则不存在不确定性，同时不会带来信息量；I（xi）=0.
3º事件xi先验概率p（xi）=0（不可能事件）,则存在不确定性应为无穷大，同时会带来无穷的信息量；I（xi）→∞.
4º两个统计独立事件的联合自信息量应等于它们各自信息量之和;则I（xy）=I（x）＋I（y）
2）定义一个符号消息xi的自信息量为其发生概率的对数的负数，并记为I（xi）：
I（xi）=－logp（xi）
当p（xi）=0，则I（xi）→∞；当p（xi）=1，则I（xi）=0.
3）自信息量的单位
自信息量的单位与所用对数的底有关：
1º对数的底是2时，单位为比特—bit（binaryunit）
2º对数的底是e（自然对数）时，单位为奈特—nat（natureunit）
3º对数的底是10（常用对数）时，单位为笛特或哈特—det（decimalunit）orHart（Hartley）
三种信息量单位之间的换算：
1det=log210≈3.322bit
1bit=ln2≈0.6931nat
1bit=lg2≈0.3010det
1nat=log2e≈1.4427bit
在信息论中常用以2为底的对数，为了书写方便，以后将log2书写为log，因其单位为比特bit，不会产生混淆；注意有些文献将log2书写为lb
4）自信息量的含义
是随机量、根据单个符号消息的先验概率确定其信息量和不确定度。
5）随机事件的不确定度：
不确定度在数量、单位与自信息量相同，含义不同。
6）联合自信息量与条件自信息量
1º联合自信息量
定义若有两个消息xi，yj同时出现，用联合概率p（xiyj）表示，联合自信息量为
I（xiyj）=－logp（xiyj）
2º条件自信息量
定义在事件yj出现条件下，xi发生的条件概率为p（xi|yj）,则xi的条件自信息量为：
I（xi|yj）=－logp（xi|yj）
注意联合自信息量I（xiyj）条件自信息量I（xi|yj）互信息量I（xi;yj）
2.2.2离散信源熵
信源X发出某一个符号提供的信息量不适合描述信源X发出一个符号序列提供的信息量。
•定义信息源的平均不确定度为信源中各个符号不确定度的数学期望，记作H（X）
其中H（X）又称为信源X的信源熵。
2）H（X）的含义
1º表示的是信源的平均不确定度。
2º表示信源X发出一个符号提供的平均信息量。
3º是统计量、数学期望（统计平均）、各个符号平均不确定度和平均信息量。
3）信源熵单位：
二进制:
bit/信源符号，或bit/信源序列
十进制:
det/信源符号，或det/信源序列
e进制:
nat/信源符号，或nat/信源序列
4）信源熵的三种特殊情况
1º当p（xi）=0时（p（xi）→0），则p（xi）logp（xi）=0
2º信源X={x1，x2···xn}，若其中xi的概率p（xi）=1
则其余xj的p（xj）=0，因为
则H（X）=0bit/信源符号
3º当信源中X所有n个符号均有相同的概率p（xi）=1/n，
则H（X）=-（1/n）log（1/n）=lognbit/信源符号
例1500×600像素点，10个灰度等级，各种画面等可能出现，则有n=10300000个画面
H（X）=logn=lg10300000=3×105det/画面
=3.322×3×105bit/画面
用10000字表写1000字文，各种1000字文等可能出现，则有n=100001000=104000篇，
H（X）=lgn=lg104000=4000det/千字文=3.32×4×103bit/千字文
“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。
例2Xx1x2x3x4
P（xi）9/163/163/161/16
-logP（xi）0.8302.4152.4154
-P（xi）logP（xi）0.4670.4530.4530.250
∑-PlogP=1.632bit/信源符号
5）条件熵与联合熵
1º条件熵
在给定yj条件下，xi的条件自信息量为：
I（xi|yj）=－logp（xi|yj）
集合X的条件熵为：
在给定Y（即各个yj）条件下，集合X的条件熵定义为：
2º联合熵（共熵）
联合熵是联合符号集合XY上的每个元素对xi,yj的自信息量的概率加权的统计平均值。
3º条件熵与联合熵的关系
I（xi|yj）=－logp（xi|yj），I（xiyj）=－logp（xiyj）
因
全概率公式
所以H（XY）=H（X）＋H（Y|X）同理H（XY）=H（Y）＋H（X|Y）
2.2.3互信息
1）简单的通信模型
若信源发出符号xi，由于信道存在干扰，收到的不是xi而是yi，从yi中获取有关xi的信息量称为互信息量，用I（xi;yi）表示。
1º信源发送符号xi，同时信宿接收符号yj的联合概率：
其中：
p（xi）为信源符号xi的先验概率。
p（yj|xi）为信源符号xi已发送，信宿接收到yj的条件概率；称为信道的传递概率或转移概率或前向概率。
注意：
p（yi|xi）是在信源发送xi的情况下，信宿接收到yi的概率，该概率是可通过统计获得的。
2º信宿接收符号yj的概率[全概率公式]
3º信宿接收yj后，推测信源发送的符号是xi的概率（后验概率）：
p（xi|yi）
[Bayes公式]
4º互信息量
定义：
后验概率与先验概率比值的对数称为互信息量，记为I（xi；yj）
1.当p（xi|yj）=1，则I（xi;yj）=I（xi）
2.当xi，yj互不相关，p（xi|yj）=p（xi），则I（xi;yj）=0
3.互信息量单位bit
5º互信息量的性质
I（xi;yj）=I（yj;xi）I（xi;yj）=I（xi）-I（xi|yj）I（xi;yj）=I（xi|yj）-I（yi）
6º互信息量计算
已知:
信源符号xi的概率p（xi）---先验概率,信源xi发送的条件下，信宿接收到yj的概率p（yj|xi）
互信息量计算即如何求p（xi|yj）/p（xi）
1.联合概率
2.全概率
3.后验概率与先验概率之比
例某二元通信系统x0=0，x1=1，信源发送x0和x1的概率分别为p（0）=1/2，p
（1）=1/2;信宿y0=0,y1=1由于信道中有干扰，当信源发送0时，信宿接收为0的概率p（y0|x0）=p（0|0）=3/4信宿接收为1的概率p（y1|x0）=p（1|0）=1/4
当信源发送1时，信宿接收为0的概率p（y0|x1）=p（0|1）=1/5
信宿接收为1的概率p（y1|x1）=p（1|1）=4/5
求互信息量I（x0;y0）,I（x0;y1）,I（x0;y1）,I（x0;y1）
1.联合概率
p（x0y0）=p（x0）p（y0|x0）=1/2×3/4=3/8
p（x0y1）=p（x0）p（y1|x0）=1/2×1/4=1/8
p（x1y0）=p（x1）p（y0|x1）=1/2×1/5=1/10
p（x1y1）=p（x1）p（y1|x1）=1/2×4/5=4/10
2.全概率
p（y0）=p（x0y0）+p（x1y0）=3/8+1/10=19/40
p（y1）=p（x0y1）+p（x1y1）=1/8+4/10=21/40
3.后验概率与先验概率之比
p（x0|y0）/p（x0）=p（y0|x0）/p（y0）=3/4÷19/40=30/19
p（x0|y1）/p（x0）=p（y1|x0）/p（y1）=1/4÷21/40=10/21
p（x1|y0）/p（x1）=p（y0|x1）/p（y0）=1/5÷19/40=8/19
p（x1|y1）/p（x1）=p（y1|x1）/p（y1）=4/5÷21/40=32/21
4.互信息量
I（x0;y0）=log（30/19）bitI（x0;y1）=log（10/21）bit
I（x1;y0）=log（8/19）bitI（x1;y1）=log（32/21）bit
2）平均互信息量
定义互信息量I（xi;yj）在联合概率空间P（XY）上的统计平均值称平均互信息量,用I（X;Y）表示
平均互信息量单位bit/消息
•平均互信息量的性质
1º对称性
I（X;Y）=I（Y;X）
2º非负性I（X;Y）≥0
3º极值性
因此I（X;Y）=H（X）－H（X|Y）当X与Y无关时，H（X|Y）=H（X），则I（X;Y）=0；表示无法从Y中获取X的信息。
4）平均互信息量的物理意义I（X;Y）=H（X）－H（X|Y）
1ºH（X）是符号集合X的熵或不确定度
2ºH（X|Y）是当信宿已收到Y时，X的条件熵或不确定度
（仍有疑义），表示通信过程中信息在信道中的损失量，称为信道疑义度或疑义度；
3ºI（X;Y）表示信宿获得的净信息量；
4º平均互信息量I（X;Y）考虑全部消息，根据统计平均的计算得出一个确定的量，是信道中流通的信息量的整体测度。
2.2.4数据处理中信息的变化
数据处理定理
当消息经过多级处理后，随着处理器的增多，输入消息与输出消息之间的平均互信息量一般趋于变小（信息不增性）。
2.2.5信息熵的基本性质
离散信源消息X=｛x1，x2，…xn｝
性质1：
非负性H（X）≥0
由于0≤pi≤1,所以log（pi）≤0，log（pi）≥0，则总有H（X）≥0。
性质2：
对称性H（x1，x2，…xn）=H（x2，x1，…xn）
根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。
信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态顺序无关；
性质3：
确定性；
当信源X的信源空间[X，P]中，任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。
如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。
性质4：
扩展性
这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。
5．香农辅助定理
对于任意两个n维概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立:
该式表明，对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时，必不小于pi本身的熵。
等号仅当P=Q时成立。
例：
对于一个二元信源，该信源X输出符号只有两个，设为0和1。
输出符号发生的概率分别为p和q，p＋q=1。
即信源的概率空间为
则二元信源熵为
H（X）=-plogp-qlogq=-plogp-（1-p）log（1-p）=H（p）
信源信息熵H（X）是概率p的函数，通常用H（p）表示。
p取值于[0，1]区间。
H（p）函数曲线如图所示。
从图中看出，如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。
反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1比特信息量。
性质6．条件熵小于无条件熵条件熵小于信源熵：
H（X/Y）≤H（X）。
当且仅当X和Y相互独立时，p（x/y）＝p（x），取等号。
证明:
由I（X;Y）＝H（X）一H（X／Y）知I（X;Y）≥0,
所以,H（X）一H（X／Y）≥0H（X）≥H（X／Y）
2）两个条件下的条件熵小于一个条件下的条件熵：
H（Z／XY）≤H（Z／Y）。
当且仅当p（z/xy）=p（z/y）时取等号。
证明:
由I（Z;Y）=H（Z）-H（Z/Y）
所以I（Z/Y;X）=H（Z/Y）-H（Z/YX）又有I（Z/Y;X）≥0
所以H（Z）-H（Z/XY）≥0H（Z/XY）≤H（Z/Y）
联合熵小于信源熵之和：
H（XY）≤H（X）+H（Y）。
当且仅当两个集合相互独立时取等号，此时可得联合熵的最大值，即
H（XY）max=H（X）+H（Y）。
证明:
由H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）
有2H（XY）＝H（X）＋H（Y）+H（Y／X）＋H（X／Y）（i）
由I（X；Y）＝H（X）一H（X／Y）I（Y；X）=H（Y）一H（Y／X）
I（Y；X）=I（X；Y）
有2I（X；Y）=H（X）＋H（Y）—H（Y／X）—H（X／Y）（ii）
由（i）和（ii）知:
2H（XY）+2I（X；Y）＝2H（X）＋2H（Y）
所以I（X；Y）＝H（X）＋H（Y）-H（XY）又I（X；Y）≥0
所以H（X）＋H（Y）≥H（XY）
互信息量与熵之间的关系
从图中可得到如下关系
H（XY）=H（X）＋H（Y/X）=H（Y）＋H（X／Y）
H（X）≥H（X／Y），H（Y）≥H（Y／X）
I（X；Y）=H（X）-H（X／Y）=H（Y）-H（Y／X）=H（X）＋H（Y）H（XY）
H（XY）≤H（X）＋H（Y）
•如果X与Y互相独立，则I（X；Y）＝0此时：
H（XY）＝H（X）+H（Y）
H（X）＝H（X／Y）H（Y）＝H（Y／X）
2.3连续信源的熵和互信息
2.3.1连续信源熵
p（x）为连续变量的概率密度函数
2.3.2最大熵定理
1）限峰功率最大熵定理
连续信源X的概率分布为[a,b]均匀分布
限峰功率最大熵
bit/消息
2）限峰功率最大熵定理
连续信源X的概率分布为正态分布
限峰功率最大熵
nat/消息
高斯白噪声是正态分布
2.4离散序列信源的熵
定义1离散信源发出的一系列消息是用一个符号表示一个消息称为单个符号信源；
离散信源发出的一系列消息是用两个或两个以上的符号为一组表示一个消息称为符号序列信源。
符号序列信源是单个符号信源（原始信源）的扩展。
定义2离散信源所发出的各个符号或符号序列之间无统计关联性称为无记忆信源；所发出的各个符号或符号序列之间有统计（概率）关联性称为有记忆信源。
2.4.1离散无记忆信源的序列熵
1）符号序列概率
设离散信源是由n个符号消息组成的集合X=｛x1,x2,…,xn｝
若离散信源所发出的消息是集合X中L个符号组成的符号序列=（yi1yi2…yiL）其中yij∈x1,x2,…,xn｝
则称为X的L次扩展，L称为符号序列的长度。
注意：
y1y2…yL可以在｛x1,x2,…,xn｝中重复选。
X的L次扩展的不同的符号序列共有nL个。
例X=｛x1,x2,｝X2=｛x1x1,x1x2,x2x1,x2x1｝
X3=｛x1x1x1,x1x1x2,x1x1x2,x1x2x1,…,x2x2x2｝
1º符号序列概率P（XL）=P（y1y2…yL）=P（y1）P（y2
升级会员 