讲义51纠错编码原理汇总Word文档格式.docx

1、所以接收到yj后正确译码的概率就是接收端收到yj后，推测发送端发出xi的后验概率：Prj=PF（yj）=xi/yj而错误译码的概率为收到yj后，推测发出除了xi之外其它符号的概率：Pej=Pe/yj=1-PF（yj）=xi/yj其中e表示除了xi之外的所有其它信源符号的集合。然后对所有的yj取平均，则平均正确译码概率为：同样可以得到平均错误译码概率为： 这就是平均错误译码概率的基本表达式，在通信系统设计和分析时，总是希望得到最可能小的平均错误译码概率。因此所有通信系统都将平均译码错误概率作为系统可靠性的一个重要指标。5-1-3 最大后验概率准则由平均错误译码概率的表达式可以看出，错误译码概率与

2、信道输出端随机变量Y的概率分布p（yj）有关，也与译码准则有关。当信道信道转移概率p（yj/xi）确定后，而且信源统计特性p（xi）确定之后，信道输出端的p（yj）也就确定了。因为：p（xi,yj）=p（xi）p（yj/xi）; 而p（yj）可以由p（xi,yj）的（i=1,2, n）求和得到。因此，在这种情况下，平均错误译码概率只与译码准则有关了。通过选择译码准则可以使平均译码概率达到最小值。当式中的每一项的PF（yj）=xi/yj达到最大值时，平均错误译码概率就可以为最小值。设信源X的信源空间为：X,P:X:x1x2xnP（X）:p（x1）p（x2）p（xn）信道的转移矩阵为：y1y2ym

3、P=p（y1/x1）p（y2/x1）p（ym/x1）p（y1/x2）p（y2/x2）p（ym/x2）p（y1/xn）p（y2/xn）p（ym/xn）收到每一个yj（j=1,2,m）后，推测发送为xi（i=1,2,n）的后验概率共有n个，为：p（x1/yj）,p（x2/yj）,p（xn/yj）。这其中必有一个为最大的，设其为：p（x*/yj），即有：p（x*/yj）p（xi/yj） （对一切的i）这表明：收到符号yj后就译为输入符号x*，即译码函数选为：F（yj）=a* （j=1,2,m）这种译码准则称为“最大后验概率准则”。利用这种准则就可以使平均译码错误概率公式中的s项求和的每一项：1-PF

4、（yj） = xi/yj达到最小值1-F（yj）=x*/yj。这时的平均错误译码概率的最小值为：这个表达式平均错误译码概率的最小值，是把每一个yj对应的后验概率排除后再连续求和。 从表达式中可以看到，这个最小值与信源先验概率和信道转移概率有关，特别是信道转移概率，如果除了p（yj/x*）外，其它的项多很小，错误译码概率会减小。5-1-4 最大似然准则使用最大后验概率译码准则必须已知后验概率，但信道的统计特性描述总是给出信道转移概率，因此利用信道转移概率的译码准则。由概率中的贝叶斯定理可有：这样，根据最大后验概率译码准则，如果 p（x*）p（yj/x*）p（xi）p（yj/xi） （i=1,2,

5、n）就等于：p（x*/yj）p（xi/yj）则选择译码准则：F（yj）=x* （j=1,2,n）这样，可以看到当信道输入符号集X的先验概率为等概时p（xi）=1/n，比较上面三个式子，最大后验概率可以用最大信道转移概率来取代。这时，在X的先验概率为等概时，如果p（yj/x*）是yj相应的n个信道转移概率 p（yj/x1）,p（yj/x2）,p（yj/xn）中的最大者，则我们就将yj译成x*，这种译码方法称为“最大似然译码准则”。最大似然译码准则利用了信道转移概率，而不用后验概率，将会更方便。这时的最小平均错误译码概率为：将信道转移矩阵P中每一列中的最大元素去掉，然后将其它元素相加后除以n。 为

6、了减小错误译码概率，主要方法是改变信道转移概率，5-2 信道编码基本概念5-2-1 信道编码定理定理：有噪声信道编码定理（Shannon第二编码定理）如一个离散有噪声信道有n个输入符号，m个输出符号，信道容量为C。当信道的熵速率RC时，只要码长足够长，总可以找到一种编码方法及译码准则，使信道输出端的平均错误译码概率达到任意小，pe=。当RC时，则不可能找到一种编码方法及译码准则，使信道输出端的平均错误译码概率达到任意小。 编码定理的证明比较复杂，用超球空间几何方法。 这个定理是一个存在定理，指出错误率趋于0的编码方法是存在的。 定理表明，在错误率趋于0的同时，还可以使R趋于C，这是具有理论指导

7、意义的。 这个定理的证明思想为：以二元编码为例：5-2-2 信道编码的基本概念（分组码）（1） 码字空间：如果原始信源空间有M个码字，对其进行q元等长码的信道编码，码长为N，信道码字空间的所有码字为qN个，编码器将在这qN个可用码字中选择M个码字分别代表原始信源中的M个码字，信道编码码字空间的这M个码字称为“许用码字”，而另外的qN-M个码字称为“禁用码字”。为了实现纠错编码，一定有qNM。这M个许用码字也称为一个码组，或称为码字集合。（2） 汉明距离：（Hamming distance）在一个码组（码字集合）中，任意两个等长码字之间，如果有d个相对应的码元不同，则称d为这两个码字的汉明距离。

8、例如：和为码组X中的两个不同码字，X为一个长度为N的二元码组，其中：=a1,a2,aN ai0,1=b1,b2,bN bi0,1则与的汉明距离为：d=0表明为全同码，d=N表明为全异码，如果用模2加法的概念，有（3） 最小码距：在一个码字集合中，任何两个码字之间的汉明距离组成一个元素集合，D（,）,这个集合中的最小值称为这个码字集合的最小汉明距离，简称最小码距，记为：dmin。dmin=mind（,） ,X （4） 码字重量（汉明重量）（Hamming weight）在二元编码的码字集合中，码字中“1”码元的个数称为这个码字的重量。记为：W（）。利用码字重量的概念，汉明距离可以表示为：d（,）

9、=W（）（5） 分组码最小码距与纠检错能力的关系：一个分组码的最小码距为dmin，则其纠检错能力为：若发现e个错误，则要求dmine+1;若纠正t个错误，则要求dmin2t+1;若纠正t个错误，同时发现e个错误，则要求dmint+e+1; te;dmin=1; 无纠检错能力；dmin=2; 检一位错dmin=3; 纠一位错（或检两位错）dmin=4; 纠一位，同时检两位；dmin=5; 纠二位错（或检4位错）dmin=6; 纠二位，同时检3位；（t=2,e=3）dmin=7; 纠三位错（或检两位错）dmin=8; 纠三位，同时检4位；（t=3,e=4 0 1 2 3 t=1 1 2 e=2 d

10、min=35-2-3 信道编码方法 纠错编码：根据一定的纠检错要求，对原始码字进行某种变换，使其具有具有纠检错能力，这种变换称为抗干扰编码。 实现方法：信息位+监督位=纠检错编码。 信道编码的分类：纠错码/检错码前向纠错方式（FEC-forward error correction）反馈重传方式（ARQ-automatic repeat request）混合纠错方式（HEC-hybrid error correction）在FEC中又可分为：分组码（block code/group code）卷积码（convolutional code）在分组码中常见的码包括：Hamming CodeCycl

11、ic CodeBCH CodeGolay CodeReed-Solommon CodeReed-Muller Code5-3 简单的信道编码检错码一般具有较少的监督位，冗余度较小，只能检出错误，但不能纠正错误。5-3-1 奇偶校验码（Parity Check Code）也称为一致监督检错码，是一种检错分组码。（1） 检错原理：当信息码字位二元序列，码字长度位k，共有2k个码字，可以在信息码字后面加上一位监督元，构成长度位n=k+1的检错码，X=x1,x2,xk,xk+1= x1,x2,xn对于偶校验码：监督元为对于奇校验码，监督元为： 偶校验码中有偶数个1，奇校验码中有奇数个1； 奇偶校验码的

12、最小码距为dmin=2 ;可检一位错； 可用码字=2n；许用码字=2k，禁用码字=2n-2k（2） 漏检概率检错码不能发现错误码字的概率称为漏检概率。奇偶校验码不能发现偶数个码元错误，根据最小码距分析至少检一位错，实际上可以检出所有奇数个错。假设信道误码率为pe，码字漏检概率为Pu，有： n为偶数； n为奇数；其中n为码字长度，有：当信道误码率很小时，pe1; Pu=Cn2pe2。漏检概率不仅与信道误码率有关，而且还与码字长度有关，实际上它是一个误字率的概念，应当配合ARQ系统使用，可以看到系统可靠性是很高的。（3） 编码效率：；实际上可知：编码效率与信道传输效率是同一个概念：认为信源符号为等

13、概率条件。根据奇偶校验码的原理，还有一些改进方法：水平奇偶校验码，垂直奇偶校验码，群计数码等，5-3-2 定比码（等重码，范德伦码）（1） 五三定比码与七三定比码定比码为一种简单检错码。五三定比码（五单位码）用于国内电报系统，码长为5，其中1的个数为3。这种码的许用码字为：代表国内电报系统中的数字09。七三定比码（七单位码）用于国际电报系统，码长为7，其中1的个数为3。代表26个英文字母和一些符号。（2） 漏检概率：五三定比码和七三定比码的dmin=2，至少可以检一位错，实际上定比码可以检出所有奇数位错码，及一些偶数位错码。定比码的漏检为：偶数位错误，且一半1错为0，一半0错为1；Pu=P2+

14、P4+P2=P10.P01=C31pe（1-pe）3-1.C21pe（1-pe）2-1P4=C22C32pe4（1-pe）5-45-3-3 重复码检错码只能发现错误，必须利用ARQ系统才能实现抗干扰，它要求有反向信道，而前向纠错码的最大优点就是不需要反向信道，并且实时性高。重复码是一种最简单的纠错码。在实际系统重有较广泛的应用。（1） 一个例子：一个BSC信道，输入为X=0，1，且为等概分布，信道模型为：0 p=1-pe=0.99 0 pe=0.011 p=1-pe=0.99 1按最大似然译码准则为：F（0）=0; F（1）=1;在信道误码率为pe=10-2条件下，其错误译码概率为：Pemin

15、=（1/n）（pe+pe）=（1/2）（0.01+0.01）=10-2可以看到这时系统误码率就等于信道误码率，这里没有采用任何信道编码。（2） 编译码方法重复码的编码方法为，将0编为000，1编为111。这时的可用码字为23=8；分别为：X1=000 X2=001 X3=010 X4=100X5=011 X6=110 X7=101 X8=111而许用码字为000和111， 相当于信道输入为X1=000，X2=111，而信道输出端为：Y1=000；Y2=001；Y3=010；Y4=100Y5=011；Y6=110；Y7=101；Y8=111这时的信道转移矩阵为：Y1Y2Y3Y4Y5Y6Y7Y8X

16、1p13p12pp1p2p3X2这时如果按最大似然法则译码，将为：F（Y1）=F（Y2）=F（Y3）=F（Y4）=X1=000F（Y5）=F（Y6）=F（Y7）=F（Y8）=X2=111错误译码概率为：Pemin=（1/2） p3+ p2p1+ p2p1+ p2p1+ p2p1+ p2p1+ p2p1+ p3= 3p2p1+ p3 310-4可见简单重复码可以将错误译码概率下降两个数量级。这是三次重传大数判别的方法；可以看出如果是五次重复码，误码率还要降低。注：从这里的译码方法可以看到：最大似然译码准则实际上是一种最小汉明距离的译码准则。为了判别比较，一般重复码都采用奇数次重复，然后按大数判决

17、。（3） 编码效率三次重复码的编码效率为：相当于k=1,n=3 ; =k/n=1/3;同样可知：五次重复码=k/n=1/5;5-4 代数引论为了进一步学习纠错编码的原理和分析其性能，在这一节中我们复习一些有关的代数知识。5-4-1 群（Group）群的定义：如果一个元素集合G，在其中定义一种运算“*”，并满足下列条件则称为一个群（Group）。a,b,c,e,a-1G。 自闭性，c=a*b 结合律，a*（b*c）=（a*b）*c 单位元（恒元），a*e=e*a=a 逆元 a*a-1=a-1*a=e如果还满足交换律，a*b=b*a, 则称为交换群。定理1：群G中的单位元是唯一的。定理2：群G中任

18、一元素的逆元是唯一的。有限群：群中元素的个数称为元素的阶，有限元素的群称为有限群。（m阶有限群）模运算：G=0，1为一个模2加法群，0+0=0，0+1=1，1+0=1，1+1=0 0是单位元，本身是逆元，满足结合律，交换律和自闭性，为一个加法交换群。当p为一个素数，则集合G=1,2,p-1在模p乘法下为一个群。例如p=5,G=1,2,3,4为一个乘法群，*1234 全体实数集合为一个普通加法的交换群； 全体非零实数集合为一个普通乘法的交换群；子群：如果集合G在某种运算*下为一个群，集合H为G中的一个非空子集。若H在运算*下也满足自闭性，结合律，单位元和逆元，则称H为G的一个子群。 偶数集合H:

19、2n为整数加法群的一个子群。如果集合G在运算*下为一个群，H为一个子群，则G中的所有元素都可以由子群H中的元素表示。单位元：如果H为G的一个子群，则G中唯一的单位元一定在H中。分元陪集：利用子群和陪集，可以用子群H的元素表示所有G中的元素。例：设G是整数集合，在普通加法+下为一个交换群，而H为G的一个子群，它由整数m的倍数构成，那么，所有正整数均可用H中的元素表示，且划分为子群H的若干个陪集。H:nm; n=0,1,2,。例如m=3,则子群H的元素为： H:0, 3, 6, 9, 12, 15, 18,利用分元陪集的方法，用H的元素表示G中的所有元素。 将子群H中的元素放在表的第一行，且单位元

20、0放在首位，称为陪集首。 将H中没有的，但G中的元素1作为陪集首，放在表的第二行的首位，将陪集首分别与第一行的元素做加法运算，组成的二个陪集。 将第一行，第二行中没有的，但在群中有的元素2作为第二个陪集的陪集首，构成第三个陪集。 这样，利用分元陪集的方法，可以构成所有G中的元素。陪集1-36-69-9陪集21+0=11+3=4-27-510-8陪集32+0=22+3=5-18-411-75-4-2 域（Field）域的定义：如果一个元素集合F，在其中定义加法和乘法两种运算，并满足下列条件则称为一个域（Feild）。a,b,c,d,e,a-1G。 在加法下为一个交换群，满足自闭性，交换律，结合律

21、，单位元为0，逆元。 在乘法下为一个交换群，满足非零元素自闭性，交换律，结合律，单位元，逆元。 在加法乘法下满足分配律，有限域：域中的元素个数m称为域的阶，有限个元素的域称为有限域或叫作伽罗华域，记为GF（m），GF-Galois Field，最小域：一个域中最少包含加法单位元和乘法单位元两个元素，否则不能构成域。集合0,1在模二加法和乘法下构成一个二元有限域GF（2）。素域：如果p为一个素数，则正整数集合0,1,2,p-1，在模p加法和乘法下为一个阶数为p的域，称为素域，记为GF（p）。GF（2）为一个素域。GF（7）为一个素域，其运算如下：模7加法模7乘法+5.扩展域：对于任何一个正整数m

22、，可以将素域GF（p）扩展成有pm个元素的域，称为域GF（p）的扩展域，记为：GF（pm）。而且可以证明：任何有限域都是一个素域的扩展域。有限域的特征：由于有限域GF（q）在加法下是自闭的，因此，考虑其乘法单位元1的加法运算，1，1+1，1+1+1，, 1+1+1+1+1+.+1（k个），这些都是GF（q）中的元素，而域中的元素是有限个，因此必然存在两个正整数m,n, mn，使：或者说：必然存在一个最小的正整数=n-m，我们称为域GF（q）的特征。 二元域GF（2）的特征=2； 素域GF（p）的特征=p； 有限域的特征是一个素数；循环群：如果一个群存在一个元素，其各次幂构成整个群，称为循环群。

23、有限域GF（q）的非零元素构成一个循环群。设a是GF（q）中的一个非零元素，由于GF（q）的非零元素在乘法下为自闭的，所以a，a2，a3，也必然是GF（q）中的非零元素，又因为GF（q）为有限元素，所以必然有一个最小的正整数n，使an=1。这个正整数n称为元素a的阶。 令a为有限域GF（q）的非零元素，则aq-1=1。 令a为有限域GF（q）的非零元素，且n为a的阶，则q-1一定能被n除尽。本原元：如果有限域GF（q）中，非零元素a的阶n=q-1，就称a为GF（q）的本原元素。 本原元素的各次幂构成有限域FG（q）的所有元素。 每个有限域都有其本原元素。有限域GF（7），域中元素为0,1,2,

24、3,4,5,6，其非零元素集合为1,2,3,4,5,6，考虑其中的非零元素a=3，可知：31=3，32=33=2，33=323=6，34=333=4，35=5，36=1 ，可以看到3的各次幂构成了GF（7）中所有非零元素，所以3的阶n=q-1=6，3为GF（7）的本原元。如果取a=4，可知：41=4，42=2，43=1，即元素4的阶为n=3，并且3可以除尽q-1=6。5-4-3 域上多项式在编码理论上大多采用二元有限域GF（2）的多项式，因此我们重点介绍这部分的知识。域上多项式：如果多项式f（x）=f0+f1x+f2x2+fnxn的系数取自二元有限域GF（2），则称f（x）为域FG（2）上的多项式。fi=0或fi=1;域上多项式计算：加法：如果f（x）=f0+f1x+f2x2+fnxn; g（x）=g0+g1x+g2x2+gnxn 则：f（x）+g（x）= （f0+ g0）+（f1 +g1）x +（f2 +g2）x2+（fn+gn）xn乘法： g（x）=g0+g1x+g2