费诺编码教学规划Word格式.docx

1、信息论与编码是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法。1.2设计任务及要求 1理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法； 2根据费诺编码算法，考虑一个有

2、多种可能符号（各种符号发生的概率不同）的信源，得到费诺编码； 3掌握费诺编码的优缺点； 4能够使用MATLAB或其他语言进行编程，编写的函数要有通用性，要理解每个函数的具体意义和适用范围，对主要函数的功能和参数做详细说明。1.3设计内容 费诺编码属于概率匹配编码，但不是最佳的编码方法。在编N进制码时首先将信源消息符号按其出现的概率依次由小到大排列开来，并将排列好的信源符号按概率值分N大组，使N组的概率之和近似相同，并对各组赋予一个N进制码元0、1N-1。之后再针对每一大组内的信源符号做如上的处理，即再分为概率和相同的N组，赋予N进制码元。如此重复，直至每组只剩下一个信源符号为止。此时每个信源符

3、号所对应的码字即为费诺码。针对同一信源，费诺码要比香农码的平均码长小，消息传输速率大，编码效率高。 一个有8个符号的信源X，各个符号出现的概率为：XP（X） X1, X2, X3, X4, X5, X6, X7, X80.19, 0.18, 0.17, 0.16, 0.13, 0.10, 0.06, 0.01进行费诺编码，并计算平均码长、编码效率、冗余度。第2章 费诺编码2.1设计原理1. 编码与信源编码在学过信息论与编码以后，对这方面内容已有了基础的了解。为了进行更深入的了解，我查阅了很多资料，我认为通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来，而这最重要的一步就

4、是信源的编码，一个好的开端才能为以后的传输及接受、解码提供有利得条件。而我也对各种信源编码方式产生了浓厚的兴趣。1.1首先要了解什么是信源编码为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列8。既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压

5、缩等。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：使序列中的各个符号尽可能地互相独立；使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。在通信过程中，如何在不失真或允许一定失真条件下，用尽可能少的符号来传送信源信息，提高信息传输率；在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。这就产生了多种信源编码方式2。为了有效传播信息，最理想状态即为无失真传输。在无失真信源编码中又分为定长编码、变长编码机最佳变长编码。1.1.1定长编码在定长编码中，K是定值，编码的目的即为找到最小的K值。要实现无失真的信源编码，不

6、但要求信源符号与码字是一一对应的，而且还要求有码字组成的码符号序列的逆变换也是唯一的。由定长编码定理可知，当编码器容许的输出信息率，也就是当每个信源符号必须输出的码长是K=Kl/logm。由定理表明，只要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，但是条件是L足够大。这就为传输带来了很大的麻烦，并且实现起来很困难，并且编码效率也不高。而要达到编码效率接近1的理想编码器虽有存在性，但在实际上时不可能的，因为L非常大，无法实现。由此而产生了变长编码。1.1.2变长编码在变长编码中，码长K是变化的，可根据信源各个符号的统计特性，对概率大的符号用短码，而对概率小的符号用长码。

7、这样大量信源符号编成码后，平均每个信源符号所需的输出符号数就可以降低，从而提高编码效率。用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多的多。很明显，定长码需要的信源序列长，这使得码表很大，且总存在译码差错。而变长码要求编码效率达到96%时，只需L=2.因此用变长码编码时，L不需要很大就可达到相当高的编码效率，而且可实现无失真编码。并且随着信源序列长度的增加，编码效率越来越接近于1，编码后的信息传输率R也越来越接近于无噪无损二元对称信道的信道容量C=1bit/二元码符号，达到信源与信道匹配，使信道得到充分利用。但变长编码方式也有优劣的区分，下面就讨论几种不同的变长编

8、码方式1。1、 香农编码方法香农第一定理指出了平均码长与信源之间的关系，同时也指出了可疑通过编码使平均码长达到极限值，这是一个很重要的极限定理。香农第一定理指出，选择每个码字的长度Ki满足下式：I（xi）Ki=P2=Pn。2依次排列的信源符号按概率值分为两大组，使两个组的概率之和近似相同，并对各组赋予一个二进制码元“0”和“1”。3使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制符号“0”和“1”。4如此重复，直至每个组只剩下一个信源符号为止。5信源符号所对应的码字即为费诺码。4. 费诺编码特点费诺编码，它编码后的费诺码要比香农码的平均码长小，消息传输速率大，编码效率高，但它属于概率

9、匹配编码它不是最佳的编码方法1。费诺编码方法属于概率匹配编码，具有如下特点：1、概率大，则分解次数小；概率小则分解次数多。这符合最佳码原则。2、码字集合是唯一的。3、分解完了，码字出来了，码长也有了,即先有码字后有码长。因此，费诺编码方法又称为子集分解法。2.2设计步骤1. 费诺编码过程框图概率大小降序排列按概率值分为两组，概率和近似相同各组赋予二进制码云“0”和“1”两组概率和近似相同，各组赋予二进制码云“0”和“1”信源符号所对应的码字即为费诺码如此反复，直至每个组只剩下一个信源符号为止 图1费诺码编码过程图2. 费诺编码过程表消息符号Xi各个符号概率P（Xi）第一次分组第二次分组第三次分

10、组第四次分组二元码字码长X10.19002X20.1810103X30.17011X40.1610X50.13110X60.1011104X70.06111150.0111111 表1费诺码编码过程表3. 计算平均码长、编码效率、冗余度。4. 冗余度在数据传输中，由于衰减或干扰会使数据代码发生突变，此时就要提高数据代码的抗干扰能力这必须在原二进制代码长度的基础上增加几位二进制代码的长度，使相应数据具有一定的冗余度，也称做富裕度简单地说，所谓冗余度，就是从安全角度考虑多余的一个量，这个量就是为了保障仪器、设备或某项工作在非正常情况下也能正常运转。目前大多现代产品和工程设计中都应用了冗余度这个思想和理论。在许多医疗单位中药品存量不足，卫生材料存量不够，一遇突发事件，就会造成缺货，造成涨价风波，影响社