信息论课程设计.docx

1、信息论课程设计课 程 设 计 报 告课程名称 信息论基础 课题名称 对称信道容量的求解 专 业 信息与计算科学 班 级 学 号 姓 名 指导教师 2012年 6 月 29 日湖 南 工 程 学 院课 程 设 计 任 务 书课程名称 信息编码 课 题 对称信道容量的求解 专业班级 信息与计算科学 学生姓名 学 号 指导老师 审 批 任务书下达日期 2012 年 6 月 18日任务完成日期 2012 年 6 月 29日信息论与编码课程设计任务书 一、 设计目的通过课程设计使学生更进一步掌握信息论与编码课程的有关知识，提高编程的能力，并将所学的内容加以综合。通过查阅资料，了解所学知识的应用情况。同时

2、也使学生通过动手进行程序设计从而提高解决实际问题的能力。二、课程设计要求1、认真查阅资料2、遵守课程设计时间安排3、按时上机，认真调试程序4、认真书写报告三、报告书写格式1、课程设计封面2、课程设计任务书3、正文4、参考文献5、课程设计成绩报告单四、设计题目对称信道容量的求解：给定信道的概率矩阵，编程判断其是否为对称信道，并求解其信道容量五、时间安排1、查阅资料及程序设计（4天）2、上机调试程序（4天）3、书写报告（2天）六、成绩评定1、未完成设计任务，没达到设计要求则成绩为“不及格”。2、基本完成设计任务，并撰写出课程设计报告则成绩为“及格”。3、学生能够认真查阅资料，独立完成设计任务，程序

3、调试通过，并且撰写出课程设计报告则成绩为“中”。4、学生能够认真查阅资料，独立完成设计任务，程序调试通过，功能完善，操作灵活，界面美观，并且撰写出课程设计报告则成绩为“良好”。5、学生根据自身的实际能力，在实现设计题目基本要求的基础上增加一些功能，评定成绩时根据其难度和完成情况给与适当加分，如界面效果，系统操作的方便性、灵活性、创新性等，如果设计非常完善则成绩为“优秀”。目录1. 信道容量的概念52. 信道容量的计算63. 程序设计64. 总结95. 评分表111. 信道容量的概念信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性 是已知的，这样信道就可以用抽象的数学模型来描述。在信

4、息论中，信道 通常表示成：X, P(Y|X), Y，即信道输入随机变量 X、输出随机变量 Y 以 及在输入已知的情况下，输出的条件概率分布 P(Y|X)。根据信道的统计特性是否随时间变化分为： (1).恒参信道（平稳信道）：信道的统计特性不随时间变化。卫星通信信道在某种意义下可以近似为恒参信道。 (2).随参信道（非平稳信道）：信道的统计特性随时间变化。如短波通信中，其信道可看成随参信道。信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信

5、道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道 的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵：发射端处信源熵即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们

6、也就在一定程度上消除了发端信源的不确定性， 也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。通信信道，发端X，收端Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(X|Y),(接收Y前后对于X的不确定度的变化)。该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x)分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。2. 信道容量的计

7、算信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示 的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。信道传递概率通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。有时把 p(x)称为输入符号的先验概率。而对应的把p(x|y)称为输入符号的后验（后向）概率。平均互信息I(X;Y)是接收到输出符号集Y后所获得的关于输入符号集X的信息量。信源的不确定性为H(X)，由于干扰的存在，接收端收到Y后对信源仍然存在的不确定性为H(X|Y)，又称为信道疑义度。信宿所消除的关于信源的不确定性，也就是获

8、得的关于信源的信息为I(X;Y)，它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信息传输率，通常用R表示。有时我们所关心的是信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道平均每秒钟传输的信息量为Rt一般称为信息传输速率。对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布。信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。要使信道容量有确切

9、的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。对于对称信道容量的计算：3. 程序设计：信道输入为等概率分布，即，有如下概率转移矩阵：求其信道容量。(1)首先我们要判断是否为对称矩阵：在MATLAB命令行中输入下列代码：P=input(输入信道转移概率矩阵：);r,c=size(P);if sum(P,2)-1=zeros(1,r);error(输入的信道矩阵不合法

10、！);%矩阵行和一定要为1endl=1;Sum=0;for j=2:cfor i=1:r%i是行变量for k=1:rif P(k,j)=P(i,1)Sum=Sum+1;break;endendendendif Sum=r*(c-1)fprintf(是离散输出对称信道!n,j);else fprintf(不是对称信道!);end然后输入：1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2可得：是离散输出对称信道！下面是此过程的程序截图：(2)新建文件名为hmessage的M文件，用来求互信息量，其内容如下：function r=hmessage(x,

11、f,nx,my)%x为输出的概率分布%f为转移概率矩阵%nx为输出符号的可选个数，也为矩阵f的行数%my是矩阵的列数sum=0;for i=1:nx for j=1:my t=f(i,j)*x(i) %求平均互信息量 sum=sum-t*logx(f(i,j)/logx(2); endendr=sum;disp(平均互信息量);double(r) %返回结果(3)新建文件名为message的M文件，计算离散信源平均信息量，其内容如下：function r=message(x,n)r=0;for i=1:n r=r-x(i)*logx(x(i)/logx(2);enddisp(平均信息量)dou

12、ble(r)(4)下面用函数message来求信源的熵，利用hmessage来求平均互信息量，并最终得到信道容量。其实现的MATLAB程序代码如下：x=0.25 0.25 0.25 0.25;f1=1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2;%定义概率转移矩阵hf1=hmessage(x,f1,4,4)hx=message(x,4)disp(信道容量为)c=hx-hf1MATLAB输出：t =0.1250t =0.1250t =0t =0t =0t =0.1250t =0.1250t =0t =0t =0t =0.1250t =0.1250t

13、 =0.1250t =0t =0t =0.1250平均互信息量r =1hf1 =1平均信息量r =2hx =2信道容量为c =1经过本题的4个步骤，即判断信道是否为对称信道，计算互信息量，以及信源的平均信息量，最终通过hmessage和message来求得信道容量。易知本题的信道容量等于1.4. 总结本次课程设计我的课题是对称信道容量求解的设计，开始的一个星期我针对这个课题的任务要求从图书馆、上网等渠道获取相关信息，查找相关的参考资料，然后设定了本课题的设计方案。经过近多日的努力，终于将本次课程设计做完了，但由于水平有限，文中肯定有很多不恰当的地方，请老师指出其中的错误和不当之处，使我能做出改

14、正，我会虚心接受。在本次课程设计过程中，我增强了自己的动手能力和分析能力。通过跟同学 的交流，也通过自己的努力，我按时完成了这次课程设计。在此过程中，我学会了很多，也看到了很多自己的不足之处。在以后的学习生活中，我会努力学习专业知识，完善自我，为将来的发展做好充分的准备。总之，在这次课程设计中，我受益匪浅，学到了很多书本上所没有的 东西，懂得了理论和实际联系的重要性。在以后的学习中，我不仅要把理论知识掌握牢固，更要提高自己的动手能力和分析能力。5. 参考文献1 傅祖芸 . 信息论 基础理论与应用 .北京:电子工业出版社,20012 周荫清 . 信息理论基础 .北京:北京航空航天大学出版社,20

15、023 T M Cover & J A Thomas . Elements of Informat ion Theory .New York: John Wiley& Sons . Inc ., 19914 美 R W 汉明著,朱雪龙译 . 编码和信息理论 .北京:科学出版社,19845 朱雪龙 . 应用信息论基础 .北京:清华大学出版社,20016 姜丹 . 信息论与编码 .合肥:中国科技大学出版社,20017 陈运 . 信息论与编码 .北京:电子工业出版社,20028 曹雪虹 . 信息论与编码 .北京:北京邮电大学出版社,20019 吴伟陵 . 信息处理与编码 .北京:人民邮电出版社,2003课程设计评分表课程名称： 项 目评 价设计方案的合理性与创造性设计与调试结果设计说明书的质量答辩陈述与回答问题情况课程设计周表现情况综合成绩 教师签名： 日 期：