信息论与编码教案.docx

信息论与编码教案.docx

《信息论与编码教案.docx》由会员分享，可在线阅读，更多相关《信息论与编码教案.docx（23页珍藏版）》请在冰豆网上搜索。

信息论与编码教案

成都理工大学工程技术学院

信息论与编码课程教案

教师姓名刘晓丽

所在系部电信系

授课专业07通信

课程代码

总学时50学分

教材名称信息论与编码

2009年8月29日

[首页]

课程名称

信息论与编码

授课专业

通信工程

年级

2007

课程编号

课程类型

必修课

公共基础课（）；专业基础课（是）；专业课（）

选修课

专业选修课（）；公共选修课（）

教学目标

通过本课程的学习，使学生对信息理论和编码理论有比较全面和系统的了解，掌握信息论的基本概念、基本理论和基本分析方法，包括信源熵、信道容量和信息率失真函数等；掌握常用的信源编码方法，包括香农编码、费诺编码、哈夫曼编码、矢量量化编码和预测编码等；掌握常用的信道编码，包括线性码、循环码等，为从事信息科学的研究和应用打下坚实的基础。

授课方式

课堂讲授（是）；实践课（）

考核方式

考试（是）；考查（）

课程教学总学时数

50

学分数

学时分配

课堂讲授50学时；实践课0学时

教材名称

信息论与编码

作者

陈运

出版社及出版时间

电子工业出版社2007

指定参考书

信息论与编码

作者

姜丹

出版社及出版时间

中国科学技术大学出版社，2004

授课教师

刘晓丽

职称

助教

单位

电信系

授课时间

2009-2010第一学期

周次

第1周，第1次课

编写时间

2009.8.29

章节名称

1概论

教学目的与要求：

理解信息的概念、性质和分类，了解通信系统的构成及编码理论在其中的作用，了解信息论的起源、发展及研究内容。

教学重点和难点：

教学重点：

信息的概念

教学难点：

香农信息论的三大定理

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1提出课堂纪律要求，强调本课程的重要性，介绍本课程的大体情况，讲解20分钟。

2信息的概念，信息是认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。

讲解10分钟

3信息的性质，

（1）普遍性：

信息是普遍存在的。

（2）无限性：

信息是无限的。

（3）相对性：

对同一事物不同的观察者所获得的信息量可能不同。

（4）转换性：

信息可以在时间上或空间中从一点转移到另一点。

（5）变换性：

信息是可变的，它可以由不同的载体或不同的方法来载荷。

讲解5分钟

4信息的分类，

（1）从性质分：

语法信息、语义信息、语用信息。

（2）按观察的过程分：

实在信息、先验信息、实得信息。

（3）按信息的地位分：

客观信息、主观信息。

（4）按作用分：

有用信息、无用信息、干扰信息。

讲解10分钟

5模拟通信系统，该系统传递的是模拟信号，它在任意时刻的取值是任意的，是时间的连续函数。

讲解10分钟

6数字通信系统，该系统中传输的是数字信号，它只能取有限个离散值，且出现的时间也是离散的。

讲解5分钟

7信息论的发展简史，讲解10分钟

8信息论的研究内容，研究目的是提高通信系统的可靠性和有效性。

（1）可靠性高：

使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。

（2）有效性高：

经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。

讲解10分钟

9编码技术的发展，讲解10分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

引导学生正确认识本课程，虽然理论性有些强，但还不是太难学懂。

周次

第2周，第2次课

编写时间

2009.9.1

章节名称

2.1.1信源模型2.1.2自信息

教学目的与要求：

掌握信源的数学模型、信源符号的自信息量、条件自信息量、联合自信息量、互信息及其性质

教学重点和难点：

教学重点：

自信息量、条件自信息量、联合自信息量、互信息及其性质

教学难点：

互信息及其性质

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1信源模型，获得信息量的多少与信源的不确定性的消除有关。

不确定度——惊讶度——信息量，讲解5分钟

2基本概率公式，p（bj|ai）是信道传递概率，称为前向概率，p（ai|bj）称为后向概率，也是输入符号的后验概率，p（ai）是输入符号的先验概率。

讲解10分钟

3自信息量，直观定义信息量为收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性，讲解10分钟

4联合自信息量，讲解10分钟

5条件自信息量，讲解10分钟

6互信息量，讲解10分钟

7互信息的性质，即对称性和可正可负，讲解25分钟

8条件互信息，讲解10分钟

作业及课外训练：

2.1，2.2，2.3

参考资料（含参考书、文献等）：

课后自我总结分析：

自信息量的概念还是比较容易理解的，关键是使学生明白互信息及其性质。

周次

第2周，第3次课

编写时间

2009.9.1

章节名称

2.1.3信源熵

教学目的与要求：

掌握信源熵及其主要性质、联合熵、条件熵

教学重点和难点：

教学重点：

信源熵及其主要性质、联合熵、条件熵

教学难点：

信源熵主要性质的证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1关于自信息和互信息的几道典型题，讲解30分钟

2信源熵是各离散消息自信息量的数学期望，即信源的平均信息量，信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。

信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。

讲解15分钟

3熵函数的数学特性，即非负性、对称性、扩展性、确定性、可加性、极值性、上凸性，最大离散熵定理，讲解25分钟

4条件熵，条件熵是在联合符号集XY上的条件自信息量的联合概率加权统计平均值。

条件熵H（X|Y）表示收到全部输出符号后，对信道输出符号集还存在的平均不确定性，称为信道疑义度。

条件熵H（Y|X）可以衡量信号通过信道后损失信息量的多少。

讲解10分钟

5联合熵，联合熵是在符号集XY上的每个元素对xiyj的自信息量的概率加权统计平均值，讲解10分钟

作业及课外训练：

2.4，2.5，2.7

参考资料（含参考书、文献等）：

课后自我总结分析：

理解熵的概念和物理意义十分重要。

周次

第3周，第4次课

编写时间

2009.9.8

章节名称

2.1.5平均互信息2.1.6各种熵之间的关系

教学目的与要求：

掌握平均互信息的定义和性质，各种熵之间的关系

教学重点和难点：

教学重点：

平均互信息的定义和性质，各种熵之间的关系

教学难点：

平均互信息的性质证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1一道计算各种熵的练习题，讲解20分钟

2平均条件互信息的定义，在联合集XY上，由yj提供的关于集X的平均条件互信息量等于由yj提供的互信息量在整个X中的后验概率加权的平均值，讲解10分钟

3平均互信息的定义和物理含义，平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。

平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。

平均互信息量等于通信前、后，整个系统不确定度减少的量。

，讲解15分钟

4各种熵之间的关系，讲解15分钟

5平均互信息的数学性质，即非负性、对称性、极值性等，讲解30分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第3周，第5次课

编写时间

2009.9.8

章节名称

2.1.4加权熵的概念及基本性质

教学目的与要求：

理解平均互信息的凸函数性、数据处理定理，了解加权熵的概念及基本性质

教学重点和难点：

教学重点：

平均互信息的凸函数性的证明

教学难点：

平均互信息的凸函数性的证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p（x）和信道传递概率p（x|y）的凸函数。

讲解55分钟

2数据处理定理，讲解20分钟

3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。

信源平均每发出一个消息，总能提供一定的信息量，最差是零。

信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。

在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。

香农最大熵可看成是加权熵在权重系数都为1时的特例。

讲解15分钟

作业及课外训练：

2.11

参考资料（含参考书、文献等）：

课后自我总结分析：

推导平均互信息的凸函数性时尽量让更多的学生能够理解。

周次

第3周，第6次课

编写时间

2009.9.18

章节名称

2.2.1-3离散平稳信源

教学目的与要求：

掌握序列信源的熵，离散平稳信源条件熵和极限熵

教学重点和难点：

教学重点：

序列信源的熵，离散平稳信源条件熵和极限熵

教学难点：

离散平稳信源条件熵和极限熵的性质

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1序列信源的熵，输出的消息序列中各符号之间无相互依赖关系的信源。

亦称为单符号离散平稳无记忆信源的扩展信源。

由N个二进制数字为一组构成的新信源共有2N个符号，每个符号长度为N，称为二进制信源的N次扩展信源。

根据信息熵的定义，离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即H（XN）=NH（X），讲解20分钟

2离散平稳信源的数学模型，各维联合概率均与时间起点无关的完全平稳信源。

讲解25分钟

3离散平稳信源的信源熵和极限熵，讲解20分钟

4离散平稳信源条件熵和极限熵的性质，条件熵随N的增加是非递增的（即N的单调非增函数）；HN（X）是随N的增加是非递增的（即N的单调非增函数）；讲解25分钟

作业及课外训练：

2.13，2.15

参考资料（含参考书、文献等）：

课后自我总结分析：

理解离散平稳信源条件熵和极限熵的性质至关重要。

周次

第4周，第7次课

编写时间

2009.9.18

章节名称

2.2.4马尔可夫信源

教学目的与要求：

掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。

教学重点和难点：

教学重点：

马尔可夫信源的特点

教学难点：

马尔可夫信源极限熵的求解

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1有限状态马尔可夫链，讲解20分钟

2状态转移图和状态转移矩阵，讲解10分钟

3马尔可夫信源的定义，以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。

m阶马尔可夫与一般记忆长度为m的有记忆信源的区别：

马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。

长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系，讲解15分钟

4马尔可夫链的稳态分布及性质，讲解25分钟

5马尔可夫信源的极限熵，讲解20分钟