多媒体技术基础学习指导.docx
《多媒体技术基础学习指导.docx》由会员分享，可在线阅读，更多相关《多媒体技术基础学习指导.docx（19页珍藏版）》请在冰豆网上搜索。
多媒体技术基础学习指导
《多媒体技术基础》课程
学习指导手册
中国科学技术大学
2005年2月
课程简介
严格地讲，多媒体技术应该包括多媒体计算（MultimediaComputing）、多媒体通信（MultimediaCommunication）和多媒体应用（MultimediaApplication）技术三个方面的内容。
多媒体计算技术主要研究各种数字媒体（音频、视频等）信息的特征及其编/解码技术、多媒体数据压缩与存储技术、多媒体计算机系统组成原理、多媒体操作系统、多媒体数据库及其数据检索技术等；多媒体通信技术主要研究数字媒体的数据流特点、传输与控制等方面的内容，其中包括多媒体通信协议、服务质量等；多媒体应用主要研究多媒体应用编成技术、工具以及各种多媒体应用系统的设计与实现技术等。
有人将多媒体计算与多媒体应用合在一起称之为“多媒体计算机技术”或者简称为“多媒体技术”。
本课程的名称为“多媒体技术基础”，顾名思义，主要介绍多媒体技术的原理与背景知识、相关技术的理论框架与所采用的方法等，内容涵盖多媒体计算技术的主要部分，鉴于课时的限制，没有介绍多媒体数据库及其数据检索技术、多媒体应用技术等内容。
本课程的内容主要包括六个部分：
第一章多媒体技术概述。
主要介绍相关的概念、多媒体技术的研究现状与未来发展方向，同时还介绍了多媒体数据流的基本特征。
第二章音频信息处理。
主要介绍音频信号的数字化、音频信息的编码技术基础与编码标准、音乐合成与语音合成技术基础。
第三章图形、图像及视频处理技术。
主要介绍彩色数字图像的基本概念以及静止图像的编码技术、运动图像的编码技术基础等，其中还介绍颜色科学、JPEG图像标准和MPEG数字电视标准的相关内容。
第四章多媒体数据压缩技术。
主要介绍多媒体数据的无损压缩技术及其各种算法，如霍夫曼编码、算术编码等。
（有损数据压缩技术已在第三章进行了简要的介绍）。
第五章光存储技术。
主要介绍光存储技术的原理、CD的发展历史和CD的技术标准等方面的内容，其中还包括只读光盘存储器的工作原理和CD的技术参数等。
第六章多媒体计算机硬件及软件系统结构。
主要介绍了比较流行的多媒体计算机的系统结构、操作系统、MPC标准，并对一些特定的多媒体处理器进行一个简要的介绍。
这六章的内容可以按“概念—信息处理—存储—在特定多媒体计算机上应用”的知识层次串联起来，形成一个从数据到平台应用的知识体系。
前面提到，本课程所介绍的是一个关于多媒体技术的基础性内容，因此大家在学习过程中首先应注意的是理解，其次是要将所介绍的内容前后串联起来，最后将所介绍的技术融会贯通，如为什么在图像编码的过程中有些步骤可以采用有损压缩技术，而另一些步骤则必须采用无损数据压缩技术，为什么在对FDCT变换后的交流数据进行Z字形编排等。
主讲教师：
张国义
所在单位：
中国科学技术大学计算机科学与技术系
电子邮件：
zgy@
内容目录
第一章多媒体技术概述1
1.1多媒体计算机技术概述1
1.2媒体与数据流1
第二章音频信息处理3
2.1音频信息处理概述3
2.2音频编码基础4
2.3音频编码标准4
2.4音乐合成与MIDI5
2.5语音合成技术6
第三章图形、图像及视频处理技术7
3.1概述7
3.2颜色的度量体系及其变换7
3.3彩色数字图像基础8
3.4JPEG图像编码标准9
3.5计算机动画10
3.6MPEG视频编码标准10
第四章多媒体数据压缩技术12
第五章光存储技术14
第六章多媒体计算机硬件及软件系统结构16
附录A：
推荐的参考资料
第一章多媒体技术概述
本章主要包括多媒体计算机技术与多媒体数据流特点两个方面的内容。
一.1多媒体计算机技术概述
&本节的内容要点：
（1）什么是“多媒体”？
（2）多媒体计算机的分类；
（3）多媒体计算机的关键技术；
（4）多媒体技术的发展趋势。
&本节内容的知识点：
（1）多媒体的概念与特征；
（2）多媒体计算、多媒体通信、多媒体应用技术的内涵及其技术关键。
&内容理解与正确领会：
（1）多媒体的集成性与交互性。
从多媒体的这两个特性出发比较与一般的可视媒体（如报纸、电视）的区别；比较一些特定的多媒体应用系统（如视听产品—狭义多媒体电子出版物之间、多媒体电视—电视多媒体之间）的区别。
（做到举一反三）。
（2）熟悉现今的多媒体IT工业的发展趋势，并对未来的多媒体应用产品的技术融合加以评述。
（熟悉IT领域的发展趋势）。
（3）从Web和Internet技术的发展现状与趋势，了解现今多媒体技术的需求与技术内涵的延展。
（多媒体技术的新需求）。
（4）在计算机支持的多媒体与电视（未来）支持的多媒体未来可能的趋于大同的发展模式下，多媒体技术标准的可能变革。
（设想）。
一.2媒体与数据流
&本节内容要点：
（1）ISOIECJTC1/SC29标准对媒体的分类，六种媒体具体是什么？
（2）媒体的表示值与表示空间是什么概念？
什么是表示空间的表示维？
哪些类型的值是自“包含的”，怎么解释？
什么是连续型媒体，什么是离散型媒体？
什么是时间独立的媒体，什么是时间依赖的媒体，判断的依据是什么？
（3）多媒体数据流的特性有哪些？
需要什么样的传输—控制协议支持？
（4）什么是逻辑数据单元？
逻辑数据单元之间的关系是什么？
什么是数据逻辑单元的粒度？
研究数据逻辑单元有什么意义？
（5）ISO对媒体的分类与其他分类方法之间的区别与联系。
（ISO针对组成多媒体的元素进行划分，其他分类方法是针对媒体表示值/表示空间的特征进行划分）。
&本节内容的知识点：
（1）媒体的分类方法：
按类型划分、按含义划分；
（2）媒体的表示方法与表示空间；
（3）按照媒体的表示方法，各种类型媒体在表示空间中具有的特征；
（4）不同的数据流特性与多媒体数据的传输/控制；
（5）不同粒度的数据逻辑单元之间的关系。
&内容理解与正确领会：
（1）能否根据表示方法、表示空间来度量特定类型媒体实例的数据量、信息量？
应该看到数据量与信息量是两个不同的概念。
信息量是指所包含信息的多少，而数据量是指数字化后的字节数。
信息可以是显式的，也可以是隐式的，有些信息是自解释或自包含的。
（一定要能够理解）。
（2）研究多媒体信息的表示方法对多媒体信息的编码具有十分重要的意义。
第二章后续的内容就充分地说明了这一点。
（一定要注意）。
（3）多媒体数据逻辑单元的划分、数据流特性对数据的传输/控制具有十分重要的影响，这不仅表现在多媒体的通信，更表现在多媒体信息的编码方法。
编码方法的设计应该能够反映其数据流的特征，因为当前基于Internet的多媒体应用已经成为主流，音频信息、视频信息处理必须满足应用、QoS等方面的需求。
（牢记）。
本章内容学习提示：
☑本章为多媒体技术基础的开场篇，大部分内容为后续章节的内容埋下了伏笔，内容的字面难度虽然不大，但是做到真正的领会确实不易。
建议大家在学习完后续章节的内容之后反过来看看本章的内容，加深理解。
☑多媒体计算的很多内容涉及“信息论及其编码技术”，建议大家看看这方面的参考书籍或相关的文献资料。
☑多媒体信息处理虽然大部分是基于数据（信号）处理的，但是也有较大的部分是基于心理学模型的处理，如编码算法的建模。
请大家注意它们的假设条件。
第二章音频信息处理
本章主要包括音频信息的编码技术及其标准、语音合成、音乐合成三个方面的内容。
在教学进程上，首先介绍音频信息与音频信息处理的相关概念，接着介绍音频信息的几种编码方法，然后介绍音频信息编码的国际/工业标准，最后介绍音乐合成与语音合成编码技术及其应用。
本章为课程的重点之一。
二.1音频信息处理概述
&本节内容要点：
（1）声音的物理特性；
（2）什么是数字化音频？
（3）音频的数字化方法；
（4）什么是奈奎斯特采样定理？
（5）什么是采样？
采样方法对采样结果的影响是什么？
（6）什么是量化？
量化器的设计原理是什么？
量化器的性能如何度量？
（7）什么是量化后数据的编码？
为什么采用二进制补码进行编码？
&本节内容的知识点：
（1）采样和量化均会产生信源信数据量的减少，采样是将连续信号变成离散信号，而量化是将采样后的值进行归一化处理；
（2）采样方法和量化器的设计尤为重要，信源信号在时域、频域的特性直接影响采样和量化的性能。
为减少失真，应尽可能地做到自适应，由此产生了多种编码算法；
（3）为什么要进行数字化呢？
因为编码算法是针对离散信号值进行处理的。
（4）应该看到真实的采样是有一定的延时的，在采样频率与信源信号频率不能完全匹配的情况下会出现什么情况，（采样与混叠现象）。
（5）在进行音频信息的特征值计算的过程中，一般抽取的是音频信号的一个子样本（某个音符的声音信号），这种采样方法称之为抽样。
&内容理解与正确领会：
（1）采样频率是否越高越好？
直观上看是这样的，但是高的采样频率会产生高的数据量。
因此，早期的实验表明，用44.1khz的采样频率对语音信号进行采样（人耳的听力范围大约在2k~20khz之间），平均的失真率较低，但是每秒要产生44.1k个数据，想象一下，如果用double数据类型来表示，那将是多大的数据率？
（2）根据上面的推断，量化器的设计亦是如此。
（3）不同领域的研究者在采样与量化性能的评价上观点可能不一致。
在通信领域，量化性能的度量标准是信噪比，而在语音应用领域，考虑更多的是可懂性。
（4）基于信号的音频信息处理并没有考虑哪些信息是有用的，哪些信息需要增强，因此存在一定的问题。
尽管如此，由于该方法十分可靠，目前仍继续使用。
二.2音频编码基础
&本节内容要点：
（1）波形编码方法：
PCM、DPCM、APCM、ADPCM、DM、子带编码等；
（2）参数编码方法：
预测编码、参数合成编码、策略编码、激励编码等；
（3）感知编码方法：
感知模型方法、感知子带编码。
&本节内容的知识点：
（1）采样的自适应和量化的自适应分别体现在哪些波形编码方法中？
如何进行自适应操作？
A-律亚扩和μ-律压扩是怎么回事？
它与自适应编码有没有联系？
（2）自适应波形编码中APCM和DPCM的区别。
（3）线性预测编码与码激励线性预测编码各有什么优点？
（4）在现行的个人通信领域，一般有哪些编码方法？
（5）为什么要采用感知编码？
音频编码主要是进行音频数据的组织、压缩等，出发点不同形成了不同形式的编码方法。
波形编码是从信号的角度出发的，是一种自然的选择，这从声音的物理性质就可以直接看出；参数编码的出发点是想用较少的参数来刻画声源的发声原理，或者从已知的信息预测来来的发展变化；而感知编码利用了人的听觉系统的特性和声音之间的掩蔽效应，建立相应的声学心理学模型，过滤掉那些无用的信息，结合波形、参数编码，进行数据压缩与组织管理。
&内容理解与正确领会：
（1）每一种编码算法均有一定的局限性和适用范围，如有线信道传输的带宽相对较宽，数据率比较高的波形编码在这种环境下的适应性好。
相对来讲，基于波形编码的音频还原出来的语音质量比其他方法高，但数据率比较大。
有线数字电话网中，一般采用ADPCM编码，在考虑到存储空间的情况下一般采用感知编码，如MPEG标准中的音频编码。
（2）在选择编码算法时，除考虑质量因素外，算法本身的性能也值得考虑。
算法性能的度量一般采用算法的复杂度（时间/空间复杂度）、吞吐率、数据率等等。
（3）在语音、音乐合成中大多采用参数编码，以刻画声源的本质特征。
如语音合成的共振峰编码方法。
二.3音频编码标准
&本节内容要点：
（1）了解目前有哪些音频编码标准?
（G系列、ITU建议、MPEG、H系列）。
它们有什么异同之处？
（2）编码标准的演化与发展趋势如何？
（3）MPEG音频信息编码标准有哪些？
Dolby高级音频编码有什么优点？
（4）中国在音频编码技术上为什么强调自主版权标准的制定？
（5）MPEG-1音频编码的三个层次是什么概念？
每一个层次适合那一种应用环境？
编码的性能如何？
（6）声音的度量方法，听觉系统的感知特性，声音的掩蔽效应等概念。
&本节内容的知识点：
（1）MPEG音频编码专家组在设计算法的过程中是如何考虑的？
（在编码标准中不但考虑采用感知子带编码，而且还划分了编码的层次，以适合不同环境的应用）。
（2）MPEG感知编码的内涵。
如何利用声音的屏蔽效应？
如何运用听觉系统的感知特性建立声音的感知心理学模型？
如何进行频带分割（分割的依据是什么）？
频带的分割依据有很多，主要为：
①听觉系统对2k~4kHz范围的声音的感知能力强，即使是较低的音高也能感知；②低频纯音可以有效的掩盖高频纯音，反之则不然；③声音的时、频掩蔽效应等等。
&内容理解与正确领会：
（1）进行子带编码的优点是：
①有效利用采用定理，减少总体的数据率；②能够较好地进行频率自适应采样。
子带编码并不能有效解决量化问题，样本之间的信息冗余问题，需要配合其他的方法一并进行解决。
（2）随着音频信息检索需求的不断增长，结构化音频、多媒体框架中的音频子框架研究正在飞速的发展。
（3）为了追求更高的音频质量和更好音频效果，编码标准中加入了一些特殊的处理算法，如音效特级、自然声音编码方法等等。
二.4音乐合成与MIDI
&本节内容要点：
（1）MIDI的原理与系统；
（2）音乐合成的基本方法：
频率调制（FM）、样本合成。
（3）FM音乐合成器的工作原理；
（4）样本合成的基本原理，样本合成器的工作原理；
（5）MIDI音序器的作用；
（6）MIDI通道的概念；
（7）MIDI消息与数据流的特点；
（8）MIDI文件格式与MIDI规范。
&本节内容的知识点：
（1）MIDI系统包括哪些构件？
各部分之间是如何协作的？
（2）MIDI的FM合成方法是如何产生声音的？
（3）样本合成的优点。
如果将声音看成是声波信号的话，就不难想象：
如果人为将某种基本波形进行参数调整，产生与某种乐符一致的波形，这不就达到目的了吗！
为了增加所产生声音的效果，再进行ADSR调制，就可以产生不同音高、音速等等。
样本合成更加直接。
它是用样本（音乐家演奏的某音符的波形）保存起来，然后按乐谱进行拼接形成完整的音乐数据（当然，在MIDI数据流中表示的仍然是指令流）。
&内容理解与正确领会：
（1）MIDI数据是指令而不是音频信息的数据；
（2）FM、样本合成所需要的参数与算法均保存在ROM中，声音合成器根据音序器的编排，执行达到的指令（从ROM中取出参数，执行合成算法）。
二.5语音合成技术
&本节内容要点：
（1）语音合成概念、实现的目标与研究的意义；
（2）语音合成的方法：
发音器官参数合成、声道模型参数合成（如共振峰）、样本合成、概念到语音合成；
（3）语音合成的发展历史；
（4）语音合成的应用。
&本节内容的知识点：
（1）实现语音输出的方法有很多：
录音/重放、文语转换（语音合成）。
前者的灵活性较差，且需要较大的存储空间；后者的难度较大，目前的语音输出质量尚待改善。
（2）“共振峰”语音合成的理论基础是语音生成的数学模型，声道参数、谐振特性是研究的重点。
声道响应频率的极点称之为“共振峰”，极点频率分布的特性决定着音色。
声道没发出不同的声音，其极点的频率分布均不同，由此可以构建数学模型。
（3）参数合成的语音质量目前还不是太好，因此很多学者提出如音乐合成一样的“样本合成技术”，即样本拼接。
在样本拼接时，时、频域均要做一些变换处理，以使合成的结果更加自然、逼真。
&内容理解与正确领会：
（1）语音合成涉及很多的学科，语音合成系统实际上是一个高度智能化的应用系统。
（2）语音合成的结果必须具有可懂、清晰、自然与具有表现力，这与音乐合成有很大的不同，音乐合成关注最多的韵律与自然流畅，而语音合成还必须具备表现力（感情色彩）。
本章内容学习提示：
☑本章的重点为音频信息的编码技术，特别是波形编码和感知编码技术。
☑本章的难点是MPEG的语音编码算法、音频数字化的基本理论、感知编码理论。
☑在学习波形编码时要注意波的极性（正负方向）。
☑音乐合成、语音合成只作一般性了解，知道有哪些方法和每一种方法的基本原理。
第三章图形、图像及视频处理技术
本章主要介绍静止图像、运动图像的编码技术，其中包括颜色的度量体系与空间变换方法、彩色数字图像的基本概念、JPEG图像标准、计算机动画、MPEG数字电视标准等内容。
本章为课程的重点之一。
三.1概述
&本节内容要点：
（1）图形、图像及视频处理的预备知识；
（2）可视媒体之间的关系；
（3）颜色科学的重要性。
&本节内容的知识点：
（1）颜色模型是图形、图像及视频信息处理的重要基础；
（2）图像是一个离散型媒体，视频信息处理主要是基于图形、图像的处理开展的；
（3）像素颜色值的处理是图形、图像及视频处理的基础。
&内容理解与正确领会：
（1）像素是构成图形、图像及视频的基础，像素的表达值与表达空间（拓扑、颜色深度）的概念十分重要；
（2）站在计算机信息处理的角度，可将运动图像看成为静止图像的连续播放。
反过来说，运行图像（时间依赖的连续型媒体）可以通过采样得到静止图像（非时间依赖的离散型媒体）。
这样，图形、图像及视频信息的处理就可以统一起来。
（建立概念）。
三.2颜色的度量体系及其变换
&本节内容要点：
（1）三基色理论的由来与实验验证；
（2）颜色模型是用数学方法对颜色值空间进行抽象的描述；
（3）色制是指颜色的组织与管理体系，它包含一套颜色模型和颜色的编目方法。
比较著名的颜色色制有孟氏、奥氏和CIE三种；
（4）颜色的空间变换是指颜色空间之间的数学变换。
&本节内容的知识点：
（1）绝大部分颜色都可以通过三基色相加/相减混合而成，但是三基色不能表达所有的色域（全色空间）。
（2）颜色空间可以用色调、饱和度与亮度进行描述。
不同波长的光产生了不同的颜色（纯色），代表色度（如红色、蓝色、…）；颜色的纯洁程度代表颜色的饱和度，可以用掺入的白光亮来度量；量度是指颜色的深浅，或者说颜色的明亮程度/强度（如深红色、浅红色等等）。
（3）颜色模型是对颜色空间的数学表达，精确定义颜色的值域范围。
为了不同的应用需求，研究者们定义了多种颜色模型，如RGB、CMYK、HSI等等。
（4）颜色的空间转换实际上是颜色模型之间的转换。
&内容理解与正确领会：
（1）每一种图像格式均包含一个颜色模型，如位图采用RGB模型、JPEG图像采用YCbCr模型（亮度—色差），因此在进行图像格式转换的过程中，也要进行颜色模型之间的转换。
（2）每一种电视的制式（PAL、NTSC、SECAM）的色域表示空间是不相同的，因此在进行数字电视视频信息编码的时候，需要采用一种设备无关的颜色模型，以使图像在任何制式的电视显示器上均能产生近似的颜色视觉效果。
（3）包括计算机、电视机显示器在内的几乎所有的显示设备均采用RGB（一种设备相关的颜色模型，与颜色色板有关）颜色模型，因此颜色空间的转换显得十分重要。
三.3彩色数字图像基础
&本节内容要点：
（1）人的视觉系统感知特性：
对亮度的感知能力强、对细节的分辨率较差、对颜色变化的感知能力强（对大面积同色调的颜色往往“熟视无睹”）。
暖色一般比冷色明亮，故一般用暖色来增强“醒目”的效果。
（2）图像的颜色模型：
相加/相减混色原理。
显示器（显像管CRT）一般采用RGB相加混色颜色模型，而印刷图像一般采用相减混色模型。
（可以将CRT想象成有源发光物体，RGB三色电子束照射到荧光屏上形成一个像元；印刷物品是一个无源发光物体，它的颜色由吸收掉或反射某些光波颜色决定）。
（3）图像的三个基本属性：
①分辨率：
显示分辨率（与显示设备有关）、图像分别率（图像像素的密度，一般与图像获取设备及模式有关）；②像素的颜色深度（用多少字节来表示像素的颜色值，因为图像一般是平面二维的，可以用第三维表示颜色值）；③色彩类型：
真彩色（用RGB表示颜色分量的值）、伪彩色（颜色查找表CLUT方式表示颜色的值，图像文件中的颜色值为CLUT的索引号，如Windows16色BMP图像）、直接色（用RGB表示颜色的三个分量，对每个分量分别进行变换，通过变换找出基色强度，然后用强度值表示颜色分量的值）。
&本节内容的知识点：
（1）由于人的视觉系统对亮度的感知比对色彩的感知能力强，对色彩变化的感知比对均匀色彩的感知能力强，因此几乎所有的电视/摄像设备均采用亮度—色差颜色模型，如YCbCr颜色模型；
（2）JPEG图像被广泛地应用于MPEG数字电视、数码摄像电子产品，因此目前的JPEG图像格式（标准JPEG、JPEG2000）均采用YCbCr颜色模型。
（3）JPEG图像在计算机上显示，要进行颜色空间转换。
（有些格式图像也是如此）。
（4）图像的显示分辨率由特定的显示设备决定。
（5）真彩色的概念不是指图像实物原型的真正颜色；伪彩色也不是说数字图像的颜色是假的，只是相对颜色分量值的表示形式；直接色不是直接对图像着色，而是直接用RGB三个分量的基色强度来表示，也是一个分量的CLUT方式，它与伪彩色之间的区别在于为彩色的CLUT表示的是颜色的模板索引（RGB三个分量同时表达）。
&内容理解与正确领会：
（1）回过头来看看，为什么在此之前我们要介绍颜色科学的相关内容，你能得出什么样的结论？
（大家自己总结）。
（2）人的视觉系统的感知特性对图像的编码有什么帮助？
（大家自己总结）。
（3）图像颜色的深度及其编码形式的进一步理解：
①颜色深度即是用多少位来表示颜色的值，一般由1位（黑白）、4位（16色）、8位（256色）、16位（216种颜色）、…。
②像素的颜色深度为16位图像一般采用5:
5:
5编码模式，每个分量分别占用5个Bit，最高位用来表示该像素是否透明。
32位图像一般采用8:
8:
8编码模式，剩下8位作为α通道，用作别的用途。
（4）可以简单地推断出如下的结论：
像素的颜色深度越深，图像的数据量就越大。
图像的数据量一般可以用下式计算：
（字节）。
（只包含一个图像位面plane，象Photoshop的图像包含多个层）。
三.4JPEG图像编码标准
&本节内容要点：
（1）JPEG图像的格式；
（2）JPEG图像的编码标准；
（3）JPEG图像的编码算法。
&本节内容的知识点：
（1）JPEG的基线（Baseline）编码算法：
FDCT变换→量化→交流系数的Z字形编排→支流系数的DPCM编码→交流系数的RLE编码→编码数据的熵编码（霍夫曼编码）。
（2）JPEG的扩展编码：
顺序累进编码、多扫描累进编码、层次多分辨率编码。
（3）JPEG的压缩编码算法是与彩色空间无关的编码，颜色的空间变换不包括在编码算法中（放在图像格式转换算法中）。
（4）JPEG的编码算法（包括FDCT变换与量化）是一个有损压缩编码算法。
（5）进行FDCT变换的目的是想让
子块中除左上角以外的数据均为“0”，这样就可以利用RLE对“0”数据进行压缩。
Z字形编排的目的是增加“0”数据序列的长度。
（6）使用其他无损压缩算法的目的是对有损压缩过的数据进行再压缩，减少JPEG的数据率。
在标准的JPEG标准中采用的是霍夫曼编码，在JPEG2000标准中采用的是算数编码。
实验表明用算术编码可以将编码的数据率平均降低3~6个百分点。
（7）JPEG扩展算法是为了在较低带宽下的图像数据传输。
JPEG2000标准是JPEG专家组于2000年制订的一个新的编码标准，已于2003年底
升级会员 