《多媒体技术基础及应用》期末复习.docx

1、多媒体技术基础及应用期末复习第一章 多媒体计算机技术概述1-1 媒体（Medium）在计算机领域中有两种含义（P1）（1）用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器； （2）信息的载体，如数字、文字、声音、图形和图像。 多媒体技术中的媒体是指后者。 1-2 多媒体计算机技术定义（P1）计算机综合处理多种媒体信息(文本、图形、图象、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：（1）计算机综合处理声、文、图信息；（2）具有集成性和交互性。1-3 多媒体计算机的主要特征（P2）多媒体计算机具有信息载体多样性集成性和交互性。1-4 多媒体计算机的分类（P2）从

2、开发和生产厂商以及应用的角度出发可以分成两大类：电视计算机（Teleputer）和计算机电视（Compuvision）。（1）电视计算机（Teleputer）：家电制造厂商研制的电视计算机，是把CPU放到家电中，通过编程控制管理电视机、音响，有人称它为“灵巧”电视Smart TV；（2）计算机电视（Compuvision）：计算机制造厂商研制的计算机电视，采用微处理器（8086、68）作为CPU，其它设备还有VGA卡、CD-ROM、音响设备以及扩展的多窗口系统，有说它的发展方向是TVKiller。1-5 多媒体计算机的关键技术（P2）要把一台普通的计算机变成多媒体计算机要解决的关键技术是：（1

3、）视频音频信号获取技术；（2）多媒体数据压缩编码和解码技术；（3）视频音频数据的实时处理技术；（4）视频音频数据的输出技术。1-6 促进多种媒体计算机发展的技术（P2）（1）超大规模集成电路的密度增加了；（2）超大规模集成电路的速度增加了；（3）CD-ROM可作为低成本、大容量PC机的只读存储器（可更换的5英寸盘片，每片容量为650MB，以及DVD（单面4.7GB）；（4）双通道视频随机存储器VRAM(Video Random Access Memory) 、动态随机存储器DRAM(Dynamic Random Access Memory)的引进；（5）网络技术的广泛使用。1-7 多媒体创作工

4、具的分类（P13）（1）基于时间的创作工具；（2）基于图符（Icon）或流线（Line）创作工具；（3）基于卡片（Card）和页面（Page）的创作工具；（4）以传统程序语言为基础的创作工具。1-8 多媒体计算机的发展趋势（P14）（1）进一步完善计算机支持的协同工作环境CSCW；（2）智能多媒体技术；（3）把多媒体信息实时处理和压缩编码算法作集成到CPU芯片中。第二章 音频信息的获取与处理2-1 数字音频、数字音频的特点（P17）在计算机内，所有的信息均以数字表示。各种命令是不同的数字，各种幅度的物理量也是不同的数字。音频信号也用一系列数字表示，称之为数字音频。数字音频的特点是保真度好，动态

5、范围大。2-2数字音频的采样和量化（P18）1数字音频的采样：模拟声音在时间上是连续的，而数字音频是一个数字序列，在时间上只能是断续的。因此当把模拟声音变成数字声音时，需要每隔一个时间间隔在模拟声音波形上取一个幅度值，称之为采样，采样的时间间隔称为采样周期。2数字音频的量化：在数字音频技术中，把采样得到的表示声音强弱的模拟电压用数字表示。模拟电压的幅值仍然是连续的，而用数字表示音频幅度时，只能把无穷多个电压幅度用有限个数字表示，即把某一幅度范围内的电压用一个数字表示，这称之为量化。2-3 常用的音频采样率（P18）8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44

6、.1kHz、48kHz。2-4 数字音频的文件格式（P21）.WAV Microsoft公司的波形音频文件格式。.MID MIDI文件格式。.VOC Creative公司的波形音频文件格式。.SND NeXT计算机的波形音频文件格式。.AIF Apple计算机的波形音频文件格式。.RMI Microsoft公司的MIDI文件格式。它可以包括图片、标记和文本。2-5 WAV文件储存容量计算（P19）WAV文件的字节数/每秒=采样频率（Hz）?/FONT量化位数（位） ?/FONT声道数/8 2-6 MIDI文件的特点（P20）由于MIDI文件记录的是一系列的计算指令而不是数据化后的波形数据，因此

7、占用的存储空间比WAV文件要小很多。所以预装MIDI文件比装入WAV文件要容易很多。这为设计多媒体应用系统和指何时播放音乐带来很大的灵活性。但是MIDI文件的录制比较复杂，这要学习一些使用MIDI创作并改编作品的专业知识，并且还必须有专门工具，如键盘合成器等。2-7 音频信号处理的特点（P20-21）(1) 音频信号是时间依赖的连续媒体。(2) 理想的合成声音应是立体声。(3) 对语音信号的处理，要抽取语意等其它信息，如可能会涉及到语言学、社会学、声学等。2-8 音频卡的主要功能（P21）音频的录制与播放、编辑与合成、MIDI接口、文语转换、CD-ROM接口及游戏接口等。2-9 音频卡的分类（

8、P23）音频卡的分类主要根据数据采样量化的位数来分，通常分为8位、16位和32位等几类。位数越高，量化精度越高，音质就越好。2-10 音频卡的工作原理（P24-25）（1）声音的合成与处理：这部分是音频卡的核心，一般由数字声音处理器、FM音乐合成器及MIDI控制器组成。它的主要任务是完成声波信号的 模/数、数/模转换，利用调频技术控制声音的音调、音色、和幅度。（2）混合信号处理器及功率放大器：内置数字/模拟混音器，混音器的声源可以是MIDI信号、CD音频、线输入、话筒和PC的扬声器等，可以选择输入一个声源或将几个不同的声源进行混合录音。（3）计算机总线接口和控制器：总线接口和控制器是由数据总线

9、双向驱动器、总线接口控制逻辑、总线中断逻辑及DMA（直接存储器存取）控制逻辑组成。2-11 音频卡硬件的安装步骤（P26）（1）将电脑电源关闭，拔下供电电源和所有外接线插头；（2）打开机箱外壳，选择一个空闲的16位扩展槽并将声卡插入扩展槽，声卡一般应尽可能远离显示卡，以防两者互相干扰；（3）连接来自CD-ROM驱动器的音频线及声卡的输入/输出线和游戏棒等；（4）如果需要，将CD-ROM驱动器的接口电缆插在卡上相应的接口上，并将CD-ROM的音频输出线接到声卡的针形输入线上；（5）连接诸如麦克风、外部音源和游戏棒等其它设备；（6）盖上机箱外壳，并将电源插头插回，待全部调试通过后再将固定螺丝拧紧。

10、2-12对语音信号实行压缩的可能性（P28）从信息保持的角度讲,只有当信源本身具有冗余度,才能对其进行压缩。根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。2-13.数据压缩技术的三个重要指标(1)压缩前后所需的信息存储量之比要大；(2)实现压缩的算法要简单，压缩、解压缩速度快，尽可能地做到实时压缩和解压缩；(3)恢复效果要好，要尽可能的完全恢复原始数据。2-14.实施音频数据压缩时要考虑的因素（P30）音频质量、数据量和计算复杂度。2-15 音频编码的分类（P30）（1）基于音频数

11、据的统计特性进行编码,其典型技术是波形编码。（2）基于音频的声学参数，进行参数编码,可进一步降低数据率。其目标是使重建音频保持原音频的特性。（3）基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。其中以MPEG标准中的高频编码和Doldy AC-3最有影响。2-16 音频编码算法和标准（P31-36）（1）G.711 、G.721 、G.722 、G.728（2）MPEG中的音频编码（3）AC-3编码和解码2-17 AC-3编码和解码（P36-39）2-18 乐音的三要素（P40）一个乐音，包括必备的三要素：音高、音色和响度。若把一

12、个乐音放在运动的旋律中，它还应具备时值持续时间。这些要素的理想配合是产生优美动听的旋律的必要条件。2-19 MIDI规范（P42）MIDI(Musical Instrument Digital Interface)是乐器数字接口的缩写，泛指数字音乐的国际标准。MIDI标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。它还指定从一个装置传送数据到另一个装置的通信协议。任何电子乐器，只要有处理MIDI信息的处理器和适当的硬件接口都能变成MIDI装置。MIDI间靠这个接口传递消息而进行彼此通信。2-20 在下列情况下采用MIDI谱曲比使用波形音频更好（P44）（1）需要播放长时间高质量的音乐。比

13、如想在硬盘上存储的音乐大于一分钟，而硬盘又没有足够的存储空间；（2）需要以音乐作背景音响效果，同时从CD-ROM中装载其它数据，如图象、文字的显示；（3）需要以音乐作背景音响效果，同时播放波形音频或实现文-语转换，以实现音乐和语音同时输出。第三章 视频信号的获取与处理3-1 数字图像（P59）多媒体计算机处理图像和视频，首先必须把连续的图像函数f (x,y) 进行空间和幅值的离散化处理，空间连续坐标(x,y)的离散化，叫做采样；f(x,y)颜色的离散化，称之为量化。两种离散化结合在一起，叫做数字化，离散化的结果称为数字图像。3-2 用YUV和YIQ的好处（P61）(1) 亮度信号Y解决了彩色电

14、视机与黑白电视的兼容问题。(2) 大量实验表明，人眼对色差信号不敏感，而对亮度信号特别敏感。用亮度信号Y传送细节，用色差信号UV进行大面积涂色。3-3 选YIQ好处（P63）大量实验统计，人眼对红黄之间的颜色变化最敏感，而分辨蓝和紫之间颜色变化最不敏感。所以把相角为123的橙色及其相反相角的303的青色定义为I轴，它表示人眼最敏感的色轴。与I正交的色度信号轴，通过33 0213线，叫Q轴，它表示人眼最不敏感的色轴。在传送分辨率弱的Q信号是，可用较窄的频带，而传送分辨率较强的I信号是，可用较宽的频带。3-4 黑白全电视信号（P64）摄象机把图象信号转变成的最后输出信号就是全电视信号。全电视信号主

15、要由三个部分组成：图象信号（视频信号）、复合消隐信号、复合同步信号。3-5 彩色全电视信号（P65-66）彩色全电视信号主要由：亮度信号、色度信号、复合同步信号、复合消隐信号组成。3-6 获取图形、静态图象和动态视频的方法（P67）多媒体计算机最常用的图象有三种：图形、静态图象和动态视频（也称视频），获得这三种图象可用下述方法：（1）计算机产生彩色图形、静态图象和动态图象；（2）用彩色扫描仪，扫描输入彩色图形和静态图象；（3）用视频信号数字化仪，将彩色全电视信号数子化后，输入到多媒体计算机中，可获得静态和动态图象。3-7 视频卡的类型（1）视频转换卡（Video Conversion Card

16、）（2）视频捕捉卡（Video Capture Card）（3）视窗动态视频卡（Video Overlay Card）（4）动态视频捕捉/播放卡（Motion Video Capture/Playback Card）（5）视频压缩卡（JPEG/MPEG Compression Card）（6）模拟视频叠加卡（7）数字视频叠加卡（Video Overlay Card）（8）视频输出图形卡（9）视频输入、输出卡（10）MPEG影音解压卡3-8 视频采集卡的工作原理（P71-77）视频信号源（摄象机、录象机或激光视盘）的信号首先经过A/D变换，送到多制式数字解码器进行解码得到Y、U、V数据，然后由视

17、频窗口控制器对其进行裁剪，改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下，与VGA同步信号或视频编码器的同步信号同步，再送到D/A变换器模拟彩色空间变换矩阵，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录象机。（1）A/D变换和数字解码（2） 窗口控制器（3）帧存储器系统（4）数模转换和矩阵变换（5）视频信号和VGA信号的叠加（6）数字式多制式视频信号编码部分3-9 视频采集卡的硬件安装（P81-82）3-10 静态图像文件格式（P85）当前比较流行的图像格式：GIF、TIFF、TGA、BMP、PCX、JPG及MMP。3-11 动态图像压缩编码文件格式（P

18、85）动态图像的文件格式目前在多媒体计算机中常用的有：MPG、AVS及AVI、等。3-12 MPEG数据流结构的六个层次（P92）（1）序列层（Sequence layer）（2）图像组层（Group of Picture）（3）图像层（Picture）（4）片层（Slice）（5）宏块层（Macro block）（6）块层（Block layer）3-13 数字视频图象数据量的计算（不压缩）帧率： PAL制（25帧/秒）； NTSC制（30帧/秒）第四章 多媒体数据压缩编码技术4-1 信息量与数据量的关系I=D-DuI：信息量D：数据量Du：冗余量4-2 图象数据压缩研究的起点（P99）图象

19、数据压缩技术就是研究如何利用图象数据的冗余性来减少图象数据量的方法。因此，进行图象数据压缩研究的起点是研究图象数据的冗余性。4-3 多媒体数据压缩方法根据不同的依据可产生不同的分类（P100）（1）根据质量有无损失可分为有损失编码和无损失编码。（2）按照其作用域在空间域或频率域上分为：空间方法、变换方法和混合方法。（3）根据是否自适应分为自适应性编码和非适应性编码。4-4 依据压缩算法分类：（1）脉冲编码调制（2）预测编码（3）变换编码（4）统计编码（5）混合编码4-5 变换编码的主要思想（P101）变换编码的主要思想是利用图像块像素值之间的相关性，把图像变换到一组新的基上，使得能量集中到少数

20、几个变换系数上，通过存储这些系数而达到压缩的目的。在变换编码中，由于对整幅图像进行变换的计算量太大，所以一般把原始图像分成许多个矩形区域子图像独立进行变换。4-6 统计编码（P101）最常用的统计编码是Huffman编码。它对于出现频率大的符号用较少的位数来表示，而对出现频率较小的符号用较多的位数来表示。其编码效率主要取决于需编码的符号出现的概率分布，越集中则压缩比越高。4-7 量化器的设计要求（P103）通常设计量化器有下述两种情况：（1）给定量化分层级数，满足量化误差最小。（2）限定量化误差，确定分层级数，满足以尽量小的平均比特数，表示量化输出。4-8 信息、信息量、信息熵（P106）（1

21、）信息：信息是用不确定性的量度定义的。一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息愈少。（2）信息量：所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问“是或否”的最少次数。（3）熵：如果将信源所有可能事件的信息量进行平均，就得到了信息熵(entropy)。熵就是平均信息量。4-9 最佳编码定理（P108）在变字长码中，对于出现概率大的信息符号编以短字长的码，对于出现概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长度一定小于按任何其它符号顺序排列方式得到的码

22、字长度。4-10 Huffman 编码的步骤（P108）（1）概率统计，得到n个不同概率的信息符号；（2）将n个信源信息符号的n个概率，按概率大小排序；（3）将n个概率中，最后两个小概率相加，这时概率个数减为n-1个；（4）将n-1个概率，按大小重新排序；（5）重复（3），将新排序后的最后两个小概率相加，相加和与其余概率再排序；（6）如此反复重复n-2次，得到只剩两个概率序列；（7）以二进制码元（0，1）赋值，构成哈夫曼码字，编码结束。4-11 预测编码概念（P114）预测编码是根据某一模型利用以往的样本值对于新样本进行预测，然后将样本的实际值与预测值相减得到一个误差值，对这一误差值进行编码。

23、4-12 帧间预测编码（P119）帧间预测编码技术的对象是序列图象。随着大规模集成电路技术的发展，已有可能把几帧的图象存起来作实时处理，利用帧间的时间相关性进一步消除图象信号的冗余度，提高压缩比。帧间编码的技术基础是预测技术。4-13 JPEG标准（P135）JPEG算法被确定为JPEG国际标准，它是国际上彩色、灰度、静止图像的第一个国际标准。JPEG标准是一个适合范围广泛的通用标准。它不仅适于静图像的压缩，电视图像序列的帧内图像的压缩编码也常采用JPEG压缩标准。JPEG的目的是为了给出一个适用于连续色调图象的压缩算法。4-14 JPEG算法具有四种操作方式（P135）（1）顺序编码；（2）

24、累进编码；（3）无失真编码；（4）分层编码。4-15 JPEG的编解码过程（P135-138）（1）离散余弦变换（DCT）；（2）量化；（3）DC系数的编码和AC系数的行程编码；（4）熵编码。4-16 MPEG标准包括四个部分MPEG系统、MPEG视频、MPEG音频、MPEG测试（检测）4-17 MPEG将图像分成三种类型（P152）图像（Intra Picture 帧内图）、P图像（Predicted Picture预测图）、B图像（Bidirectional Picture双向预测图）。4-18 MPEG视频压缩技术（P152）MPEG视频压缩技术是针对运动图象的数据压缩技术。为了提高压缩

25、比，帧内图象数据压缩和帧间图象数据压缩技术必须同时使用。第五章 多媒体计算机硬件及软件系统结构5-1 MPC平台标准与开发者、销售商和用户的关系（P174）（1）对计算机应用开发者来说，MPC是开发先进的多媒体应用系统的标准；（2）对用户来说，MPC是建立能支持多媒体应用的PC机系统或者已有的PC机系统升级为多媒体PC机系统的指南；（3）对销售商来说，MPC是一个组织的标志，这个组织的宗旨是尽可能使PC机的用户拥有多媒体功能。5-2 MPC兼容性的两个关键问题（P174）（1）如何能使应用软件和工具软件在各种操作系统和硬件支撑平台上操作运行；（2）数据交换兼容性问题。5-3 MPC升级办法（P

26、179）（1）自己购置组成MPC的硬件和必要的软件，自己安装调试；（2）请专业公司和专业人员协助升级；（3）购置多媒体升级套件。5-4 MPC的功能（P181）（1）对音频信号的处理能力（2）图形功能（3）图像处理功能（4）视频处理功能5-5 II型DVI系统Action Media 750 II系统结构的主要组成部分（P186-193）（1）视频子系统（2）彩色键连子系统（3）音频子系统（4）DVI总线（5）获取子系统（6）CD-ROM子系统（7）主机接口5-6 集成设计原则（P211-213）集成的含义是指：在原有计算机体系结构结构中，如何增加下述新的功能，其设计原则是：（1）采用国际标准

27、的设计原则（2）多媒体和通信功能的单独解决变成集中解决（3）体系结构设计和算法相结合（4）把多媒体和通信技术作到CPU芯片中5-7 MMX技术能够加速的最根本原因（P241）采用SIMD结构正好能够在一条指令中并行执行多数据流相同的操作，这就是MMX技术能够加速的最根本原因。5-8 Intel MMX的核心技术（P241-245）（1）增加了新的数据类型；（2）扩充了饱和型运算方式；（3）扩充了57条新指令；（4）与IA结构的全兼容性。5-9 MMX开发工具和编程技巧（P248）建议采用下述工具和方法：（1）采用在高级语言中嵌入MMX指令的方法。（2）采用Intel公司提供的MMX标准函数库。

28、（3）采用数据流描述方法。第六章 超文本和超媒体6-1 超文本的特点：（P255）（1）多种媒体信息（2）网络结构形式（3）交互特性6-2 超文本的三个要素（P255） 节点、链和网络。6-3 超文本系统的特性（P256）（1）多媒体化：节点可含有文本、图形、图象、动画、声音和视频等；（2）网络结构：使信息的表达方式接近现实世界，按人们的思维习惯方式组织信息；（3）交互性：多媒体化和网络结构反映了信息的静态结构特征，而交互性是浏览超文本时，最为重要的动态特征。6-4 超文本与超媒体系统的三层理论模型（P259）（1）数据库层（2）超文本抽象机层（3）用户接口层6-5 节点（P261）超文本是由

29、节点和链构成的信息网络。节点是表达信息的单位，是围绕一个特殊主题组织起来和数据集合。节点的内容可是文本、图形、图像、动画、音频、视频等，也可以是一般计算机程序。6-6 链的结构（P262）链的一般结构可分为三个部分：链源、链宿及链的属性。链源：一个链的起始端称为链源。链源是导致节点信息迁移的原因，可以是热字、热区、图元、媒体对象或节点等。链宿：链宿是链的目的所在。一般超文本链的链宿都是节点。链的属性：链的属性决定链的类型，它是链的主要特性。6-7 超文本系统与操作工具（P264-265）（1）编辑器；（2）编译器；（3）阅读器；（4）导航工具6-8 超文本与超媒体发展的前景（P267）（1）由

30、超文本向超媒体发展（2）由超媒体向智能超媒体发展（3）由超媒体向协作超媒体发展第七章 多媒体计算机的应用技术7-1.多媒体电子出版物的优点（P269）（1）存储容量大，一张光盘可以存储几百本长篇小说；（2）媒体种类多，可以集成文本、图形、图像、动画、视频和音频等多媒体信息；（3）运输与携带方便，检索迅速：可长期保存，不会出现纸面出版物那样变色、发霉、虫蛀和粉化等现象；（4）及时传播，经由计算机网络可立即发行到国内外各地；（5）价格低廉，单位成本是普通图书的几分之一，甚至几百分之一。7-2 视频会议系统的分类（P280）根据通信节点的数量，视频会议系统可分为：（1）点对点视频会议系统；（2）多点

31、视频会议系统。7-3 视频会议系统的组成（P281）视频会议系统主要由视频会议终端、多点控制器、信道（网络）及控制管理软件组成。7-4 视频会议系统终端的主要功能（P281）视频会议系统终端的主要功能是：完成视频信号的采集、编辑处理及显示输出、音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端中。此外，终端还要形成通信的各种控制信息：同步控制和指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规程、加密标准、传送密钥及密钥的管理标准等。7-5 多点控制单元（MCU）的主要功能（P281）多点控制单元（multipoint control unit，简称MCU）是视频会议系统的关键设备，它的主要功能是