多媒体技术基础及应用期末复习指导.docx

1、多媒体技术基础及应用期末复习指导多媒体技术基础及应用期末复习指导（本科） 多媒体技术基础及应用是中央电大计算机科学与技术专业的限定性选修课程。4学分，开设一学期。该课程使用的教材为多媒体技术基础及应用和多媒体技术基础及应用辅导与实验，钟玉琢、冼伟铨、沈洪编著，清华大学出版社出版。 本课程综合讲述了多媒体计算机的基本原理、关键技术及其开发和应用。要求学生掌握的主要内容有：多媒体计算机的定义及其关键技术；视频音频信息的获取与处理；多媒体数据压缩编码技术；多媒体计算机硬件及软件系统结构、超文本和超媒体、多媒体计算机的应用技术。通过学习这些内容，为今后开展多媒体领域的研究和开发工作打下良好的基础。为了

2、电大的同学更好地复习和掌握这门课程的知识，下面按照教学大纲要求，对各章的复习要点进行归纳总结，并给出相应的练习题及解答，供大家复习时参考。一、 复习的主要内容 第一章 多媒体计算机概述1. 多媒体计算机的定义和分类 多媒体计算机的定义是：计算机综合处理多媒体信息（文本、图形、图像、音频和视频）使多种信息建立逻辑连接、集成为一个系统并具有交互性的技术。 简单地说：计算机综合处理声、文、图信息；具有集成性和交互性。 多媒体计算机的分类，从开发和生产厂商以及应用的角度出发可以分为两大类： 一类是家电制造厂商研制的电视计算机（Teleputer），是把CPU放到家电中通过编程控制管理电视机、音响。有人

3、称它为“灵巧”电视-Smart TV； 另一类是计算机制造厂商研制的计算机电视（Compuvision），采用微处理器（80X86，68XXX）作为CPU，其它设备还有VGA卡，CD-ROM，音响设备以及扩展的多媒体家电系统，有人说它的发展方向是TV-Killer。2. 多媒体计算机要解决的关键技术（1）视频音频信息的获取技术；（2）多媒体数据压缩编码和解码技术；（3）视频音频数据的实时处理和特技；（4）视频音频数据的输出技术。3. 多媒体技术促进了通信娱乐和计算机的融合 (1) 多媒体技术是解决数字化及HDTV的可行方案 应用多媒体技术制造高清晰度电视(HDTV)它可以支持任意分辨率的输出,

4、而且输入输出分辨率可以独立,输出分辨率也可以任意地改变。可以用任意的窗口尺寸输出，同时还具备许多新的功能，如图形功能、视频音频特技以及交互功能。 高清晰度数字电视技术及交互式电视技术由于采用了数字式视频数字式音频及MPEG压缩编码算法以便于数据传输、存储及计算机控制和管理。国际标准MPEG-，提供了四种工具：空间可扩展性、时间可扩充性、信噪比可扩充性及数据分块等。 （2）利用多媒体技术制作VCD、DVD及影视音响 应用多媒体计算机技术可制作VCD、DVD、影视音响卡拉OK机等。VCD播放系统主要有两种，一种是MPEG播放卡，另一种是VCD播放机。MPEG卡由Mediamatics公司研制的，这

5、种卡由三块主要的芯片：MX501、4Mbit-DRAM和40MHz OSC。它由视频音频解码加速器、PCI总线/主机寄存器组成。 (3) 个人信息通信中心（PIC） 多媒体计算机由于具有录音机、电话（可视电话）、图文传真机、立体声音设备、电视机和录音像机等多种功能。通过联网在网上传输多种信息，因此，有人称它为个人信息通信中心（PIC）。 第二章 音频信息的获取与处理 1 . 数字音频的基本概念 （）模拟音频与数字音频技术 声音是一种机械振动，振动越强，声音就越大。例如话筒把机械振动转换成电信号，这是一种模拟的音频，它是以模拟电压的幅度表示声音的强弱。 数字音频技术是把表示声音强弱的模拟电压用数

6、字表示，如0.5V电压用数字20表示，2V电压用80表示。模拟电压的幅度，即使在某电平范围内，也可以取无穷多个，如1.2V、1.21V、1.215V。而用数字来表示音频幅度时，只能把无穷多个电压幅度用有限个数字表示。把某一幅度范围的电压用一个数字表示，这叫做量化。 数字音频是通过采样量化把模拟量表示的音频信号转换成许多二制数1和0组成数字音频文件。 （）数字音频的文件格式与转换 多媒体技术中常用的声音文件格式有： WAV文件 WAV是Microsoft公司的音频文件格式。Microsoft sound system软件Sound Finder 可以转换AIF，SND和VOC文件到WAV格式。其

7、中AIF是Apple计算机的音频文件格式；SND是另一种计算机的波形音频文件格式； VOC文件 VOC文件是Creative公司波形音频文件格式。 利用声霸卡提供的软件可实现VOC和WAV文件的转换。程序VOC2WAV转换Creative的VOC文件到Microsoft的WAV文件。程序WAV2VOC转换Microsoft的WAV文件到Creative的VOC文件。 MIDI文件 MIDI文件是（Musical Instrument Digital Interface）乐器数字接口的缩写。 RMI是Microsoft公司的MIDI文件格式。2. 音频卡的功能及工作原理 （）音频卡的功能 音频卡

8、的功能有以下几个主要方面：音频录放、编辑、音乐合成、文语转换、CD-ROM接口、MIDI接口、游戏接口等。 音频录放 数字化音频采样频率范围：5kHz44.1kHz；量化位：8位16位；通道数：立体声单声道。 编码与压缩：基本编码方法有PCM(脉冲编码调制)； 压缩编码方法有ADPCM （8:4；8:3；8:2；16:4）； CCITT 律（13:8） CCITT 律（14:8） 实时硬件压缩软件压缩。 音频录放的自动动态滤波。 录音声源：麦克风、立体声线路输入、CD。 编辑与音乐合成编辑与合成就像一部数字音频编辑器，它可以对声音文件进行各种特殊的处理：如倒播、增加回音效果、静噪音、往返放音、

9、交换声道等。 音乐合成功能和性能主要是依赖于合成芯片。 （）音频卡的工作原理 音频卡的工作原理框图主要由以下几个部分组成： 声音的合成与处理 这是音频卡的核心部分，它由数字声音处理器、调频（FM）音乐合成器及乐器数字接口（MIDI）控制器组成。这部分的主要任务是完成声波信号的模数（AD）和数模（DA）转换，利用调频技术控制声音的音调、音色和幅度等。 混合信号处理器 混合信号处理器内置数字模拟混音器，混音器的声源由以下几种信号如MIDI信号、CD音频、线路输入、麦克风等。可以选择一个声源或几个不同的声源进行混合录音。 功率放大器 由于混合信号处理器输出的信号功率还不够大不能推动扬声器或音箱，所以

10、一般都有一个功率放大器作为功率放大使得输出的音频信号有足够的功率。 总线接口和控制器 总线接口有多种，早期的音频卡为ISA总线接口，现在的音频卡一般是PCI总线接口。 总线接口和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及直接存储器访问（DMA）控制逻辑组成。第三章 视频信息的获取与处理1 . 彩色空间表示及其转换 RGB彩色空间 在多媒体计算机中常用红、绿、蓝（RGB）彩色空间表示，由于计算机彩色监视器的输入需要红、绿、蓝（RGB）三个彩色分量，通过RGB三个分量的不同比例的组合，在显示器屏幕上可得到任意的颜色。在多媒体系统中不管采用什么形式的彩色空间表示，但最后要求输出的

11、是转换成RGB彩色空间表示。 YUV和YIQ彩色空间现代的彩色电视系统中，一般采用摄像机把摄到的彩色图像信号，经过分色棱镜分成R0、G0、B0三个分量的信号，经过放大和校正后得到RGB信号，再经过矩阵变换电路得到亮度信号Y和色差信号R-Y、B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道经过高频功率放大，通过天线发送出去。这种信号就是常用的YUV彩色空间表示。由于这种彩色空间的亮度信号Y解决了彩色电视与黑白电视的兼容问题，而且实验表明人眼对彩色图像细节的分辨能力比对黑白低得多，因此可以对色度信号U、V采用“大面积着色原理”用亮度信号Y传送细节而用色差信号U、V进行大面积涂色。

12、 采用YIQ彩色空间表示的好处是人眼的彩色视觉特性表明，人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝与紫之间颜色变化的能力最弱。 (3) RGB与YUV和YIQ之间的转换 彩色摄像机得到的信号是经过校正的RGB信号。考虑到和黑白电视机兼容及压缩编码，在传送过程中包含亮度信号和色差信号，则亮度方程可简化为：Y0.3R0.59G0.11B。从这个公式可看到，采用三基色显示彩色时，各基色组成亮度Y的比例关系是不变的，这些比例系数也叫做“可见度系数”它们的和为1。这表示当基色信号电压ER、EG 、EB 各为1V时，构成的亮度信号E也为1V。 在三个色差信号中B-Y、R-Y、G-Y，其中有两个是独立的

13、，最后一个可用亮度方程和两个色差信号通过运算得到。考虑到彩色与黑白的兼容问题和减少幅度失真问题，则必须对彩色信号进行压缩，具体方法是让色差信号乘上一个小于1的压缩系数。经过运算整理得YUV与RGB之间的关系表达式。2黑白全电视信号和彩色全电视信号 （1）黑白全电视信号全电视信号主要由图像信号、复合消隐信号（包括行消隐信号、场消隐信号）和复合同步信号（包括行同步信号、场同步信号）三部分组成。 (2) 彩色全电视信号1 彩色全电视信号与黑白电视的兼容问题 在彩色电视系统中,通常用Y、U、V彩色空间或Y、I、Q彩色空间，Y为亮度信号，它可以和黑白全电视信号兼容。为了实现兼容，彩色电视信号必须满足以下

14、几个要求：（a）保留黑白电视信号原有的各项标准。如：每帧625行、隔行扫描、帧频为25Hz、场频为50Hz、行频为15625Hz、以及同步方式、频带宽度等。（b）彩色电视信号中应包含有一个代表图像的亮度信号（称为亮度信号），这个信号中彩色接收机和黑白接收机中均能重现黑白图像。（c）彩色电视图像信号中还应包含有代表图像颜色的信号（称为色度信号）和色同步信号。2 彩色全电视信号的组成 彩色全电视信号是由色度信号F、亮度信号Y（或用B表示）、复合消隐信号A（包括行消隐和场消隐信号）、复合同步信号S（包括行同步和场同步信号）等迭加在一起组成的，通常可用符号FBAS来表示。在我国消隐电平规定为零电平，因

15、此，在彩色全电视信号中实际上并没有迭加特定的消隐信号。另外，为了接收机解调色度信号的需要，在彩色全电视信号中还应包括色同步信号，这是由位于行同步后肩，具有十个周期左右的副载波组成。（3）视频信息和获取技术 利用计算机产生彩色图形，静态图像和动态图像。 利用彩色扫描仪，扫描输入彩色图形和静态图像。 利用视频信号数字化仪，将彩色全电视信号经数字化处理后，输入到多媒体计算机中，获得静态和动态图像。 3. 视频采集卡的组成 模数（AD）变换和数字解码 窗口控制器 帧存储器系统 数模（DA）转换和矩阵变换 视频信号和VGA信号的叠加 数字式多制式视频信号编码 4. 视频卡的工作原理 视频卡的工作原理（参

16、考教材上视频卡的工作原理框图）可概述为：视频信号源、摄像机、录像机或激光视盘的信号首先经过模数（AD）变换，送到多制式数字解码器进行解码得到Y、U、V信号，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制下，与VGA同步信号或视频编码器的同步信号同步，再送到数模（DA）变换器模拟彩色空间变换矩阵，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录像机。第四章 多媒体数据压缩编码技术1、多媒体数据压缩的重要性和分类(1) 为什么要进行数据压缩多媒体信息包括了文本、数据、声音、动画、图形、图像以及视频等多种媒体信息。虽然经过数字化处理后其数据

17、量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储和交换。另一个原因是图像、音频和视频这些媒体具有很大的压缩潜力。因为在多媒体数据中，存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等。它们为数据压缩技术的应用提供了可能的条件。因此在多媒体系统中必须采用数据压缩技术，它是多媒体技术中一项十分关键的技术。(2) 数据压缩方法的分类 常用的压缩编码方法可以分为两大类，一类是无损压缩法；另一类是有损压缩法。常用的数据压缩方法按其原理分类也可分为：预测编码、变换编码、量化与矢量量化编码、信息熵编码、分频带编码、结构编码和基于知识的编码。2.

18、量化的基本原理(1) 量化的概念和原理 量化的作用是在图像质量或声音质量达到一定保真度的前提下，舍弃那些对视觉或听觉影响不大的信息。量化的过程是模拟信号到数字信号的映射。模拟量是连续量，而数字量是离散量，因此量化操作实质上是用有限的离散量代替无限的连续模拟量的多对一的映射操作。 量化概念主要来自于从模拟量到数字量的转换，即A/D转换，也就是通过采样把连续的模拟量离散化。量化过程预先设置一组判决电平和一组重建电平，各个判决电平覆盖一定的区间，所有判决电平将覆盖整个有效取值区间。量化时将模拟量的取样值同这些电平比较，若采样值幅度落在覆盖区间之上，则取这个量化级的代表值，称为码字。一个量化器只能取有

19、限多个量化级，因此量化过程不可避免地存在量化误差。3. 常用的压缩编码（1）统计编码 (2) 预测编码（3）变换编码 4多媒体数据压缩编码的国际标准（1） 静态图像压缩编码标准JPEG 1986年CCITT和ISO两个国际标准化组织联合成立了一个联合图像专家组JPEG（Joint Photographic Experts Group），致力于建立适合彩色和单色灰度级的连续色调静止图像的压缩标准。（2）运动图像压缩编码标准MPEG MPEG标准是ISO/IEC委员会的第11172号标准，是针对全活动视频的压缩标准。该标准包括MPEG视频、MPEG音频和MPEG系统三大部分。MPEG视频是面向位速

20、率约1.5Mbit/s全屏幕运动图像的数据压缩；MPEG音频是面向每通道数率为64，128和192kbit/s的数字音频信号的压缩。 MPGE输入图像亮度信号的分辨率为360240，色度信号的分辨率为180120，每29.97帧，采用双向运动补偿。MPEG把输入的视频信号分成组，用三种图像格式标出：帧内图像、预测图像和差补图像。每组中的第一帧用帧内图像格式编码，第1M、2M、3M帧（M一般选为3）用预测图像格式编码，其它各帧使用差补图像格式编码。差补图像不仅利用过去的帧内图像或预测图像，也利用未来的帧内图像或预测图像进行运动补偿，因此可以达到更高的图像压缩率。 MPEG-I标准 MPEG-I标

21、准是运动图像专家小组1981年制订的数字存储运动图像及伴音编码标准。该标准分为视频、音频和系统三部分。它是一个通用标准，即考虑了应用要求，又独立于具体应用之上。视频部分为1.5Mbit/s活动图像压缩编码算法，对于带宽为1.5Mbit/s的位流，能够获得可接受的图像质量。该算法帧内编码采用二维余弦变换、自适应量化、行程编码、变字长编码和DPCM技术，帧间编码采用运动补偿预测和运动补偿内插技术。MPEG-I对于较低的传输速率、窄带宽的应用（如单速CD-ROM）是相当完善的，并通过插值可处理大于352240的画面。 MPEG-II标准MPEG-II是MPEG-I的扩充，丰富和完善。MPEG-II标

22、准的视频数据速率为4-5Mbit/s,能提供720480（NTSC）或720576（PAL）分辨率的广播级质量的视像，适用于包括宽屏幕和高清晰度电视（HDTV）在内的高质量电视和广播。5理解信息熵的概念信源X发出的xj(j=1,2,n), 共n个随机事件的自信息统计平均（求数学期望），即H(X)=EI(xj) = =H(X)在信息论中称为信源X的“熵” (Entropy) ，它的含义是信源X发出任意一个随机变量的平均信息量。例如：信源X中有16个随机事件，即n=16。每一个随机事件的概率都相等，即P(x1)=P(x2)=P(x3) =P(x8)=，计算信源X的熵。那么，X的熵为： 6理解哈夫曼

23、编码方法哈夫曼编码方法的步骤是： 概率统计（如对一幅图像，或m幅同种类型图像作灰度信号统计），得到n个不同概率的信息符号。 将n个信源信息符号的n个概率，按概率大小排序。 将n个概率中，最后两个小概率相加，这时概率个数减为n-1个。 将n-1个概率，按大小重新排序。 重复，将新排序后的最后两个小概率再相加，相加和与其余概率再排序。 如此反复重复n-2次，得到只剩两个概率序列。 以二进制码元（0.1)赋值，构成霍夫曼码字。编码结束。在理解上述步骤的基础上，学会给已知的信源编码。第五章 多媒体计算机硬件及软件系统结构1. 多媒体个人计算机MPC的技术标准 MPC联盟规定多媒体计算机包括五个部件：个

24、人计算机（PC）、只读光盘驱动器（CD-ROM）、声卡、Windows操作系统和一组音箱或耳机等组成。并对CPU、存储器容量和屏幕显示功能等给出了最低要求的功能标准。 目前已有三个MPC标准，MPC1、MPC2、MPC3，有关具体的标准配置参考书上的内容。2. MPC的升级方法和原则 获得MPC的途径有两种：一种是直接购买MPC机，另一种是购买多媒体升级套件，使原有的普通PC机升级为MPC。3. 数字视频交互式多媒体计算机系统DVI ，Digital Video Interactive，数字视频交互式多媒体计算机系统。DVI(Digital Video Interactive),是Intel公

25、司推出的支持对多媒体信息进行处理及表现的一个集成环境。该产品采用了PLV(Product Level Video)视频压缩编码算法；设计了两个专用芯片（82750 PB像素处理器及82750 DB显示处理器）；设计制造了三块门阵电路：82750LH主机接口门阵、82750LV VRAM/SCSI/capture接口门阵、82750LA音频子系统接口门阵；首次设计了视频音频引擎 (AVE-Audio Video Engine)；开发了多媒体计算机软件系统： AVSS(Audio Video Sub-System)和AVK(Audio Video Kernel)。DVI系统主要在以下几个方面取得了

26、实质性的突破：（1） 一种全数字化的方法（2） 视频压缩（3） 声音压缩（4） 合成图形DVI-II型比DVI-I型主要的改进主要有以下几点：1 性能指标高2 使用了三个专用的门阵列电路3 将多块处理板集成为一块处理板第六章 超文本和超媒体1. 超文本和超媒体的主要特性(1) 超文本的数据库是由文本、声音、图形、图像类节点组成的网络。(2) 屏幕的窗口和数据中的节点是一一对应的，每个节点都有名字或标题在窗口显示。(3) 容易地创建节点、连接新的节点的链。(4) 用户可对数据库进行浏览和查询。(5) 超文本为作者提供一种新的写作方式。(6) 超文本为读者提供了阅读大型信息库的方法。(7) 具有窗

27、口化的管理功能。(8) 可通过网络共享数据库。(9) 具有交互式的操作。2. 超文本和超媒体的两个基本模型(1) Campbell 和Goodman 模型(2) Dexter 模型 第七章 多媒体计算机的应用技术1. 电了出版物主要的创作流程多媒体电子出版物一般要经过以下过程：选题、编写脚本、准备媒体数据、系统制作、调试、测试、优化、产品生产和发行等几个阶段。2. 视频会议系统的分类视频会议系统根据通讯节点数量分成两类：1 点对点视频会议系统2 多点视频会议系统3. 视频会议系统的组成以及各部分的主要功能。1 视频会议终端；视频会议终端的主要功能是：完成视频音频信号的采集、编辑处理及输出、视频

28、音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端。2 多端控制单元（MCU）；多端控制单元的主要功能是：对视频、语音及数据信号进行切换，例如它把传送到MCU某会场发言者的图像信号切换到所有会场。3 信道（网络）；信道（网络）的主要功能是：保证视频音频数据压缩码流安全在信道上传输到视频会议系统的终端。4 控制管理软件；控制管理软件主要是视频会议系统的标准，其中最著名的标准是H.320系列和T.120系列建议。H系列的建议和标准是专门针对交互式电视会议业务而制定的，而T系列是针对其他媒体的管理功能做出规定，两种协议的结合将使多

29、媒体会议系统的通信有更完善的依据。H.320系列标准包括了视频、音视的压缩和解压缩，静止图像，多点会议，加密及一些改进的特性。T.120是国际电信联盟通信标准部开发的系列国际标准，此标准是为多媒体会议系统中发送数据而制定的。二、综合练习及解答一、 单项选择题（从提供的四个答案中选择一个正确的答案，并将其编号填入括号中） 1Commodore公司于1985年在世界上推出的第一个多媒体计算机系统是（ ）。A、MacintoshB、DVIC、AmigaD、CD-I2.下列哪些不是多媒体系统的核心软件（ ）。A、AVSSB、AVKC、DOSD、AmigaVision3国际标准MPEG-II采用了分层的

30、编码体系，提供了四种技术，它们是（ ）。 A、空间可扩展性；信噪比可扩充性；框架技术；等级技术B、时间可扩充性；空间可扩展性；硬件扩展技术；软件扩展技术C、数据分块技术；空间可扩展性；信噪比可扩充性；框架技术D、空间可扩展性；时间可扩充性；信噪比可扩充性；数据分块技术4在数字音频信息获取与处理过程中，下述顺序哪个是正确的（ ）。A、A/D变换，采样，压缩，存储，解压缩，D/A变换B、采样，压缩，A/D变换，存储，解压缩，D/A变换C、采样，A/D变换，压缩，存储，解压缩，D/A变换D、采样，D/A变换，压缩，存储，解压缩，A/D变换5某音频信号的采样率为44.1 kHz，每个样值的比特数是8位

31、，则每秒存储数字音频信号的字节数是（ ）。A344.531k B43.066k C44.1k D352.8k6 彩色可用( )来描述。A亮度，饱和度，色调B亮度，饱和度，颜色C亮度，对比度，颜色D亮度，色调，对比度7在全电视信号中，把（ ）的前沿作为一场的起点。A奇数场同步信号B开始场信号C偶数场同步信号D场同步基准信号8下列数字视频中哪个质量最好（ ）。A240180分辨率、24位真彩色、15帧/秒的帧率B320240分辨率、30位真彩色、25帧/秒的帧率C320240分辨率、30位真彩色、30帧/秒的帧率D640480分辨率、16位真彩色、15帧/秒的帧率9一幅彩色静态图像(RGB)，设分辨率为512512，每一种颜色用8bit表示，则该彩色静态图像的数据量为（ ）。A25651238 bitB5125123825 bitC256256