《多媒体技术与应用》教学大纲完整版.docx

1、多媒体技术与应用教学大纲完整版第1章 多媒体技术基础知识教学目的和要求：1. 掌握多媒体技术的特点。2. 掌握多媒体信息的基本构成和文件格式。3. 掌握多媒体信息处理的基本技术。4. 了解多媒体技术的应用领域。5. 掌握MPC的基本组成。6. 了解中央处理器的本地信号处理。7. 了解其他多媒体设备8. 掌握多媒体素材处理的基本技术课时安排：10学时。第2节 多媒体技术概述一. 多媒体技术的特点多媒体技术就是利用计算机技术来处理文本、图形、图像、声音、视频等多种媒体信息，使之在不同媒体间能够建立起逻辑连接，集成为一个具有交互性的系统。1. 集成性多媒体技术不仅集成了多种媒体，而且集成同了多种技术

2、，包括计算机技术、通信技术、电视技术和其他音像处理技术。通过在同一个文件中把来自多个通道的信息统一获取、组织、存储和合成，使文字、图像、声音等各种媒体信息能在播放时同步地作用于我们的听觉、视觉等感官，从而取得最佳的效果。2. 实时性在多种媒体信息进行综合处理和集成时，声音和动态图像（视频）密切相关，随时间实时变化，这就决定了多媒体技术必须要支持实时处理，播放时，声音和图像不应出现停顿或不同步现象。3. 交互性多媒体技术则可以实现用户对信息的主动选择和控制。在多媒体系统中，用户可以借助交互活动控制信息的传播，甚至参与信息的组织过程，使之对感兴趣的画面或内容进行记录或者专门的研究。4. 数字化在多

3、媒体系统中，所有多媒体信息都是用数字信号表示，易于进行加密、压缩等数值运算，提高信息的安全与处理速度，且抗干扰能力强，在信号的存储和复制中能够达到更高的保真度。 二. 多媒体信息和文件1. 文本媒体文本可区分为英文文本和中文文本，前者由ASCII表示每个字符占用一个字节，后者由符合中国国标的双字节编码表示，每个字符占用两个字节。向计算机输入文本信息主要靠键盘输入，也可以使用扫描仪输入，利用光学字符识别器/阅读器，还可以输入手写字符。2. 声音媒体声音包括音乐与语音。频率范围在20Hz20kHz之间、人耳可以听到的声音称为音频，连续的模拟音频信号须转换为离散的数字信号，组成数字音频后，才能被计算

4、机存储和处理，这个过程就是模拟音频的数字化，包括采样、量化和编码三个环节。在多媒体系统中，用来存储数字音频信息的常用文件有WAV、MID和MP3等多种格式。3. 图形与图像图形是指从点、线、面到三维空间的黑白或彩色几何图形，也称为矢量图形。图形文件有二维与三维之分，二维为平面图形，三维为立体图形。图像以像素作为最小元素，用灰度或色彩来显示图像的黑白或颜色。图像可以通过扫描仪输入计算机，或者用数码照相机拍摄后输入计算机。4. 动画与视频图像人眼有视觉暂留的生理现象，利用这一现象让一系列逐渐变化的画面以足够的速率连续出现，就可以感觉到画面上的物体在连续运动。动画要求的速率为20帧/秒。动画通常是人

5、工创造的连续图形，画面可以逐帧绘制，也可以根据设定的场景，用计算机和图形加速卡等硬件实时计算出下一帧的画面。动画有二维与三维之分。视频图像也是借助于视觉暂留来实现。每一帧视频图像都是一幅静态图像。在视频技术中除继续采用JPEG压缩标准缩小每帧图像所占用的空间外，还采用MPEG动态压缩标准。常用的视频图像文件主要有AVI、MPEG、ASF等格式。5. 多媒体数据文件在多媒体系统中，一切多媒体信息均可用数据文件来存储。有些文件只包含一种媒体类型，也有些可包含多种媒体类型。文件的格式不仅随所描述的媒体而有区别，也随着使用它的公司或软件而不同。多媒体文件通常需要占用较大的存储空间。例如：使用44.1k

6、Hz的采样频率进行采样，样本值用16位的精度存储，则录制1分钟的声音，在WAV文件中所需的存储空间为： 采样频率（Hz）样本位数/8时间（s）=44 10016/8 60=5 292 000（B），即5.05MB。显而易见，对声音和图像的质量要求越高，所需的存储空间也越大。同样的内容，如果选择不同的存储格式，文件的大小也会有不小的差异。为了方便多媒体文件的制作，许多公司研制了各种工具软件，供用户选择使用，如素材制作工具，集成创作工具。三. 多媒体关键技术及其标准1. 只读光盘存储器音频、视频文件通常包含大量的数据，传统的软盘已不能满足需求。光盘不仅易于装卸，且具有存储量大、价格低廉等特点。从C

7、D唱盘、VCD影碟，到DVD数字通用光盘，如今已普及，成为多媒体系统大容量存储的首选。只读光盘上记录的信息是使用激光束预先在反射层上刻录的。一般“1”被刻成凹坑，“0”保持为原来的平面。实际读盘时，“1”信号通常都在凹坑的前沿和后沿出现。CD光盘只有单面盘。DVD使用波长更短的红色可见激光，能读取更小的凹坑和更密的光道。DVD可以制成双层盘和双面盘。光盘的读/写都要遵循一定的标准。在光盘的不同标准中，记录数据的格式也不尽相同，因而不能互换。2. 数据压缩和解压缩音、视频文件的大数据量引发了对大容量存储器的要求。压缩和解压缩是减小存储容量和所需数据传输率的有效手段，也是实现对音、视频信息实时处理

8、的重要关键技术。在声音和图像数据中，都存在着冗余的数据。这就为数据压缩提供了可能性。常见的数据冗余种类有空间冗余、时间冗余和感觉冗余等。数据压缩算法可区分为无损压缩和有损压缩两种。前者能在解压缩后还原为原始信号，压缩比一般为24；后者为不可逆压缩，还原后可能会丢失部分信息，但一般人不易察觉它与原始声音、图像之间的区别，而压缩比则可大大提高，达到10100倍。在压缩与解压缩算法中包含了大量运算。为了获得快速的运算与处理速度，常常采用专用芯片，也可以用软件来实现，只是速度比硬件实现慢一些。20世纪80年代，国际标准化组织（ISO）和国际编报电话咨询委员会（CCITT）联合组成了两个专家组联合图像专

9、家组（JPEG）和运动图像专家组（MPEG），制定了两种数据压缩编码系列标准，从20世纪90年代初陆续公布实行。3. 超文本/超媒体技术超媒体 = 超文本 + 多媒体超文本是由若干信息节点和表示信息节点间相关性的“一个由链”所构成的、具有一定逻辑结构和语义的网络。作为交互式的信息显示系统，超文本/超媒体都具有节点和链构成的非线性网状结构，节点是信息存储或显示的基本单位，其大小是可变的，从一个节点指向另一个节点的指针成为链，它代表了节点之间信息的联系。运行在因特网上的万维网，是目前最流行的超文本系统之一。超文本标记语言（HTML）被用作万维网网页的描述语言，不仅用标记来定义网页的格式和组成，也用

10、标记来描述网页中存在的各种超级链接。随着超文本扩展为超媒体，现在HTML也可用来描述音频、视频与动画，并越来越多地被用来制作光盘上的多媒体节目。四. 多媒体技术的应用领域1. 多媒体计算机家用电脑一般都具有丰富的多媒体功能，成为普及多媒体应用的有力工具。近年来出现的新型家用电脑能够集音响、录像与电视功能于一身，甚至打开电脑就实现听CD唱片、观看电视、录制电视节目等多媒体应用功能。2. 多媒体音像设备MPC应用的流行，带动了多媒体外部设备的成长。不仅扫描仪、系列音箱、光盘刻录机等已越来越多地成为MPC用户常用的外部设备，而且涌现了一批既可用作MPC外设、又可独立使用的数码产品。3. 多媒体网络应

11、用从涉及的媒体来区分，现有的因特网应用分为两大类。一类是以文本和图形媒体为主的数据通信，另一类则是以音频和视频媒体为主的多媒体网络应用。IP电话、实时电视会议、声音点播和视频点播，都是当前多媒体网络应用的实例。提高网络带宽、减少时延和抖动是需要解决的问题。4. 多媒体教学与电子出版多媒体教学不仅丰富多彩、便于交互，而且可通过各种计算机辅助教学软件的运用，达到“因人施教”，用“以学生为中心”取代“以教师为中心”的目标。其主要应用表现在多媒体教室、CAI课件和电子出版物等方面。第3节 多媒体个人计算机一. 从PC到MPC1. PC的组成与结构 一般地说，一台传统的PC由中央处理器、内存储器、外存储

12、器、基本外部设备与若干扩展卡组成。各组成部分之间的信息交流可通过总线完成。2. MPC的基本组成早期的PC只能处理文本和数字，借助键盘和显示器用文本媒体进行人机交互。MPC的诞生，使计算机能够集声、文、图、像的处理于一身，同时把人机交互扩充到声音和图像等媒体。1985年，美国Commodore公司制成了世界上第一台多媒体计算机Amiga系统。它采用了当时功能较强的Motorola16位微处理器MC68000为CPU，配置了由该公司研制的Agnus8370（图形处理）、Paula8364（音响处理）、Denise8362（视频处理）等3个专用芯片和专用的多任务操作系统，能支持下拉菜单、多窗口、图

13、符等功能。PC采用的“主板扩展板”的结构，使它很容易被扩展为MPC。例如在PC硬件的基础上增加一台CDROM光驱、一块声卡和一组音箱，就可以构成基本的MPC硬件，即PCCDROM声卡音箱（或耳机）MPC 目前市场上流行的MPC主流产品大都是IBM PC及其兼容机的升级产品，采用Microsoft的Windows作为操作系统。另一重要的MPC产品来自Apple公司的Macintosh系列，它通常配有Macromedia公司的多媒体系列工具，能为用户提供多媒体应用的各种功能。3. MPC的标准 1990年，Microsoft公司在由其召开的多媒体开发工作者会议上，首次提出了多媒体个人计算机的技术标

14、准MPC1.0。1991年，由IBM、Intel等几十家软、硬件公司联合组成了“多媒体PC市场协会”。协会确认MPC1.0为MPC应具备的最低软、硬件标准，同时规定，只有达到或超过MPC1.0标准的计算机，才能使用MPC标志。1993年5月和1995年6月，MPMC又相继公布了经过修订的MPC2.0和MPC3.0标准。二. 中央处理器的本地信号处理 在早期的多媒体系统中，常使用专用的“数字信号处理器”（digital signal processor,DSP）芯片来处理不同的多媒体数据。CPU技术的发展，使我们有可能把声音和图像的处理功能集成到CPU中，由同一个芯片来统一承担CPU与DSP的功

15、能。这就是所谓的CPU“本地信号处理”或“主体信号处理”。目前这种处理方式已被计算机业界所接受，从而使NSP技术成为CPU芯片的一项新标准。其直接影响之一，就是在近几年生产的MPC中，有些原来独立的功能卡已经集成到主板上，从而简化了多媒体扩展卡的配置。1. 多媒体扩展技术 通过对音、视频处理和数据压缩等一系列多媒体功能的分析，Intel公司发现：在多媒体数据处理中，存在着大量的“短整数”处理、频繁相乘和累加以及重复次数很大的短循环等操作。为了提高这些操作的速度，Intel决定扩充CPU的多媒体处理指令，并将它们尽可能固化到硬件中。在1997年1月发布的奔腾处理器中，一举增加了57条与多媒体处理

16、有关的指令；1998年2月发布的奔腾处理器进一步将有关指令扩充到70条。前者称为“多媒体扩展”（Multi Media Extension，MMX）；后者称为“流式SIMD扩展”，实际上是MMX的进一步更新。2. MMX技术的主要特点一般地说，MMX技术具有以下主要特点： 采用SIMD型指令 具有进行“积和运算”的能力 能提供“饱和运算”功能三. CD-ROM与DVD-ROM驱动器 对于大容量的多媒体作品，光盘是目前最理想的存储载体。1. 光盘驱动器的分类 按照光盘的分类，光盘驱动器也可区分为CD-ROM光驱与DVD光驱两大类。随着DVD光盘的推广使用，近几年生产的MPC越来越多地用DVD光驱

17、取代CD-ROM光驱，且通常采用内置驱动器的形式。 光驱的速度，对多媒体的播放质量起着重要的作用。按照数据传输率分类，CD-ROM光驱可分为单倍速（150KBps）与多倍速（150KBps倍速数）两大类。第一代DVD数据传输率已达到1MB以上。2. 光盘驱动器的组成 激光头和驱动马达，是光驱中两个最重要的部件。3. 光驱的主要技术指标 数据传输率 平均访问时间 缓冲区大小 接口类型 CPU占用率四. 音频信息处理和声卡1. 音频信息处理1） 基本观念在MPC中常用的音频数字信号包括以下3种方式： 波形音频：直接从连续的声音波形中采样获得，并且用扩展名为WAV或VOC的波形文件来存储的数字化音频

18、信号。它既可表示语音，也可用来表示音乐。 CD音频：常指已经存储在CD光盘上的数字音频信号，它与波形音频一样存储在WAV或VOC文件中，也允许同时包含语音与音乐。 MIDI音频：指使用MIDI合成技术生成的音乐信号，通常用扩展名为MID的MIDI文件来存储。由于它仅记录音乐中的音符信息，并不记录声音本身，所以文件容量远较波形文件为小，十分适用于播放长时间伴音的场合，但不能用来描述语音。2） 声音的数字化技术声音是一种由于物体的振动而产生的波，传统上用模拟波形来表示。波形的采样：由于计算机不能直接识别声音的模拟信息，必须转化为数字信息后方可被计算机接受，这一转化的过程称为声波的数字化，其目的是将

19、连续的模拟信号将变成不连续的数字信号，所以也称为模数转换或AD转换。所谓采样，就是按固定的时间间隔（即采样周期）对模拟波形的振幅值进行取样。影响采样质量的因素：采样频率、采样精度以及声道或信道的个数。声音文件的存储：在MPC中，存储声音信息的常用文件格式主要有：WAV文件、VOC文件、MID文件等。3） MIDI技术MIDI音乐是MPC产生音乐的又一重要方式。在MIDI文件中，每个音符记录为一个数字，由声卡把这些数字合称为音乐。由于MIDI文件记录的是一系列指令而不是波形，所以数据量很小。2. 声卡声卡又称音频卡，是MPC中应用最广的设备之一，现在不少MPC已将声卡集成在主板中（称为集成声卡）

20、，而不再设置单独的扩展卡。但由于声音质量要求高的多媒体设备，仍需要使用独立的声卡。1） 声卡的一般功能 录制和播放波形文件 压缩和解压功能 音频文件的编辑与合成 创建和播放MIDI音乐 语音合成和识别功能2） 声卡的典型组成对应于声卡的功能，其组成部件也区分为波形处理部件和MIDI音乐处理部件两大部分。典型的声卡一般包括：波形音频处理芯片（包括DSP芯片和混合器芯片）、MIDI合成器芯片、常规输入输出端口、MIDI游戏端口等。五. 图形、图像处理和显示卡1. 图形、图像处理1） 基本概念图形与图像是既有联系、又有区别的一对术语。在计算机作图中，图形是用直线、矩形、圆、圆弧和任意曲线绘制出来的画

21、面，如工程图、美术字或其他线型图等，通常用矢量图文件来存储。而图像则是现实世界中客观景物的映像，例如照片、绘画等；它们可用图像设备（如照相机、摄像机、扫描仪等）来捕捉，然后用位图文件存储。2） 图形显示器 显示器又称监视器，是MPC的重要输出设备。常用的显示器有“阴极射线管显示器”和“液晶显示器”两大类，每类又可区分为单色和彩色两种。3） 图形、图像处理软件 图形和图像均可用专用的软件来处理。前者称为“Draw”类程序，用于产生和编辑矢量图，可对图形实施移动、缩放、旋转、扭曲等变换；后者称为“Paint”类程序，用于生成和编辑位图图像，能描述与修改组成图像的各个像素的颜色和强度等。2. 显示卡

22、显示卡又称显示适配器，是PC使用最早的扩展卡之一。在MPC中，图形卡已成为更新速度最快的多媒体功能卡。1） 显示卡的一般功能随着3D图形技术的推广，3D图形卡正逐渐成为MPC的主流显示卡。 承担PCMPC的图形、图像处理 支持显示器实现所需的屏幕分辨率和颜色深度 采用加速图形端口（AGP）提高MPC总线的数据传送能力2） 显示卡的典型组成图形芯片：是决定3D图形卡性能的最关键部件。显示存储器：在视频和动画中，每帧包含的像素数与图像的分辨率成正比，而每个像素需要的存储容量又取决于颜色的深度。RAMDAC：真彩色图形的颜色深度为8，其红、绿、蓝三种基色均可区分为28256种灰度等级。所谓RAMDA

23、C，其实就是具有数模转换功能的RAM，其作用是把储存在显存中的像素的颜色深度从数字信号转换为模拟电压信号，以便控制显像管中三种基色的光强。六. 视频信息处理和视频卡1. 视频信息处理1） 基本概念从应用的角度看，视频就是活动的图像。电视是早期视频应用的实例。目前各国使用的彩色电视制式有3种标准。美、加、日本及中国台湾省使用NTSC标准，每秒30帧、每帧525行。我国大陆地区及多数欧洲国家采用PAL标准，每秒25帧、每帧625行。2） 视频数字化传统的电视机和摄录像机均采用模拟信号，要让计算机能显示和处理这类视频信号，必须进行视频数字化。与音频数字化相似，视频数字化也要经历采样、量化等过程，进行

24、模数转换。3） 视频压缩在多媒体文件中，视频文件的数据量最大。因此视频压缩也是视频处理中需要解决的关键问题。2. 视频卡 对于一般的MPC用户，只要配一块图形加速卡（或集成显卡），就可以玩游戏、播放视频和进行一般的视频创作等工作。七. MPC的外部设备1. 扫描仪 扫描仪是计算机常见的图像输入设备。图书馆早就用它来复制读者所需的资料，商场和仓库也早就用它来识别货品的条形码。随着办公自动化和多媒体应用的发展，扫描仪价格不断下降，现已随MPC进入办公室和一般家庭。除用于图像采集外，如果配上光学字符识别(optical character recognition,OCR)软件，还可将印刷的文字资料转

25、换为电子文挡，省去了用键 盘输入的麻烦。1） 工作原理作为一种光学系统，扫描仪通常由光源、透镜和CCD阵列等组成。在扫描过程中，光线从图像反射到CCD阵列，把光信号转变为电信号，然后以位图的形式输出到计算机，显示、打印或存储。对于彩色的图像，一般需要用三基色的滤镜分别扫描3次，再组合为RGB图像。扫描仪的扫描区域、对比度、分辨率与颜色深度等，均可用软件设置。2）主要性能指标扫描仪的产品质量可从性能指标与易用性两个方面来衡量。其中主要包括：(1) 分辨率扫描仪的分辨率高低,直接影响图像的清晰度。家用扫描仪的分辨率目前主要采用 600dpi（dot per inch,即每英寸包含的点数），对一般的

26、家庭应用已经绰绰有余了。商用扫描仪的分辨率已可达到12004800dpi。(2) 颜色深度目前主流家用扫描仪一般采用256级灰度等级或24位真彩色。 (2) 扫描时间在600dpi、256级灰度等级的条件下，扫描一幅图像所需的时间一般为13分钟。最快的已不到1分钟。(3) 易用性与扫描质量一样，易用性也值得十分重视。现在有些产品在机身上设置“快捷键”（例 如扫描、复制、传真、E-mail等），可有效地提高用户的使用效率。2） 汉字OCR软件 将印刷的文本转化为可编辑的电子文档，是家用扫描仪常见的应用之一。它不仅可节省键盘录入的时间与人力，还可以缩减文本的存储容量。现首的MPC扫描仪一般都随机配

27、置OCR软件，可基本识别印刷文字及一些简单的表格，满足大多数普通用户的需要。2. 多媒体音箱传统的音箱强调高保真度，所以也称为Hi-Fi音箱。而多媒体音箱则是 MPC输出声音媒体的主要设备，其信号输入端通常与MPC声卡的信号输出端相连，需要兼顾“听音乐、看影碟、玩游戏”3种用途。1） 音箱的配置十余年来，多媒体音箱的配置发生了很大的变化。最初的配置仅用两个音箱分别连接左、右声道，以模拟立体声的音乐，称为2.0系统。随后陆续出现了由3个音箱组成的2.1系统，由5个音箱组成的4.1系统以及由6个音箱组成的5.1系统。2） 主要性能指标（1） 功率：多媒体音箱的功率一般较小，但低音炮要求较大的功率。

28、（2） 材质：音箱板一般由塑料板或木质板制成。（3） 易用性：为方便对音量大小等因素的控制，近几年生产的音箱有些采用了遥控器作为操纵工具。3. CD刻录机光盘的应用，大大提高了外部存储器的容量，使CDDVD只读光盘一跃成为存储多媒体信息的首选盘片。但CDROM驱动器只能读光盘，不能写。CD刻录机的出现，使它兼具对CDRW光盘刻录、重写和读取三项功能，所以也可称为CDRW驱动器。现用的CD光盘可分为3类，即：只读CD盘（CD-ROM）；可写入CD盘（CD-Recordable，CD-R）；可重写CD盘（CD-ReWritable，CD-RW）。CDRW主要性能指标：读/写速度、缓冲存储器容量、刻

29、录稳定性、接口类型、刻录软件。八. Windows的免费多媒体软件1. CD播放器 CD播放器是一个功能很强的音乐播放程序，不仅可以播放CD音乐盘，而且可播放从互联网上下载的曲目。通常情况下，当把一张CD唱片放入CDROM驱动器时，Windows系统会马上检测到这张唱片，并且自动启动CD播放器。2. 媒体播放器1） 概述与CD播放器相比，媒体播放器具有以下特色： 兼具音频、视频和混合型多媒体文件的播放功能 支持流式媒体技术 界面友好：允许用户自主选择多种界面外观及数十种表现音乐节奏和旋律的可视化效果。2） 播放CD音乐光盘Windows的媒体播放器具有自动播放CD音乐光盘的功能，其默认的工作模

30、式是“正在播放”。与CD播放器相似，媒体播放器也具有为唱盘创建播放列表的功能。3） 把CD音乐光盘复制到计算机当停止播放音乐，把媒体播放器的工作模式切换到“CD音频”时，播放器将自动列出CD音乐光盘上的曲目清单，供用户选择需要复制的曲目。选完后单击“复制音乐”按钮，CD音乐光盘上的音乐即复制到位于计算机硬盘上的媒体库里，播放器会自动生成一个名为“未知唱片集”的目录来保存这些曲目。4） 把媒体库中的音乐传送到便携设备媒体播放器还能把媒体库中的音乐传送到便携的音频和视频设备上。常见的便携设备有MP3、移动硬盘等。只要用相应的连接线把便携设备连接到计算机的输出接口上，其设备图标就会自动出现在便携设备

31、的列表中以供用户选用。5） 选择外观和可视化效果为了满足不同用户的喜好，Windows Media Player提供了几十种多姿多彩的外观造型，只要单击“外观选择器”工作模式按钮，即可自主选择喜爱的媒体播放器外观。3. 用媒体播放器上网点播 新版的媒体播放器均具有“媒体指南”和“收音机调谐器”两种工作模式。单击这两个按钮或媒体播放器左下角的“登录”按钮，按照提示输入相应的信息，即可把媒体播放器连接到Internet，在世界范围内访问各网站的音频和视频文件或收听全球的广播电台。第4节 其他多媒体设备一. 触摸屏1. 触摸屏的组成与驱动方式1） 触摸屏的组成触摸屏通常由“触摸屏检测装置”和“触摸屏控制卡”两部分组成。前者安装在显示器的前面，用于检测触摸事件；后者可安装于专门的设备盒中再与主机相连，但更多的是直接安装在主机箱内，以负责触摸点的定位和主机的通信。触摸检测装置实际上是一个传感器，当它检测到触摸事件时，就把该信号送给触摸屏控制卡。控制卡根据接收到的信号确定触摸点所在区域的坐标，并把结果输入主机，然后由CPU执行与该触摸事件所对应的应用程序