1、多媒体应用设计师不可不知道的知识多媒体的定义“多媒体”一词译自英文“Multimedia”,而该词又是由mutiple和media复合而成的。媒体(medium)原有两重含义,一是指存储信息的实体,如磁盘、光盘、磁带、半导体存储器等,中文常译作媒质;二是指传递信息的载体,如数字、文字、声音、图形等,中文译作媒介。所以与多媒体对应的一词是单媒体(Monomedia),从字面上看,多媒体就是由单媒体复合而成的。多媒体技术从不同的角度有着不同的定义。比如有人定义“多媒体计算机是一组硬件和软件设备;结合了各种视觉和听觉媒体,能够产生令人印象深刻的视听效果。在视觉媒体上,包括图形、动画、图像和文字等媒体
2、,在听觉媒体上,则包括语言、立体声响和音乐等媒体。用户可以从多媒体计算机同时接触到各种各样的媒体来源”。还有人定义多媒体是“传统的计算媒体-文字、图形、图像以及逻辑分析方法等与视频、音频以及为了知识创建和表达的交互式应用的结合体”。概括起来就是:多媒体技术,即是计算机交互式综合处理多媒体信息-文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个系统并具有交互性。简言之,多媒体技术就是具有集成性、实时性和交互性的计算机综合处理声文图信息的技术。多媒体在我国也有自己的定义,一般认为多媒体技术指的就是能对多种载体(媒介)上的信息和多种存储体(媒介)上的信息进行处理的技术。多媒体的关键技术由于多
3、媒体系统需要将不同的媒体数据表示成统一的结构码流,然后对其进行变换、重组和分析处理,以进行进一步的存储、传送、输出和交互控制。所以,多媒体的传统关键技术主要集中在以下四类中:数据压缩技术、大规模集成电路(VLSI)制造技术、大容量的光盘存储器(CD-ROM)、实时多任务操作系统。因为这些技术取得了突破性的进展,多媒体技术才得以迅速的发展,而成为像今天这样具有强大的处理声音、文字、图像等媒体信息的能力的高科技技术。但说到当前要用于互联网络的多媒体关键技术,有些专家却认为可以按层次分为媒体处理与编码技术、多媒体系统技术、多媒体信息组织与管理技术、多媒体通信网络技术、多媒体人机接口与虚拟现实技术,以
4、及多媒体应用技术这六个方面。而且还应该包括多媒体同步技术、多媒体操作系统技术、多媒体中间件技术、多媒体交换技术、多媒体数据库技术、超媒体技术、基于内容检索技术、多媒体通信中的QoS管理技术、多媒体会议系统技术、多媒体视频点播与交互电视技术、虚拟实景空间技术等等。一般多媒体系统的组成部分一般的多媒体系统由如下四个部分的内容组成:多媒体硬件系统、多媒体操作系统、媒体处理系统工具和用户应用软件。 多媒体硬件系统:包括计算机硬件、声音/视频处理器、多种媒体输入/输出设备及信号转换装置、通信传输设备及接口装置等。其中,最重要的是根据多媒体技术标准而研制生成的多媒体信息处理芯片和板卡、光盘驱动器等。 多媒
5、体操作系统:或称为多媒体核心系统(Multimedia kernel system),具有实时任务调度、多媒体数据转换和同步控制对多媒体设备的驱动和控制,以及图形用户界面管理等。 媒体处理系统工具:或称为多媒体系统开发工具软件,是多媒体系统重要组成部分。 用户应用软件:根据多媒体系统终端用户要求而定制的应用软件或面向某一领域的用户应用软件系统,它是面向大规模用户的系统产品。媒体播放器在WEB中的应用我们知道,由于声音点播和影视点播应用还没有完全直接集成到现在的Web浏览器中,这就需要一个单独的应用程序来帮助,通常我们使用媒体播放器(Media player)来播放声音和影视。典型的媒体播放器要
6、执行好几个功能,包括解压缩、消除抖动、错误纠正和用户播放等功能。现在可以使用像插件这种技术把媒体播放器的用户接口放在Web客户机的用户界面上,浏览器在当前Web页面上保留屏幕空间,并且由媒体播放器来管理。目前,大多数客户机使用如下几种方法来读取声音和影视文件: 通过Web浏览器把声音/影视从Web服务器传送给媒体播放器 直接把声音/影视从Web服务器传送给媒体播放器 直接把声音/影视从多媒体流放服务器传送给媒体播放器在这个过程中,媒体播放器的主要功能表现在如下四个方面: 解压缩:几乎所有的声音和电视图象都是经过压缩之后存放在存储器中的,因此无论播放来自于存储器或者来自网络上的声音和影视都要解压
7、缩。 去抖动:由于到达接收端的每个声音信息包和电视图象信息包的时延不是一个固定的数值,如果不加任何措施就原原本本地把数据送到媒体播放器播放,听起来就会有抖动的感觉,甚至对声音和电视图象所表达的信息无法理解。在媒体播放器中,限制这种抖动的简单方法是使用缓存技术,就是把声音或者电视图象数据先存放在缓冲存储器中,经过一段延时之后再播放。 错误处理:由于在因特网上往往会出现让人不能接收的交通拥挤,信息包中的部分信息在传输过程中就可能会丢失。如果连续丢失的信息包太多,用户接收的声音和图象质量就不能容忍。采取的办法往往是重传。 用户可控制的接口:这是用户直接控制媒体播放器播放媒体的实际接口。媒体播放器为用
8、户提供的控制功能通常包括声音的音量大小、暂停/重新开始和跳转等等。多媒体计算机的基本配置(及可选配置)一般来说,多媒体个人计算机(MPC)的基本硬件结构可以归纳为七部分: 至少一个功能强大、速度快的中央处理器(CPU); 可管理、控制各种接口与设备的配置; 具有一定容量(尽可能大)的存储空间; 高分辨率显示接口与设备; 可处理音响的接口与设备; 可处理图像的接口设备; 可存放大量数据的配置等。这样提供的配置是最基本MPC的硬件基础,它们构成MPC的主机。除此以外,MPC能扩充的配置还可能包括如下几个方面: 光盘驱动器:包括可重写光盘驱动器(CD-R)、WORM光盘驱动器和CD-ROM驱动器。其
9、中CD-ROM驱动器为MPC带来了价格便宜的650M存储设备,存有图形、动画、图像、声音、文本、数字音频、程序等资源的CD-ROM早已广泛使用,因此现在光驱对广大用户来说已经是必须配置的了。而可重写光盘、WORM光盘价格较贵,目前还不是非常普及。另外,DVD出现在市场上也有些时日了,它的存储量更大,双面可达17GB,是升级换代的理想产品。 音频卡:在音频卡上连接的音频输入输出设备包括话筒、音频播放设备、MIDI合成器、耳机、扬声器等。数字音频处理的支持是多媒体计算机的重要方面,音频卡具有A/D和D/A音频信号的转换功能,可以合成音乐、混合多种声源,还可以外接MIDI电子音乐设备。 图形加速卡:
10、图文并茂的多媒体表现需要分辨率高,而且同屏显示色彩丰富的显示卡的支持,同时还要求具有Windows的显示驱动程序,并在Windows下的像素运算速度要快。所以现在带有图形用户接口GUI加速器的局部总线显示适配器使得Windows的显示速度大大加快。 视频卡:可细分为视频捕捉卡、视频处理卡、视频播放卡以及TV编码器等专用卡,其功能是连接摄像机、VCR影碟机、TV等设备,以便获取、处理和表现各种动画和数字化视频媒体。 扫描卡:它是用来连接各种图形扫描仪的,是常用的静态照片、文字、工程图输入设备。 打印机接口:用来连接各种打印机,包括普通打印机、激光打印机、彩色打印机等,打印机现在已经是最常用的多媒
11、体输出设备之一了。 交互控制接口:它是用来连接触摸屏、鼠标、光笔等人机交互设备的,这些设备将大大方便用户对MPC的使用。 网络接口:是实现多媒体通信的重要MPC扩充部件。计算机和通信技术相结合的时代已经来临,这就需要专门的多媒体外部设备将数据量庞大的多媒体信息传送出去或接收进来,通过网络接口相接的设备包括视频电话机、传真机、LAN和ISDN等。多媒体个人机的解释在多媒体计算机之前,传统的微机或个人机处理的信息往往仅限于文字和数字,只能算是计算机应用的初级阶段,同时,由于人机之间的交互只能通过键盘和显示器,故交流信息的途径缺乏多样性。为了改换人机交互的接口,使计算机能够集声、文、图、像处理于一体
12、,人类发明了有多媒体处理能力的计算机。我们这里重点谈谈个人机(就是现在说的PC啦)。所以现在你该明白,所谓多媒体个人机(Multimedia Personal Computer, MPC)无非就是具有了多媒体处理功能的个人计算机(如早期的586机型),它的硬件结构与一般所用的个人机并无太大的差别,只不过是多了一些软硬件配置而已。一般用户如果要拥有MPC大概有两种途径:一是直接够买具有多媒体功能的PC机;二是在基本的PC机上增加多媒体套件而构成MPC。到奔横行的今天,对计算机厂商和开发人员来说,MPC已经成为一种必须具有的技术规范。目前常见的图形(图像)格式一般来说,目前的图形(图像)格式大致可
13、以分为两大类:一类为位图;另一类称为描绘类、矢量类或面向对象的图形(图像)。前者是以点阵形式描述图形(图像)的,后者是以数学方法描述的一种由几何元素组成的图形(图像)。一般说来,后者对图像的表达细致、真实,缩放后图形(图像)的分辨率不变,在专业级的图形(图像)处理中运用较多。在介绍图形(图像)格式前,我们实在有必要先了解一下图形(图像)的一些相关技术指标:分辨率、色彩数、图形灰度。 分辨率:分为屏幕分辨率和输出分辨率两种,前者用每英寸行数表示,数值越大图形(图像)质量越好;后者衡量输出设备的精度,以每英寸的像素点数表示。 色彩数和图形灰度:用位(bit)表示,一般写成2的n次方,n代表位数。当
14、图形(图像)达到24位时,可表现1677万种颜色,即真彩。灰度的表示法类似。下面我们就通过图形文件的特征后缀名(就是如图。bmp这样的)来逐一认识当前常见的图形文件格式:BMP、DIB、PCP、DIF、WMF、GIF、JPG、TIF、EPS、PSD、CDR、IFF、TGA、PCD、MPT。 BMP(bit map picture):PC机上最常用的位图格式,有压缩和不压缩两种形式,该格式可表现从2位到24位的色彩,分辨率也可从480x320至1024x768。该格式在Windows环境下相当稳定,在文件大小没有限制的场合中运用极为广泛。 DIB(device independent bitma
15、p):描述图像的能力基本与BMP相同,并且能运行于多种硬件平台,只是文件较大。 PCP(PC paintbrush):由Zsoft公司创建的一种经过压缩且节约磁盘空间的PC位图格式,它最高可表现24位图形(图像)。过去有一定市场,但随着JPEG的兴起,其地位已逐渐日落终天了。 DIF(drawing interchange formar):AutoCAD中的图形文件,它以ASCII方式存储图形,表现图形在尺寸大小方面十分精确,可以被CorelDraw,3DS等大型软件调用编辑。 WMF(Windows metafile format):Microsoft Windows图元文件,具有文件短小、
16、图案造型化的特点。该类图形比较粗糙,并只能在Microsoft Office中调用编辑。 GIF(graphics interchange format):在各种平台的各种图形处理软件上均可处理的经过压缩的图形格式。缺点是存储色彩最高只能达到256种。 JPG(joint photographics expert group):可以大幅度地压缩图形文件的一种图形格式。对于同一幅画面,JPG格式存储的文件是其他类型图形文件的1/10到1/20,而且色彩数最高可达到24位,所以它被广泛应用于Internet上的homepage或internet上的图片库。 TIF(tagged image fil
17、e format):文件体积庞大,但存储信息量亦巨大,细微层次的信息较多,有利于原稿阶调与色彩的复制。该格式有压缩和非压缩两种形式,最高支持的色彩数可达16M。 EPS(encapsulated PostScript):用PostScript语言描述的ASCII图形文件,在PostScript图形打印机上能打印出高品质的图形(图像),最高能表示32位图形(图像)。该格式分为Photoshop EPS格式adobeillustrator EPS和标准EPS格式,其中后者又可以分为图形格式和图像格式。 PSD(photoshop standard):Photoshop中的标准文件格式,专门为Pho
18、toshop而优化的格式。 CDR(coreldraw):CorelDraw的文件格式。另外,CDX是所有CorelDraw应用程序均能使用的图形(图像)文件,是发展成熟的CDR文件。 IFF(image file format):用于大型超级图形处理平台,比如AMIGA机,好莱坞的特技大片多采用该图形格式处理。图形(图像)效果,包括色彩纹理等逼真再现原景。当然,该格式耗用的内存外存等的计算机资源也十分巨大。 TGA(tagged graphic):是True vision公司为其显示卡开发的图形文件格式,创建时期较早,最高色彩数可达32位。VDA,PIX,WIN,BPX,ICB等均属其旁系。
19、 PCD(Photo CD):由KODAK公司开发,其它软件系统对其只能读取。 MPT(macintosh paintbrush)或MAC:Macintosh机所使用的灰度图形(图像)模式,在macintosh paintbrush中使用,其分辨率只能是720x567。除此之外,Macintosh机专用的图形(图像)格式还有PNT、PICT、PICT2等。有关色彩的基本常识我们知道,只要是彩色都可用亮度、色调和饱和度来描述,人眼中看到的任一彩色光都是这三个特征的综合效果。那么亮度、色调和饱和度分别指的是什么呢? 亮度:是光作用于人眼时所引起的明亮程度的感觉,它与被观察物体的发光强度有关; 色调
20、:是当人眼看到一种或多种波长的光时所产生的彩色感觉,它反映颜色的种类,是决定颜色的基本特性,如红色、棕色就是指色调。 饱和度:指的是颜色的纯度,即掺入白光的程度,或者说是指颜色的深浅程度,对于同一色调的彩色光,饱和度越深颜色越鲜明或说越纯。通常我们把色调和饱和度通称为色度。 现在你该明白了,亮度是用来表示某彩色光的明亮程度,而色度则表示颜色的类别与深浅程度。除此之外,自然界常见的各种颜色光,都可由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成;同样绝大多数颜色光也可以分解成红、绿、蓝三种色光,这就形成了色度学中最基本的原理-三原色原理(RGB)。常见的声音文件格式再接下来我们介绍七种
21、目前最为流行的多媒体声音文件效果让你认识认识: WAVE,扩展名为WAV:该格式记录声音的波形,故只要采样率高、采样字节长、机器速度快,利用该格式记录的声音文件能够和原声基本一致,质量非常高,但这样做的代价就是文件太大。 MOD,扩展名MOD、ST3、XT、S3M、FAR、669等:该格式的文件里存放乐谱和乐曲使用的各种音色样本,具有回放效果明确,音色种类无限等优点。但它也有一些致命弱点,以至于现在已经逐渐淘汰,目前只有MOD迷及一些游戏程序中尚在使用。 MPEG-3,扩展名MP3:现在最流行的声音文件格式,因其压缩率大,在网络可视电话通信方面应用广泛,但和CD唱片相比,音质不能令人非常满意。
22、 Real Audio,扩展名RA:这种格式真可谓是网络的灵魂,强大的压缩量和极小的失真使其在众多格式中脱颖而出。和MP3相同,它也是为了解决网络传输带宽资源而设计的,因此主要目标是压缩比和容错性,其次才是音质。 Creative Musical Format,扩展名CMF:Creative公司的专用音乐格式,和MIDI差不多,只是音色、效果上有些特色,专用于FM声卡,但其兼容性也很差。 CD Audio音乐CD,扩展名CDA:唱片采用的格式,又叫“红皮书”格式,记录的是波形流,绝对的纯正、HIFI。但缺点是无法编辑,文件长度太大。 MIDI,扩展名MID:目前最成熟的音乐格式,实际上已经成为
23、一种产业标准,其科学性、兼容性、复杂程度等各方面当然远远超过本文前面介绍的所有标准(除交响乐CD、Unplug CD外,其它CD往往都是利用MIDI制作出来的),它的General MIDI就是最常见的通行标准。作为音乐工业的数据通信标准,MIDI能指挥各音乐设备的运转,而且具有统一的标准格式,能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果,而且文件的长度非常小。总之,如果有专业的音源设备,那么要听同一首曲子的HIFI程度依次是:原声乐器演奏 MIDI CD唱片 MOD 所谓声卡上的MIDI CMF,而MP3及RA要看它的节目源是采用MIDI、CD还是MOD了。另外,在多媒体材料中,存储声音
24、信息的文件格式也是需要认识的,共有:WAV文件、VOC文件、MIDI文件、RMI文件、PCM文件以及AIF文件等若干种。 WAV文件:Microsoft公司的音频文件格式,它来源于对声音模拟波形的采样。用不同的采样频率对声音的模拟波形进行采样可以得到一系列离散的采样点,以不同的量化位数(8位或16位)把这些采样点的值转换成二进制数,然后存入磁盘,这就产生了声音的WAV文件,即波形文件。Microsoft Sound System软件Sound Finder可以转换AIF SND和VOD文件到WAV格式。 VOC文件:Creative公司波形音频文件格式,也是声霸卡(sound blaster)
25、使用的音频文件格式。每个VOC文件由文件头块(header block)和音频数据块(data block)组成。文件头包含一个标识版本号和一个指向数据块起始的指针。数据块分成各种类型的子块。如声音数据静音标识ASCII码文件重复的结果重复以及终止标志,扩展块等。 MIDI文件:Musical Instrument Digital Interface(乐器数字接口)的缩写。它是由世界上主要电子乐器制造厂商建立起来的一个通信标准,以规定计算机音乐程序 电子合成器和其它电子设备之间交换信息与控制信号的方法。MIDI文件中包含音符定时和多达16个通道的乐器定义,每个音符包括键通道号持续时间音量和力度
26、等信息。所以MIDI文件记录的不是乐曲本身,而是一些描述乐曲演奏过程中的指令。 RMI文件:Microsoft公司的MIDI文件格式,它可以包括图片标记和文本。 PCM文件:模拟音频信号经模数转换(A/D变换)直接形成的二进制序列,该文件没有附加的文件头和文件结束标志。在声霸卡提供的软件中,可以利用VOC-HDR程序,为PCM格式的音频文件加上文件头,而形成VOC格式。Windows的Convert工具可以把PCM音频格式的文件转换成Microsoft的WAV格式的文件。 AIF文件:Apple计算机的音频文件格式。Windows的Convert工具同样可以把AIF格式的文件换成Microso
27、ft的WAV格式的文件。乐器数字接口MIDI的概念现在我们用的最多的音频名词之一MIDI(musical instrument digital interface)是作为“乐器数字接口”的缩写出现的,并用它来泛指数字音乐的国际标准。由于它定义了计算机音乐程序、合成器及其他电子设备交换信息和电子信号的方式,所以可以解决不同电子乐器之间不兼容的问题。另外,标准的多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的外部合成器播放MIDI文件,利用MIDI文件演奏音乐,所需的存储量最少。至于MIDI文件,是指存放MIDI信息的标准文件格式。MIDI文件中包含音符、定时和多达16个通道的演奏定义
28、。文件包括每个通道的演奏音符信息:键通道号、音长、音量和力度(击键时,键达到最低位置的速度)。由于MDDI文件是一系列指令,而不是波形,它需要的磁盘空间非常少;并且现装载MIDI文件比波形文件容易的多。这样,在设计多媒体节目时,我们可以指定什么时候播放音乐,将有很大的灵活性。在以下几种情况下,使用MIDI文件比使用波形音频更合适:需要播放长时间高质量音乐,如想在硬盘上存储的音乐大于4分钟,而硬盘又没有足够的存储容量;需要以音乐作背景音响效果,同时从CD-ROM中装载其它数据,如图像、文字的显示;需要以音乐作背景音响效果,同时播放波形音频或实现文一语转换,以实现音乐和语音的同时输出。多媒体中的音
29、频处理技术多媒体涉及到多方面的音频处理技术,如:音频采集、语音编码/解码、文语转换、音乐合成、语音识别与理解、音频数据传输、音频视频同步、音频效果与编辑等。其中数字音频是个关键的概念,它指的是一个用来表示声音强弱的数据序列,它是由模拟声音经抽样(即每隔一个时间间隔在模拟声音波形上取一个幅度值)量化和编码(即把声音数据写成计算机的数据格式)后得到的。计算机数字CD、数字磁带(DAT)中存储的都是数字声音。模拟字转换器把模拟声音变成数字声音;数字模拟转换器可以恢复出模拟来的声音。一般来讲,实现计算机语音输出有两种方法:一是录音/重放,二是文语转换。第二种方法是基于声音合成技术的一种声音产生技术,它
30、可用于语音合成和音乐合成。而第一种方法是最简单的音乐合成方法,曾相继产生了应用调频(FM)音乐合成技术和波形表(wavetable)音乐合成技术。位图与矢量图相比有何异同? 【参考答案】位图 矢量图特征 能较好表现色彩浓度与层次 可展示清楚线条或文字用途 照片或复杂图象 文字、商标等相对规则的图形图影缩放效果 易失真 不易失真制作D影像 不可以 可以文件大小 较大 较小多媒体有哪些关键技术?【参考答案】视频和音频数据压缩与解压缩技术大容量存储技术超大规模集成电路制造技术与专用芯片多媒体同步技术多媒体系统平台技术图像的压缩过程主要由三部分组成:采样部分、量化部分和编码部分()传统媒体处理的都是模
31、拟信号()JPG格式的文件特点是文件非常小,而且可以调整压缩比,不失真,非常适用于要处理大量图象的场合()多媒体同步技术的功能就是解决声,图,文等多种感觉媒体信息的综合处理,协调多媒体在时空上的同步问题。()图象、动画等不是感觉媒体因为他们不作用于我们的感觉()动画是利用快速变换帧的内容而达到运动的效果。()动画和视频都是运动的画面,其实是一样的,只不过是叫法不同罢了。()矢量图像适用于逼真照片或要求精细细节的图像。()声卡是获取音频信息的主要器件之一,只要将声卡插在主板上它就能进行工作了。()采样的频率越高,声音“回放”出来的质量也越高,但是要求的存储容量也越大()专门的图形图像设计软件是(A) 。A.PhotoshopB.ACDSeeC.HyperS
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1