多媒体技术.docx

1、多媒体技术多媒体技术第一章 绪 论1有关多媒体的基本概念多媒体信息处理技术：是指能够同时捕捉、处理、编辑、存储和播放两种以上不同类型信息媒体的技术。常见信息媒体类型包括：文本、图形、图像、动画、音频、视频等。 静态媒体与连续媒体：静态媒体（如文本）是没有时间维的媒体，即其播放速度不会影响所含信息的再现。连续媒体（如视频和音频）是由媒体“量子”（如音频采样和视频帧）组成的，具有隐含的时间维，播放速度影响其所含信息的再现，因此，需要在一段特定的时间里按特定的速度播放；如果播放速度得不到满足，媒体信息的完整性就会受到影响。 捕捉媒体与合成媒体捕捉媒体是指从现实世界中捕捉到的真实媒体信息。合成媒体是指

2、通过计算机合成的媒体。2单机与网络化多媒体单机多媒体是指完全由本机提供多媒体应用所需的全部资源。例如，基于计算机的培训与教育（CBT与CBE）、多媒体制作、多媒体写作、多媒体演示。多媒体计算机网络多媒体是指基于计算机网络（LAN，MAN，WAN）的多媒体应用。例如，多媒体电子邮件、计算机会议、Internet电话，等等。多采用客户/服务器模式，也有对等模式。3多媒体应用领域 多媒体出版 多媒体办公自动化系统 计算机会议 多媒体信息查询系统 交互式电视与视频点播 交互式影院与数字化电影 数字化图书馆 家庭信息中心：回家工作 远程教育 远程医疗 计算机支持下的协同工作（Computer Suppo

3、rted Cooperative Work） 媒体空间（MediaSpace）与赛博（CyberSpace）空间 将办公室、公共活动区、公共资源设备等通过计算机网络互联起来，形成超越时空距离的环境，供工作人员交换信息、传递数据或进行讨论，就形成了所谓的媒体空间。 当媒体空间发展到相当大的范围，信息内容极其丰富，用户访问的界面更加方便而且更具沉浸感时，就成为赛博空间。 虚拟现实（Virtual Reality）第二章 数字化多媒体系统1基本概念 计算机化的数字式多媒体信息系统。 数字式不等于计算机化。例如，数字式影碟机就不能称为是数字化多媒体系统。2基本特征 计算机化 至少对终端用户来说媒体信息

4、的播放是由计算机控制的。 集成化 涉及的设备的类型与数量尽可能地单一。包括存储集成化、捕捉集成化、播放集成化、网络集成化（ISDN与ISPN） 数字化 主要是指媒体信息表示的数字化 模拟信号-数字信号：采样、量化、编码、AD/DA 优点：有利于计算机化与集成化，方便存储、传输与处理 缺点：失真 权衡：数字化的精确性（采样速率与编码位数）与（存储器与网络）带宽 交互性 四种用户定制化程度：媒体播放开始时间、媒体播放次序、媒体播放速度、播放形式第三章 常见媒体类型1文本 非格式化文本：可以使用的字符个数有限（即简单的字符集，如ASCII）而且通常字符的大小固定，仅能按照一种形式和内容使用。纯文本文

5、件 格式化文本：字符集丰富（如增加罗马字母、各种特殊符号），多种字体、多种大小、多种排版格式。文本外观可与印刷文本媲美。2图形与图像 图形：是可修正的文件，在文件格式中必须包含结构化信息即语义内容被包含在对图形的描述中，作为一个对象存储。一般是用图形编辑器产生或者由程序产生，因此也常被称作计算机图形。 图像：是不可修正的，在文本格式中没有任何结构信息，因此没有保存任何语义内容，作为位图存储。图像有两种来源：扫描静态图像和合成静态图像。前者是通过扫描仪、普通相机与模数转换装置、数字相机等从现实世界中捕捉；后者是由计算机辅助创建或生成，即通过程序、屏幕截取等生成。象素是图象数字化的基本单位。每一个

6、象素对应一个数值，称为象素的振幅。数字化位数称为振幅深度或者象素深度，如1（黑白图象）和24（真彩色图象）3视频与动画帧：一个完整且独立的窗口视图，作为要播放的视图序列的一个组成部分。它可能占据整个屏幕，也可能只占据屏幕的一部分。帧速率：每秒播放的帧数。两幅连续帧之间的播放时间间隔即延时通常是恒定的。在什么样的帧速率下会开始产生平稳运动的印象取决于个体与被播放事物的性质。通常，平稳运动印象大约开始于每秒16帧的帧速率。电影24帧/秒。美日电视标准30帧/秒，欧洲25帧/秒。HDTV60帧/秒。 视频（运动图象）：以位图形式存储，因此缺乏语义描述，需要较大的存储能力，分为捕捉运动视频与合成运动视

7、频。前者是通过普通摄像机与模数转换装置、数字摄像机等从现实世界中捕捉；后者是由计算机辅助创建或生成，即通过程序、屏幕截取等生成。动画（运动图形）：存储对象及其时空关系，因此带有语义信息，但是在播放时需要通过计算才能生成相应的视图。通常是通过动画制作工具或程序生成。4声音录制、存储、播放与合成5其他类型媒体 以上媒体类型实质上只涉及到视听。人类的认知媒体除此之外还包括触觉、味觉、嗅觉等。因此，多媒体与多感知是两个不同的概念。第四章 多媒体数据压缩1基本概念 数字化的音频与视频信息的数据量极其庞大-数据存储与网络带宽的压力极大-需要压缩 多媒体信息存在自然冗余，例如，帧与帧之间的象素具有极大的相关

8、性-能够压缩 无损压缩与有损压缩 衡量一种数据压缩技术优劣的指标：压缩比、压缩算法是否适于实现、恢复效果2常见压缩标准2.1 ISO指定的国际标准. JPEG标准 JPEG（Joint Photographic Expert Group）小组1991年3月提出了ISO CD10918号建议草案：“多灰度静止图象的数据压缩编码”，用于连续色调灰度级或彩色图象的压缩标准，采用离散余弦变换、量化、行程与哈夫曼编码等技术，支持几种操作模式，包括无损（压缩比2:1）与各种类型的有损模式（压缩比可达30:1且没有明显的品质退化）。 Motion JPEG-Motion Video.JBIG标准 JBIG（

9、Joint Bi-level Image Group）是一种无损的二值图象压缩标准。JBIG可以支持很高的图象分辨率，常用的文件格式为17282376或23042896，压缩比可达10:1。虽然JBIG是二值图象的编码标准，但是它也可以对含灰度值的图象或彩色图象进行无失真压缩，在这种情况下，JBIG是对图象的每个比特面作压缩变换。.MPEG系列标准ISO于1992年制定了运动图象数据压缩编码的标准ISO CD11172，简称MPEG（Motion Picture Expert Group）标准，它是视频图象压缩的一个重要标准。MEPG编码技术的发展十分迅速，从MPEG-1、MPEG-2到MPE

10、G-4，不仅图象质量得到了很大的提高，而且在编码的可伸缩性方面，也有了很大的灵活性。MPEG-1是以1.5Mbps的速率传输电视质量的视频信号，其亮度信号的分辨率为352240，色度信号的分辨率为180120，每秒25或30帧。MPEG-1标准有三个部分组成：MPEG视频（速率小于1.5Mbps）、MPEG音频（速率为64.2Kbps和19.2Kbps）和MPEG系统（视频和音频的同步）。因此MPEG-1涉及的问题是视频/音频压缩和多种压缩数据流的复合和同步问题。 采用两个基本技术：一是基于1616子块的运动补偿，可以减少帧序列的时域冗余度；二是基于DCT的压缩技术，可以减少空域冗余度。设计M

11、PEG算法本身面临着一个矛盾：为了满足随机访问的需要，最好对其使用帧内编码，但是，仅靠帧内编码是无法达到在保证画面质量的前提下而满足高压缩比的需要的。因此，MPEG采取了预测和插值两种帧编码技术。MPEG中的DCT技术不仅用于帧内压缩，而且对于帧间预测误差也作了DCT变换，大大减少了空间域的冗余，达到了进一步压缩的目的。 I帧（I-Frame）（Intracoded Frame）：基准帧（reference frame）。 P帧（P-Frame）（Predicted Frame）：只能根据I帧重建，同时作为重建B帧的基准帧之一。B帧（B-Frame）（Bidirectional Frame）：

12、根据I帧与P帧重建。MPEG-1是为中等分辨率视频图象制定的一个标准，特别适合于VCD的性能要求。MPEG-21993年ISO/IEC/JTC/SC29/WG11推出的ISO/IEC 13818标准，是一种高带宽的视频数据流标准。MPEG-2既可以工作在隔行扫描模式下，也可以工作在逐行扫描模式下，最多支持5个音频声道，可以实现立体声环绕。MPEG-2提供了较为广泛的应用，典型的应用有HDTV。 MPEG-2标准主要包括四个部分：1) MPEG-2视频：主要定义了视频数据的编码表示和图象再现的解码方法及过程；2) MPEG-2音频：主要定义了音频数据的编码表示和音频编码信息的解码方法及过程；3)

13、 MPEG-2系统：该部分定义了包含视频/音频的复合结构，以及实时播放视频/音频所需的时间同步信息；表2.6 MPEG-2的级别级 别最大的分辨率每秒的点数传输率Low352 x 240 x 303.05 M4 Mb/sMain720 x 480 x 3010.40 M15 Mb/sHigh 14401440 x 1152 x 3043.00 M60 Mb/sHigh1920 x 1080 x 3062.70 M80 Mb/s4) MPEG-2的一致性测试规范。MPEG-3：是为1920 x 1080 x 30Hz的HDTV制定的。后来，人们又发现MPEG-2标准也能够很好地支持这种应用，所以

14、MPEG-3后来成为MPEG-2标准的一部分，称为MPEG-2 High-1440。MPEG-4 是一种低带宽的视频标准，主要用于视频会议，其视频速率只有64Kbps，分辨率为176 x 144 x 10Hz。极低比特率（Very Low Bit Rate Transfer）2.2 ITU指定的国际标准T.120有关电视会议的国际标准T.120，但不太成功，没有被广泛使用。标准功能及定义T.121应用程序开发指南，一般应用程序范本T.122流向控制及编址，数据及应用程序共用的多点通讯协定T.123OSI传送界面，一般电话系统及区域性网络的互联和协定T.124会议建立，一般会议控制设定和管理，包

15、括加入或删除参与者T.125协定服务的形式，多点通信服务协定规范T.126批注及应用程序支持，多点固定图象检测及固定图象批注协定T.127将文档传给一方或多方，多点二进制文档传送T.128实时音频/图象管理，多点系统的控制H.320H.320（其原名为Narrow Band ISDN visual telephone systems and terminal equipment），但是H.320标准还是只适合在ISDN、E1、T1等高速率的数字网上运行，而并不适合于象在电话线这种窄带网上使用。因此，ITU从1993年开始着手制定一套新的标准H.324。标准功能定义 H.261图象数据编码标准，

16、P64Kbps数字化图象的编码器 G.711音频编码压缩标准，使用PCM语音频率，需要专用的64Kbps G.722音频编码压缩标准，在64Kbps以内的7KHz音频编码 G.728 音频编码压缩标准，以64Kbps的速度使用CELP的语音编码 H.221帧结构定义，定义传送音频和图象的频道的结构 H.230系统控制规程的监控与显示标准，音频及图象的同步化控制 H.242多点桥接的控制标准，可视电话连接及切断标准操作程序 H.233数据加密 H.231多点电视会议控制标准，多点控制单元连接规范 H.243多点电视会议控制标准，多点控制单元协议标准H.261图象编码器已成为互动式图象压缩的实际标

17、准。它描述帧内和帧间的压缩算法，使用P64数字通道(64Kbps 到2.048Mbps，即P=1-30)。图象将会及时压缩及解压，这样就将发出方和接收方之间的等待时间减至最低。H.261唯一的缺点是图象的质量低，后面介绍的H.263标准将取代H.261规范。H.324标准 H.324是通过一般电话线传送音频及视频信息，并对音频及视频信息进行编码及解码的国际标准。一般电话系统获得广泛采用的原因是使用方便，而且有数量庞大的用户。H.324标准可以将电视会议带给数以百万计的、没有加入ISDN的用户。 H.324是为与V.34调制解调器一起使用而设计的。这种调制解调器的总频宽为28.8Kbps，系统设

18、计者可能会选择质量较低的音频，使图象信号能够有较大的频宽。这项标准亦包括动态频宽分配模式，这样音频频宽就能够在没有音频需要传送时给其他数据使用。H.324的视频编码器规范比起H .320规范有很大的改进。H.263在图象质量方面可能会较H.261高百分之二十至百分之百。标准功能及定义 H.263图象数据压缩标准，以低于64Kbps的速度给数字化图象使用的编码器 G.723 音频数据压缩标准，以5.3Kbps或6.3Kbps的速度进行语音编码 H.245同步及系统控制 H.223多用户的多方协定 虽然H.324标准是针对电话线路这种低速率的通信网络制定的，但是由于它采用了很多最新的技术，所以，它

19、肯定也将会取代旧的H.320标准而应用到高速数据网中去，其速率最高可允许2.048Mbps，它的整体框图如图2.13所示。 图2.13 H.324多媒体系统框图 从总体上来看，H.324和H.320的一个重大区别就在于它增加了一个数据通信接口。这是因为H.320主要用在会议电视，H.324则是主要用在多媒体通信，在多媒体通信中，不但要传送电视信号和语音信号，而且还要传送各种计算机数据，尤其是电子通信公告栏的各种数据。具体地说，数据通信接口主要支持多媒体通信的应用，例如电子公告栏，静止图象传输，文件交换，数据库的存取，音频图形会议，设备(如摄像机)的远程控制，网络协议等。所以，它们的最大区别在于

20、H.324不但有视频和音频编码解码器，而且它还有文件会议系统。H.324与H.320之间的另一个区别在于，H.324把数据Modem及其控制也包括了进去。这是因为本来电话网只是一个模拟信号通信网，只有通过数据调制解调器才能把数据信号经过模拟网络来传输。正因为如此，它的多路复用部分H.223，要比过去的H.221复杂(H.221主要是视频和音频信号的多路复用)。其中视频编码解码器H.263实际上是电视信号的压缩和解压缩技术。如果说H.261吸取了MPEG-1的一些优点，则可以认为H.263吸取了MPEG-2的一些优点。 音频编码解码器G.723主要是用来作为语音信号的压缩和解压缩，本来采用G.7

21、23编号，但因为后来发现G.723已经作为ADPCM的标准，所以最近可能会改为G.723.1。标准的数据通信应用包括应用于实时语音图形会议的T.120、用于简单的点对点静止传输的T.84、用于简单的点对点文件传输的T.434、用于远程设备控制的H.224/H.281，以及包括PPP和IP在内的ISO/IEC TR 9577网络协议，用户数据缓存的V.14或LAPM/V.42也包括在内。 最近ITU又对最新标准V.34做了修订，使得它的最高传输速率从28.8Kbps又提高到了31.2Kbps和33.6Kbps。正因为有了这个改进，使得电视电话的传输变得更加方便和现实。第五章 网络化多媒体5.1

22、网络化多媒体应用需求 近年来，随着高速网络技术、多媒体信息处理技术的不断发展，出现了很多网络化多媒体应用，如远程学习、远程医疗诊断、计算机会议系统、视频点播VoD（Video on Demand）等。这些网络环境下的网络化多媒体应用对数据存储技术、数据处理技术、通信技术等都提出了很多新的需求。本节首先介绍网络化多媒体系统中涉及到的一些重要的基本概念，然后从多媒体数据的存储与管理、通信方面出发讨论网络化多媒体应用的基本需求。一连续媒体数据基本特征： 实时性 连续媒体录制设备（如视频摄像机）连续生成媒体量子流，这些媒体量子必须实时录制。例如，满足NTSC质量的视频应用每秒将产生30个视频帧（参见表

23、1.1）。从本质上讲，连续媒体的播放过程是其录制的逆过程，而且应该使用与捕捉媒体量子时所用的相同定时顺序来播放这些媒体量子。对该定时顺序的任何偏离都可能导致不良的后果，例如视频运动中出现的痉挛、音频中出现的间断、甚至音频和视频无法分辨。因此，在处理连续媒体时，必须保持同一媒体内的时间连续性。 媒体间同步在多媒体应用中，还必须兼顾不同媒体间的同步问题。例如，播放一部影片，就不仅需要维持视频和音频信号本身的时间连续性，而且需要在视频与音频信号之间进行严格的同步，维持严格的“对口型”关系。又如，在播放动画片时，图象和伴音（包括背景音乐和解说词）之间也必须保持同步。 高数据传送速率和大存储空间数字视频

24、和音频播放产生的实时数据的数量庞大，例如NTSC质量的视频每秒产生高达27M字节的数据（参见表1.1），因此，需要网络提供高数据传送速率支持连续媒体的实时传送，需要多媒体服务器和用户工作站具有足够的存储空间存储这些连续媒体数据。这就要求多媒体系统必须高效地实时存储、检索和处理连续媒体数据。实际上，多媒体信息处理的复杂性主要来源于连续媒体数据，多媒体数据对存储、管理和通信等技术提出的新的需求主要来源于连续媒体。表1.1连续媒体数据类型特征举例媒体类型说明数据速率语音质量音频个信道，KHz采样速率，每次采样位64KbpsCD质量音频个信道，44.1KHz采样速率，每次采样16位1.4MbpsMPE

25、G-2编码视频640*480象素帧，24位象素，30帧秒0.42M字节秒NTSC质量视频640*480象素帧，24位象素，30帧秒27M字节秒HDTV质量视频1280*720象素帧，24位象素，30帧秒81M字节秒2等时通信与异步通信 根据媒体类型，我们可以将网络中的多媒体通信分解成以下两类： 等时通信 等时通信用于在端系统之间传送诸如语音与视频之类需要实时处理的连续媒体数据，生成低延迟、低抖动的连续位流。例如，对于PAL制式的视频信号，网络应该每隔40 ms就向播放场地提交一视频帧；对于NTSC制式的视频信号，网络应该每隔33ms就向播放场地提交一视频帧。由于连续媒体通信具有等时性，因此，通

26、常用“流”（stream）这一术语来抽象表示端到端连续媒体通信。 异步通信 异步通信用于在端系统之间交换那些不需要实时存储或者处理的静态媒体数据。面向分组的通信技术最适合于这些突发性通信量。 显然，这两类通信必须以并行或者“混合”方式在同一个网络（如100 Mbps 的高速Ethernet、FDDI、B-ISDN等)中传送，才能较好地支持多媒体通信。3网络化多媒体应用程序分类 网络环境下的网络化多媒体应用程序可以分成以下四类： 第一类是点对点非实时交互式应用程序，如个人多媒体电子邮件。这类应用程序可以利用现有的点对点通信技术实现，不需要进行实时交互式访问。 第二类是点对多点非实时交互式应用程序

27、，例如多媒体新闻发布。这类应用程序需要将多媒体信息传送到多个目的地，但不需要实时交互式访问。广播可以看做是该类通信的特例。 第三类是实时交互式点对点应用程序，如网络环境下的可视电话。这类应用程序所涉及的通信双方需要进行实时交互式通信。例如，用户可接受的往返延迟一般不能超过800 ms。 第四类是多点实时交互式应用程序，例如桌面计算机会议。这类应用需要在多个参加者之间进行实时交互式通信，而这些参加者可能分散在不同的地点。例如，对于大多数会议应用来说，端到端延迟应该保持在250 ms以下，否则就会使会议参加者感觉信息交流不便利。显然，具有实时交互作用的第三和第四类应用程序对网络通信系统的要求更高。

28、二网络化多媒体应用基本需求 下面，我们就基于客户/服务器模式讨论网络化多媒体应用的需求。图1.1是简化的基于客户/服务器模式的网络化多媒体系统构成逻辑示意图。 媒体服务器 客户机 存储器 缓冲区 网络 缓冲区 播放硬件 图1.1 简化的基于客户/服务器模式的网络化多媒体系统因此，在设计网络化多媒体系统时，必须考虑以下关键子系统：存储与管理子系统：支持多媒体数据的存储、管理、检索与播放。这涉及到媒体服务器与客户端的组织。通信子系统：支持客户机与服务器之间的多媒体信息传送。1网络化多媒体应用对存储与管理子系统的需求多媒体数据特别是连续媒体数据对网络化多媒体系统中的存储与管理子系统提出了很多新的需求

29、，要求存储与管理子系统至少应满足如下几个方面的需求：实时录制、存取与检索：视频数字化产生连续记录的视频帧序列；音频数字化则产生连续记录的音频采样序列。由于只有在连续及时播出时媒体量子才能传递其中的含义，因此，多媒体服务器必须保证每一媒体流的录制与播出都是以实时数据速率进行。例如，在录制期间，服务器必须连续存储输入设备（如麦克风或摄像机）产生的数据以防止设备上的缓冲区溢出。另一方面，在播出期间，服务器从磁盘检索数据的速率必须足以避免输出设备（如扬声器或视频显示器）出现“饥饿”。因此，连续媒体的检索、计算与播放依赖于时间。数据必须在一个严格定义的最后期限之前播放或读取，而且抖动要小。因此，存储与检

30、索连续媒体数据的算法必须考虑时间限制，需要提供附加的缓冲区来平滑数据流。文件长度同文本和图形相比，视频与音频这样的连续媒体数据需要极大的存储空间。多媒体文件系统需要存储的信息的范围非常宽广，从文本文件到视频及其伴随音频文件，因此必须在磁盘上合理地组织数据以便有效地利用有限的存储容量。例如，未经压缩的CD质量的立体声音频实时产生的数据量大约是每秒1.4M位，质量不高但还可接受的MPEG-1压缩视频实时产生的数据量大约是每秒1.5M位，质量较高的MPEG-2压缩视频实时产生的数据量更高。多数据流存储与管理子系统需要在同一时刻支持多种不同的媒体。它不仅需要确保每个媒体流获得足够的资源以保证对其访问的

31、实时性，而且要考虑来自不同源的不同媒体流之间的同步关系。例如，对影片的检索就不仅需要处理视频与音频信息流，还必须对它们进行严格的同步。这就需要存储与管理子系统提供适当的存储、检索与播放机制。常规的数据存储与管理机制（如UNIX系统的存储与管理机制）难以满足这些多媒体数据特别是连续媒体数据的上述要求。首先是吞吐量不够。例如，多数UNIX系统的文件系统只能同时提交很少的几条连续媒体流。然而，这还不是唯一的问题。现有的存储与管理技术同样不能很好地满足连续媒体的实时性需求。例如，常规磁盘缓存策略就不大适合于连续媒体文件，因为对连续媒体的访问模式通常是顺序的，然而现有系统的策略一般都是为访问具有时间局部性的数据而优化设计的。这些都要求我们重新考虑存储与管理子系统的设计。2网络化多媒体应用对通信子系统的需求 通过上面的介绍，我们可以看出多媒体通信的复杂性主要来源于连续媒体。下面，