网络多媒体技术方面的相关知识.docx
《网络多媒体技术方面的相关知识.docx》由会员分享，可在线阅读，更多相关《网络多媒体技术方面的相关知识.docx（34页珍藏版）》请在冰豆网上搜索。
网络多媒体技术方面的相关知识
第7章网络多媒体技术
学习目标：
1．网络多媒体技术，多媒体网络系统。
2．网络多媒体技术的应用分类，网络多媒体技术的应用。
3．流媒体技术概念，流媒体文件格式，流媒体技术原理和传输协议及质量控制。
4．移动流媒体技术及应用。
7.1网络发展与多媒体应用
网络多媒体技术是计算机网络技术与多媒体技术的结合。
其目的是利用网络实现多媒体信息最大范围的共享。
网络多媒体应用是目前多媒体应用的主流。
1.网络多媒体技术和多媒体网络系统
网络多媒体技术是一门综合的、跨学科的技术，它综合了计算机技术、网络技术、通信技术以及多种信息科学领域的技术成果，目前已经成为世界上发展最快和最具活力的高新技术之一。
多媒体网络系统，是指利用网路通信设备和线路将分布在不同地理位置上，并且具有独立功能的多个多媒体计算机系统进行连接，通过多媒体网络操作系统等网络软件实现多媒体通信和共享多媒体数据的多机系统。
如图7-1是多媒体网络系统例图。
图7-1多媒体网络系统例图
2.网络多媒体技术的需求
多媒体是一种新兴的信息交流方式，它不是简单地把声、文、图、像等几种媒体叠加后呈现在人们面前，而是通过有机的信息集成，为人们提供最优的视听品质。
在多媒体技术出现之前，信息交流基本通过文字、话音、图像或图形等单一媒体形式进行的。
多媒体计算机确实是多媒体技术得以发展的起源和主导，但是利用单个计算机进行多媒体信息处理有很大的缺点：
一是不能及时获取多媒体信息，很难保证信息的及时性；二是难以共享多媒体信息。
计算机网络技术很好地解决了上述不足，使人们及时获得各种信息，同时能实现最大程度的信息共享。
因此，将多媒体技术与网络技术相结合，是多媒体网络产生的原动力。
从网络多媒体应用的需求出发，多媒体应用对网络技术的要求包括：
（1）多媒体通信网络必须有足够的带宽。
一方面是因为多媒体通信产生海量数据的要求，另一方面，只有高带宽才能确保实现用户与网络之间交互的实时性。
通过多媒体网络传输压缩的数字图像信号要求有2～15Mb/s以上的速率（MPEG1/2），传输CD音质的声音信号要求有1Mb/s以上的传输速率。
因为多媒体信息包含多种不同类型的数据,数据传输速率在100Mb/s（理论上最多50个MPEG1视频流）以上，才能充分满足各类媒体通信应用的需要。
网络必须满足多媒体通信的实时性和可靠性要求，以保证服务质量。
为了获得真实的现场感，语音和图像的延时都要求小于0.25秒，静止的图像要求少于1秒。
对于共享数据要求没有误码。
另外，由于传输的多媒体信息在时空上都是相互约束、相互关联的，多媒体通信系统必须正确反应它们之间的约束关系，如保证声音与图像的同步。
即为媒体同步要求，包括媒体间同步和媒体内同步。
现有的几种通信网络——电信网络、计算机网络和电视传播网络，虽然都可以用来传递多媒体信息，但都存在不同程度的缺陷，如电视网络的单向性、计算机分组网络（IP）的无服务质量保证、电信网络的复杂和高开销等。
为了适应多媒体网络的发展需要，人们正在加紧研究并推广一些新的网络技术，如：
宽带综合业务数字网（B-ISDN）和ATM。
到目前为止，宽带网络是最适合多媒体信息传输的网络技术。
3.网络多媒体技术的应用分类
按照用户使用时的交互的频繁程度来划分，多媒体网络应用可分成3类：
（1）现场交互应用（liveinteractiveapplications）：
因特网电话和实时电视会议是频繁交互的应用例子。
在这种应用场合下，与会者在任何时候都可能说话或者移动。
从与会者说话或者移动的动作到达接收端的时延应该小于几百毫秒才能为用户接受。
人的听觉系统对延迟小于150毫秒的声音感觉不到有时延，在150毫秒～400毫秒之间的时延可以接受，时延超过400毫秒的会话就令人甚感别扭。
（2）交互应用（interactiveapplications）：
声音点播、影视点播是交互应用的例子。
在这种应用场合下，用户仅仅是要求服务器开始传输文件、暂停、从头开始播放或者是跳转而已。
从用户发出请求播放到在客户机上开始播放之间的时延大约在1～5秒钟就可以接受。
对信息包时延和抖动的要求不像因特网电话和实时会议那样高。
（3）非实时交互应用（non-interactiveapplications）：
现场声音广播和电视广播或者预录内容的广播是非实时交互应用的例子。
在这些应用场合下，发送端连续发出声音和电视数据，而用户只是简单地调用播放器播放，如同普通的无线电广播或者电视广播。
从源端发出声音或者电视信号到接收端播放之间的时延在10秒或者更多一些都可以接受。
对信号的抖动要求也可以比交互应用的要求低。
4.网络多媒体技术的应用
因特网上已经开发了很多应用，归纳起来大致可分成两类，一类是以文本为主的数据通信，包括文件传输、电子邮件、远程登录、网络新闻和Web等，另一类是以声音和图像为主的通信。
通常把任何一种声音通信和图像通信的网络应用称为网络多媒体应用（networkingmultimediaapplication）。
网络上的多媒体通信应用和数据通信应用有比较大的差别，多媒体应用要求在客户端播放声音和图像时要流畅，声音和图像要同步，因此对网络的时延和带宽要求很高。
而数据通信应用则把可靠性放在第一位，对网络的时延和带宽的要求不那么苛刻。
下面是因特网上现在已经存在并且是网络多媒体技术很重要的几类应用：
（1）现场声音和电视广播或者预录制内容的广播：
这种应用类似于普通的无线电广播和电视广播，不同的是在因特网上广播，用户可以接收世界上任何一个角落里发出的声音和电视广播。
这种广播可使用单目标广播（unicast）传输，也可使用更有效的多目标广播（multicast）传输。
现在市场上有许多因特网广播产品，包括RealNetworks公司的广播软件——广播器（broadcasters）。
（2）声音点播（audioondemand）：
在这一类应用中，客户请求传送经过压缩并存放在服务机上的声音文件，这些文件可以包含任何类型的声音内容。
例如，教授的讲课、摇滚乐、交响乐、著名的无线电广播档案文件和历史档案记录。
客户在任何时间和任何地方都可以从声音点播服务器中读声音文件。
使用因特网点播软件时，在用户启动播放器几秒钟之后就开始播放，一边播放一边从服务机上接收文件，而不是在整个文件下载之后开始播放。
边接收文件边播放的特性叫做流放（streaming）。
许多这样的产品也为用户提供交互功能。
例如，暂停/重新开始播放，跳转等功能。
现在已经有许多因特网声音点播产品，包括RealNetworks公司的RealPlayer和Vocaltec公司的InternetWave。
（3）影视点播（videoondemand），也称交互电视（InteractiveTelevision）：
这种应用与声音点播应用完全类似。
存放在服务机上的压缩的影视文件可以是教授的讲课、整部电影、预先录制的电视片、（文献）纪录片、历史事件档案片、卡通片和音乐电视片等等。
存储和播放影视文件比声音文件需要大得多的存储空间和传输带宽。
现在，已经有很多因特网影视点播产品，包括RealNetworks公司的产品。
（4）因特网电话（Internettelephony）：
这种应用是人们在因特网上进行通话，就像人们在传统的线路交换电话网络上相互通信一样，可以近距离通信，也可以长途通信，而费用却非常低。
（5）分组实时电视会议（groupreal-timevideoconferencing）：
这类多媒体应用产品与因特网电话类似，但可允许许多人参加。
在会议期间，你可为你所想看到的人打开一个窗口。
现在也已经有许多在因特网上召开分组实时电视会议的产品，包括CornellUniversity开发的CU-SeeMe电视会议产品。
7.2流媒体及其概念
在网络上传输音/视频等多媒体信息目前主要有下载和流式传输两种方案。
音/视频文件一般都较大，所以需要的存储容量也较大，同时由于网络带宽的限制，下载常常要花数分钟甚至数小时，所以这种处理方法延迟也很大。
流媒体（StreamMedia）技术的出现使得在窄带互联网上传输多媒体信息成为可能。
在互联网诞生后相当长的时间内，其应用仅限于下载使用模式，流媒体技术正是为了适应互联网上“边下载边观看，而不必因为完全下载文件而等待”的要求而产生的。
流媒体并非是一种新的媒体，实质上是一种新的媒体传输方式，更进一步地说是一种满足特定要求的数据格式。
流式传输时，声音、影像或动画等时基媒体由音视频服务器向用户计算机的连续、实时传送，用户不必等到整个文件全部下载完毕，而只需经过几秒或十数秒的启动延时即可进行观看。
当声音等时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。
流式不仅使启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。
流式传输避免了用户必须等待整个文件全部从Internet上下载才能观看的缺点。
1.在网络上传输音、视频（AV）等多媒体信息，目前主要有下载和流式传输两种方式。
传统的网络传输AV等多媒体信息的方式是完全下载后再播放，下载常常要花数分钟甚至数小时。
而采用流媒体技术，可实现流式传输，将声音、影像或动画等由服务器向用户计算机进行连续、不间断传送，用户不必等到整个文件全部下载完毕，而只需经过几秒或十几秒的启动延时即可进行观看。
当声音视频等在用户的机器上播故时，文件的剩余部分还会从服务器上继续下载。
流媒体指在网络中使用流式传输技术的连续时基媒体，如音频、视频或其他多媒体文件。
流媒体技术就是把连续的声音和视频等信息经过压缩处理后放在网站服务器上，让用户边下载边观看和收听，而不需要等整个文件全部下载完毕后才观看。
流媒体技术不是单一的技术，而是融合多种网络技术而产生的技术，它涉及到网络通信、多媒体数据采集、压缩、存储、传输等。
2.与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式具有以下优点。
（1）启动延时大幅度地缩短
用户不用等待所有内容下载到硬盘上才开始浏览，我们曾经用10M到桌面的校园网络来浏览方舟中的猫头鹰剧场，无论是上班时间还是晚上，速度都相当快，一般来说，一个45分钟的影片片段在一分钟以内就显示在客户端上，而且在播放过程一般不会出现断续的情况，另外，全屏播放对播放速度几乎无影响，但快进、快倒时需要时间等待。
（2）对系统缓存容量的需求大大降低
由于Internet是以包传输为基础进行断续的异步传输，数据被分解为许多包进行传输，动态变化的网络使各个包可能选择不同的路由，故到达用户计算机的时间延迟也就不同。
所以，在客户端需要缓存系统来弥补延迟和抖动的影响和保证数据包传输顺序的正确，使媒体数据能连续输出，不会因网络暂时拥堵而使播放出现停顿。
虽然流式传输仍需要缓存，但由于不需要把所有的动画、视音频内容都下载到缓存中，因此，对缓存的要求降低。
（3）流式传输的实现有特定的实时传输协议
采用RTSP等实时传输协议，更加适合动画、视音频在网上的流式实时传输。
7.3流媒体文件格式
流媒体系统中处理的主要是一些实时性要求比较高的媒体信息，如声音、视频、动画等，这些媒体的数据量很大，因此，多媒体信息需要进行压缩生成一定格式的文件后再进行存储，如我们熟知的*．mpg、*．mov、*．avi、*．mp3等，就是媒体压缩格式。
而要将这些媒体在网上进行实时传输，需要将这些压缩文件进行必要的处理，分别成很多小块，以方便传输，这就是媒体流格式。
7.3.1压缩媒体文件格式
由于实时媒体的原始数据量都非常大，若要将它们直接传送给用户，一是会占用大量的存储空间，二是需要的传输带宽很高，因此压缩就变得非常重要。
媒体文件压缩格式尽量保留了或完全保留了原始媒体的信息，通过去掉大量的冗余信息，使得生成的压缩文件比原始文件减小很多，这样方便于存储和传输。
压缩编码是基于一定的压缩算法，如RealVideo是基于小波变换算法，WindowsMedia则是基于MPEG-4的压缩算法。
经过压缩编码后形成的媒体文件，称为压缩媒体文件，有时简称为压缩文件。
为了区分压缩算法、压缩对象和厂商系统，一般以文件的扩展名区分压缩媒体文件格式，简称压缩文件格式。
压缩格式有时被称为压缩媒体格式，包含了描述一段声音和图象的同样信息，尽管它的文件大小被处理得更小。
很明显，压缩过程改变了数据位的编排。
在压缩媒体文件再次成为媒体格式前，其中数据需要解压缩。
由于压缩过程自动进行，并内嵌在媒体文件格式中，通常我们在存储文件时没有注意到这点。
该过程如图7-2所示，表7-1列举一些视频和音频文件格式。
图7.2文件压缩过程
表7-1常用视频、音频压缩文件类型
文件扩展名
媒体类型与名称
压缩情况
mov
QuicktimeVideoV2.0
可以
mpg
MPEG1Video
有
mp3
MPEGLayer3Audio
有
wav
WaveAudio
没有
aif
AudioInterchangeFormat
没有
snd
SoundAudioFileFormat
没有
au
AudioFileFormat
没有
avi
AudioVideoInteriavedV1.0
（MicrosoftWin）
可以
7.3.2流式文件格式
通过文件共享的方式播放标准的媒体压缩文件也可以实现网上的共享，但这只适合局域网的环境，对于Internet往往还是用文件传送的方式。
为了减小用户的播放延时和存储空间，实现边下载边播放，并保证一定的播放质量，就需要对压缩文件进行特殊的处理，添加一些附属信息，如计时、压缩和版权信息，这就是流式文件格式。
流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到下载完整个文件才能播放。
可以在网上以流的方式播放标准媒体文件，但效率不高。
将压缩媒体文件编码成流式文件，必须假如一些附加信息，如：
计时、压缩和版权信息。
编码过程如图7-3所示。
表7-2列举了常用的流式文件类型。
图7-3流式文件编码过程表
表7-2常用流式文件格式
文件格式扩展
媒体类型与名称
asf
AdvancedStreamingFormat.（Microsoft）
rm
RealVideo/Audio文件（ProgressiveNetworks）
ra
RealAudio文件（ProgressiveNetworks）
rp
RealPix文件（ProgressiveNetworks）
rt
RealText文件（ProgressiveNetworks）
swf
ShockWaveFlash
viv
VivoMovie文件
运用流媒体技术时，音视频文件要采用相应的格式，不同格式的文件需要用不同的播放器软件来播放，如RealServer、WindowsMediaServer等，当然这些文件不仅可以实时播放也可以存放在本地播放器。
下面介绍几种主要的流式文件格式。
1.RealMedia文件格式
RealMedia是目前Internet上最流行的跨平台的客户／服务器结构多媒体应用规范，它采用音频／视频流和同步回放技术实现了网上全带宽的多媒体回放。
在RealMedia规范中主要包括三类文件：
RealAudio（用以传输接近CD音质的音频数据）、RealVideo（用来传输连续视频数据）和RealFlash动画格式。
而RealPlayer就是在网上收听收看这些实时音频、视频和F1ash的最佳工具之—。
只要用户的线路允许，使用RealPlayer可以不必下载音频／视频内容就能实现网络在线播放，上网查找和收听、收看各种广播、电视。
RealVideo主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率，从而实现影像数据的实时传送和实时播放。
它可以在56KModem拨号上网的条件下实现不间断的视频播放，只不过其图像质量是不能和MPEG-2、DIVX等相比。
RA格式是一种流式音频RealAudio文件格式，用以传输接近CD音质的音频数据。
RV格式则是流式视频RealVideo文件格式，主要用来在低速率的网络上实时传输视频影像。
RP（RealPix）格式是RealMedia文件格式的一部分，它允许盲接将图片文件通过Internet流式传输到客户端。
通过将其他媒体（如音频、文本）捆绑到图片上制作出各种用途的多媒体文件。
RP文件可以用RealServer发送到RealPlayer上直接播放。
RT（RealText）格式也是RealMedia文件格式的一部分，这种格式可比文本从文件或者直播源流式发放到客户端。
RealText文件既可以是单独的文本也可以是在文本的基础上加上其他媒体，采用何种形式完全由斋要决定。
出于RealText文件也是由标志性语言定义的，所以用简单的文本编辑器就可以制作。
只RealText文件也可以用RealPlayer流式播放。
2．ASF文件格式
ASF（AdvancedStreamingFormat）文件是Microsoft制定的一种可以直接在网上观看视频节目的文件压缩格式。
由于它是用MPEG-4的压缩算法，所以它的压缩质量如果不考虑文件大小的话，完全可以和VCD媲美，比同是视频格式的*．rm好很多。
关于这种格式，Microsoft有明确说明：
“ASF是一种支持在各类网络和协议下进行数据传送的公开标准。
ASF用于排列、组织、同步多媒体数据以通过网络传输。
ASF是一种数据格式，然而，它也可用于指定实况演示的格式。
ASF不但最适于通过网络发送多媒体流，也同样适于在本地播放。
任何压缩一解压缩运算法则（编解码器）都可以用来编解码ASF流。
在ASF流中存储的信息可用于帮助客户决定应使用何种编解码器解压缩流。
另外，ASF流可按任何基础网络传输协议传输”。
3.QuickTime电影（Movie）文件格式
QuickTime是Apple计算机公司开发的一种音频、视频文件格式，用于保存音频和视频信息，具有先进的视频和音频功能，被包括AppleMac0S、MicrosoftWindows在内的所有主流操作平台所支持。
QuickTime制定了其称作QuickTimeMovie的多媒体文件格式。
此文件格式是极具弹性的存储格式。
虽然，QuickTime并没强制要求用户将媒体资料存成QuickTimeMovie文件，但大部分的用户会发现QuickTimeMovie档案格式是一种方便而强大的多媒体文件格式，它要比Microsoft早期推出的AVI文件格式强。
此外，QuickTimeMovie文件格式不受系统平台、系统开放性、可延伸性的约束，所以用它作为分散式多媒体系统是比较理想的环境。
以上这些特色已经促使许多主要的Web厂商改用QuickTimeMovie格式。
QuickTimeMovie在Windows系统平台上也受到良好的支持。
Apple、Microsoft、Macromedia、Netscape、Adobe等著名厂商和大量其他的软件开发人员都开始使用QuickTimeMovie格式。
由于QuickTimeMovie能在众多电脑平台中使用，所以QuickTime的跨平台能力是毋庸置疑的。
目前QuickTimeMovie格式正日趋普及。
QuickTime文件格式支持25位彩色，支持RLE、JPEG等领先的集成压缩技术，提供150多种视频效果，并配有提供了200多种MIDI兼容音响和设备的声音装置。
新版的QuickTime进一步扩展了原有功能，包含了基于Internet应用的关键特性，能够通过Internet提供实时的数字化信息流、工作流与文件回放功能，此外，QuickTime还采用了一种称为QuickTimeVR（QTVR）技术的虚拟现实（VirtualReality，VR）技术，用户通过鼠标或键盘的交互式控制，可以观察其一地点周围360度的景象，或者从空间任何角度观察某一物体。
QuickTime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术细节的独立性以及系统的高度开放性，得到业界的广泛认可，目前已成为数字媒体软件技术领域的工业标准。
国际标准化组织（ISO）最近选择QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式。
4．SWF文件格式
SWF（ShockWaveFlash）是Macromedia公司推出的一种动画文件格式，它采用矢量图形方法存储动画，使得生成的文件很小，但质量却丝毫不变，播放质量不随画面的放大而变差，因而得到了广泛应用。
7.3.3媒体发布格式
媒体发布格式不是压缩格式，也不是传输协议，其本身并不描述视听数据，也不提供编码方法。
媒体发布格式是视听数据安排的唯一途径，物理数据无关紧要，我们仅需要知道数据类型和安排方式。
以特定方式安排数据有助于流式多媒体的发展，因为我们希望有一个开放媒体发布格式为所有商业流式产品应用，为应用不同压缩标准和媒体文件格式格式的媒体发布提供一个事实上的标准方法。
我们也可从以相同格式同步不同类型流中获益。
总有一天，单个媒体发布格式能包含不同类型媒体的所有信息，如计时、多个流同步、版权和所有人信息。
实际视听数据可位于多个文件中，而由媒体发布文件包含的信息控制流的播放。
常用媒体发布格式如表7-3所示。
表7-3常用媒体发布格式
媒体发布格式扩展
媒体类型和名称
asf
AdvancedStreamingFormat.
smil
SynchronisedMultimediaIntegrationLanguage.
ram
RAMFile.
rpm
EmbeddedRAMFile.
asx
xml
7.4流媒体技术原理
由于目前的网络带宽还不能完全满足巨大的AV、3D等多媒体数据流量的要求，所以在流媒体通信技术中，应首先对AV、3D等多媒体文件数据进行预处理后才能进行流式传输。
它主要包括降低质量和采用先进、高效的压缩算法两个方面。
其次，与下载方式相比，尽管流式传输大大降低了对系统缓存容量的要求，但它的实现仍需要缓存，这是因为Internet是以包传输为基础进行断续的异步传输的。
数据在传输中要被分解为许多包，但网络又是动态变化的，各个包选择的路由可能不尽相同，故到达用户计算机的时间延迟也就不同。
所以，使用缓存系统来弥补延时和抖动的影响，并保证数据包传输顺序的正确，使媒体数据能连续输出，不会因网络暂时拥堵而出现播放停顿。
在整个的传输和控制过程中，必须采用一定的网络协议来实现流式传输，为用户提供可靠服务质量保证。
媒体流传输过程如图7-4所示。
用户（Web浏览器）通过HTTP/TCP与Web服务器（WebServer）交换信息，获取流媒体服务清单，根据获得的流媒体服务清单向媒体服务器（AVServer）请求相关服务；然后客户机的Web浏览器启动相应的媒体格放器（AVPlayer），通过RTP/UDP从媒体服务器中获取流媒体数据，实时播放。
在播放过程中，客户机的媒体播放器需要实时通过RTCP/UDP与媒体服务器交换控制信息，媒体服务器根据客户机反馈的流媒体接收情况智能调整向客户机传送的媒体数据流，从而在客户端达到最优的接收效果。
图7-4流式传输过程
7.4.1实现流式传输的方法
实现流式传输的两种方法是：
实时流式（RealtimeStreaming）传输和顺序流式（ProgresiveStreaming）传输。
一般说来，如果视频为实时广播，或使用流式传输媒体服务器，或应用如RTSP的实时协议，则流式传
升级会员 