20网络与多媒体应用.docx

20网络与多媒体应用.docx

《20网络与多媒体应用.docx》由会员分享，可在线阅读，更多相关《20网络与多媒体应用.docx（26页珍藏版）》请在冰豆网上搜索。

20网络与多媒体应用

第20章网络与多媒体应用

网络上的多媒体通信和普通的数据通信有比较大的差别，多媒体应用要求在客户端播放声音和视频图像时要流畅，声音和图像要同步，因此对网络的带宽、时延和抖动的要求很高。

而普通的数据通信应用则把可靠性放在第一位，对网络的时延和带宽的要求较低。

多媒体的应用十分广泛，主要的应用有电子（计算机/网络）游戏、万维网、3G/4G移动通信和家庭影院等，其他应用则包括多媒体数据库、多媒体内容检索、虚拟现实、视频点播、IP电话和电视会议等等。

本章先给出流媒体的概念和特点，然后讨论传统因特网的不足与改进，最后介绍若干典型的多媒体应用。

20.1流媒体

媒体可以分为静态媒体和流式媒体两大类型。

网络流媒体服务，按要求从高到低，有交互、实时、近实时和后播四种方式。

流媒体通信具有吞吐量大、对延时和抖动敏感、允许差错、支持多播等特点。

20.1.1媒体及服务分类

1．媒体分类

媒体可以分成如下类：

●静态媒体（离散媒体）：

文本、图形、图像；

●流式媒体（连续媒体、时基媒体）：

音频、视频、动画。

2．网络流式多媒体服务分类

●交互（interactive）：

边下载边播放，并可进行交互控制（须保证带宽并限制延迟与抖动）；

●实时（real-time）：

边下载边播放（须保证带宽，若不交互可有较大延迟，但须控制抖动）；

●近实时（near-real-time）：

部分下载后连续播放（须保证带宽，但可有较大抖动）；

●后播（playback）：

先全部下载后再播放（对带宽、延迟和抖动都没有严格要求）。

20.1.2流媒体及其通信特点

1．流媒体概念

流媒体（streammedia）技术是把连续的影音数据，经过压缩处理后放到网络服务器上，让客户端的浏览者边下载边播放（不需整个媒体文件下载完成后再播放）的一种即时收听与观看的技术。

交互式网络流媒体服务是理想的流媒体类型，实时型的也不错，近实时则差强人意，而后播就完全不属于流媒体的范畴了。

流媒体涉及到流式媒体的信号采集（离散化）、数据压缩（编码）、存储（数据库）和传输（网络通信）等多种技术。

2．流式媒体通信特点

●吞吐量大：

需要大传输带宽与大缓冲区容量；

●延迟敏感：

交互式流媒体服务要求延迟<150ms；

●抖动敏感：

实时与交互流媒体服务要求；

●允许差错：

为避免重传造成延迟，允许一定的传输差错；

●多播：

一对多通信。

保证流媒体通信的QoS（QualityofService,服务质量），是指为流媒体数据的传输，提供足够的带宽、限制延迟与抖动。

20.1.3流媒体产品与格式

目前在流媒体领域中，有三个主流公司在竞争，它们是微软（Microsoft）、实网（RealNetworks）和苹果（Apple）。

苹果公司是传统的多媒体技术公司；实网公司则是网络流媒体的开拓者；微软公司凭借着其在操作系统上的垄断地位，免费提供流媒体服务器软件和压缩编码器，使其产品的占有率也越来越大。

这三家公司都有自己的成套流媒体产品、特殊的编码算法和专用的文件格式。

参见表20-1。

表20-1流媒体公司、产品和文件格式

公司

产品

文件格式

微软

WindowsMedia（视窗媒体）

ASF（AdvancedStreamFormat先进流格式）

实网

RealSystem（实时系统）

RM（RealMedia实时媒体/音视频）

RA（RealAudio实时音频）

RP（RealPix实时照片）

RT（RealText实时文本）

苹果

QuickTime（快乐时光）

MOV（MOVie电影）

QT（QuickTime快乐时光/电影）

除了这三家公司的产品和格式外，还有适合于网络流媒体的编码和传输的ISO/IEC的MPEG-4标准、适用于万维网多媒体（包括流媒体）的集成与控制的W3C的SMIL（SynchronousMultimediaIntegrateLanguage,同步多媒体集成语言）标准、适合于二维图形和动画的网络表示和传输的W3C的SVG（ScalableVectorGraphics,可伸缩矢量图形）标准。

以及Macromedia（宏媒体）公司的二维网页动画Flash（闪光）及其文件格式SWF（ShockWaveFlash,冲击波闪光）；Vivo（活力）公司的VIV（VivoMovie,活力电影）；实网公司与宏媒体公司联合开发的RealFlash（实时闪光）格式等。

20.2IP网络

这里的IP网络是指基于因特网协议套件（TCP/IP协议栈）的网络，包括：

因特网（Internet,国际互联网）和内部网（Intranet）等。

传统的TCP/IP协议，是为文本数据通信而开发的，强调了数据传输的可靠性，而没有服务质量的概念，不能满足对网络的时延和带宽要求很高的流媒体通信要求。

本节先简单介绍因特网的TCP/IP协议套件，并讨论它们的不足。

然后给出IPv6、RTP/RTCP、RSVP和RTSP等可用于流媒体通信的新型因特网协议。

20.2.1IP网络的分层与协议

图20-1是因特网模型及协议。

图20-1IP网络模型

IP网络有三种传输方式

●单播（unitcast）：

点到点（又叫单目传输）；

●广播（broadcast）：

一点到所有点；

●多播（multicast）：

一点到多点（又叫多目传输或组播）。

1．ICMP/IGMP

ICMP及IGMP同IP一样都是网络层协议，但它们是建立在IP协议之上的。

●ICMP（InternetControlMessageProtocol互连网控制消息协议）——提供网络层的控制手段和差错报告；

●IGMP（InternetGroupManagementProtocol互连网组管理协议）——用来管理组播的，它是参加组播的主机与路由器之间交换组员信息的协议。

不过，组播目前存在多个组的地址冲突问题，而且，现有的路由器一般不支持组播。

2．TCP/UDP

TCP与UDP是因特网协议套件中同属传输层的两个并列协议，但它们是为不同的目的而设计的，具有迥然不同的性质。

●TCP（TransmissionControlProtocol，传输控制协议）

⏹面向连接；

⏹累计确认与超时重传（保证数据传输的可靠性）；

⏹拥塞控制（基于滑动窗口协议）；

⏹

报头变长（≥24B）。

图20-2为TCP的报头格式。

●UDP（UserDatagramProtocol，用户数据报协议）

⏹

图20-2TCP报头

无连接；

⏹

图20-3UDP报头

无差错控制（不重传）；

⏹报头中的校验和可选（可不计算和存储）；

⏹报头定长（8B）。

图20-3为UDP的报头格式。

可见，TCP协议面向连接、提供高可靠性服务，但重传常导致延迟、且报头长效率低，所以只适用于可靠信息的异步传输（如：

文件传输、电子邮件、远程登录等）。

而无连接的UDP协议，可靠性差，但不重传、可不计算校验和、且报头小，可提供高效率的服务，适用于可靠性要求不高、但实时性要求较高的信息的传输。

因此，在传输层，流媒体的控制信号的传输一般选用TCP协议，而流媒体的媒体数据传输则应选用DUP协议。

20.2.2IP网络的特点与不足

IP网络具有如下特点：

●分组交换：

IP是无连接的（电路交换是面向连接的）；

●延迟：

为保证传输的可靠性，TCP实行严格的差错控制（出错重传），常导致较大的延迟；

●无实时与同步控制：

TCP/IP不支持实时传输与同步控制；

●尽力而为：

对各类数据包一视同仁（无优先级别控制），尽最大努力传输所有的数据包，但没有任何带宽和时间上的QoS保证。

其中的延时大、无优先级控制、无实时与同步控制、无带宽保证等特点，对流媒体通信来说都是致命的缺点。

之所以IP网络存在这些缺点，是因为因特网最初是为传输纯文本（如电子邮件）及下载文件设计的，没有考虑实时传输、同步控制及服务质量等问题，所以不适合于流多媒体的实时网络服务与通信。

20.2.3IP网络的改进

因特网的协议，由IAB（InternetArchitectureBoard,因特网体系结构委员会）下属的IETF（InternetEngineeringTaskForce,因特网工程任务组）负责制定，对应的标准文档称为RFC（RequrestforComments,请求评论）。

IETF对传统IP网络的改进，主要针对其缺陷进行。

包括提供优先级与流标签的IPv6、进行实时数据传输的RTP/RTCP、保证传输带宽的RSVP和流媒体播放控制的RTSP四个补充协议。

1．IPv6

传统的IP协议（IPv4）是1981年9月制定的（RFC791），虽然已取得巨大成功，但仍然存在种种不足。

1995年12月IETF公布的新一代的标准IPv6（RFC1883），针对宽带高速网络和多媒体应用设计，具有更优秀的性能。

1）IPv4的不足

●32位地址；

●尽力而为（无QoS内部概念）；

●其他（变长报头[≥24B]、对内部网支持不够、不支持移动性、支持广播但一般不支持多播[多播需路由器支持IGMP协议]）。

2）IPv6的改进

●128位地址；

●优先级与流标签（可用于支持QoS）；

●其他（定长报头[40B]、统一因特网与内部网的地址方案、支持移动性、支持多播）。

3）IPv4与IPv6的比较

图20-4和5分别是IPv4和v6的报头格式。

图20-5IPv6报头

图20-4IPv4报头

IPv6中优先级别可区别对待不同类型的数据报，避免了IPv4的一刀切的做法。

为了支持QoS管理，IPv6中引进了流的概念，用24位的流标签（随机数）可以识别不同类型的业务和每个业务中的单个业务流，将它与优先级别及源/目的地址相结合，可以确定数据包的QoS需求。

虽然与IPv4相比，IPv6性能更好，更适用于网络多媒体服务。

但因特网从IPv4到IPv6的过渡将是一个长期的过程，在过渡过程中IPv4与IPv6将会共存一段时间。

我国已于2004年12月25日正式开通规模全球最大的IPv6主干网——中国下一代互联网示范工程CNGI核心网CERNET2（第二代中国教育和科研网）主干网，它以2.5Gbps-10Gbps速率连接全国20个主要城市的CERNET2主干网的核心节点，为全国高校和科研单位提供1-10Gbps的告诉IPv6接入服务，并通过中国下一代互联网交换中心CNGI-6I，高速连接全球的下一代互联网。

2．RTP/RTCP

为了弥补因特网在实时数据传输方面的缺陷，IETF属下的A/VTWG（Audio/VideoTransportWorkingGroup,音频/视频传输工作组）于1996年1月制定了一个因特网实时数据传输标准—RTP（Real-timeTransportProtocol,实时传输协议，RFC1889），它提供对具有实时特性的端对端提交业务（如交互音频/视频）的支持。

RTP是一个协议套件，包含两个协议：

实时传输协议（RTP）与实时传输控制协议（RTCP=RTPControlProtocol）.其中，RTP定义数据报文格式与使用规则，而作为其控制协议的RTCP则监视网络的服务质量与会话中传递的信息。

1）RTP

RTP（Real-timeTransportProtocol,实时传输协议）有如下特点：

●

图20-6RTP报文格式

属于传输层的协议；

●

报文通常由UDP报文来装载，参见图20-6；

●变长报头（≥16B），参见图20-7；

●提供媒体数据再现时的时钟同步信息；

●

图20-7RTP报头格式

支持组播；

●需要轮廓（profile）文件和格式（format）文件作为辅助；

●针对常见编码（如H.261、JPEG、MPEG）定义了码流打包方案；

●本身并不提供任何确保数据按时传输的机制，也没有任何QoS保证（这些都交给下层网络[协议]来实现）；

●除了可用于TCP/IP网络上之外，也可以用于基于其他协议的底层网络之上。

2）RTCP

RTCP（RTPControlProtocol,实时传输控制协议）有如下特点：

●提供关于数据传输质量的反馈；

●为每个RTP源分配一个永久的传输层标识；

●控制报文的发送频率可调整；

●提供基本的会话控制功能。

3．RSVP

虽然IPv6可以区别数据报的优先级别并通过流标签识别来自同一流媒体的数据，而RTP可以提供媒体数据的同步信息、反馈数据传输质量，但它们都不能保证传输带宽与QoS。

为解决这一问题，IETF于1997年9月制定了资源预留设置协议（RSVP=ResourceReSerVationProtocol,RFC2205）。

RSVP提供了一种有效的资源预约方式，可完整地描述应用程序对资源的需求。

下面是RSVP的一些基本特性：

●属于网络层的协议，建立在IP协议之上（可利用IP数据报传输RSVP消息）；

●是一个面向客户端的协议，由信宿负责资源预定（可满足对异构客户端的多播通信）；

●为一单工协议，只在一个方向上预定资源（服务器端——>客户端）；

●支持多播（用信宿树来维护分组数据的传输通道）；

●资源预定与分组过滤分离（能动态适应成员关系变化）；

●路由协议与资源预定协议分离（能动态适应路由变化）；

●QoS允许特殊用户获得对网络资源的优先访问（用允许控制与策略控制来保证预约与防止滥用）；

●安全可靠（可采用密钥鉴定节点、使用者和信息的完整性）。

4．RTSP

RTSP（RealTimeStreamingProtocol，实时流协议）是一种位于因特网应用层、用于流媒体系统的协议。

它允许客户通过发出“play”和“pause”等命令来远程控制流媒体服务器，并允许对服务器上的文件进行时基访问。

RTSP协议由IETF于1998年4月制定，标准号为RFC2326。

RTSP协议用于创建并控制若干时间同步的连续媒体流，如音频和视频。

但是传送流数据本身并不是RTSP的组成部分，RTSP只是提供选择传送通道（如UDP和TCP）的方法。

多数RTSP服务器使用基于标准的RTP作为实际音视频数据的传输协议，其作用有些似一种媒体通道。

实网（RealNetworks）公司的RTSP服务器还使用它自己的RDT作为传输协议。

RTSP在语法和操作上类似于HTTP，但是它增加了新的请求。

另外，HTTP是无状态的，而RTSP则是状态丰富的（如Init、Ready、Plying、Recording等），需要时可用一个ID追踪会话的轨迹。

这样，RTSP就不需要使用固定的TCP连接。

通常RTSP是从客户向服务器发送消息，但是有时服务器也会发送消息到客户，所以RTSP是一种双向协议，而HTTP则是一种单向协议——只有客户向服务器发出请求。

许多典型的HTTP请求（如OPTION）都被RTSP使用，下面是RTSP新增加的几个基本请求：

（缺省端口为554）

DESCRIBE（描述）——DESCRIBE请求包含一个RTSPURL（rtsp:

//...）和可处理的回复数据类型。

RTSP协议对UDP和TCP的缺省端口都是554。

此回复包含外观描述，典型的用SDP格式。

外观描述还列出由聚集URL控制的媒体流。

在典型情况下，会有一个流对音频和一个对视频。

SETUP（设置）——SETUP请求指定一个单一的流如何必须被传输，这必须在PLAY请求送出去前完成。

该请求包含媒体流URL和一个传输指定符。

该指定符一般包括一个接收RTP数据（音频或视频）的本地端口，和另一个接收RTCP数据（元信息）的本地端口。

服务器的回答通常确认所选择的参数并填充缺失的部分，例如服务器的选择端口。

每个媒体流在聚集播放前必须先用SETUP设定。

PLAY（播放）——PLAY请求将导致一个或全部媒体流被播放。

可以通过发送多个PLAY请求将播放请求入栈。

URL可以是聚集URL（播放所有媒体流）或单一媒体流URL（只播放该流）。

可以指定播放范围，如果没有指定范围，则会从头到尾播放流。

或者，如果流是暂停的，则从暂停处恢复播放。

PAUSE（暂停）——PAUSE请求临时中断一个或全部流，以后可用PLAY请求恢复。

该请求包含聚集或媒体流URL。

什么时间暂停由范围参数指定，没有此参数则立即暂停。

RECORD（录制）——RECORD请求用于向服务器发送流去存储。

TEARDOWN（拆卸）——TEARDOWN请求用于终止会话。

它停止所有媒体流，而且释放服务器上所有与会话有关的数据。

RTSP是一种基于文本的协议，采用Unicode字符集，使用UTF-8编码方案。

5．小结

以上这些协议（IPv6、RSVP、RTP/RTCP、RTSP）较新，在传统的因特网上还不能得到普遍的支持，目前主要还只是在一些实验性的高速因特网（如Internet2，M-Bone）或宽带局域网（Intranet）上使用。

1）传统IP网

图20-8传统IP网协议栈

着眼于现有网络，采用传统的因特网/Web网协议与标准，可基本满足对下载后再播放的多媒体服务网络的需求，图20-8是相关协议与标准的层次示意图。

2）高速IP网

新型的高速IP网络，采用全新的因特网/Web网协议与标准，可满足实时与交互多媒体服务网络的需求，图20-9是相关协议与标准的层次示意图。

图20-9新型IP网协议栈

虽然已经有了IPv6、RTP/RTCP、RSVP和RTSP等补充协议，但是要在因特网上进行有效地流媒体通信和应用，还是有着许多困难和问题。

一是这几个协议至今还未得到广泛支持和应用；二是这些协议之间还存在不少空白地带和未解决的难题，如安全问题、付费问题、管理问题等等。

现有商用流媒体软件和系统，多数都是采用了各企业自己的多种扩展技术和补充协议，才能正常运转。

而这些补充和扩展，往往是互不兼容的，并且都是私有的专利技术。

20.2.4多目标广播

如果世界上有许多用户想在因特网上接收现场电视节目（例如现场体育比赛、歌星演唱会、重大集会），如何把它传送到世界各地？

最直观的方法就是使用传统的IP寻址方法，每个信息包都使用一个唯一的IP地址，一次只给一个节点（即主机）传送，如图20-10所示，这种方法称为单目标传送（unicast）。

如果使用单目标广播服务把相同内容的信息传输给N个目标站点，就须要传输N个拷贝，即要传输N次。

图20-10单目标广播服务图20-11多目标广播服务

使用这种方法有下列缺点：

①浪费链路带宽，因为在链路上要传送多个相同的拷贝，②大大地加重了服务机的负担。

一个比较好的方法是把消息一次性地同时传输给N个目标站点，如图20-11所示，这就叫做多目标广播（multicasting），在因特网上广播就称为IP多目标广播（IPmulticast）或者叫做网际多目标广播。

多目标广播是真正的分布式信息传输服务，使用IP多目标广播可以大大减轻网络上出现的拥挤和服务器的负担，因此可用于声音和影视的实时广播，例如，因特网电话会议，因特网电视会议。

研究表明，要满足多目标广播的要求，只须在IP协议中增加支持多目标广播的路径安排（multicastrouting）功能就可以。

IP多目标广播路由协议（IPMulticastroutingprotocol）比较好地满足了在IP网络上实现多目标广播的功能。

20.3多媒体应用

从上世纪90年代以来，随着万维网的普及、光存储技术的成熟和计算机硬件的发展，多媒体的应用越来越广泛。

目前的主要应用有：

电子游戏、万维网、3G移动通信、家庭影院、数字电视等，其他应用则包括视频点播、虚拟现实和多媒体内容检索等等。

由于篇幅所限，本节只简单介绍一下电子游戏、视频点播和虚拟现实的基本概念和内容。

20.3.1电子游戏

娱乐一直是多媒体应用的急先锋，而电子（计算机/网络）游戏更是倍受青少年朋友的欢迎。

同时，电子游戏也是推动多媒体硬件和技术发展的最主要动力之一，特别是网络游戏的流行，对3D、GPU和网络技术的进步都起到了很大的推动作用。

1．电子游戏发展简史

电子游戏的发展，最早可以追溯到1961年，MIT学生MartinGraetz等人，在PDP-1小型机上开发的太空战（Spacewar!

）。

而最早的游戏机则是1971年MIT学生NolanBushnell设计的世界上首个业余游戏机——ComputerSpace（电脑空间）。

Bushnell于1972年创立了Atari公司，专门从事街机游戏的开发，推出了乒乓球（Pong）等流行游戏，成为电子游戏的鼻祖。

在Atari成功的诱惑下，许多公司觉得电子游戏有利可图，也纷纷加入这一领域，呈现出群雄争霸的态势。

日本的任天堂（Nintendo）公司则脱颖而出，于1985年推出了游戏机SuperMarioProb（超级马里奥兄弟），取得了巨大成功，成为当时游戏机的霸主。

这一时期角色扮演游戏占主流。

1990年代，涌现出大量PC机游戏，进入计算机游戏的时代，即使战略游戏开始兴盛，第一人称射手游戏也出现了。

1990年代后期到近几年所推出的若干游戏机，也带有明显的计算机特征。

例如，大量采用标准PC部件、将游戏存储卡改换成光盘、提供USB接口等等。

随着万维网应用的普及，从1990年代后期开始，网络游戏占据了游戏市场的半壁江山，而且大有越演越烈之势。

2．游戏类型

游戏的种类繁多，而且新的游戏类型还在不断的出现。

下面列出目前的主要游戏类型：

●动作游戏（actionngame）——包括战斗（fighting）游戏和射击（shooting）游戏等，后者有包括第一人称射手（First-personshooter,FPS）游戏和第三人称射手（thirdpersonshooter）等，如死亡（Doom）被认为是FPS取得突破的一款游戏；

●策略游戏（strategygame）——包括古典的回合制（turn-based）策略游戏,如文明帝国（Civilization）系列，和现代的即使策略（Real-TimeStrategy,RTS）游戏，如沙丘魔堡2（DuneII）和战斗大师（Battlemaster）等；

●角色扮演游戏（Role-PlayingGame,RPG）——包括MMORPG（MassivelyMultiplayerOnlineRPG,大型多人在线RPG）和MMOSG（MassivelyMultiplayerOnlineSocialGame,大型多人在线社会游戏）；

●运动游戏（sportsgame）——主要是足球等球类游戏，也包括棋牌类；

●冒险游戏（adventuregame）——目前发展较慢，主要靠（2D）美观的场景来吸引玩家；

●竞赛游戏（racinggame）——包括赛车、空战、赛马和赛艇等（非）载具的模拟游戏；

●平台建造游戏（platformergame）——建设和管理模拟，不使用3D引擎，但是却占据大量的CPU运算时间来模拟所塑造的系统，有虚拟现实的发展倾向；

●其他游戏——如人工生命和益智游戏等。

3．游戏设备种类

●大型游戏设备——1980年代曾流行公共场所娱乐用的大型游戏设备，包括视频廊（家用视频游戏机的前身）、群体（二三十人）乘驾模拟器（真实感电影，少互动）和独立网络模拟器（密闭驾驶舱，如空战技术中心）等，但由于它们的价格昂贵，一