多媒体通信相关技术.docx

1、多媒体通信相关技术多媒体通信相关技术(转）多媒体通信是一个伴随着应用要求的不断增长而迅速发展的领域，这些应用涉及到计算机、通信、娱乐、有线电视、教育、出版业等等。它所涉及的部门众多，种类繁杂，而技术的发展又是如此迅猛，所有这些使多媒体成为近年来最时兴但又是十分混乱的一个新领域。因而要论述与多媒体通信相关的技术不是一两篇文章所能穷尽的，从推动多媒体发展的技术因素来看，如果没有在计算机处理能力、存储技术、压缩算法和网络技术等方面的显著进步，就不会有今天的多媒体领域，因而本课题抽取这些与多媒体通信紧密相关的技术要素，分为基础技术、终端技术、网络技术和应用系统等几个大的层面粗略地展示。 一、基础技术多

2、媒体系统最基本的特征是对各种独立媒体的综合处理能力，而完成综合处理的关键是各种媒体信息的数字化显示，以及各种不同媒体和不同数据之间的同步。这涉及到数字压缩技术和媒体同步技术。1.1数字压缩技术视频压缩编码标准及其应用范围视频是多媒体通信中最重要的媒体之一，由于视频的信息量非常大(尤其是数字化后，例如，按CCIR601建议，广播质量的数字视频的码率约为216Mb/s，而高清晰度电视HDTV则在1.2Gb/s以上)，如果没有高效率的压缩技术，是很难传输和存储的。目前，由国际标准化组织(ISO)和国际电联(ITU-T)正式公布的视频压缩编码标准中，有MPEG系列和H.26x系列建议。H.261H.2

3、61是CCITT制定的国际上第一个视频压缩标准，主要用于电视电话和会议电视，以满足ISDN日益发展的需要。该标准于1990年12月获得批准。H.261标准的名称为“视听业务速率为P64kb/s的视频编译码”，又称为P64kb/s标准(P1,2,30)。P1,2时仅支持四分之一通用交换格式(QCIF)的视频格式(176144)，用于帧速低的可视电话；P6时可支持通用交换格式(CIF)的视频格式(352288)的会议电视。H.261视频压缩算法的核心是运动估值预测和DCT编码，其许多技术(包括视频数据格式、运动估算与补偿、DCT变换、量化和熵编码)都被后来的MPEG-1和MPEG-2所借鉴和采用。

4、MPEG-1MPEG-1标准叫作“运动图像和伴随声音的编码用于速率约在1.5Mb/s以下的数字存储媒体”，主要用于多媒体存储与再现，如VCD等。MPEG-1采用CIF视频格式，帧速率为25帧/秒或30帧/秒，码率为1.5Mb/s(其中视频约1.2Mb/s，音频约0.3Mb/s)。MPEG-1为了追求更高的压缩率，同时满足多媒体等应用所需的随机存取要求，将视频图象序列划分为I帧、P帧和B帧，根据不同的图象类型而不同对待。该标准草案于1991年11月完成，1992年11月正式通过。MPEG-2MPEG-2是继MPEG-1之后，MPEG制定的又一视频压缩标准(ISO/IEC13818)(其中视频部分

5、即为H.262)。它能适用于更广的应用领域，主要包括数字存储媒体，广播电视和通信。制定MPEG-2标准的出发点是保持通用性，适用于广泛的应用领域、比特率、分辨率、质量和服务。MPEG-2适于高于2Mb/s的视频压缩，这包括了原打算为HDTV的发展而制定MPEG-3标准的内容。MPEG-2标准的基本算法也是运动补偿的预测和带有DCT的帧间内变长编码，它与MPEG-1的主要区别在于：(1)能够有效地支持电视的隔行扫描格式；(2)支持可分级的可调视频编码，这适用于需要同时提供多种质量的视频业务的情况。可调视频信号编码的层次不仅可以按空间分辨力，也可按时间分辨力、信噪比和数据比特的重要性等来划分。根据

6、MPEG-2的标准CCIR601格式(70257625帧)的信号可压缩到4Mb/s6Mb/s，而HDTV格式(128072060帧)的信号可压缩到20Mb/s左右。H.263及H.263+H.263是ITU-T的关于低于64kb/s比特率的窄带通道视频编码建议，其目的是能在现有的电话网上传输活动图象。由于H.263是面向低速信道的，所以必须在帧频和图象失真之间作出选择。H.263是在H.261建议的基础上发展起来的，其信源编码算法仍然是帧间预测/DCT混合编码，但H.263与H.261不同的是，它采用半象素的分辨率进行运动补偿，它处理的图象格式可以覆盖从sub-QCIF到16CIF，而且，H.

7、263还提供了4种可协商选择的编码方法：无限制范围的运动矢量、基于语法的算法编码方法、先进预测和PB帧。H.263建议草案于1995年11月完成。虽然在低比特率、低分辨率的应用中H.263有它的优点，但它也有一定的局限性。对此，最近ITU-T对H.263进行了修改，提出了H.263+建议。H.263+建议增加了许多新技术，以扩大建议的应用范围，提高重建图象的主观质量以及加强对编码比特率的控制。音频压缩编码标准及应用范围G.7111972年CCITT为电话质量和语音压缩制定了PCM标准G.711。其速率为64kb/s，使用律或A律的非线性量化技术，主要用于公共电话网中。G.7221988年CCI

8、TT为调幅广播质量的音频信号压缩制定了G.722标准，它使用子带编码(SBC)方案，其滤波器组将输入信号分成高低两个子带信号，然后分别使用ADPCM进行编码。G.722能将224kb/s的调幅广播质量的音频信号压缩为64kb/s，主要用于视听多媒体和会议电视等。G.7231996年ITU-T通过了G.723标准“用于多媒体传输的5.3kb/s或6.3kb/s双速率话音编码”。它采用多脉冲激励最大似然量化(MP-MLQ)算法，此标准可应用于视频电话及IP传输电话等方面。G.728为了进一步降低压缩的速率，CCITT于1992年制定了G.728标准，使用基于低时延码本激励线性预测编码(LD-CEL

9、P)算法，其速率为16kb/s，主要用于公共电话网中。G.729ITU-T于1996年3月通过了G.729标准，它使用8kb/s的共轭结构代数码激励线性预测(CS-ACELP)算法，此标准将在无线移动网、数字多路复用系统和计算机通信系统中应用。多媒体编码的发展方向压缩编码的理论基础是仙农(Shannon)信息论，它是基于某种统计概率模型来描述信源。但仙农信息论有两个严重缺陷：第一，未考虑信息接受者的主观特性和主观意义；第二，撇开了事件本身的具体含义、重要程度和引起的后果。压缩编码的发展历程就是以仙农信息论为出发点，并不断克服其缺陷的过程。压缩编码方法可分为如下两个层次：第一代：基于数据统计(去

10、掉数据冗余)低层。第二代：基于模型(去掉内容上的冗余)物体基(Object-based)中层；语义基(Syntax-based)高层。MPEG组织在了解到实际应用的需要和压缩编码的发展潮流后，目前正在制定MPEG-4标准，并在酝酿MPEG-7标准。MPEG-41994年，MPEG专家组正式开始制定MPEG-4标准，到1998年11月将发布MPEG-4视频国际标准草案。它主要是针对多媒体应用的，对可移动性的视频编码速率为564kb/s，而对影视应用最高速率可达2Mb/s。MPEG-4标准的突出特点是对音视频数据采用基于内容(Content-based)的操作、存取及传输。为了达到此目的，MPEG

11、-4引入了“视频对象”(VO)的概念。这样可把视频流中的每一帧分割成任意形状的图象区域称为视频对象平面(VOP)，然后根据每一VOP的特点和需要，分别进行编码。要获得VOP，必须使用图象分割技术，如果将纹理信息与运动信息结合起来，则可产生较好的效果。MPEG-4标准是一个开放、灵活、可扩展的结构形式，可随时加入新的、有效的算法模板，并可根据不同的应用要求现场配置解码器。它具有如下一些新功能：基于内容的交互性(Content-basedinteractivity)即可进行基于内容的多媒体数据访问和比特流编辑，并可混合自然和人工数据编码。高压缩率这不仅表现在可提高编码效率，在移动环境下可传输高质量

12、图象，而且能对多个并发数据流进行编码，使其能有效地描述三维自然景物。易错环境中的抗错性(Robustness)指可应用于各种有线、无线网中，特别是提供了在易错的移动环境下、低比特率应用中的对抗残留错误的能力。基于内容的可扩缩性(Content-basedscalability)即可给图象中的各个对象分配优先级，其中，比较重要的对象用较高的空间和时间分辨率表示。基于内容的可扩缩性是MPEG-4的核心。MPEG-7当今社会，信息变得越来越重要。而随着网上信息的增多，寻找到所需要的信息越来越困难。目前，基于文本(text-based)型式的搜索引擎，如Yahoo、搜狐等已广泛使用，但基于视听内容的检

13、索还很困难。MPEG-7正是为满足这方面的需求而制定的，主要用于基于内容的多媒体检索。MPEG-7又称为“多媒体内容描述接口”，它规定了一套可用于描述各种多媒体信息的描述符的标准。这些描述与多媒体信息的内容本身一起，将支持用户对其感兴趣的资源进行快速、有效的检索。MPEG-7标准建立在其它标准表示的基础上，但MPEG-7描述符不依赖于被描述内容的编码和存储方式。MPEG-7只提供内容的描述，而不是内容本身。MPEG-7标准的范围如图所示。MPEG-7不包括特征提取(分析)和搜索引擎(应用)部分。其原因，一是为了促进各公司和研究所间的竞争，其二是为以后各种新技术的发展留下余地。MPEG-7的应用

14、主要包括如下领域：数字化图书馆(包括图象分类目录、音乐字典等)；多媒体目录服务(例如黄页)；广播式媒体选择(包括个人电子新闻服务、媒体著作等)；此外，还有一些潜在的应用领域，如旅游信息、文化服务、地理信息系统等。MPEG-7将在2001年11月形成国际标准。目前，虽有许多公司和研究机构，如IBM、MIT已开始对其中的关键技术进行研究并已取得一些成果，但离实际应用还有相当距离。1.2媒体同步技术在多媒体系统中，通常利用多种媒体从不同侧面表现同一个主题，此时不同媒体之间就存在时间同步的问题，例如，视频播放时伴音应与口形相吻合，演播幻灯片时解说词与正在显示的内容相对应等。同步是多媒体系统中的一个关键

15、性问题，它与系统中的许多因素有关，如：通信系统、操作系统、数据库、文件以及应用形式等，因此，多媒体系统中同步应在不同的层面上考虑，可用图1.2所示的分层模型来说明。链路层同步链路层同步处理的是媒体流内部以及多个媒体流之间的同步问题。如果是单一连续媒体流，要避免单元重现时的抖动，如声音信号重放时出现断续的情况；如果是音视频混合数据流（如MPEG），则应保证口型同步关系；如果是若干个数据流同时播放，则需要保持不同媒体流之间正确的时间关系。在实时多媒体通信系统中，特别是引入运动图象的多媒体通信系统中，链路层的同步是十分重要的。通信线路的延时抖动、操作系统调度的实时性等都会影响到这一层的同步。媒体流内

16、部的同步，可采用特殊的帧结构设计来实现。按照不同的应用场合，信息流的帧结构又分为二类，第一类是用于会话型业务点与点之间实时通信的，为满足会话的要求，应尽量减少延迟，因而采用比特交织的帧结构；第二类是用于存储读出系统的，其应用场合为点播电视、运动图象检索、数字录相机、VCD等，这种应用场合可以允许一个较大的固有延时而不会造成信息质量下降，因而采用块交织的帧结构。媒体流之间的同步，则更复杂。因各种媒体流之间有较大的传输差异，需要通过建立具有不同服务质量和传输控制机制的传输信道来传送，然后在接收端进行同步化处理。目前的方案主要有时间戳同步技术、同步信道技术、同步标记技术等。时间戳同步技术这种方案中，

17、不同的媒体流通过分离的信道传输，媒体间的同步是通过所有媒体流的数据单元都达到一样的端端延迟这一间接的方法而完成的。即给源点中所有相关媒体数据流都强加一个固定的端端延迟，然后在目的结点通过缓存使“流延迟”相等。实现端端延迟是基于图1.3所示的延迟模型，发送方给每个数据分组加上时间戳，记下生成该分组的时间，接收方为每个数据流估算延迟，然后计算同步延迟，该延迟通常是所有数据流的最大延迟，接收到的数据缓存到释放时间，才将数据分组提交给用户。图中各时间段的关系如下：释放时间时间戳同步延迟提交延迟；同步延迟TcTtTeTd；流延迟TcTtTd。这种方法通过周期性地更改流延迟来适应网络延迟的变化，接收方利用

18、收到的数据分组里的时间戳来测算实际的延迟。这一例中的时间戳是采用绝对时间计算的，需要全网域的时钟同步。还有一种相对时间戳技术，它把多媒体信息中的所有媒体单元放在一个相对时标上，媒体单元在相对时标上的位置决定它的相对时间戳，具有相同相对时间戳的媒体单元同时表现，以此达到媒体同步。时间戳同步技术最大的特点是接收方基于时间戳实现媒体的同步，同步信息（即时间戳）装入数据分组一起传输，不附加信道，无须另外的同步信息，不改变数据流。但在分组中读写时间戳和计算延迟增加了系统的处理开销。同步信道技术这种方案将各媒体流不加改变地在分离信道上传输，并与之并行地建立附加同步信道，从源点传输有关媒体流的同步指示信息，

19、指示各媒体信道中的同步参考点，如图1.4所示。接收方将缓存接收到的所有媒体数据，直到所有媒体流都到达了同步点。这种技术的优势是，用分离的传输信道来传输各种媒体流，能较好地适应各种媒体通信的不同要求；能支持较复杂的同步关系，不改变数据流，不需要时钟同步。但此方案需要附加带外信道用于同步，当数据来自多个源点时，则每个媒体流都需要一条同步信道。同步标记技术这种方案中，发送者在每个媒体流中数据需要同步的地方插入“同步标记”，每个媒体流通过不同的通信信道传输，接收方缓存数据直到所有信道中的“同步标记”都到达时，才将已同步化的数据提交给用户。这种技术的主要特点是简单，处理开销小，因此具有较高的效率，能保证

20、传输的实时性，适于现场数据，并能与现有协议体系良好兼容。但此方案改变了数据流，不能用于直连设备，接收方需要较多的缓存，且该方案不适于媒体流来自多个源点的情况。表示层同步多媒体系统中，对象（MHEG标准）或文件（HyTime）是可以处理的最小信息单元，如：一段文字、一段语音或音乐、一幅画面、一段运动图象都可以是一个对象，这些没有复杂结构的对象一般称为简单对象。另一类对象在多媒体通信系统中也可当作一个信息单元来处理，但它的结构是由若干对象按某种规律组合而成，这类对象称为复合对象。在将不同表示媒体的对象复合成一个复合对象的过程将引入同步机制，构成多媒体复合对象；或者用超级链将不同表示媒体的对象链接过

21、程中引入同步机构，构成超媒体。上述二个过程均在表示层级完成，故称表示层同步。MHEG和HyTime标准中的同步就属这一层。MHEG中的同步MHEG是国际标准化组织“多媒体、超媒体信息编码专家组”的简称，目前一般用MHEG代表该组织提出的“多媒体、超媒体对象的编码表示法”这一国际标准。MHEG规定了多媒体、超媒体在应用中的最终编码和显示形式，是一种标准化的交换格式。MHEG中提供了一种虚坐标系统，包括一个无穷长的时间轴和长度有限的X、Y、Z三个空间轴，用于规定内容对象在空间和时间上的定位和相互关系。时间轴以GTU（通用时间单位）为单位进行度量，MHEG的实时环境将GTU映射到PTU（实际时间单位

22、）上；空间轴的长度区间为32768，32767，度量单位是GSU（通用空间单位），MHEG引擎同样要将虚拟坐标空间映射到实际的坐标空间。MHEG中将不同表示媒体的简单对象复合成结构复杂的复合对象的过程中将引入同步机制，而同步的实现是基于上述虚坐标系统的。HyTime中的同步HyTime是“超媒体/基于时间的结构语言”的简称，是ISO/IEC关于超媒体信息的结构化表示法的一项国际标准。HyTime并不规定信息内容的格式、编码或文件类型，而是提供一种框架结构，用标识语言来描述多媒体文档的超级链接方式，以明确多媒体信息内容在时间上和空间上的相互关系，从而实现同步。应用层同步多媒体通信系统中，最高一级

23、的同步是应用层的同步。应用层同步采用的技术为脚本同步技术。所谓脚本（Script）是一种特殊的文本，它用语意关系将多媒体或超媒体的运作过程和外部处理模块联系起来，实现完善的多媒体通信。对于脚本的理解可以电影为例，一部电影中，每个演员有许多不同的台词和不同的场景，如果将这些东西零星地播放，显然什么也不是，要把它们变成电影，还要有一个电影脚本把它们联系起来。类似地，在多媒体通信系统中，有各种不同的媒体素材（对象和复合对象），要将其有机地联系在一起形成有声有色的多媒体信息，就要靠脚本。这一般是通过多媒体文件编辑器和创作软件等实现。这些工具软件提供友好的用户界面，使用户能方便地将不同媒体的素材集成在一

24、起，而工具软件则利用一定的方法将用户所指定的同步要求转换成下层所能理解的同步关系。多媒体系统中，同步可以在上述三个层面上实现，但并不是每个系统都必须同时具有这三个层面的同步关系，当然同步方式用得越多系统的性能就越完善。终端技术 多媒体终端作为人机交互的界面，具有两个功能：一是面向用户，提供一种自然、友好的交互环境，屏蔽掉各种复杂的网络功能；二是面向网络，下达其所需实施的各种功能，屏蔽掉应用环境的复杂性和不确定性。从多媒体系统具有交互性这一重要特性来看，多媒体终端技术是离不开计算机技术的。而从PC派生出来的功能简化的终端则统称为“信息家电”。2.1基于PC的终端技术(1)基本计算机系统基本计算机

25、系统包括CPU和主板。CPU是计算机的心脏，而Intel公司一直是CPU领域的“领头羊”。其CPU从X86到Pentinum系列，再到Merced-IA64，速度越来越快，性能越来越好。其它公司，如AMD、Cyrix也推出了自己的产品，如AMD的AMDK6-3D，Cyrix的MediaGL。这些产品集成了MMX和3D图形处理技术，可以实现视频、3D图形、动画、音频及虚拟现实等多媒体功能。从其中的芯片技术看，Intel在486上采用的IC技术为0.8m，Pentium/90M/100M中为0.6m，而到1995年已采用0.35m技术生产Pentium/120M/133M/150M的CPU，0.2

26、5m技术也已出现，在最新推出的Merced中采用了0.18m技术。从上述IC工艺的发展看，目前亚微米技术正在向前发展。据估计，在今后15年内，IC技术大约每1.52年要翻一番，还将出现0.10m甚至0.07m的工艺技术。同时，新的材料和新的结构也在研究之中。除了CPU外，主板的完整结构(包括主存、高速缓存、总线结构)以及生产工艺也对系统性能起重要作用。现在，具有大容量、高速度、非易失性和可在线擦写特性的快闪存储器(FlashRAM)已可应用于系统主存；二级高速缓存已可提高到2MB，且可与CPU封装在一起并采用独立的总线结构；系统总线采用EISA，局部总线采用PCI，使部件间可进行高速传输。(2

27、)外部设备外部设备主要包括输入设备、输出设备、存储设备和外设连接设备。输入设备输入设备除键盘外，还有音频输入、视频输入、手写输入、触摸屏等。简单化、人性化的输入是其发展方向。音频输入要求有话筒和语音识别卡。语音识别技术的发展，使人能以简单的口令对计算机进行控制，使输入方式更简单化、智能化、人性化。要在语音识别方面有所突破，特别是中文方面的语音识别，必须在语言模型上有所突破才行。这是一个非常艰苦的基础性工作。将来的语音识别，不仅能识别各种方言、口音，而且能听懂多种语言，并且能应付各种噪音。视频输入可通过摄像机、扫描仪等进行图象输入。而手写输入设备则包括输入笔和写字板，其技术的关键是汉字识别技术。

28、这种输入方式使人能摆脱键盘的束缚，更适合东方人的习惯。此外，许多公司和研究机构已在研究视线跟踪及头部跟踪等输入技术，这也是虚拟现实(VR)中的一项关键技术。总之，新一代的交互界面，将以用户为中心，采用更自然、友好的人机交互技术，实现多方式、智能化、高效的人机通信。输出设备输出设备包括音频和视频输出设备。音频输出设备有声卡和音箱，可实现三维立体和杜比环绕的效果。视频输出则通过视频卡和显示器来实现，3D图形加速卡和更大屏幕的显示器，不仅使画面更清晰、更逼真，而且能有身临其境的感受。目前，沉浸式的头盔显示器已经开始使用，新的立体显示设备也正在研制之中。最近，一种数据可视化技术，可把数据库和电子表格中

29、的数据转变为3D图形表示，从而使其更直观化、更易于操作。存储设备对多媒体终端来说，存储设备的发展趋势是更大容量和更高速。软盘方面，3.5英寸软盘驱动器将逐渐被淘汰，代之以Iomega公司的100MB的Zip驱动器或Sony的200MB的HiFD驱动器。它们不仅要大容量，而且要求便宜和向后兼容。而温彻斯特式硬盘，作为PC固定存储媒体，将继续使用。到2000年，其容量可达到10GB左右。与传统的薄膜感应磁头技术相比，磁阻(MR)式读写技术具有更高的灵敏度。正在开发中的新的spin-valve磁头将使单位存储能力比现在的最好的磁阻磁头高一倍(现在spin-valve磁头可以达到每平方英寸5Gb，很容

30、易制作出20Gb到40Gb的硬盘)。而Seagate的一个子公司Quinta正在研究光学辅助温彻斯特式技术，该公司称这种技术可以将存储密度提高到每英寸10Gb到40Gb。另外，DVD的出现，也将使CD-ROM逐渐退出历史舞台，据估计，DVD的存储能力可达到4.7GB至17GB，远高于CD-ROM的682MB。外设连接设备随着人们生活需求的增加和新的电子产品的出现，各种外设将越来越多，它们的互连将变得困难。通用串行总线(USB)和IEEE1394标准的制定，将使计算机外设与PC的连接或者它们间的互连，变得非常简单，而不用考虑烦人的IRQ(中断请求)和DMA(直接内存访问)冲突。这样，各种外围设备

31、，如数字摄像机、高速电缆Modem、顶置盒、DVD-ROM驱动器、打印机、扫描仪、视频I/O、数字电视等都可以通过USB或IEEE1394连到PC上，而不用考虑其它问题。USB可以树状连接127个外设，而IEEE1394在没有Hub(集线器)的情况下，可以树状或链状连接63个不同速率的外设，并支持外设的热插拔。(3)软件系统多媒体软件系统主要包括多媒体操作系统、多媒体数据库和创作工具以及多媒体应用软件三个部分。多媒体操作系统目前，PC机上的多媒体操作系统主要是Windows95，它是32位，具有抢先多任务、支持长文档、即插即用和联网等功能的操作系统，以MCI(媒体控制接口)作为新的API(应用程序接口)。在98年，Microsoft公司推出了Windows98，它的功能更强大，使用更方便。2000年后，随着64位结构体系技术的成熟，支持Unix/WindowsNT的64位集成开放式操作系统也将出现，这是未来技术的发展方向。而Internet是最大的开放应用环境，未来的应用将基于此环境，利用Web作为软件开发和应用平台，利用其开放性和通用性，实现软件和信息的