内容提要近年来随着数字技术的进一步发展.docx

1、内容提要近年来随着数字技术的进一步发展内容提要近年来随着数字技术的进一步发展，非线性编辑系统的成熟，人们在数字化多媒体的处理、制作及标准化等方面不断地进行着探索性工作。本文概要地介绍了MPEG运动图像专家组发展状况，并较系统地介绍了MPEG1/2、MPEG4、MPEG-7等压缩标准在视音频领域中的应用技术。 关键词视音频压缩多媒体MPEG运动图像专家组 运动图像专家组 (Moving PictureExportsGroup)是在1988年成立的，目的是制定一种视音频解压缩系统，它是由三种基本元素组成的，第一部分是系统；第二部分是视频；第三部分是音频。MPEG作为专门从事视音频压缩平台标准开发及

2、制定的国际性组织已上升到具有战略价值的地位，而且MPEG继续向更为广阔的多媒体处理及分配领域发展。 MPEG是一个成功的故事。她紧随时代的要求利用多媒体工业各方面开发的技术并集成到强有力的标准中。MPEG之所以能做到这些是因为她能够把市场需求转化为技术指标，同时在两者之间划上严格的界线。然后开发世界各地无数研究者的热情来制定标准，而不受即刻市场的妨碍。 一、MPEG的发展轨迹 1992年推出的MPEG-1，以其高效的压缩技术和较为满意的图像质量成为红极一时的家庭化VCD(数字小型视频光盘)的基础。 1995年推出的MPEG-2，以其更高的像素分辨率，大大提高了视频质量，为DVD(高密度数字视频

3、光盘)及HDTV(高清晰度电视)、DAB(数字音频广播)等的迅速推广提供了基础，并大大推进了许多基于视频的试验性及商业性服务。 1998年制定的MPEG-4第一版及1999年推出 的MPEG-4第二版 被视为第一个真正意义上的多媒体标准。它以客观对像作为编码形式，实现多媒体交互应用。它在移动通信、视频交互及计算机图片2D/3D计算处理以及专业数字视频等方面起着决策性作用。但MPEG并未因MPEG-4完美而停止发展，2002年国际标准化组织已完成MPEG-7-内容描述标准，第一版已正式发表。 二、视频压缩标准 许多现有的已获得提议的压缩系统都使用一种压缩技术组合，就像一个厨师使用不同数量的各种成

4、分来准备一顿美餐一样。任何一种得到广泛采纳的方案都能够具有规模经济，并能够减少市场的混乱。 M-JPEG曾经是非编系统的主流格式，对促进非线性制作方式的应用起到很大作用，功不可没。但由于M-JPEG压缩效率较低、互操作性差，而其他压缩格式纷纷发展和成熟，它们压缩效率高，特别是与前期录制容易衔接，相比之下 M-JPEG的优点已不突出。因此，今后在非编系统中，不宜再发展使用 M-JPEG。 MPEG系统是在1992年最终建立的，就像当第二次世界大战结束后要给大的战争重新命名一样，开始时命名为MPEG-1，因为对MPEG-2的工作已经展开。MPEG-2标准开始的3个阶段(系统、音频和视频)是在199

5、2年11月通过的。MPEG正在逐渐为广大市场所认可。MPEG-1和MPEG-2非常相似，而且它们的语法可以扩充。 在电视节目制作中，编辑精度和多代复制的质量是用户关心的首要问题。在此基础上，希望码率尽量低。MPEG-2是由活动图像专家组开发的第2个标准，它是声音和图像数字化的基础标准。电视台数字化网络使用MPEG-2压缩格式的优点如下：第一，可获得高倍数的数据压缩比。MPEG-2采用了利用运动补偿预测编码(即采用IBP帧压缩法)去掉电视图像信号的时间冗余信息。在获得广播级数字视频质量的前提 下，可实现20：1的压缩效率，数据率可降至1Myte/s，一小时视频节目占用3.6GByte空间。数据存

6、储空间利用率高，网络传输效率是M-JPEG系统的5倍以上。这可在存储方面大大节约成本，并能引入各种类型存储介质，如硬盘、光盘、数据磁带等。第二，M-JPEG提供了摄制、传输、制作、存储等不同环节的统一视频数据格式。根据MPEG-2标准，不同厂家的编码器虽然可以采用不同算法，但产生的MPEG-2码流都必须遵守相同的语法和解码规则，任何支持同样或更高级别的MPEG-2格式的解码器都可以解码。这一点保证在整个信号数据链路中的设备互换性，解决多种视频数据格式并存带来的许多问题，这在开放性网络设备构架中是非常重要。第三，MPEG-2的配置和等级为电视新闻数字网采用双网结构提供技术保证。在MPEG-2标准

7、化阶段考虑到要适应不同的数据率设备的应用，MPEG-2引入“配置”和参数“等级”的概念。MPEG-2支持各种类型和长度的图像组(GOP)，如纯I帧、IP帧、IBP、IBBP等。MPEG2支持4:2:2和4:2:0取样。MPEG2支持VBR和CBR。MPEG2还可采用从家用到广播级不同的码率，同一种格式通过改变参数可以容纳各种不同的应用。如果采用适当设计的硬件，可以在同一平面上输入输出各种应用数据，这为电视新闻数字网采用双网结构提供了技术保证。最后，全球正在开始实施的数据电视广播传输的国际标准有三个：美国的AISC、欧洲的DVB及日本的ISDB。它们在传送视音频流时都采用MPEG2的传输流。MP

8、EG-2 IBP帧方式由于采用帧间压缩，大大降低了码率，已在传输、播出中获得了广泛应用，并为国际所公认。其优越性对于节目制作也具有极大的吸引力。新一代高清晰度电视就是基于MPEG-2标准。无论是卫星广播或电缆广播，成百万的MPEG-2解码机顶盒都将在近几年内“飞入寻常百姓家” MPEG4 MPEG从1993年7月开始开发针对多媒体应用于多领域的标准，也是其第三个标准MPEG-4。1993年3月宣布已经完成MPEG-4第一版本的开发，1999年成为国际标准ISO/IEC14496。 MPEG-4视频标准集近年图像分样，图像压缩，视频压缩，计算机视觉，信号处理等领域的最新研究成果。在开发低码率编码

9、标准的同时，将重点放在人们更感非兴趣的图像具体目标的交互性和可操作性上，并对多媒体多应用领域的编码进行兼容并包。它不仅包括运动目标的编码，还包括静止目标和计算机人工合成目标的编码。它不但是第一个让用户在接收端对画面可进行操作和交互访问的标准，而且由于其低码率，高度灵活性，兼容性，可伸屈性，抗错性和扩展性，也将是第一个解决信息产业电视、通信、计算机这三大支柱产业的所谓“数字汇聚”问题的标准。MPEG4集中了当代图像/视频压缩技术的精华。 MPEG4视频标准在多媒体环境下提供一个基于不同目标的视频描述方法， MPEG4视频标准提供一整套技术标准以满足多媒体作者，网络服务和最终用户的要求：对于多媒体

10、作者，MPEG4将可以使基于数字电视、动画、网页等内容的制作具有极大的灵活性和可重复利用性。并易于保护和产权管理；对于网络服务商，MPEG-4将提供各网络之间的交流信号，这些信号将有助于各向异性的不同网络之间传输最优化；对于最终用户；MPEG4将在小型和较大型终端上提供诸如实时通信、警戒和移动多媒体的很多交互功能。 与MPEG1/2基于帧的压缩标准不同， MPEG4是基于目标的压缩标准。所以首先它在系统级要定义基于目标的场景描述方法。 新MPEG4一种基于MPEG4标准并具有更高数据视频质量的新型视频压缩系统的技术1449610/MPEG-4AVC在2003年3月公布。该系统能极大地降低发送视

11、频图像所需要的带宽，并对诸如数字卫星广播、数字视频存储以及互联网传播等一系统列技术进行改进，以提高视频质量。在互联网技术方面，同以往的标准如广泛使用的H.262/MPEG-2相比，该系统在设计上能够更好地处理信息包和丢失。该系统与MPEG-2标准的视频流相比要节省64%的比特率，与其它MPEG-4标准的视频流相比要节省39%的比特率，使用这项技术，标准电视信号的编比特率将得到极大降低，该系统已吸引了视频和广播行业的极大关注。MPEG-4集中了当代图像/视频压缩技术的精华。 MPEG-7 ISO/IEC于2001年9月通过了MPEG-7标准。MPEG-7目前已成为ISO/IEC标准协会在多媒体领

12、域的重要发展性工作。MPEG-7标准可分为8个主要功能：描述定义语言、纯视频、纯音频、多媒体描述体、参考软件、守则、描述摘要及使用。MPEG-7的内容中主要表现为描述多媒体内容的操作、分类、搜索及回复所需的终端结构及规范界面的语言、描述器及体系。对视频需求，MPEG-7视频描述工具给出基础的结构和描述器。它们提出基本的视频特性，每个类目，不论是初级还是高级描述器，对诸如色彩、构造、外形、运动、定址及外观认别等特性都逐一加以认定。MPEG-7音视提供了描述音频内容的结构体系。这些体系结合标准中多媒体描述纲要，利用一套低级描述器处理许多含有光谱参数及时间特性的声音信号。此外，更高级描述工具，用于专

13、业领域的应用，包含综合的声音识别和检索描述工具。 MPEG的发展方向，正从真正意义上满足了技术和人们的需求，并给多媒体工业提供了功能强大的工具。随着更多的相关设备走向市场，MPEG已提出将音视频的MPEG-2和MPEG-4标准联合，并加入到媒体标准的MPEG-7的构想。 MPEG系列的未来 目前有关MPEG-21开发的工作，包括媒体内容保护及所有权的权益数据字典(RDD)和权益表达语言(REL)等，涉及媒体内容创作者，拥有者及业务提供者。有关MPEG体系用户的相关重要技术也在发展之中。我们应该进一步认识到MPEG的努力就是为了让用户获得媒体自由交互的可操作性。用户应该有信心，他们将够成功地应用

14、媒体内容，而无需担心不相容的格式。随着ISO MPEG的努力工作，希望在继续变成现实。 参考文献： Digital Video and Audio Compression 美 Stephen J. 著 数字视频压缩及其标准 胡国荣 编著 用MPEG2实现电视新闻数字化 彭小平 编著1 前言随着信息世界的变短发展，数字视频产品需求近些年出现猛增。主流应用包括视频通信、安全监控与工业自动化，而最热门的要算娱乐应用，如 DVD、HDTV、卫星电视、高清（HD）机顶盒、因特网视频流、数码相机与 HD 摄像机、视频光盘库（video jukebox）、高端显示器（LCD、等离子显示器、DLP）以及个人摄

15、像机等。众多精彩的新应用目前也处于设计或前期部署中，例如针对家庭与手持设备及地面卫星标准（DVB-T、DVB-H、DMB）的高清 DVD（蓝光HD-DVD）和数字视频广播、高清视频电话、数码相机以及IP机顶盒。由于手持终端计算能力的提高以及电池技术与高速无线连接的发展，最终产品的移动性与集成性也在不断提高。频压缩是所有令人振奋的、新型视频产品的重要动力。压缩解压（编解码）算法可以实现数字视频的存储与传输。典型的编解码器要么采用行业标准，如 MPEG2、MPEG4、H.264/AVC 与 AVS，要么采用专有算法，如 On2、Real Video、Nancy与Windows Media Vide

16、o（WMV）等。编解码技术在过去十年中不断改进。最新的编解码技术（H.264/AVC与VC-1）代表着第三代视频压缩技术。这两种编解码技术利用如可编程DSP与ASIC等低成本IC的处理能力，都能够达到极高的压缩比。不过，为具体应用选择正确的编解码器并优化其实时处理仍然是一项巨大的挑战。最佳的设计必须权衡压缩效率及可用的计算能力。此外，如何在计算能力有限的情况下获得最佳压缩效率也是一门大学问。本文我们要讨论的就是关于视频压缩技术的一些问题。首先概述视频编码的主要概念，同时介绍传统压缩标准。然后我们重点介绍其中包括 H.264/AVC、WMV9/VC-1与AVS 等在内的最新编解码技术的功能，此外

17、，还将深入探讨压缩能力与复杂性之间的权衡。最后，讨论市场中可能会影响主流视频编解码器未来的实时处理与主要趋势。2 视频压缩挑战数字视频的主要挑战在于原始或未压缩的视频需要存储或传输大量数据。例如，标准清晰度的NTSC视频的数字化一般是每秒30帧速率，采用 4:2:2 YcrCb 及 720（480，其要求超过 165Mbps 的数据速率。保存 90 分钟的视频需要110GB空间，或者说超过标准DVD-R存储容量的25倍。即使是视频流应用中常用的低分辨率视频也需要超过 36.5Mbps 的数据速率，这是ADSL或3G无线等宽带网络速度的许多倍。目前的宽带网可提供110Mbps的持续传输能力。显然

18、数字视频的存储或传输需要采用压缩技术。视频压缩的目的是对数字视频进行编码在保持视频质量的同时占用尽可能少的空间。编解码技术理论依据为信息理论的数学原理。不过，开发实用的编解码技术需要艺术性的精心考虑。3 压缩权衡在选择数字视频系统的编解码技术时需要考虑诸多因素。主要因素包括应用的视频质量要求、传输通道或存储介质所处的环境（速度、时延、错误特征）以及源内容的格式。同样重要的还有预期分辨率、目标比特率、色彩深度、每秒帧数以及内容和显示是逐行扫描还是隔行扫描。压缩通常需要在应用的视频质量要求与其他需求之间做出取舍。首先，用途是存储还是单播、多播、双向通信或广播？对于存储应用，到底有多少可用的存储容量

19、以及存储时间需要多久？对于存储之外的应用，最高比特率是多少？对于双向视频通信，时延容差或容许的端到端系统延迟是多少？如果不是双向通信，内容需要在脱机状态提前完成编码还是需要实时编码？网络或存储介质的容错能力如何？根据基本目标应用，不同压缩标准以不同方式处理这些问题的权衡。另一方面是需要权衡编解码实时处理的成本。如H.264/AVC或WMV9/VC-1等能够实现较高压缩比的新算法需要更高的处理能力，这会影响编解码器件的成本、系统功耗以及系统内存。4 标准化机构在视频编解码技术定义方面有两大标准机构。国际电信联盟（ITU）致力于电信应用，已经开发了用于低比特率视频电话的 H.26x标准，其中包括

20、H.261、H.262、H.263与 H.264；国际标准化组织（ISO）主要针对消费类应用，已经针对运动图像压缩定义了MPEG标准。MPEG标准包括 MPEG1 、MPEG2 与 MPEG4。图1说明了视频编解码标准的发展历程。MPEG与ISO根据基本目标应用往往做出稍有不同的取舍。有时它们也会开展合作，如：联合视频小组（JVT），该小组定义了 H.264 编解码技术，这种技术在 MPEG 系列中又被称为 MPEG4-Part 10 或 MPEG4 高级视频编解码 （AVC）。我们在本文中将这种联合标准称为 H.264/AVC。同样，H.262对应 MPEG2，而 H.263 基本规范类（B

21、aseline Profile）技术在原理方面与MPEG4简单类（Simple Profile）编解码技术存在较多重复。标准对编解码技术的普及至关重要。出于规模经济原因，用户根据可承受的标准寻找相应产品。由于能够保障厂商之间的互操作性，业界乐意在标准方面进行投资。而由于自己的内容可以获得较长的生命周期及广泛的需求，内容提供商也对标准青睐有加。尽管几乎所有视频标准都是针对少数特定应用的，但是在能够适用的情况下，它们在其他应用中也能发挥优势。图1：ITU 与 MPEG 标准的发展历程为了实现更好的压缩及获得新的市场机遇，ITU与MPEG一直在不断发展压缩技术和开发新标准。中国最近开发了一种称为 A

22、VS 的国家视频编码标准，我们在后面也会做一介绍。目前正在开发的标准包括 ITU/MPEG 联合可扩展视频编码 （Joint Scalable Video Coding）（对 H264/ AVC 的修订）和MPEG 多视角视频编码（Multi-view Video Coding）。另外，为了满足新的应用需求，现有标准也在不断发展。例如，H.264最近定义了一种称为高精度拓展 （Fidelity Range Extensions）的新模式，以满足新的市场需求，如专业数字编辑、HD-DVD 与无损编码等。除了ITU 与ISO开发的行业标准以外，还出现了几种专用于因特网流媒体应用、广受欢迎的专有解决

23、方案，其中包括 Real Networks Real Video （RV10）、Microsoft Windows Media Video 9 （WMV9） 系列、ON2 VP6 以及 Nancy。由于这些格式在内容中得到了广泛应用，因此专有编解码技术可以成为业界标准。2003年9月，微软公司向电影与电视工程师学会（SMPTE）提议在该机构的支持下实现 WMV9 位流与语法的标准化。该提议得到了采纳，现在 WMV9已经被SMPTE作为VC-1实现标准化。5 视频编码原理我们感兴趣的所有视频标准都采用基于模块的处理方式。每个宏模块一般包含4个8（8的光度块和2个8（8的色度块（4:2:0 色度格

24、式）。视频编码基于运动补偿预测（MC）原理错误！未找到引用源。，变换与量化及熵编码。图 2 说明的是一种典型的、基于运动补偿的视频编解码技术。在运动补偿中，通过预测与最新编码的视频帧处于同一区域的视频帧中各宏模块的像素来实现压缩。例如，背景区域通常在各帧之间保持不变，因此不需要在每个帧中重新传输。运动估计（ME）是确定当前帧即与它最相似的参考帧的16（16区域中每个MB 的过程。ME 通常是视频压缩中最消耗性能的功能。有关当前帧中各模块最相似区域相对位置的信息（运动矢量）被发送至解码器。MC之后的残差部分分为8（8的模块，各模块综合利用变换编码、量化编码与可变长度编码技术进行编码。变换编码（如

25、：离散余弦变换或 DCT target=_blankDCT）利用残差信号中的空间冗余。量化编码可以消除感知冗余 （perceptual redundancy）并且降低编码残差信号所需要的数据量。可变长度编码利用残差系数的统计性质。通过 MC 进行的冗余消除过程在解码器中以相反过程进行，来自参考帧的预测数据与编码后的残差数据结合在一起产生对原始视频帧的再现。图 2：标准运动补偿视频编码在视频编解码器中，单个帧可以采用三个模式中的一个进行编码 即 I、P 或 B 帧模式（见图 3）。几个称为 Intra（I） 的帧单独编码，无需参考任何其他帧（无运动补偿）。某些帧可以利用 MC 编码，以前一个帧为

26、参考（前向预测）。这些帧称为预测帧 （P）。B帧或双向预测帧通过之前的帧以及当前帧的后续帧进行预测。B 帧的优势是能够匹配堵塞在采用前向预测的上一帧中的背景区域。双向预测通过平衡前向及后向预测可以降低噪声。在编码器中采用这种功能会要求更多处理量，因为必须同时针对前向及后向预测执行 ME，而这会明显使运动估计计算需求加倍。为了保存两个参考帧，编码器与解码器都需要更多内存。B 帧工具需要更复杂的数据流，因为相对采集及显示顺序而言，帧不按顺序解码。这个特点会增加时延，因此不适合实时性较高的应用。B 帧不用于预测，因此可以针对某些应用进行取舍。例如，在低帧速应用中可以跳过它们而不会影响随后 I 与 P

27、 帧的解码。图3：I、P 与 B 帧间预测图示6 传统视频编码标准H.261ITU编制的H.261标准是第一个主流视频压缩标准。H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps（p=130）。H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。 只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF和CIF。基于标准块的编码最终产生模块化视频。H.261标准利用环路滤波避免这种现象。在模块边缘采用的简单2D FIR滤波器用于平滑参考帧中的量化效应。必须同时在编码

28、器及解码器中精确地对每个比特应用上述滤波。MJPEGMJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。 MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要820K！MPEG-1/2MPEG-1标准用于数字存储体上活动图像及其伴音的编码，其数码率为1.5Mb/s。 MPEG-1的视频原理框图和H.261的相似。MPEG-1视频

29、压缩技术的特点：1. 随机存取；2. 快速正向/逆向搜索；3 .逆向重播；4. 视听同步；5. 容错性；6. 编/解码延迟。MPEG-1视频压缩策略：为了提高压缩比，帧内/帧间图像数据压缩技术必须同时使用。帧内压缩算法与JPEG压缩算法大致相同，采用基于DCT的变换编码技术，用以减少空域冗余信息。帧间压缩算法，采用预测法和插补法。预测误差可在通过DCT变换编码处理，进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。MPEG-2被称为“21世纪的电视标准”，它在MPEG-1的基础上作了许多重要的扩展和改进，但基本算法和MPEG-1相同。H.263H.263在 H.261 之后得到开发，主要是为

30、了以更低的比特率实现更高的质量。其主要目标之一是基于普通 28.8Kbps 电话调制解调器的视频。目标分辨率是 SQCIF （128（96）CIF （352（288）。其基本原理与 H.261 大同小异。H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率： SQC

31、IF（128x96）、 QCIF、CIF、4CIF、16CIF。与H.261和H.263相关的国际标准；与H.261有关的国际标准；H.320：窄带可视电话系统和终端设备；H.221：视听电信业务中641 920Kb/s信道的帧结构；H.230：视听系统的帧同步控制和指示信号；H.242：使用直到2Mb/s数字信道的视听终端的系统。与H.263有关的国际标准；H.324：甚低码率多媒体通信终端设备；H.223：甚低码率多媒体通信复合协议；H.245：多媒体通信控制协议；G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。JVT新一代的视频压缩标准JVT是由ISO/IEC MPEG和ITU-T VCEG成立的联合视频工作组（Joint Video Team），致力于新一代数字视频压缩标准的制定。JVT标准在ISO/IEC中的正式名称为：MPEG-4 AVC（part10）标准；在ITU-T中的名称：H.264（早期被称为H.26L）MPEG-4MPEG-4由 ISO 提出，以延续 MPEG-2 的成功。一些早期的目标包括：提高容错能力以支持无线网、对低比特率应用进行更好的支持、实现各种新工具以支持图形对象及视频之间的融合。大部分图形功能并未在