基于MPEG4的视频图像编解码技术研究.docx

1、基于MPEG4的视频图像编解码技术研究目录摘 要 1关键词 11 绪论 21.1 课题背景 21.2 课题研究现状 31.3 课题研究内容 52 数字视频压缩编解码技术 52.1 视频信号的表示 52.2 数字视频压缩编码原理 52.2.1 MPEG支持的特性 62.2.2 MPEG视频压缩模型 62.3 数字视频解压缩原理 72.4 视频序列编码的数据结构 72.5 数字视频编码技术的具体应用 102.5.1 数字电视方面的应用 102.5.2 在计算机通信网络方面的应用 102.6 本章小结 113 基于MPEG-4的数字视频压编/解压编原理 113.1 概述 113.1.1 MPEG-4

2、标准 113.1.2 MPEG-4视频编码中的数据结构类 123.1.3 MPEG-4视频编码和解码框架 133.1.4 MPEG-4的框架和级别 143.1.5 MPEG-4与其它标准的关系 143.1.6 MPEG-4中的面向对象特性 143.2 基于MPEG-4的数字视频编码方法 153.2.1 MPEG-4视频编码技术 153.2.2 MPEG-4视频编码原理 173.3 基于MPEG-4的数字视频解码方法 193.3.1 视频对象平面(VOP)的重建 193.3.2 纹理解码 203.4 基于MPEG-4数字视频标准的实现模型 213.5 本章小结 234 MPEG-4视频编码器用于

3、远程视频监控 234.1 远程视频监控系统的特点 234.2 基于MPEG-4视频传输框架 234.3 基于MPEG-4的视频监控程序 244.4 目前存在的问题与不足 255 论文工作的总结及展望 265.1 总结 265.2 展望 26参考文献 27致 谢 28基于MPEG-4的视频图像编解码技术研究学 生：XXX指导老师：XXX(XXX)摘 要： MPEG-4是最重要的多媒体数据压缩编/解码国际标准之一，在工业控制、国防建设和家庭娱乐等领域有广阔的应用前景。本文首先对MPEG-4数字视频标准的基本原理和实现算法进行了粗略的研究；然后分析了传统的运动估计算法，实现了一个基于MPEG-4视频

4、压缩标准的监控实验模型；最后，结合远程数字视频传输的应用背景，对基于MPEG-4的视频监控系统进行了研究。关键词：MPEG-4，数字视频，视频编/解码，远程监控Research on the Technology of Coding and Decoding for Video based on MPEG-4Student:XXXTutor: XXX(XXX)Abstract: MPEG-4 is one of the most significant multi-medium compressions of data coding and decoding international sta

5、ndard. There is the wide application foreground in the territorys such as the industry control and building up of national defense and household entertainment and so on. First of all, this article has researched the base theory and the realization algorithm for digital video based on the MPEG-4. Aft

6、erwards the motion estimation algorithm has analyseed and the experimental pattern based on MPEG-4 has been achieved, the software emulation and the test interpretation of result has been implemented. Finally, combining the application backdrop that the remote monitoring digital video transmits, the

7、 system of video remote Monitoring of MPEG-4 has been researched.Key Words： MPEG-4, Digital Video, Video Coding and Decoding, Remote Monitoring 1 绪论1.1 课题背景随着计算机技术、网络通信和多媒体技术，特别是数字视频压缩技术的发展，数字视频传输将成为通信网络的主要业务之一。视频通信以其直观性、确切性、生动性的特点在多媒体通信中占有重要的地位，实现数字视频的实时传输是目前研究的主要方向之一。但是，由于视频图像的数据量十分庞大以及人们对视频通信业务的要

8、求不断增长，特别是近几年来视频通信与通信信道带宽之间的矛盾十分突出，随着人们对多媒体业务的需求增多，例如：多媒体会议、可视电话、视频点播(VOD)、多媒体信息业务等，更加剧了这对矛盾的发展。所以，针对多媒体通信业务中的视频数据的有效压缩一直是非常重要的课题。庞大的视频数据给数据的存储、传输以及计算机的处理等都带来了极大的压力，这样就阻碍了计算机及多媒体技术的发展，如何消除这样的障碍成为我们急待解决的问题。单纯用扩大存储器容量、增加通信线路的传输速率的办法是不现实的。经过研究发现，这些视频数据在空域和时域有很大的冗余性；多媒体数据压缩也是可能的。因为，多媒体文、声、静图像、视频图像等信源数据也有

9、大量的冗余信息。数据压缩就是将庞大数据中的冗余信息去掉，保留相互独立的信息分量。以静止图像画面为例，数字图像的灰度信号和色差信号在空域(x, y坐标系)虽然属于一个随机场分布，但是它可以看成为一个平稳的马尔可夫场。即图像像素点在空域中的灰度值和色差信号值，除了边界轮廓外，都是缓慢变化，譬如一幅人的头肩像图，背景、人脸、头发等处的灰度、颜色都是平缓改变。相邻像素的灰度和色差值比较接近，信息有较多的冗余，但是如何先排除冗余信息，再进行编码，使表示每像素的平均比特数下降，这就是通常所说的视频图像的帧内编码，用来减少空域冗余信息进行数据压缩。视频图像由于相邻帧之间相隔时间很短，其帧间图像的相关性也是很

10、强的，通常采用帧间预测和运动补偿的方法以减少时域的冗余信息，达到数据压缩的目的。视频压缩技术无论在民用方面还是在军事方面都有重要的应用价值。民用方面，若视频信号能以高压缩比在低比特率下传输，则人们在PSTN通信网、移动通信网上即可实现视频通信，使通信网的频率利用率大大的提高。可以满足人们日益增长的多媒体业务的需求。在军事方面的应用更为广泛，如侦察卫星数据实时传输、前沿侦察、战场的可视电话和军事会议电视等。尤其在战争环境非常恶劣的条件下，信道容量很小，要实现实时数字视频通信，则需要更高压缩比和更低码率的视频编码信号。综上所述，视频编码技术研究有其重大的理论意义和实用价值，它对促进多媒体通信的发展

11、具有非常重要的意义。近年来，多媒体技术飞速发展，在社会生活的许多领域得到了广泛的应用。为适应技术发展和应用的要求，各种多媒体数据压缩编码标准也在不断发展。从H261, MPEG-1到MPEG-2，到现在的H263, H264, MEPG4和MPEG-7，标准越来越成熟，覆盖的应用领域越来越广，目前发展最迅速、影响最大的多媒体数据压缩编码国际标准是MPEG-4。 MPEG-4标准是伴随着互联网的产生而发展起来的。MPEG-4定义了多媒体编码和解码、网络传输以及人与媒体交互的一整套框架，涵盖了多媒体的绝大部分应用领域。MPEG-4基于对象的编码思想使其具有高压缩比、可扩展性、可交互性等许多优点。基

12、于MPEG-4的技术正在蓬勃发展，代表着未来多媒体数据压缩编码的发展趋势，及时跟踪和了解MPEG-4的发展动态，掌握其核心技术，并结合实际应用在某些关键方向上有所创新和发展，是一项很有意义的工作。本课题研究了数字视频压缩编/解码的基本原理和实现算法，改进和实现了一个基于MPEG-4视频标准的编码器和解码器的模型，建立了继续研究的测试实验平台，奠定了实际应用和开发的基础。1.2 课题研究现状为了适应数字视频技术的发展，ITU-T和ISO/IEC组织制定了一系列的数字视频编码标准。H261标准是针对会议电视而发展的，以DCT算法和具有运动补偿的帧间预测技术为基础，对预测误差作DCT、量化和霍夫曼编

13、码。H261使用对称压缩技术，只采用前向预测，使编码延迟小，把数字视频速率压缩到64Kb/s-2.048Mb/s。标准的数字视频信号在进入H261编码器之前，需要转换成统一的中间格式(CIF格式)，其分辨率为352 * 288。H263是ITU-T为低比特率应用而制定的数字视频压缩标准，该标准采用的图像格式为QCIF (176* 144)。为降低码率，H263在H261的压缩算法的基础上作了一些改进，如预测模式不仅有前向预测，还有双向预测；运动矢量的估计和运动补偿都精确到半个像素等。MPEG-1和MPEG-2是ISO/IEC制定的应用于数字存储介质的数字视频压缩标准，压缩算法主要采用DCT算法

14、来降低空间冗余度，采用预测编码和运动补偿技术来减少时间冗余度。MPEG-1最大分辨率为352 * 288，数据速率为1.5Mb/s, VCD就是采用MPEG-1标准的典型应用；与MPEG-1相比，MPEG-2在运动补偿中增加场间预测，以改进对运动较快的物体预测的准确性和提高压缩比；支持分层次的视频编码，适用于需要同时提供多种质量的视频服务。数据速率为2-20Mb/s，适用于包括宽屏幕和HDTV在内的高质量电视广播。按照MPEG-2标准CCIR601格式(720 * 576 * 25帧)的信号可压缩至4Mbit/s-6Mbit/s而HDTV格式(l280 * 720 * 60帧)的信号可压缩至2

15、0Mbit / s左右。MPEG-4被称为面向对象的编码技术，在网络视频通信中具有广阔的应用前景。其传输速率要求较低，可用于传输速率低于64kb/s的实时图像，最高分辨率为768 * 576. MPEG-4利用很窄的带宽，通过帧重建技术压缩和传输数据，以最少的数据获得最佳的图像质量。MPEG-4采用了包括小波变换等多种变换，可以获得更小的硬盘空间占用，更高的清晰度。MPEG-4把支持基于内容的检索作为其目标之一，但这种支持有限。为克服MPEG-4的不足，MPEG-7的目标是建立一种多媒体内容描述接口，支持多媒体信息基于内容的高效快速检索。MPEG-7建立在MPEG-4的基础上，期望用很少的特征

16、就能对信息内容进行检索。对视频编码的基本要求是算法复杂度要尽可能小、算法处理的时间尽可能短，现有的数字视频编码主要采用的是基于块的离散余弦变换消除空间冗余；通过块运动估计补偿技术消除时间冗余；最后经过变长编码进行统计冗余的消除。随着研究和应用的不断深入，基于分块余弦变换编码的缺点逐渐暴露出来，尤其在压缩比较高、低比特环境下，图像不可避免地出现方块效应，因此人们一直在努力寻找更有效的数字视频编码方法。目前数字视频压缩技术的研究方向主要包括高压缩比、高压缩效率、高解码质量、压缩编码智能化、压缩方法标准化等，以适应各种通信网络的要求。变换编码方式也将更多地考虑对上述要求的支持，如采用基于小波(Wav

17、elet)变换的标准。基于小波变换的语音波形压缩、静止和运动图像压缩已取得初步应用，MPEG-4已将小波列入其中。基于小波分析的图像压缩方法利用小波的多分辨率特性，并充分考虑到人眼的视觉特性，将原始图像分解为低频子图和不同分辨率下的高频子图，对各个子图像采取合适的编码方法，从而获得更高的压缩效率。和传统的块编码技术不同，小波变换编码不会出现方块效应，这是因为小波变换对图像的变换是全局的，各种失真会随机的分布在整幅图像中，人眼不易察觉。此外，经小波变换的图像可以实现分层传输，从而适应不同的网络带宽和终端用户。虽然基于小波变换的视频编码方法已经提出很多，但这些方法在获得较好压缩比和重建质量的同时却

18、无法提高编码速度，因此阻碍了小波技术在数字视频上的应用。为加快基于小波压缩的编/解码速度，提高压缩比和改善效果，必须进行新算法、改进算法和混合算法的研究。1.3 课题研究内容 首先对MPEG-4数字视频标准的基本原理和实现算法进行了深入的研究；然后改进和实现了一个基于MPEG-4视频标准的视频监控模型，并了解熟悉了编解码算法；最后，结合视频传输的应用背景，对基于MPEG-4的编/解码技术进行了探索。2 数字视频压缩编解码技术2.1 视频信号的表示 视频被描述为一组连续的图像，而每幅图像看作是二维的像素阵列，每一像素的彩色表示包括三个分量：红(R)、绿(G)、蓝(B)，这称为图像的RGB空间表示

19、。用于三种电视系统的彩色坐标是不同的，为了视频摄取和显示，所有三个系统都采用RGB基色，但是对各基色光谱的定义稍微有所不同。对于视频信号的传输，为了减少所需的带宽并与单色电视系统兼容，采用了亮度/色度坐标系。在NTSC, PAL和SECAM系统中所用的彩色坐标都是从用于PAL的YUV坐标导出的，而YUV来源于XYZ坐标。根据RGB基色与YUV基色之间的关系，可以由RGB的值确定亮度分量Y的值。两个色度值U和V分别正比于色差B-Y和R-Y，被调整到所希望的范围。进行两个彩色空间的转换是基于人类视觉系统的特性：在RGB空间中，R，G，B三个信号有一个发生了变化，则总的图像的颜色就会发生变化，人眼是

20、很容易察觉这种变化的；然而人眼对Y, U, V三个信号的变化是有不同反应的，其中对亮度信号的变化比较敏感，而对色度信号的变化不是很敏感，这样就可以更多地考虑亮度信号，而对色度信号采用一些处理方法以提高压缩比。比如可以经过亚采样或直接丢弃一部分数据等处理，但人眼对恢复以后转换到RGB空间后的图像的变化仍然是不易察觉的。所以JPEG标准、H26X标准和MPEG系列标准都要将视频源图像从RGB空间变换到YUV空间中去，对亮度分量和色差分量采用不同的处理方法，以进行更进一步的压缩处理。2.2 数字视频压缩编码原理MPEG(Moving Picture Expert Group)是由国际标准化组织ISO

21、 (Organization for Standardization)和国际电工委员会IEC(International Electrotechnical Commission)联合成立的专家组，其工作是开发满足各种应用的活动图像及其伴音的压缩、解压缩以及编码描述的国际标准。2.2.1 MPEG支持的特性基于MPEG的目标所制定的MPEG标准很好地支持了许多特性。MPEG算法允许用许多方法去观看数字存储媒体上的视频图像。对MPEG视频图像，可以正向顺序播放，也可以反向顺序播放。MPEG算法支持的主要特性有。(1) 随机存取这是算法支持的最基本的特性。随机存取需要对数字存储媒体上任何一幅图像都能

22、在有限的时间里进行解压缩，这是实现交互特性必不可少的特性。(2) 快速搜索快速搜索的速度取决于使用的存储媒体的特性。使用目录或其它一些方法，可以快速搜索到压缩图像数据位流中的任一存储点，以获取正向或反向运行的功能。这个功能也是随机存取特性所要求的。(3) 逆向播放交互应用需要电视图像信号逆向播放。(4) 编辑功能MPEG算法支持有限的编辑功能。MPEG标准定义的图像不都是一幅幅独立的静态图像，这与模拟电视和电影不同，所以MPEG的编辑功能有限。要有强大的编辑功能就要有更多的独立的编码图像，但是独立的编码图像多了后，压缩率就降低，它们是一对矛盾。(5) 编码与译码的延时MPEG标准考虑到了在可视

23、电话等方面的应用。这类应用需要使整个系统的延迟不大于150ms，对于像多媒体CD-ROM一类产品，允许的延迟时间可以长达，这是交互应用中允许的时间。MPEG采用的算法考虑了CD-ROM应用中需要的延迟时间，因此在图像的质量和延迟时间范围内作了折中。2.2.2 MPEG视频压缩模型MPEG视频压缩算法基于广受欢迎并且很有效的压缩算法运动补偿预测和离散余弦变换算法。采用基本块(Block)结构，适用于许多不同信号，它主要包括以下内容： (1) 时域预测：减少视频图像间的时间冗余； (2) 频域分解：用DCT分解图像的空间块，来充分利用静态和逻辑上的空间冗余； (3) 量化：在保证质量损失最小的条件

24、下确定选择传送哪些信息，以减少比特率； (4) 可变长编码：利用量化和各种类型附属信息构成的序列的静态冗余。 MPEG视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比，帧内图像数据压缩和帧间数据压缩技术必须同时使用。数据的压缩充分利用了时间和空间上的冗余信息。由此可以看出，视频图像本身在时间和空间上都有很多冗余信息，图像自身的构造也有冗余性。对视频图像的压缩，MPEG主要采用了以下的一些算法：(1) 帧内压缩算法：采用基于块的DCT变换编码技术，用以减少空间冗余信息。(2) 帧间压缩算法：采用预测法、差补法和运动补偿算法，预测法有因果预测器和非因果预测。预测误差可以再通过DCT变换编码

25、处理，进一步压缩。帧间编码技术可以减少时间轴方向的冗余信息。通过运动补偿预测和编码去掉了那些即使减少了它们也不会显著破坏人脑或人眼对图像感知的冗余信息。2.3 数字视频解压缩原理经过压缩的视频流在接收端必须要经过解码重现出原始的视频图像。解码是编码的逆操作，由于无需运动估计，因此比编码要简单，只要根据接收到的码流的语义进行相应的处理。当一幅图像的所有宏块都处理完毕，则整个图像被重建。图1给出一个简化的视频解码过程框图。图1 简化的视频解码模型Figure 1 Simply model of video decode2.4 视频序列编码的数据结构在编码方案里视频序列经过多层划分、多路复用，建立了

26、这样一个数据结构序列(Sequence)：视频序列以序列头开始，包括若干个图像组(GOP)，以一个序列结束码作为结束。图像组(GOP) ： GOP是一个头后跟一系列图像，允许快速随机访问序列、快速搜索和编辑，是序列中可独立解码的最小编码单位。GOP中的第一个图像是帧内编码图像(I图像)，它的后面是前向预测编码图像(P图像)和双向预测图像(B图像)。每个图像组只有一个I帧，并且以这个I帧作为开始编码的第一帧。P帧用相对于前面的I帧或P帧的运动补偿预测来进行编码，P帧可以用来作为其它P帧或B帧编码的参考帧。B帧则是利用了两个帧的运动补偿预测来进行编码，一个是过去的一帧，另一个是未来的一帧。利用过去

27、的一帧进行预测，称为前向预测；利用未来的一帧进行预测，称为反向预测。P帧就只利用了前向预测，所以有时也称它为前向预测编码帧。双向预测可以获得更高的压缩比，在获得同样的图像质量下，利用双向预测的帧可以用更少的比特数进行编码。因为B帧是采用的双向预测，为了避免混淆，不能作为任何帧编码的参考引用帧。使用B帧具有如下优点：B帧能有效地处理有关遮挡/显露背景的问题。若一个物体在下一帧图像中将被遮挡，那么它仍然可以从前一帧图像中预测出来，反之亦然。与仅利用一帧图像预测相比，用两帧图像的平均值进行运动补偿可以提供更好的信噪比。因为B帧不会用作预测的基准，因此，编码位数可以很少而不会引起误差传播。使用B帧预测

28、时需要兼顾以下问题：需要在编码器和解码器中存储两帧图像，因为至少有两帧参考图像(P帧和I帧)必须先解码。如果使用太多的B帧，那么会产生下述影响：两帧参考图像间距离的增加，导致参考图像间的时间相关性下降，因此，不能有很准确的运动预测，编码需要更多的位数；产生较长的编码延迟。图2是一组GOP图像的帧排列的示意图。图2 GOP图像的帧排列示意图Figure 2 Frames sequence of GOP photo标准中没有规定一个图像组中有多少P, B帧，也没有规定它们的具体排列顺序，除了第一帧且只有一帧是I帧。这样设计者可以用任何的排列顺序及任何的帧数来设计自己的编码方案。每次P, B帧的预测

29、是建立在前一个参考预测帧的基础上，组层中的帧数太多的话，则会造成误差积累，影响以后的预测效果，使得预测越来越不准确，影响了编码的质量和压缩比。尤其是B帧，它是建立在前后两个预测帧的基础上的，预测误差对它有很大的影响。所以一般每一个组层中选取10-15帧，两个P帧之间间隔2-3个B帧。在编码中必须注意到这样一个问题，即由于B帧的编码依赖于其后的(按显示顺序)I或P帧，所以B帧编码所依赖的I或P帧必须先编码进位流中去。这样实际的编码位流中的帧序与实际的显示顺序是不同的。图像：图像是视频序列的基本编码单元。图像由表示亮度(Y)和两个色度(Cr和Cb)值的三个矩形矩阵组成。图像头指明图像类型(I, P

30、, B)、图像结构(场/帧)以及可能的其它参数(例如运动矢量范围)。每个视频标准都把图像分成宏块组，H.261和H.263用固定的宏块结构，而MPEG-1/2允许灵活的结构，MPEG-4把可变数量的宏块安排成一组。宏块组(GOB) ： H.261和H.263把图像分成GOB，每个GOB包括三个宏块行，每个GOB行中有11个宏块，GOB头定义GOB在图像内的位置。可以为每个GOB定义一个新的量化器步长。在处理差错中GOB是很重要的，如果比特流含有一个差错，解码器可以跳到下一个GOB的开始，从而把比特差错的扩散限制在当前帧的一个GOB内。片(Slice)：片把几个相继的宏块组成一个单元，片的尺寸可

31、以变化，片层提供对数据错误的抗干扰能力。因为标准规定，每片开始时，用于预测DCT变换的DC直流系数的预测值和运动矢量的预测值均需要被复位为一个固定的数；并且片中的第一个宏块的位置可以从片头得到，因此它在画面内的位置可以不参照前面的任何一片或任何一个宏块而独立确定下来。所有这些措施使得，在一幅画面内的任何一片可以单独解码，而不需要其它片的信息。因此，一旦在一个片层中的预测值发生误差或某些比特流无法读出，使得解码不正确，但解码器可以通过等待下一片，到了下一片，重新开始解码过程，这些预测值被重新置位，重新开始新的预测。这样就可以从错误中恢复出来，不至于丢弃整个一幅画面，提高总的编码效果。每一片内包含

32、有以光栅扫描顺序排列的若干宏块，一幅画面之内片与片的大小可不相同，这可以在编码时自行设计。宏块：每个片层由若干个宏块(MB)组成。宏块是图像中的一个16*16像素的块，是运动补偿和量化器标尺变化的基本单位。标准中规定了三种YCr,Cb的格式，分别为4：4：4, 4：2：2和4：2：0。因为人类视觉系统对图像的亮度分量分辨率最敏感，所以Y空间的像素以满分辨率编码。而对于Cr和Cb空间则通过亚采样减少象素的数量，可以减少被压缩的信息量。块：块在标准化的视频编码算法中是最小的编码单元。它由8*8像素组成，且可以是三种类型中的一种：Y, Cr或Cb。块的像素可以由它们的DCT系数表示，通过Huffman编码记录在下一个非零系数前零的个数和这个系数的幅值。2.5 数字视频编码技术的具体应用 视频和图像编码标准的提出，标志着视频压缩编码技术已经成熟，开始由学术研究走向产业化，前景十分诱人。它的发展可以促使现有的信息产业结构发生巨变，使通信、广播、网络和计算机