视频传输的错误隐藏技术研究计算机应用技术专业毕业论文.docx
《视频传输的错误隐藏技术研究计算机应用技术专业毕业论文.docx》由会员分享，可在线阅读，更多相关《视频传输的错误隐藏技术研究计算机应用技术专业毕业论文.docx（77页珍藏版）》请在冰豆网上搜索。
视频传输的错误隐藏技术研究计算机应用技术专业毕业论文
视频传输的错误隐藏技术研究-计算机应用技术专业毕业论文
ResearchonError-ConcealmentTechniquesofVideoTransmissionAbstract
[ABSTRACT]
Thevisionisthemostimportantsourceofhumanaccesstoinformationwhilethevideoholdsanimportantpositionofthemultimedia.However,therearemanyproblemsinthevideo'sstorageandtransmission,forexample,lownetworkbandwidth,takinguptoolargespace,networkerrorloss.Withoutchangingtheexistinghardwarecondition,thereductionoftheredundancyandusingthefaulttolerancearethekeytosolvetheproblem.
H.264/AVCisthelatestgenerationofvideocodingstandardjointlydevelopedbyITU-TandISO
/IEC.Comparedwiththepreviousstandard,itcansave50%ofbitratewithsimilarvisualquality,duetousingsmallerblockmode,multi-framereference,FMOandothertechnologies.Ontheotherside,becauseofthesignalinstabilityandotherreasons,thereareerrorsorpacketlossinthetransmissionprocessofthecompressedvideostream.Errorconcealment（EC）canrepairdamagedvideosequencebasedontheexistinginformation.
FramesinH.264/AVCcanbedividedintointra-codedframesI,SIandinter-codedframesP,SPB,andSB.Inthisthesis,forP-framewefoundthattheperformancesoforiginalboundarymatchingalgorithm（BMA）andtheLagrangeinterpolation（LI）errorconcealmenteffectarenotsatisfactory.Soweproposeanewmethod.Additionally,theproposedmethodcanbeeasilyextendedtootherinter-codedframes.
Theemergenceof3Dvideobringstheerrorconcealmenttechniquegreatchallenges.Ontheotherside,the3Dvideoprovidesmoreusefulinformation.3Dvideocanbedividedintoseveraltypes,MultiViewVideo（MVV）,ConventionalStereoVideo（CSV）andDepth-ImageBasedRendering（DIBR）.ThisthesisfocusesonerrorconcealmentforDIBRvideo,inwhichwehaveproposedanewerrorconcealmentmethodfor3Dvideobasedonthedepthinformation.
Inconclusion,tosolvetheproblemsabove,newalgorithmsareproposedforboth2Dand3Dvideo,whichcansignificantlyimprovetheperformanceoferrorconcealment.
KeyWords:
H.264videocoding,errorconcealment,anti-errortransmission,3Dvideo,depthmap.
视频传输的错误隐藏技术研究引言
第一章引言
1.1研究背景与动机
多媒体应用于生活的各个方面，诸如广告、教育、商业、艺术等行业。
信息化科技的发展，也使得多媒体飞速发展。
多媒体信息分为以下几种类型：
文本、图像、动画、声音、视频。
视频由于其具有时序和丰富的内涵信息，在多媒体中担任了非常重要的角色。
不过与此同时，视频由于蕴含信息多、所占空间大，在存储和传输的过程中遇到了难题。
视频编解码器，利用视频序列具有空间冗余和时间冗余的特性，进行数据压缩，可以有效地解决上述问题，在保证视频质量的情况下，以相对较少的资源来保存和传输视频。
传统的编解码器，对待空间冗余，首先采用离散余弦变换（DCT）,然后量化，对待量化后的系数进行摘编码，最后输出到压缩码流中。
对于时间冗余，利用运动补偿技术，即因为相邻顿一般很相似并伴随一定的运动，通过记录前一倾中的小块移动到当前倾中的偏移量，来消除时间冗余。
视频编解码当前主要有以下几个标准，H.261、H.263、MPEG-KMPEG-2、MPEG-4、H.264。
而H.264[l]，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，JointVideoTeam）提出的高度压缩数字视频编解码器标准。
H.264在同等图象质量下的压缩效率比以前的标准提高了2倍以上，因此，H.264被普遍认为是最有影响力的行业标准。
而本文主要研究的是错误隐藏技术，并基于H.264/AVC进行实验。
1.2H.264/AVC介绍和特点
H.264/AVC是一种DPCM加变换编码的混合编码模式，编码选项较少，压缩性能更好，同时对于不同信道的适应能力更强。
并且它的基本系统是开发无需版权的。
可以看出,编解码主要分为以下几个5个部分：
巾贞间和倾内预测（Estimation）、
变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（LoopFilter）、
摘编码（EntropyCoding）。
除了更好的压缩能力以外，H.264/AVC还有以下几个特点：
I.分层设计，主要分为两层，一是视频编码层，主要负责视频的编码，二
1
视频传输的错误隐藏技术研宄引言
是网络提取层，主要负责按照网络要求的方式对数据进行封装打包。
2.高精度、多模式运动估计，运动矢量精确到了1/4像素，多模式指的是一
个宏块可以分成4种不同的子块，而子块又可以分成4种不同的子块。
3.统一的VLC,统一的码表编码。
4.更小的尺寸，H.264中，最小的运动矢量基本单位是4X4大小的块，而之前最小的常用单位是8X8的块。
5.更高的计算复杂度，算法的压缩效果更好，不过相对于之前，编码所花费的算法时间复杂度变高了。
6.容错和鲁棒性得到提高，无限传输中，丢码现象通过错误控制技术的方
式得到处理，也就是本文所要重点讨论的方向。
1.3错误控制、错误隐藏技术简介
网络传输的过程中，丢包等错误时有发生，所以对于错误的视频序列流进行处理与恢复。
这个处理和恢复的过程就是错误控制技术。
丢包、误码不仅仅会影响到本倾，还会影响到同一个GOP里的后序巾贞，所以错误处理在最终视频序列的图像质量上占有着举足轻重的位置，是一个研究的热点。
其中错误技术主要分为两大方面：
一种是抗误码技术（ErrorResilient,ER）,
需要增加冗余信息来较少误差，而且需要增加算法复杂度，增加传输带宽；另外一种是错误隐藏技术（ErrorConcealment,EC），不需要存储额外的信息，与编码分为时空两种一样，错误隐藏技术也分为两钟：
一种是利用空间上的相关性，比如I中贞，只利用本倾图像的相关信息恢复错误或丢失块，另一种是利用前后巾贞的相关性来修复，比如P巾贞、B巾贞。
一个GOP中，往往幵头的是I倾，剩余帕都是中贞间编码，所以顿间编码巾贞的个数所占比例最大，本文主要研究的是P巾贞中的错误隐藏,也可以很容易地推广到其他巾贞间编码中贞。
1.43D错误隐藏
3D视频的出现给视频编解码、错误隐藏技术带来了新的挑战，同时也提供了更多的信息。
3D视频的格式有很多种，其中基于深度图像的绘制（DepthImageBasedRendering,DIBR）技术将2D图像与深度图分开。
2D图像保存YUV三个信号，深度信息只需要保存一个信号。
此外这种方式可以向下兼容，即在3D和2D电视共享同一个信号来源的情况下，2D电视可以只利用2D视频序列，而3D电视利用2D视频序列和深度信息的结合，也可以很好的工作。
3D视频同样存在传输过程中丢包、误码问题。
本文对此也进行了研究，并提出了新的方法。
2
视频传输的错误隐藏技术研究^
1.5文章结构
本文共分为五章，每章的主要内容介绍如下：
第一章为引言，介绍了本文要研宄的方向，编解码器，错误隐藏技术，以及3D视频给错误隐藏技术带来的挑战。
第二章，主要详细介绍了H.264编码的细节，包括编解码流程、巾贞内倾间编
码的详细情况以及如何衡量图像质量，另外比较详细地介绍了错误恢复的一些基
础知识，包括前向错误纠错和错误隐藏。
第三章，介绍了2D错误隐藏技术的现状，分析现有两种方法的不足，提出了新的算法，并将其和之前的方法进行了性能对比，发现采用新算法确实使得图像主观质量和PSNR得到提局。
第四章，将错误隐藏技术引申到3D视频中，介绍了2D视频中己有算法外推插值，然后根据3D视频的特点提出了新的算法。
实验结果表明新的算法使得错误隐藏效果得到了较大提升。
第五章，总结了本文所提新的方法，说明其中的不足之处，并对于未来的研
宄进行了展望。
3
视频传输的错误隐藏技术研宄H.264及差错控制
第二章H.264及差错控制
本章将介绍H.264的编解码器相关知识及图像质量的衡量参数PSNR。
因为本文主要针对的是顿间编码巾贞的错误隐藏，所以本章也将简略地介绍巾贞内编码中贞，主要介绍倾间编码巾贞。
本章参考自H.264白皮书[2]。
2.1编解码主要流程
它的主要编码流程[2]如下图1所示：
当一个输入巾贞？
。
需要编码时，该巾贞以宏块（相当于16X16的大小的像素）的方式进行处理，每个宏块会被编码成帕内或者巾贞间编码巾贞。
在这两种情况下，都会产生一个的编码再解码后的预测宏块P。
在巾贞内编码模式下，P根据之前己经编码、解码、重建的当前倾n中的采样产生
（图中以表示）。
倾间模式下，P根据采用一个或者多个参考倾的运动补偿预测来产生。
在图1中，参考倾即之前己经编码过的每个宏块的预测可以以过去或者将来的一个或者多个己经编码并重构的巾贞为参考。
用原巾贞Fn减去预测中贞P来生成一个差异宏块D?
，即残差矩阵，以量化变换系数集X变换并量化，这些系数通过重新排序并且进行炮编码。
最后，熵编码系数、宏块预测模式、量化补偿、运动矢量等信息构成了最终的压缩比特流，被放入到网络抽象层NAL来进行传输或者保存。
F?
-?
T—*^。
—?
—“R的咖'一*■encode—跳
（current》
”ME
^^—
^n.iI1MClnt?
r
i（r6f?
9nce）i
（1Of2pfe?
ousiy‘‘P
encoffldtChoose丨,^
..IntrafO
prediction丨咖
prediction
IJ一
*
—I~~IuP?
D；I
卜nFitt?
r^-fT14（0~i^
i\''
丨、“+i
图1编码流程图[2】
与编码流程相对应的解码流程如下图2所示：
4
视频传输的错误隐藏技术研宄H.264及差错控制
Inter
fvi—?
MC—?
O
（fefer?
）c?
）O—……P
111^
（1or2prevKjostyI1Intra
encod^frames）
intra
prediction
IIUF?
D'?
IXij—~
j*—.Filwr.*-、.......T-'?
—....Q"?
R?
她rj*—.....NAL
图2解码流程图[21
2.2帧内预测
中贞内编码方式，主要通过消除图像的空间冗余信息来对图像进行压缩。
如果一个宏块采用巾贞内编码模式进行编码，传统的做法是通过DCT编码的变换的方式对于原始数据进行变换，然后量化，Z字扫遍后进行变长编码。
在H.264中，采用预测的方式，利用己编码的周围块来预测重建当前宏块，产生预测块P，然后根据原始宏块减去预测块P获得预测残差，最后通过熵编码等方式对预测残差进行压缩。
对于宏块（16X16大小的块）巾贞内编码，亮度有两种预测模式，Intra4X4模式
和Intral6X16模式。
对于色度块，也有类似于Intral6X16的预测模式。
2.3侦间预测
中贞内编码巾贞，主要利用空间冗余性。
而与此相应的巾贞间编码倾，主要利用时间冗余性来消除冗余。
帖间编码顿主要有P、SP、B、SB巾贞，采用运动补偿技术（MotionCompensation,MC）来预测编码。
运动补偿技术的基本思想是：
先将视频序列中每个图像分成不同大小的块，
并认为块之内的所有像素的偏移量相同，然后在参考倾（可以时间上前面的巾贞，也可以是时间上之后的巾贞）的某个搜索范围内，根据一定的匹配准则，找出最为相似的块，即匹配块。
当前与匹配块之间的位移即为需要计算的运动矢量。
其中常用的匹配准则主要有最小绝对差、最小均方误差、绝对误差等等方式。
而根据搜索方式的不同，常用的搜索匹配块主要分为全搜索算法（FS,FullSearch）、三步搜索算法（TSS）、菱形搜索（DS,DiamondSearch）、六边形搜索算法。
根据运动补偿计算出来的运动矢量即可重构出预测块，用预测块与原始块的
差异计算出残差，然后进行DCT变化、量化、行程编码、摘编码。
H.264相对于之前的标准，有以下两个重要区别：
（1）支持多种块大小（最
小4X4）的预测；
（2）更加精细的运动矢量，亮度可以精确到1/4像素级别。
5
视频传输的错误隐藏技术研究H.264及差错控制
2.3.1宏块划分方式
H.264块的划分方式如下所示，每个宏块可以划分成以下4种模式：
16X16,16X8，
升级会员 