视频质量.docx

视频质量.docx

《视频质量.docx》由会员分享，可在线阅读，更多相关《视频质量.docx（15页珍藏版）》请在冰豆网上搜索。

视频质量

目前视频质量的评价算法主要有2种，主观评价法和客观评价法。

根据各算法所引用的源素材多少，可把视频质量客观评价分为3类：

全参考评价体系、部分参考评价体系、无参考评价体系。

全参考评价体系：

要求占有完整的源素材信息，是目前客观评价3大体系中发展较为成熟的部分，其现状代表当前客观评价技术的最高水平。

1.基于全像素失真统计的评价方法：

以统计理论为基础，逐帧、逐像素比较参考源和测试源的数据差异。

通过获得原数据和待测数据间的总体误码累计，体现像素噪声层面上的绝对误码率，从而反映视频质量。

该类评价方法能敏感捕获两端视频在像素层面上的细微失真，具有很高的敏感性。

此为，其数学方法简单，物理含义清晰，是目前应用最广泛的评价方法。

但它们都是从整体上反映原始图像和恢复图像像素层面上的差别，其评价机制无法体现出视频图像数据所承载的不同于一般数据的内容信息，常造成评价结果与主观感受相偏离，并不能较好满足客观评价的应用需求。

该类评价方法的主要代表有：

PSNR和MSE等。

其中，

和

，分别为原始与重建图像中对应的像素值，N2为N×N图像的总像素数。

其中MN为图像大小，

和

分别代表原始图像和失真图像在点（m，n）处的像素值。

图为PSNR模型进行客观评价的程序流程图。

2．基于人眼视觉系统（HVS）的评价方法。

人眼自身的“生理特点”和人关注内容的“心理特点”都对绝对误码效果产生不同程度的掩蔽效果，使得图像质量好坏的理解并不仅仅依赖绝对误码损耗。

当前，基于HVS的评价方法主要可划分成以下2类主流算法模型：

“基于视觉感知的算法模型”和“基于视觉兴趣加权的算法模型”。

2.1基于视觉感知的算法模型。

人眼“生理特性”主要有：

视觉非线性（Weber定律）、视觉灵敏度差异、视觉多通道和掩盖效应等。

利用这些特性，通过模拟视觉感知，将绝对差值映射成能被人眼觉察的JND（Justnoticeabledifference）单位。

如差错高于视觉的敏感门限，则表示所产生的绝对误码可被察觉；否则差错不足以引起人眼感知，可忽略不计。

当前的视觉感知算法则需综合多方面视觉感知能力，如根据所研究视频图像的特点（静止或运动、黑白或彩色等）模拟人眼对（空、时、色域等的）各种失真总体上的差错感知能力。

Teo等针对视觉掩蔽现象的神经系统响应进行增益控制模拟，仿生HVS的视觉感知机制，其结构如图A所示。

在输入端，被提取的源图像和参考图像的亮度分量经过后续时域滤波器处理，模拟人眼对连续序列的响应。

研究表明HVS的时域响应机制既有瞬态（带通）的，也有稳态（低通）的。

总而言之，基于HVS视觉感知的算法模型因综合模拟了人眼的各项特性，具有较好的评价结果，但其算法实现相对复杂，运算量较大而难以实际应用。

此外，目前对HVS机制的认知有限，算法模型不能对所有场景都具有较好的主观相似性"仍需继续深入研究。

2.2基于视觉兴趣加权的算法模型。

目前，人眼感兴趣区域（RegionofInterest，ROI）判别思路主要有：

域变换（小波或DCT）及边缘滤波两种思路。

域变换（小波或DCT）后所得的子带与HVS兴趣特性非常近似，可根据特点对较重要的域失真给以大的加权系数体现；边缘滤波（如Sobel等）可有效提取人眼较敏感的区域信息，通过合理选择滤波的阈值门限，亦可达到兴趣区的有效划分。

权值大小选择则需根据实测修正，不断总结并选择合适的经验权。

总体上看，基于ROI加权的算法模型在如何合理划分兴趣域及如何调整权值等的关键技术上还有待进一步研究。

2.3基于图像理解和模糊处理的评价方法。

应用图像理解技术，先对视频图像进行分层或分割预处理；其后提取待测序列中相关的客观特征参数，并根据模糊处理理论选择事先存放于场景库中合适的特征参数比对归类；最后，用场景中的先验加权值修正待测序列的拟和系数，推导评价分。

其主要代表模型有两类：

分层模型和分割模型。

分层算法模型主要如Hamada等提出的三层噪声分层算法，该算法模型认为人对图像理解不是一次性看清，而只是看到其中注视点附近的一个点域，并依赖这个点附近一些混在纹理结构中噪声的程度和特点，来识别这个点域的纹理结构和质量，由此，把图像划分成噪声层、纹理层和目标层，针对每个层特点进行加权修正；分割算法模型主要有Pessoa等提出的分割算法模型,它把图像按其表达的内容,分割成平坦区、纹理区、边缘区，为每个区计算一套客观参数，然后把客观参数映射到已得到的主观评价结果的相关场景库中，最后推演出测试序列的分数。

部分参考评价体系：

部分参考客观评价体系则不需要完整的源视频，而是先提取能体现“源视频”性质的“源视频特征”，并把它和“视频数据”一起传输，在接收端再将它们分离，按相同的方法从“宿视频数据”中提取“宿视频特征”，并与接收到的“源视频特征”比对，找出差异。

获得视频传输的劣化质量，其参考结构框图见图

部分参考评价体系除了传输视频文件本身的信息外，还需通过“RR特征信道链路”，传输“源视频特征。

根据传输中添加的参考信息是否来源于原始数据本身，可把部分参考体系划分成两大类评价方法：

“基于源数据的信息提取方法”和“基于非源数据的信息添加方法”。

1.基于原数据的信息提取方法。

该方法主要通过提取视频源本身的特征信息作为质量评价依据。

特征提取方法主要包含了2种类型：

非期望特征提取算法和期望特征提取算法。

非期望特征主要指反映视频损伤程度的特征，常用方块效应、图像模糊、色度失真、边缘忙乱、图像拖尾、蚊虫效应、图像停顿和图像抖动等表示。

非期望特征提取算法模型从损伤角度出发，通过对传输前后的反映视频损伤的特征值（亦称非期望特征）的检测，把握视频在传输过程中引入的损伤度，而获得视频质量的评价分。

期望特征主要指反映视频固有特性的特征，主要分为：

频域、空域、时域、色域和结构等特征。

期望特征提取算法模型从视频组成的固有特征角度人手，通过传输前后这些固有特征的差别，区分其视频质量。

目前主要通过亮度、对比度、结构失真3个独立特征信息，综合反映质量。

此外，还有一些为某类应用场合设计的专用特征信息，如DCT域特征提取，小波域特征提取，针对块状效应和边缘模糊的特征提取等。

基于特征提取的评价法

原始视频在进入编码器和传输通道前进行特征提取，将能够反映视频质量的特征参数提取出来，通过补充信道发送到接收端。

在接收端，解码器输出的视频信号也进行同样的特征提取，得到接收端的视频质量特征参数。

将两份特征数据进行比较运算，可得到接收端的视频质量。

特征提取过程以HVS为基础，抽取对主观视频影响最大的空间信息特征（SI）、时间信息特征（TI）作为视频质量特征参数。

SI特征代表了图像边缘或空间梯度的活动性。

利用SI特征可对数字视频信号中的诸如模糊、块效应、边缘忙乱等损伤进行检测和定量描述。

1'I特征代表了连续帧之问的差别变化或时间梯度的活动性。

利用TI特征可对数字视频信号中诸如抖动、量化噪声、错误像块等损伤进行检测和定量描述。

基于特征提取的评价方法在测量时不需要提供完整的视频源，由于提取特征数据量少，占用带宽不大，因此可将其与经过编码的图像一起传送，或者用一个窄带的补充信道传输，可实现在线服务情况下的质量测量。

基于特征提取的评价方法的可靠性来源于提取特征的图像范围以及提取特征数据与人眼视频系统的相关程度，它降低了运算数据量，提供了实时监测视频质量的可能性，但是同时也牺牲了一定的可靠性。

2基于非原数据的信息添加方法（基于数字水印的部分参考视频质量评估）。

在发送端（或编码端）添加非原始图像数据的额外信息，在接收端则通过分析这些信息的损耗程度，侧面反映视频图像质量。

在发送端（或编码端）添加非原始图像数据的额外信息，在接收端则通过分析这些信息的损耗程度，侧面反映视频图像质量。

根据添加信息的特点，可分成无意义信息添加和有意义信息添加2类算法模型。

①无意义信息添加算法主要通过伪随机数等数据作为添加物，并不反映具体内容和意义。

如把随机序列作为标志序列添加于图像上，在接收端通过检测标志物的误码率，从侧面估计视频传输质量。

②有意义信息添加算法主要通过数字水印技术，将含有具体内容的水印图案添加到视频序列中，通过检测水印图案的劣化程度，了解信道对视频数据的损伤情况

数字水印是利用多媒体数据（如音频、图像、视频）中存在的冗余度和人的视觉特性，在多媒体数据中添加某些标记信息，以达到版权保护目的的一种技术。

从视频处理的角度上讲，嵌入水印可以视为在强背景（原始图像）下叠加一个弱信号（水印）。

由于人类视觉系统的分辨率有限，只要叠加信号产生的失真幅度低于视觉系统的对比度门限，人就无法感觉到水印的存在，从而实现了信息隐藏。

基于数字水印视频质量评估的算法川一般包括水印嵌入、水印媒体传输、水印提取和质量评估4个过程，原理框图如图三所示。

原始媒体嵌入水印后在传输过程中最容易失真，可能发生数据丢失或叠加了噪声，接受端从有损的媒体中提取出水印信号，和参考水印比较，就可得到媒体传输质量的评价。

可以看出，原数据信息添加方法能根据具体的内容进行特征提取，特征信息与数据内容具有较好的对应性和时效性，但其特征信息随视频数据内容改变而不同，较难用统一的拟合调整策略将特征差异映射为评价等级分；而非原数据的信息添加方法克服了原数据提取特征信息易变的问题，可事先对已知的添加内容进行研究，通过实现的训练策略，建立损耗程度和主观评分间的映射关系，因此，可把基于视频内容的各异特征参量归一化成事先已知的特征参量形式（如某类水印图案等），能很好地利用已建映射关系准确了解添加图像的劣化程度，从而把握视频/图像的传输质量，但设计稳健、通用、不易造成附加噪声的添加信息是该方法的主要难点。

3基于结构相似性的质量评价方法

Z．Wang等提出的结构相似质量度量法（SSIM），通过亮度、对比度、结构失真3个独立特征信息综合反映视频质量，其基本框图见图所示

假设原始图像为X，评价图像为Y。

首先，分别提取原始和评价图像的亮度变化信息，后提取图像的对比度变化信息，再提取图像的结构变化信息，对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，得到一种相似性度量指标，以此作为图像质量好坏的评价尺度。

SSIM法的依据是HVS高度适合于提驭视觉场景中的结构信息，使测量结构信息的改变与感知图像质量的变化非常接近，该方法与主观评价结果的～致性好。

但不一定完全与主观评价一致，也有可能存在两个信号对同一个原始信号具有相同的结构相似值，而这两个信号的主观质量仍有差别。

不同分辨力的图像质量评价算法

对于2个不同分辨力的视频图像进行质量测量时。

一般可以采用2种方法：

1）直接对2种视频序列进行特征提取．然后通过对特征参数的统计分析来测量视频图像质量；2）先将2种视频序列调整成相同的分辨力，然后再进行质量评价。

1直接提取特征参数来比较质量差异

在图像压缩过程中会产生各种类型损伤，例如块效应、模糊等。

因此，可以通过对图像进行边缘提取来测量图像的损伤程度。

该算法实现结构简单，但由于边缘提取算法中所用到的不同边缘检测算子的性能会随着图像分辨力降低而下降，边缘检测算子对不同分辨力图像中的灰度、对比度变化等方面的敏感程度也是不同的。

因此．这种方法的测量准确性取决于边缘检测算子的选择。

2先调整分辨力再测量质量

通过调整分辨力，该方法可以将不同分辨力图像间的质量评价转换为一般的图像质量评价研究。

因此，可以在分辨力调整后选择成熟的评价算法来实现对图像质量的准确评价。

在本文的研究中，采用这种调整分辨力的方法来实现对不同分辨力视频图像的质量评价．实验流程如图所示，算法包括2个主要模块：

分辨力调整模块和客观评价模块。

基于图像清晰度的客观质量评价

1基于无方向边缘能量的清晰度评估

这种方法采用无方向性的边缘提取算子计算图像的边缘能量．通过计算处理前后边缘能量的差异来度量图像清晰度的变化。

使用的无方向边缘算子包括Canny．Log（LaplacianofGaussian），Sobel．Prewitt以及Roberts等等。

基于无方向边缘能量，定义了相应的清晰度评估参数6：

其中：

分子为输出视频的边缘能量．分母为输入视频的边缘能量。

XX表示使用的边缘提取算子，比如：

Canny、Log．Sobel．Prewitt以及Roberts等等。

该参数反映了输出视频与输入视频边缘能量的偏离，而这个偏离与视频的主观和客观质量密切相关。

2基于方向性边缘能量的清晰度评估

在视频数据压缩过程中，方块效应是一种常见的失真。

特别在基于网路应用的视频系统中，多采用基于块的压缩算法．方块效应相对更加严重。

方块效应的产生会导致图像水平竖直方向边缘能量增加，由此不难看出：

方块效应会导致图像出现很强水平边缘和垂直边缘，而这些边缘本身不能反映图像清晰度的损失。

因此考虑仅计算非水平、非竖直方向的边缘能量来衡量图像清晰度的变化，于是提出了基于方向性边缘的清晰度评估方法。

Sobel算子是边缘检测常用的算子之一，它通过两个卷积核分别对图像的水平和垂直边缘进行检测．复杂度较低嗍。

因此利用Sobel边缘检测可以更有效地估计非水平竖直方向边缘能量的损失。

用两个13X13的模板对测试序列每一帧图像进行卷积．得到图像像素点（i，j）梯度的水平分量H（I,j）与垂直分量V（I,j）．进而计算该点梯度矢量的大小E（I,j）与方向

（I,j）.

为反映图像在映非水平竖直方向的边缘能量．定义了一个方向性能量参数HV（i．j）：

在此基础上，我们定义一个基于方向性边缘能量的清晰度评估参数

：

其中．分子分母分别是输入序列与输出序列各帧图像非水平坚直方向边缘能量参数HV（i．j）的累加。

这个参数的大小同样反映了测试序列与原始序列边缘能量的偏离，也在～定程度上反映了测试视频质量。

3基于小波变换的视频图像清晰度客观评价

小波变换是一种信号时间尺度分析方法，具有多分辨率分析的特点，在时频两域具有表征信号局部特征的能力，在低频部分具有较高的频率分辨率和时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率。

是一种时间窗和频率窗均可变的时频局部化分析方法。

信号经过小波变换，首先被分解成低频L1与高频H1两个部分．在分解中，低频中失去的信息由高频捕获。

在下一层的分解中．将L1进一步分解成低频L2与高频H2，低频L2中失去的信息由高频H2捕获．以此类推．进行更深层次的分解。

以此，小波变换将图像信息划分为不同尺度下的拥有原图像不同方向和频率成分的子带图像。

经过一次小波变换．图像被分解为四个独立的块．如图所示。

其中LL保留图像低频信息；LH．HL分别为图像水平与竖直方向高频信息；HH则为图像斜方向的高频信息。

图像高频信息通常是指图像细节，如边缘等。

上文提到非水平竖直方向边缘能量能更加准确的反映图像清晰度．因此图像斜方向的高频信息是否丰富，对图像清晰度应有十分重要的影响。

基于这一观点，本文定义了一个基于小波变换的图像清晰度评估参数

：

其中，分子分母分别是输入序列与输出序列各帧图像经小波变换获得斜方向高频信息能量。

该参数反映了图像斜方向高频信息能量的偏离，即图像细节的变化，从而一定程度上反映了测试视频质量。

三层噪声加权图像质量评价方法

三层噪声加权模型

一般情况下，人眼不是一次看清楚整个图像，而是只看到注视点附近的某一帧上的一个点域，依赖于这个点域，看清了这个点域的纹理，并根据混杂在纹理中噪声的强度和特点判断这个点域的质量。

若沿着目标（由帧组成）移动注视点，就可以感觉到整个图像的质量。

由此可知，在这个过程之中，每一帧上的噪声决定了图像的质量。

为了对主观感受到的图像质量进行客观评测，从宏观到微观将图像分为三层结构：

目标层，纹理层和噪声层，根据人眼的感知特性，用特殊函数对每一层的噪声进行加权。

如图所示。

该模型在每一层都使用了一个考虑了视觉感知的特定加权函数。

噪声层

由视频压缩过程带来的噪声，例如：

高频噪声、低频噪声、色度噪声、抖动噪声、扭曲噪声等等，可以根据他们噪声的特点和强度进行加权。

对于这种加权，有时进行频域转化以区别不同的噪声类型是非常必要的。

由此可得到针对局限域（j,m）中的噪声特性，用

进行噪声加权，然后计算这些经过平均的加权噪声

。

纹理层

根据不同的纹理类型，噪声会被或多或少的加权。

即针对局限域（j,m）中的纹理C（j,m），用

进行加权，再计算每一帧

平均加权值

目标层

在所有的帧中，对噪声进行加权。

即，对应于注视点的分散程度，用G（j）对!

j帧进行加权，随后计算1到J帧上

的平均加权值

。

最后将平均加权噪声转化成平均加权信噪比（WSNR），并可以进一步根据ITU_RRec.500_7定义的双重双刺激连续质量标度方法（DSCQS:

0-100%）计算评价成绩。

即：