视频压缩原理.docx

1、视频压缩原理第1章介绍1、 为什么要进行视频压缩？ 未经压缩的数字视频的数据量巨大存储困难 一张DVD只能存储几秒钟的未压缩数字视频。传输困难 1兆的带宽传输一秒的数字电视视频需要大约4分钟。2、为什么可以压缩去除冗余信息 空间冗余:图像相邻像素之间有较强的相关性 时间冗余:视频序列的相邻图像之间内容相似 编码冗余:不同像素值出现的概率不同 视觉冗余:人的视觉系统对某些细节不敏感 知识冗余:规律性的结构可由先验知识与背景知识得到3、数据压缩分类无损压缩(Lossless) 压缩前解压缩后图像完全一致X=X 压缩比低(2:13:1) 例如:Winzip,JPEG-LS有损压缩(Lossy) 压缩

2、前解压缩后图像不一致XX 压缩比高(10:120:1) 利用人的视觉系统的特性 例如:MPEG-2,H、264/AVC,AVS4、编解码器编码器(Encoder) 压缩信号的设备或程序解码器(Decoder) 解压缩信号的设备或程序编解码器(Codec) 编解码器对5、 压缩系统的组成(1) 编码器中的关键技术(2) 编解码中的关键技术6、编解码器实现编解码器的实现平台:超大规模集成电路VLSI ASIC, FPGA 数字信号处理器DSP 软件编解码器产品: 机顶盒 数字电视 摄像机 监控器7、 视频编码标准编码标准作用:兼容: 不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码高效:

3、标准编解码器可以进行批量生产,节约成本。主流的视频编码标准: MPEG-2 MPEG-4 Simple Pro AVS VC-1标准化组织:ITU:International Telecommunications Union VECG:Video Coding Experts GroupISO:International Standards Organization MPEG:Motion Picture Experts Group8、 视频传输 视频传输:通过传输系统将压缩的视频码流从编码端传输到解码端 传输系统:互联网,地面无线广播,卫星9、 视频传输面临的问题传输系统不可靠 带宽限制 信

4、号衰减 噪声干扰 传输延迟视频传输出现的问题 不能解码出正确的视频 视频播放延迟10、 视频传输差错控制 差错控制(Error Control)解决视频传输过程中由于数据丢失或延迟导致的问题差错控制技术: 信道编码差错控制技术 编码器差错恢复 解码器差错隐藏11、视频传输的QoS参数 数据包的端到端的延迟 带宽:比特/秒 数据包的流失率 数据包的延迟时间的波动第2章 数字视频1、图像与视频 图像:就是人对视觉感知的物质再现。 三维自然场景的对象包括:深度,纹理与亮度信息 二维图像:纹理与亮度信息 视频:连续的图像。 视频由多幅图像构成,包含对象的运动信息,又称为运动图像。2、 数字视频数字视频

5、:自然场景空间与时间的数字采样表示。空间采样 解析度(Resolution)时间采样 帧率:帧/秒3、 空间采样 二维数字视频图像空间采样4、 数字视频系统采集 照相机,摄像机处理 编解码器,传输设备显示 显示器5、 人类视觉系统HVSHVS 眼睛 神经 大脑HVS特点: 对高频信息不敏感 对高对比度更敏感 对亮度信息比色度信息更敏感 对运动的信息更敏感6、 数字视频系统的设计应该考虑HVS的特点: 丢弃高频信息,只编码低频信息 提高边缘信息的主观质量 降低色度的解析度 对感兴趣区域(Region of Interesting,ROI)进行特殊处理7、 RGB色彩空间 三原色:红(R),绿(G

6、),蓝(B)。 任何颜色都可以通过按一定比例混合三原色产生。RGB色度空间 由RGB三原色组成 广泛用于BMP,TIFF,PPM等 每个色度成分通常用8bit表示0,2558、 YUV色彩空间YUV色彩空间: Y:亮度分量 UV:两个色度分量 YUV更好的反映HVS特点9、 RGB转化到YUV空间亮度分量Y与三原色有如下关系:经过大量实验后ITU-R给出了,主流的编解码标准的压缩对象都就是YUV图像10、YUV图像分量采样 YUV图像可以根据HVS的特点,对色度分量下采样,可以降低视频数据量。 根据亮度与色度分量的采样比率,YUV图像通常有以下几种格式:11、 通用 的YUV图像格式 根据YU

7、V图像的亮度分辨率定义图像格式12、 帧与场图像 一帧图像包括两场顶场,底场13、 逐行与隔行图像 逐行图像:一帧图像的两场在同一时间得到,ttop=tbot。 隔行图像:一帧图像的两场在不同时间得到,ttoptbot。14、 视频质量评价 有损视频压缩使编解码图像不同,需要一种手段来评价解码图像的质量。质量评价: 客观质量评价 主观质量评价 基于视觉的视频质量客观评价 客观质量评价:通过数学方法测量图像质量评价的方式。优点: 可量化 测量结果可重复 测量简单缺点: 不完全符合人的主观感知15、 客观评价的方法常用的客观评价方法:16、 主观评价方法 主观质量评价:用人的主观感知直接测量的方式

8、。优点: 符合人的主观感知缺点: 不容易量化 受不确定因素影响,测量结果一般不可重复 测量代价高常用主观评价方法17、基于视觉的视频质量客观评价方法 基于视觉的视频质量客观评价:将人的视觉特性用数学方法描述并用于视频质量评价的方式。 结合了主观质量评价与客观质量评价两方面优点。 常用方法:结构相似度(Structural SIMilarity,SSIM)方法。 将HVS的特征用数学模型表达出来。 未来重要的研究方向第3章 信息论基础1、 通信系统的组成 信源:产生消息 信道:传输消息 信宿:接收消息2、 基本概念通信中对信息的表达分为三个层次:信号,消息,信息。 信号:就是信息的物理层表达,可

9、测量,可描述,可显示。如电信号,光信号。 消息:就是信息的载体,以文字,语言,图像等人类可以认知的形式表示。 信息:不确定的内容。3、 信息熵信息的特点信息的测量自信息量条件信息量4、 信息熵5、 条件熵与联合熵6、 熵的性质 非负性:信源熵就是非负值,即 H(X) =0; 扩展性:信源熵X有M个符号,如果其中一个符号出现的概率趋于零,信源熵就等于剩余M-1个符号的信源熵; 极值性(最大信息熵):对于具有M个符号的信源,只有在所有符号等概率出现的情况下,信源熵达到最大值,即 可加性: 熵不增:条件熵不大于信息熵H(X|Y) = H(X); 联合熵不大于各信息熵的与,即H(XY) 0,则C- ,这意味着无干扰信道容量为无穷大; 增加信道带宽B,也可增加信道容量C,但做不到无限制地增加。这就是因为,如果S、n0一定,有 维持同样大小的信道容量,可以通过调整信道的B及S/N来达到,即信道容量可以通过系统带宽与信噪比的互换而保持不变。22、 失真 失真:信源的消息经过编解码后不能完全复原在实际的信源与信道编码中,消息的传输并不总就是无失真的。 由于存储与传输资源的限制 噪声等因素的干