视频信息处理与传输课题研究报告.docx

视频信息处理与传输课题研究报告.docx

《视频信息处理与传输课题研究报告.docx》由会员分享，可在线阅读，更多相关《视频信息处理与传输课题研究报告.docx（19页珍藏版）》请在冰豆网上搜索。

视频信息处理与传输课题研究报告

课程研究报告

课程：

视频信息处理与传输

班级：

电子110x班

姓名：

xxx

学号：

xxxxxxxx

指导老师：

詹曦

2014年12月21日

课程学习目的：

视频信息处理是数字媒体技术与传输系列课程中的一门专业必选课，学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码、运动估计、滤波、数字水印的嵌入与抽取、视频信息检索、视频信息传输等数字视频技术、并灵活应用。

注重理论与实践结合、培养学生在视频信息处理与传输应用领域从事研究、教学、产品设计及管理工作的初步能力。

以视频信息应用系统为主线，系统地介绍视频信息采集、处理、检索、传输等方面的基本理论和相关技术及标准。

学习的内容目录

第一章视频信息处理与传输概述

1.1信息传输发展历程

1.2信息安全与信息垃圾

1.3视频信息应用系统

第二章视频信息采集技术

2.1视频信息基础

2.1.1时变图像构成模型

2.1.2模拟视频

2.1.3数字视频

2.1.4数字视频格式

2.2视频信息采样理论

2.2.1图像的视觉基础

2.2.2视频的采样结构

2.2.3采样图像的量化

2.3CCD图像传感器与视频采集卡

第三章视频信息压缩编码及标准

3.1视频信息压缩的必要性与可行性

3.2视频信息压缩的分类

3.3视频信息压缩的评价指标

3.4典型的视频信息压缩编码方法

3.5视频信息压缩编码标准

第四章视频信息传输网络及协议

4.1视频信息传输网络

4.1.1协议体系结构

4.1.2数据通信理论

4.1.2传输介质

4.1.3网络通信系统

4.2视频信息传输协议

4.2.1以太网协议

4.2.2IP协议：

IPv4、IPv6

4.2.3TCP、UDP协议

4.2.4RTP、RTCP协议

第一章视频信息处理与传输概述

随着科学技术的日新月异，视频信息处理与传输的技术也成了人们关注的一个热点。

从采集到应用系统，每步都在提升，此文着重讲了里面几部分比较热门的研究点。

视频压缩是为了节约空间和方便传输，依据不同的视频用不同的编码压缩；而压缩之后人们会关注视频还原的质量如何，于是就有了视频质量的评价；信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。

视频信息处理与传输的研究领域有：

1、采集

2、压缩编码

3、视频信息处理技术

4、视频质量评价

5、视频信息检索

6、视频信息传输

7、视频传输协议

8、视频传输质量评价

9、应用系统

研究热点：

1、视频压缩

2、信息安全与信息垃圾

3、视频转码

4.视频信息检索

视频压缩编码：

视频压缩的目标是尽可能保证视觉效果的前提下检索视频数据率。

视频压缩比一般指压缩后的数据量与压缩前的数据量之比。

由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目的。

在视频压缩中常用到以下一些基本概念：

一、有损和无损压缩：

在视频压缩中有损（Lossy）和无损（Lossless）的概念与静态图像中基本类似。

无损压缩也即压缩前和解压缩后的数据完全一致。

多数的无损压缩都采用RLE行程编码算法。

有损压缩意味着解压缩后的数据与压缩前的数据不一致。

在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。

几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。

丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。

此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。

二、帧内和帧间压缩：

帧内压缩也称为空间压缩。

当压缩一帧图形时，仅考虑本帧的数据而不考虑其相邻帧之间的冗余信息，这实际上与静态图像压缩类似。

帧内一般采用有损压缩，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频信息数据仍可以以帧为单位进行编码。

帧内压缩一般达不到很高的压缩。

视频质量评价：

视频质量评价分为两个方面：

主观和客观评价。

主观评价：

视频质量主观评价凭感知者主观感受评价视频对象的质量，包括视觉信息的录入系统，即人眼成像系统；视频信息处理系统，即人脑对视觉信息的加工。

成像系统与信息处理系统两部分互相结合，对视频评价的结果产生显著的影响，目前尚没有合适的数学模型对其进行精确的刻画。

客观评价：

目前，视频客观质量评价一般是通过模拟HVS的生理特征建立视觉感知模型，并将模型的输出值作为质量的评价或失真的度量，研究集中在如何提高模型输出与主观评价结果的相关性。

目前已有多种基于HVS生理特征的质量客观评价方法：

感知模拟器模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好的变化；快效应检测联合掩蔽效应模型进行质量评价能给出质量客观评价，它也可以用于衡量视频块效应的严重程度。

信息安全与信息垃圾：

信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。

系统连续可靠正常地运行，信息服务不中断。

信息安全主要包括以下五方面：

保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。

信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。

为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。

信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。

它对信息安全应用和转播构成了威胁。

比如计算机病毒；通过网络传播的黄色淫秽、背离社会道德、国家法律的信息。

视频信息检索

视频检索把图像检索、模式识别、图像数据库技术等技术成果结合了起来,有着广阔的发展前景,并将在许多领域中道得到应用。

视频检索就是要从大量的视频数据中找到所需的视频片断。

根据给出例子或是特征描述,系统就能够自动的找到所需的视频片断点,即实现基于内容的视频检索。

根据提交视频内容的不同,视频检索一般分为镜头检索和片段检索。

一般来说,片段的概念等价于场景的概念,也是由一连串语义相关的连续镜头构成,不同的是,片段可以是一段完整场景的部分或者全部。

目前视频检索的多数研究还集中在镜头检索上。

而片段检索方面的研究则刚刚开始。

实际上,从用户的角度分析,他们对视频数据库的查询通常会是一个视频片段而很少会是单个的物理镜头。

从信息量的角度分析,由几个镜头组成的视频片段有比单个镜头更多的语义,它可以表示用户感兴趣的事件,因此,查询的结果也比较有意义。

例如在新闻中检索感兴趣的事件、电影中检索喜欢的情节、体育节目中检索喜爱的体育运动、电视台检索某条广告是否播出等。

第二章视频信息采集技术

2.1视频信息基础：

静态图像+时间->视频信息

优点:

储存便利

便于编辑

便于提供新业务

图像质量好（数字视频）

2.1.1时变图像构成模型

时变图像：

图像由三维空间投影到二维平面形成，并随着时间的变化，其场景中的实体也将发生变化的过程形成的。

数学表达式:

2.1.2模拟视频

模拟视频:

视频的记录、存储和传输以模拟的形式进行。

全电视信号考虑要索：

清晰度、闪烁性、彩色黑白兼容性、占用带宽等权衡。

电视扫描:

将二维图像变成一维的像素串，或者将一维像素串变换为原图像的过程，称为扫描。

行扫描和场扫描。

逐行扫描和隔行扫描。

2.1.3数字视频

电视图像数字化方法：

数字视频结构

它由多幅连续的图像序列构成。

具有时间和空间二维结构。

典型格式：

音频：

WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA

视频：

AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,

F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,

MTS,M2TS,MOD,TOD,SDP,YUV

图像：

JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA

2.1.4数字视频格式

数字视频结构 

它由多幅连续的图像序列构成。

具有时间和空间二维结构。

 典型格式：

 音频：

WAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA 视频：

AVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV, F4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP, MTS, M2TS,MOD,TOD,SDP,YUV 图像：

JPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA 2.1.4 数字视频格式 AVI视频格式 ASF视频格式 RM视频格式 

2.2视频信息采样理论

连续图像需要用空间和时间两种变量对其采样。

形成时空图像视频信号。

2.2.1图像的视觉基础

图像概念

图像是当光辐射能量照在物体上，经过它的反射或者投射，或由发光物体本身发过来的光的能量，在人的视觉器官中所重现出来的物体的视觉信息。

图像分类:

按其亮度可以分为

二值图像

灰度图像

按色调不同可以分为:

无色调的灰度图像

有色调的彩色图像

图像分辨率：

在位图图像处理时必须区分的三种分辨率描述：

①屏幕分辨率是指在某一特定显示模式下，计算机屏幕上以水平和垂直的像素表示的最大显示区域。

②图像分辨率是指数字化图像的大小，以水平的喝垂直的像素表示。

③像素分辨率是指一个像素的宽和长的比例，有时候也称像素的长宽比。

人眼的视觉特征：

①在亮度大的区域，对灰度误差不敏感。

②对亮度信号的空间分辨率大于对色度信号的空间分辨率。

③容易感觉到边缘位置的变化。

对于边缘的灰度误差不敏感，对灰度变化平缓区域的灰度变化敏感。

④画面切换后约100ms时间内，分辨率较低。

⑤对不同频率的信号有不同的灵敏度，对高频分量不敏感，允许较粗的量化。

2.2.2视频的采样结构

采样：

就是把一副连续图像在空间上分割成MxN的网格，每个网格用一亮度值来表示。

正交采样点阵:

其中，每一个圆圈表示一个像素位置，数字表示采样的次数。

二维结构采样:

静态图像：

二维采样函数：

三维结构采样:

一个任意周期几何图形的二维采样的概念推广到三维采样结构上对时变图像sc（x,t）=sc（x1,x2,t）的采样。

矩阵表示法定义的一个点阵：

2.2.3采样图像的量化

图像的空间取样：

1、指图像空间位置的数字化，即指图像的空间取样，通过采样把一副完整的图像分割成无数众多的离散像素的阵列。

2、指图像灰度的数字化，即指从图像灰度的连续变化进行离散的采样。

在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：

①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。

因此，取样频率应大于12MHz。

②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。

因此对PAL制信号，取样频率应大于13.2MHz。

③为了获得正交取样结构，取样频率必须是行频的整数倍。

④为了实现两种扫描制度式PAL和NTSC兼容，应采用同一种取样频率，625行制的行频为15.265Hz，525行制的行频为15.734Hz，两者的最小公倍数为2.25MHz。

2.3CCD图像传感器与视频采集卡

CCD图像传感器-工作原理:

CCD是一种光电转换半导体器件，在N型或P型硅衬底上生长一薄层的二氧化硅，再在二氧化硅层上依次沉积金属电极，这种规则排列的MOS电容阵列再加上两端的输入、输出二极管就构成CCD芯片。

CCD的基本功能是电荷的存储和电荷的转移。

工作时，需要在金属栅极上加一定的偏压，形成势阱以容纳电荷，电荷的多少与光强成线性关系。

电荷读出时，在一定相位关系的移位脉冲作用下，从一个位置移动到下一个位置，直到移出CCD，经过电荷-电压变换，转换为模拟信号。

CCD图像传感器-优点:

CCD是一种固体化器件，体积小、重量轻、功耗低、抗震性和抗冲激性好、不受电磁干扰和可靠性高、寿命长。

图像畸变小、尺寸重现性好。

具有较高的空间分辨率，光谱响应范围宽。

光敏元间距的几何尺寸精度高，可获得较高的定位精度和测量精度。

具有较高的光电灵敏度和较大的动态范围。

视频采集卡-概述

视频采集卡（VideoCapturecard）也叫视频卡，是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。

视频采集卡的分类:

广播级视频采集卡。

专业级视频采集卡。

民用级视频采集卡。

视频采集卡-工作原理：

第三章视频信息压缩编码及标准

所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。

视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV以及Apple公司的QuickTime等。

MPEG是活动图像专家组（MovingPictureExpertsGroup）的缩写，于1988年成立，是为数字视/音频制定压缩标准的专家组，已拥有300多名成员，包括IBM、SUN、BBC、NEC、INTEL、AT&T等世界知名公司。

MPEG组织最初得到的授权是制定用于“活动图像”编码的各种标准，随后扩充为“及其伴随的音频”及其组合编码。

后来针对不同的应用需求，解除了“用于数字存储媒体”的限制，成为制定“活动图像和音频编码”标准的组织。

MPEG组织制定的各个标准都有不同的目标和应用，已提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准。

视频压缩技术是计算机处理视频的前提。

视频信号数字化后数据带宽很高，通常在20MB/秒以上，因此计算机很难对之进行保存和处理。

采用压缩技术通常数据带宽降到1-10MB/秒，这样就可以将视频信号保存在计算机中并作相应的处理。

常用的算法是由ISO制订的，即JPEG和MPEG算法。

JPEG是静态图像压缩标准，适用于连续色调彩色或灰度图像，它包括两部分：

一是基于DPCM（空间线性预测）技术的无失真编码，一是基于DCT（离散余弦变换）和哈夫曼编码的有失真算法，前者压缩比很小，主要应用的是后一种算法。

在非线性编辑中最常用的是MJPEG算法，即MotionJPEG。

它是将视频信号50帧/秒（PAL制式）变为25帧/秒，然后按照25帧/秒的速度使用JPEG算法对每一帧压缩。

通常压缩倍数在3.5-5倍时可以达到Betacam的图像质量。

MPEG算法是适用于动态视频的压缩算法，它除了对单幅图像进行编码外还利用图像序列中的相关原则，将冗余去掉，这样可以大大提高视频的压缩比。

前MPEG-I用于VCD节目中，MPEG-II用于VOD、DVD节目中。

3.1视频信息压缩的必要性与可行性

必要性：

以较少的数据来表示图像，示例节约储存器空间。

节省传输信道带宽。

加快处理速度。

可行性：

冗余越大，可压缩的程度就越高。

①由于相邻像素之间存在关联而产生大量的空间冗余。

②由于彩色元素间存在相互关联而产生大量频谱冗余。

③由于人类视觉系统特点而引起的大量心理视觉冗余。

3.2视频信息压缩的组成与分类

组成：

①变换器（T）：

把输入的图像数据加上一对一的变换，所形成的图像数据比原始图像数据更利于压缩。

②量化器（Q）：

生成一组有限个符号用来表示压缩的图像。

③编码器（C）：

给量化器的每个符号指定一个码字，即二进制位流。

3.3视频信息压缩的评价指标

衡量一种数据压缩技术的重要性能指标有压缩比、压缩速度、压缩质量和计算量。

（1）压缩比。

（2）压缩速度。

（3）压缩质量：

有无失真。

无失真：

熵编码

有失真，具有一定误差：

保真度

客观保真度

主观保真度

（4）计算量。

香农第一定理（Shannon，信息论之父“thefatherofinformation

theory”），可变长无失真信源编码定理：

无论规定的码字符如何编排，其平均的码字符表达的比特数不可能小于原符号的图像的熵值。

信息源的熵H（S）：

设信息源S的符号集为{S1，S2，…，SN}，Si出现的概率为p（S），则：

H（S）的单位为：

比特数/字符，bit/sign

3.4典型的视频信息压缩编码方法

K-L变换编码

DCT变换编码

子带编码

预测编码

小波变换编码

模型基编码

分形编码

基于对象的视频编码

变换编码的基本思想：

先将空间域图像通过某种正交变换，获得一系列变换系数，在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等，按其所含能量大小，分配以不同的数据量去描述，从而达到压缩的目的。

3.5视频信息压缩编码标准

1、视频压缩标准对比

2、MPEG-1视频压缩标准

3、H.261

4、MPEG-2

5、H.262

6、H.263/H.263+/H.264

7、MPEG-4

第四章视频信息传输网络及协议

4.1.1协议体系结构

（1）OSI/RM7层模型标准

（2）TCP/IP模型

（3）Internet网络

（4）网络标准化

OSI7层模型标准（ISO7498）

4.1.2数据通信理论

①傅立叶分析

任何正常的周期为T的函数g（t）都可以由无限个正弦和余弦函数合成；

注意：

基频（f=1/T）和N次谐波的振幅。

②有限带宽信号

信号非等量衰减——信号畸变；

截断频率——滤波器，高次谐波损失；

波特率、比特率——信号编码（电平级）

采用0、1（二进制码）编码时，波特率=比特率。

③截断频率f（Hz），比特率为b（bps），一个周期发送n比特的数据

最大谐波数=f/（b/n）=nf/b。

数据位数（n）与谐波数

④限制带宽（f）就是限制数据传输速率（b）

波数一定；信号识别精度一定；

n一定；负载一定。

4.1.3网络通信系统

特点

基础通信平台，提供计算机网络的数据传输信道，但又独立于计算机通信；

逐步吸收融合计算机网络的许多思想，越来越复杂。

实际应用：

电话系统

N-ISDN

B-ISDN和ATM

移动电话系统

有线电视系统

通信卫星

无线网络

4.2视频信息传输协议

4.2.2IP协议

具体物理网络有多种实现形式，甚至几种网络技术应用于某个物理网络上，使得网络接口有较大变化。

IP采取的对应措施（前2种为主）

1.采用以太网接口，（物理网转换，提供以太网服务）

2.采用PPP（物理网上叠加PPP）

3.直接使用物理网的服务

4.2.3TCP、UDP协议

目的主机

IP通信的端点，但不是通信的最终端点。

通信的最终端点

应用进程－局限性；

提供服务的SAP－通用性，称为port（端口）

学习心得体会：

通过这门课程的学习，首先让我知道了视频信息应用系统包含了哪些内容，以及它的发展历史和未来趋势，还知道了信息安全与信息垃圾所涉及的信息识别、过滤等技术。

第二，对于视频信息的采集技术，我对它有了一个初步的了解，比如知道了时变图像构成模型，包括透视投影和正交投影，还知道了数字视频格式，和视频采样结构的原理，还有CCD图像传感器与视频采集卡的相关知识。

第三，在该课程的第三章，我学习了有关于信息压缩编码和相关标准，并且知道了视频信息压缩的评价指标，还有关于预测编码的知识。

最后，在最后一章视频信息传输网络及协议涉及到了网络传输协议，包括协议体系结构、数据通信理论、传输介质和网络通信系统，最后还讲了一些IP协议，比如：

IPv4、IPv6，还有TCP、UDP、PTP、RTCP等等协议。

在这门课程的学习中我对视频信息处理及传输有了很深的理解，总之，学习这门课程让我受益颇多。

存在的问题及思考:

整个学习过程中，我觉得第一章还是很好理解的，就是一些基本知识的掌握，但在学习第二章数字视频格式时就感觉自己不是特别理解了，还有第三章DCT变换码的逆变换也感觉好难，因为这些知识没掌握好所以做实验时感觉好吃力，但好在最后有同学的帮助，慢慢也把这些知识给懂透了，所以后面一些实验也容易上手多了。

参考文献

[1].《数字电视原理》卢宫明宗昉编第二版

[2].余兆明，李晓飞，陈春来。

MPEG标准及其应用【M】。

北京：

北京邮电大学出版社，2002

[3].康厚俊：

《CMOS图像传感器与CCD的比较及发展现状》[J]才智期刊：

239—240

[4].樊姗.基于RTP/RTCP的H.264视频实时传输系统设计[J].现代商贸工业.2010（20）

[5].程灏,聂雪.视频实时传输的研究与实现[J].西安文理学院学报（自然科学版）.2005（03）

[6].徐宁.基于RTP的视频流传输协同控制[D].河海大学.2007

[7].《数字视频信息处理与传输教程》机刘富强械工业出版社

WelcomeTo

Download!

!

!

欢迎您的下载，资料仅供参考！