多媒体应用视觉信息处理.docx
《多媒体应用视觉信息处理.docx》由会员分享，可在线阅读，更多相关《多媒体应用视觉信息处理.docx（22页珍藏版）》请在冰豆网上搜索。
多媒体应用视觉信息处理
第3章视觉信息处理
本章重点:
颜色空间的表示与转换
数字图像处理技术
视频处理技术
动画技术
图象与视频文件的读取与显示
第3章视觉信息处理
3.1概述
3.2图形处理技术
3.3图像技术
3.4视频处理
3.5计算机动画技术
3.6图像与视频文件解析
3.7本章小结
3.1概述
Ø3.1.1颜色的基本概念
Ø3.1.2颜色空间表示与转换
3.1.1颜色的基本概念
Ø颜色是人的视觉系统对可见光的感知结果。
物
体由于构成和内部结构的不同，受光线照射后，一部分光线被吸收，其余的被反射或投射出来。
由于物体的表面具有不同的吸收光线与反射光的能力，反射光不同，眼睛就会看到不同的颜色。
Ø颜色通常使用光的波长来定义，用波长定义的
颜色叫做光谱色。
3.1.1颜色的基本概念
国际照明委员会（CIE）定义了颜色的特性：
色调（hue）、饱和度（saturation）和明度（brightness）。
Ø色调用于区别颜色的种类。
色调是视觉系统对一个
区域所呈现颜色的感觉。
如红、橙、黄、绿、青、蓝、靛、紫等。
Ø饱和度是颜色的纯洁性，用来区别颜色的程度。
当
一种颜色渗入其他光成分愈多时，颜色愈不饱和。
Ø明度是视觉系统对可见物体辐射或者发光多少的感
知属性。
3.1.1颜色的基本概念
Ø亮度是用反映视觉特性的光谱敏感函数加权之
后得到的辐射功率，用单位面积上反射或者发射的光的强度表示。
由于明度很难度量，通常可以用亮度来度量。
3.1.2颜色空间表示与转换
Ø颜色常用颜色空间来表示。
颜色空间是用一种数学方
法形象化表示颜色，人们用它来指定和产生颜色。
Ø颜色空间中的颜色通常用代表3个参数的3维坐标来描
述，其颜色要取决于所使用的坐标。
在显示技术和印刷技术中，颜色空间经常被称为颜色模型。
颜色空间侧重于颜色的表示，而颜色模型侧重于颜色的生成。
Ø在一个典型的多媒体计算机系统中，常常涉及到用几
种不同的颜色空间表示图形和图像的颜色，以对应于不同的场合和应用，各种颜色空间可以方便地进行转
换。
1．RGB颜色空间
Ø计算机颜色显示器显示颜色的原理与彩色电视机一样，都是采用红（R）、绿（G）、蓝（B）相加混色的原理，通过发射出3种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝荧光材料发光而产生颜色的。
这种颜色的表示方法称为RGB颜色空间表示。
Ø在RGB颜色空间，任意色光F都可以用R、G、B这3种
颜色不同分量的相加混合而成，即
（3-1）
即三基色原理。
2．HSI颜色空间
ØHSI（Hue，SaturationandIntensity）模型中，H表示色调，S表示饱和度，I表示亮度，它反映了人的视觉系统观察颜色的方式。
通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。
Ø由于人的视觉对亮度的敏感程度远强于对颜色
浓淡的敏感程度，为了便于颜色处理和识别，人的视觉系统经常采用HSI颜色空间，它比RGB颜色空间更符合人的视觉特性。
2．HSI颜色空间
Ø在图像处理和计算机视觉中大量算法都可在
HSI颜色空间中方便地使用，它们可以分开处理而且是相互独立的。
Ø在HSI颜色空间可以大大简化图像分析和处理
的工作量。
2．HSI颜色空间
ØRGB颜色空间可与HSI空间相互转换，HSI颜色空间与RGB颜色空间的转换关系如下：
（3-2）
3．YUV颜色空间
ØYUV颜色空间也称为电视信号彩色坐标系统。
在现代彩色电视系统中，通常把得到的彩色图像信号,经分色分别放大校正得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y、B-Y，最后发送端将亮度和色差3个信号分别进行编码，用同一信道发送出去。
这就是常用的YUV颜色空间。
ØYUV彩色电视信号传输时，将R、G、B改组成亮度信号和色度信号。
PAL制式将R、G、B3色信号改组成Y、U、V信号，其中Y信号表示亮度，U、V信号是色差信号。
Ø根据美国国家电视制式委员会NTSC制式的标准，当白
光的亮度用Y来表示时，它和红、绿、蓝3色光的关系可用如下式的方程描述：
（3-3）
Ø这就是常用的亮度公式。
色差U、V是由B-Y、R-Y按不
同比例压缩而成的。
YUV颜色空间与RGB颜色空间的转换关系如下：
Ø
3．YIQ颜色空间
（3-4）
ØYIQ模型与YUV模型非常类似，是在彩色电视制式中使
用的另一种重要的颜色模型，NTSC彩色电视制式中使用。
这里的Y表示亮度，I、Q是两个彩色分量。
YIQ和RGB的对应关系用下面的方程式表示：
（3-5）
用YUV和YIQ的好处：
（1）.亮度信号Y解决了彩色电视机与黑白电
视的兼容问题。
因为亮度信号Y和色度信号U、V是分离的。
如果只有Y信号分量而没有U、V分量，那么这样表示的图就是黑白灰度图。
（2）.大量实验表明，人眼对色差信号不敏
感，而对亮度信号特别敏感。
（3）.传输电视信号
用亮度信号Y传送细节，用色差信号进行大面积涂色。
Y带宽4.43MHz（PAL）（因为敏感）
U、V带宽1.3MHz（因为不敏感）
PAL制式使用YUV彩色空间NTSC制式使用YIQ彩色空间
PAL制25帧/秒
NTSC制30帧/秒
4．CMYK颜色空间
Ø计算机屏幕显示通常用RGB颜色空间，它是通过相加
来产生其他颜色，这种做法通常称为加色合成法。
Ø彩色印刷或彩色打印的纸张不能发射光线，因而只能使用一些能够吸收特定光波而反射其它光波的油墨或颜料。
油墨或颜料的3基色是青（Cyan）、品红（Magenta）和黄（Yellow），简称为CMY。
Ø理论上，任何一种由颜料表现的颜色都可以用这3种基色按不同的比例混合而成，这种颜色表示方法称CMY颜色空间表示法。
Ø彩色打印机采用CMY颜色空间，而在印刷工业上则通常用CMYK表色系统，它通过颜色相减来产生其他颜色的，称这种方式为减色合成法。
4．CMYK颜色空间
ØCMY空间正好与RGB空间互补，也即用白色减去RGB空
间中的某一颜色值就等于同样颜色在CMY空间中的值。
根据这个原理，很容易把RGB空间转换成CMY空间。
Ø由于彩色墨水和颜料的化学特性，用等量的CMY3基色
得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色，所以CMY又写成CMYK。
Ø实际应用中，一幅图像在计算机中用RGB空间显示；
用RGB或HSI空间编辑处理；打印输出时要转换成CMY空间；如果要印刷，则要转换成CMYK四幅印刷分色图，用于套印彩色印刷品。
3.2图形处理技术
Ø图形通常由点、线、面、体等几何元素和灰度、
色彩、线型、线宽等非几何属性组成。
Ø从处理技术上来看，图形主要分为两类，一类
是基于线条信息表示的，用于刻画物体形状的点、线、面、体等几何要素，如工程图、等高线地图、曲面的线框图等。
另一类是反映物体表面属性或材质的灰度颜色等非几何要素，它侧重于根据给定的物体描述模型、光照及摄像机来生成真实感图形。
3.2图形处理技术
图3.1线框图图3.2真实感图形
计算机图形处理
Ø计算机图形处理是指利用由概念或数学描述所表示物体的几何数据或几何模型，用计算机进行显示、存储、修改、完善以及有关操作的过程。
Ø计算机图形学的研究内容涉及用计算机对图形数据进行处理的硬件和软件两个方面的技术，主要是围绕着计算机图形信息的输入、表达、存储、显示、变换以及表示物体的图形的准确性、真实性和实时性的基础算法进行研究。
3.2图形处理技术
Ø图形元素的几何变换，即对图形的平移、放大
和缩小、旋转、镜像等操作。
Ø自由曲线和曲面的插值、拟合、拼接、分解、
过渡、光顺、整体和局部修改等。
Ø三维几何造型技术，包括对基本体素的定义及
输入，规则曲面与自由曲面的造型技术，以及它们之间的布尔运算方法的研究。
Ø三维形体的实时显示，包括投影变换、窗口裁
剪等。
3.2图形处理技术
Ø真实感图形生成技术，包括三维图形的消隐算
法，光照模型的建立，阴影层次及彩色浓淡图的生成等。
Ø山、水、花、草、烟云等模糊景物的模拟生成
和虚拟现实环境的生成及其控制算法等。
Ø科学计算可视化和三维或高维数据场的可视化，
包括将科学计算中大量难以理解的数据通过计算机图形显示出来，从而使人们加深对其科学过程的理解。
图形处理技术主要应用领域
Ø计算机辅助设计和制造
Ø计算机教育
Ø计算机艺术
Ø计算机模拟
Ø计算机可视化
Ø计算机动画和虚拟现实
3.3图像技术
3.3.1图像数字化
3.3.2图像变换
3.3.3图像增强
3.3.4图像压缩编码
3.3.5图像恢复与重建
3.3.1图像数字化
Ø图像的数字化是指将一幅图像从模拟的形式转
化为数字的形式，包括对图像进行采样、量化以及编码等过程。
Ø采样（Sampling）是对图像空间坐标的离散化，
它决定了图像的空间分辨率。
简单地讲，就是用一个网格把待处理的图像覆盖，然后把每一小格上模拟图像的各个亮度取平均值，作为该小方格中点的值。
这个网格称为采样网格。
Ø采样后形成的图像称为数字图像。
3.3.1图像数字化
采样列像素
采样行
采样间隔
图3.3图像的采样
3.3.1图像数字化
对一幅图像采样时，若每行（即横向）像素为M个，每列（即纵向）像素为N个，则图像大小为M×N个像素，从而f（x,y）构成一个M×N实数矩阵,其中每个元素为图像f（x,y）的离散采样值，称之为像元或像素。
3.3.1图像数字化
Ø把采样后所得的各像素灰度值从模拟量到离散
量的转换称为图像灰度的量化。
Ø量化的方法包括：
分层量化、均匀量化和非均
匀量化。
Ø分层量化是把每一个离散样本的连续灰度值只
分成有限多的层次。
Ø均匀量化是把原图像灰度层次从最暗至最亮均
匀分为有限个层次，如果采用不均匀分层就称为非均匀量化。
3.3.1图像数字化
（a）256级灰度图象（b）子图（c）子图对应的量化数据
图3.4图像量化实例
3.3.1图像数字化
2.图像的基本属性
图像质量好坏可通过以下属性度量：
（1）分辨率
Ø分辨率包括显示分辨率和图像分辨率
Ø显示分辨率是确定屏幕上显示图像的区域大小。
显
示分辨率有最大显示分辨率和当前显示分辨率之别。
最大显示分辨率是由物理参数，即显示器和显示卡（显示缓存）决定的。
当前显示分辨率是由当前设置的参数决定的。
3.3.1图像数字化
（a）采样点256×256（b）采样点64×64（c）采样点32×32（d）采样点16×16
图3.5采样点数与图像质量之间的关系
Ø图像分辨率是组成一幅图像的像素数目。
对同样大
小的一幅原图，如果数字化时图像分辨率高，则组
成该图的像素点数目越多，看起来就越逼真。
3.3.1图像数字化
（2）图像深度与颜色类型
Ø图像深度是指位图中记录每个像素点所占的位
数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。
（a）量化为2级的Lena图像（b）量化为16级的Lena图像（c）量化为256级的Lena图像
图3.6量化级数与图像质量之间的关系
3.3.1图像数字化
Ø图像的颜色需用三维空间来表示，如RGB颜色
空间，而颜色的空间表示法又不是唯一的，所以每个像素点的图像深度的分配还与图像所用的颜色空间有关。
Ø真彩色是指图像中的每个像素值都分成R、G、
B3个基色分量，每个基色分量直接决定其基
色的强度，这样产生的颜色称为真彩色。
3.3.1图像数字化
Ø伪彩色图像的每个像素值实际上是一个索引值或代码，该代码值作为颜色查找表（CLUT，ColorLook-UpTable）中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值。
这种用查找映射的方法产生的颜色称为伪彩色。
3.3.1图像数字化
（3）显示深度
Ø显示深度表示显示缓存中记录屏幕上一个点的位数，
也即显示器可以显示的颜色数。
Ø当显示深度大于图像深度时，屏幕上的颜色能较真实地反映图像文件的颜色效果.
Ø当显示深度等于图像深度时，如果用真彩色显示模式
来显示真彩色图像，或者显示调色板与图像调色板一致时，屏幕上的颜色能较真实地反映图像文件的颜色效果。
Ø当显示深度小于图像深度时，此时显示的颜色会出现
失真。
3.3.1图像数字化
（4）图像数据的容量
Ø在扫描生成一幅图像时，实际上就是按一定的图像分
辨率和一定的图像深度对模拟图片或照片进行采样，从而生成一幅数字化的图像。
Ø按照像素点及其深度映射的图像数据大小可用下面的
公式来估算：
图像数据量＝图像的总像素×图像深度/8（Byte）
3.3.2图像变换
Ø各种图像变换方法，如傅立叶变换（FFT）、离散余弦变换（DCT）、离散小波变换（DWT），将空间域的处理转换为变换域的处理，不仅可以减少计算量，而且可获
得更有效的信息。
图像变换还包括传统的几何变换，例如图像的缩放、旋转、平移、投影转换等。
Ø（a）lena原图（b）经过FFT变换后的频谱图像（c）经IFFT后的图像
Ø图3.7原始图像与FFT和IFFT变换后的图像比较
3.3.3图像增强
Ø图像增强处理是指根据一定的要求，突出图像中感兴趣的信息，而减弱或去除不需要的信息，从而使有用信息得到加强的信息处理方法。
（a）原始图像（b）增强后的图像
图3.8原始图像与增强后的图像
3.3.3图像增强
Ø根据增强处理过程所在的空间不同，图像增强技术可分为基于空间域的增强方法和基于频率域的增强方法两类。
Ø前者直接在图像所在的二维空间进行处理，即直接对每一像元的灰度值进行处理；后者则是先将图像从空间域按照某种变换模型（如傅里叶变换）变换到频率域，然后在频率域空间对图像进行处理，再将其反变换到空间域。
Ø图像增强主要方法有直方图增强、空域滤波法、频率
域滤波法以及彩色增强法等
3.3.4图像压缩编码
Ø数字图像的数据量是非常大的，存贮时会占用大量空
间，在数据传输时数码传输率非常高，这对通信信道及网络都造成很大压力。
因此，图像处理的重要内容之一就是图像的压缩编码。
图像压缩的主要参数之一是图像压缩比：
Ø显然，压缩比越小，压缩后的图像文件数据量越小，
图像质量有可能损失越多。
当然，压缩的效果还与压缩前的图像效果及压缩方法有关。
3.3.5图像恢复与重建
（a）退化图像（b）正则化总体最小二乘法重建图像
（c）局部线化D.F.P方法重建图像（d）自适应正则化总体最小二乘法重建图像
图3.9图像重建实例
3.3.5图像恢复与重建
Ø图像进行数字化处理后，得到一个二维数组，这个过程是从图像到数据，而这个数据描述了图像。
有了这个描述图像的数据，就可以进行各种处理。
Ø图像重建理解为上述过程的逆过程。
Ø图像的重建是一个极其复杂的信号处理过程，是采用
某种滤波方法，去除噪声、干扰和模糊等，恢复或重建原来的图像。
Ø由图像的多个一维投影重建该图像，可看成是特殊的
图像复原技术。
常见的图像重建方法有：
投影重建方法、变换重建方法、级数展开重建方法和综合重建、体素级重建方法和切片级重建方法等。
3.4视频处理
3.4.1视频信号的获取
3.4.2视频信号的编码
3.4.3视频信号的传输
3.4.4视频信号的运动分析
3.4.5三维视频处理与显示
3.4.1视频信号的获取
Ø视频可分为模拟视频和数字视频。
1.模拟视频
Ø普通的广播电视信号是模拟视频信号。
电视摄像机通
过电子扫描将时间、空间函数所描述的景物进行光电转换后，得到单一的时间函数的电信号，其电平的高低对应于景物亮度的大小，即用一个电信号来表征景物。
这种电视信号称为模拟电视信号，其特点是信号在时间和幅度上都是连续变化的。
Ø对模拟电视信号进行处理的视频技术（如校正、调制、
滤波、录制、编辑、合成等）称为模拟视频技术。
3.4.1视频信号的获取
Ø在电视接收机中，通过显示器进行光电转换，产生为人眼所接受的模拟信号的光图像。
Ø模拟电视系统通常用光栅扫描方式。
光栅扫描是指在一定的时间间隔内电子束以从左到右、从上到下的方式扫描感光表面。
若时间间隔为一帧图像的时间，则获得的是一场图像；在电视系统中，两场图像为一帧。
扫描方式常有逐行扫描和隔行扫描。
2.数字视频
Ø模拟视频信号经过数字化处理后，就变成了一帧帧由数字图像组成的图像序列，即数字视频信号，它用二进制数字表示，是计算机能够处理的数字信号。
每帧图像由N行、每行M个像素组成，即每帧图像共有M×N个像素。
数字视频的优点：
（1）适合于网络应用
Ø在网络环境中，视频信息可以很方便地实现资源的共享和可以长距离传输，而模拟信号在传输过程中会有信号损失。
（2）再现性好
Ø数字视频可以不失真地进行无限次拷贝，抗干扰能力
强，模拟信号由于是连续变化的复制容易失真。
（3）便于计算机编辑处理
Ø模拟信号只能简单调整亮度、对比度和颤色，而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。
数字视频的缺陷：
Ø数字视频的缺陷是处理速度慢，所需的数据存储空间
大，数字图像的处理成本增高。
Ø通过对数字视频的压缩，这样可以节省大量的存储空间。
Ø光盘技术的应用也使得大量视频信息的存储成为可能。
3.4.2视频信号的编码
Ø数字视频的数据量非常大。
视频压缩编码无论
在通信还是存储中都具有极其重要的意义。
Ø视频编码的目的就是在确保视频质量的前提下，
尽可能地减少视频序列的数据量，以便更经济地在给定的信道上传输实时视频信息或者在给定的存储容量中存放更多的视频图像。
Ø视频编码可分为第一代视频编码方法和第二代
视频编码方法。
3.4.3视频信号的传输
Ø视频信号的传输是多媒体信息传输的核心。
视频通信
有两种基本的传输模式：
单点传输模式和多点传输方式。
Ø单点传输模式需要对等的通信方式，又称为为一对一
方式。
一般将这种对等（peer-to-peer）通信称为单播。
Ø多点传送是一对多或一对全部的方式，也称为广播方
式（broadcast）或组播。
Ø根据服务方式不同，视频流业务可以分为直播和点播。
3.4.3视频信号的传输
Ø点播是将编码后的视频流存储起来，编码在离
线的状态下进行，而直播则需要编码器实时地对视频信息进行编码。
Ø视频传输通常要求实时，对时延十分敏感。
Ø此外，视频传输涉及传输比特率、吞吐量、延
迟等一些重要的网络性能参数。
3.4.4视频信号的运动分析*
Ø运动分析与估计是数字视频处理的基本内容，
也是视频处理研究的热点与难点。
Ø研究内容包括：
运动目标检测与分割、二维三
维运动参数估计、运动物体的三维结构及空间关系的求解等。
Ø运动分析与估计应用：
计算机视觉、目标跟踪、
工业监视和视频压缩等场合。
3.4.5三维视频处理与显示
Ø三维视频处理是对三维视频信号进行处理，即
在普通二维视频信息的基础上增加深度信息，更逼真地描述现实世界。
Ø三维信息可以通过立体显示器显示。
立体显示
器能完整地再现出三维场景的三维信息，显示有纵深的图像，使观看者可以直接看出场景中物体的远近，从而获得更加全面和真实的信息。
Ø三维视频已在许多场合有重要的应用，例如，
三维医学图像可以给医生提供比二维图像更加精确和有用的细节等。
3.5计算机动画技术
3.5.1动画类型
3.5.2动画的生成方法
3.5.3动画制作软件
3.5.1动画类型
Ø计算机动画的原理与传统动画基本相同，只是
在传统动画的基础上把计算机技术用于动画的处理和应用。
Ø计算机动画是指采用图形与图像的数字处理技
术，借助于编程或动画制作软件生成一系列的景物画面。
其中，当前帧画面是对前一帧的部分修改。
3.5.1动画类型
计算机动画的种类有很多，可以从不同的角度对其分类。
Ø按实现的方式可分为：
帧动画和造型动画。
Ø按空间视觉效果可分为：
二维动画和三维动画。
Ø按播放方式可分为：
顺序动画和交互动画。
1、帧动画与造型动画
Ø帧动画由图形或图像序列组成，序列中的每
幅静态图像称为一帧。
帧动画可以分为逐帧动画和补间动画。
q逐帧动画，每一帧上都有可编辑的对象角色，
设计者可以分别进行修改。
q补间动画，设计者只需要在一个表演时间的
两端分别给出两个关键帧，表示运动物体的初始和终结状态，动画制作软件就可以通过一定的算法计算生成自然、平滑的中间帧，从而产生细腻的动画效果。
3.5.1动画类型
Ø造型动画也称为对象动画，就是利用三维软件创造三维
形体。
Ø三种三维形体的造型技术：
组合技术、拓展技术、放样
技术。
Ø组合技术：
先绘出基本的几何形体，再将它们变成需要
的形状，然后通过不同的方法将它们组合在一起。
Ø拓展技术：
先创建二维轮廓，再将其拓展到三维空间。
Ø放样技术：
先创建一系列二维轮廓，用来定义形体的骨
架，再将几何表面附于其上，从而建立立体图形。
2.二维动画与三维动画
Ø二维动画只限于平面，缺乏立体感，对光、影、
景深、景浅等要求不高，制作也比较简单。
Ø三维动画强调空间概念，配上真实色彩和三维虚
拟环境，动画效果会显得相当逼真。
Ø实质上，三维动画是在一个三维虚拟空间创建物
体的模型，把模型放在虚拟的三维空间中，配上灯光效果，然后给对象赋予动态效果和各种质感。
3.5.2动画的生成方法
1.关键帧动画
Ø关键帧是计算机动画中最基本并且运用最广泛的方法。
Ø制作过程并不需要逐帧绘制，只需要选出少数几帧加
以绘制。
被选出来的画面一般出现在动作变化的转折点处，对这段连续动作起着关键的控制作用，因此称为关键帧。
Ø绘出关键帧后，再根据关键帧插入中间画面，就完成
了动画制作。
中间帧的生成由计算机来完成。
Ø所有影响画面图像的参数都可成为关键帧的参数，如
位置、旋转角、纹理的参数等。
1.关键帧动画
n图3.12第1帧和第8帧是关键帧，其余各帧（2-7帧）可由插值算法生成
1.关键帧动画
n从原理上讲，关键帧插值可归结为参数插值，
传统的插值方法均可应用到关键帧方法中。
n但关键帧插值又有其特殊性。
n好的关键帧插值方法必须能够产生逼真的运动
效果，并能给用户提供方便有效的控制手段。
n特定的运动从空间轨迹来看可能是正确的，但
从运动学或动画设计来看可能是错误的或者是不合适的。
n用户必须能够控制运动的特性，即通过调整插
值函数来改变运动的速度和加速度。
2.调色板动画
Ø某些情况下，物体并不运动，只有它的颜色改变。
Ø调色板动画涉及画出物体和处理调色板的颜色，
或者只是处理调色板的颜色而不重画物体。
Ø例如，可以用不同的颜色段来画一个轮子，让一个圆形从屏幕的左边运动到屏幕的右边，圆形开始向右边运动时的初始颜色为红色，随着它的运动，有规则地用不同的调色板项重
升级会员 