多媒体应用视觉信息处理文档格式.docx

1、 颜色常用颜色空间来表示。颜色空间是用一种数学方法形象化表示颜色，人们用它来指定和产生颜色。 颜色空间中的颜色通常用代表3个参数的3维坐标来描述，其颜色要取决于所使用的坐标。在显示技术和印刷技术中，颜色空间经常被称为颜色模型。颜色空间侧重于颜色的表示，而颜色模型侧重于颜色的生成。 在一个典型的多媒体计算机系统中，常常涉及到用几种不同的颜色空间表示图形和图像的颜色，以对应于不同的场合和应用，各种颜色空间可以方便地进行转换。1RGB颜色空间 计算机颜色显示器显示颜色的原理与彩色电视机一样， 都是采用红（R）、绿（G）、蓝（B）相加混色的原 理，通过发射出3种不同强度的电子束，使屏幕内侧覆 盖的红、

2、绿、蓝荧光材料发光而产生颜色的。这种颜 色的表示方法称为RGB颜色空间表示 。 在RGB颜色空间，任意色光F都可以用R、G、B这3种颜色不同分量的相加混合而成 ，即（3-1）即三基色原理。2HSI颜色空间 HSI（Hue，Saturation and Intensity）模 型中， H表示色调，S表示饱和度， I表示亮 度，它反映了人的视觉系统观察颜色的方式。 通常把色调和饱和度通称为色度，用来表示颜 色的类别与深浅程度。 由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于颜色处理和识别，人的视觉系统经常采用HSI颜色空间，它比RGB颜色空间更符合人的视觉特性。 在图像处理和计算

3、机视觉中大量算法都可在HSI颜色空间中方便地使用，它们可以分开处 理而且是相互独立的。 在HSI颜色空间可以大大简化图像分析和处理的工作量。RGB颜色空间可与HSI空间相互转换，HSI颜色空间与RGB颜色空间的转换关系如下：（3-2）3YUV颜色空间 YUV颜色空间也称为电视信号彩色坐标系统。 在现代彩色电视系统中，通常把得到的彩色图 像信号,经分色分别放大校正得到RGB，再经过 矩阵变换电路得到亮度信号Y和两个色差信号R -Y、B-Y，最后发送端将亮度和色差3个信号分 别进行编码，用同一信道发送出去。这就是常 用的YUV颜色空间。 YUV彩色电视信号传输时，将R、G、B改组成 亮度信号和色度

4、信号。PAL制式将R、G、B3色 信号改组成Y、U、V信号， 其中Y信号表示亮 度，U、V信号是色差信号。 根据美国国家电视制式委员会NTSC制式的标准，当白光的亮度用Y来表示时，它和红、绿、蓝3色光的关系 可用如下式的方程描述：（3-3） 这就是常用的亮度公式。色差U、V是由B-Y、R-Y按不同比例压缩而成的。YUV颜色空间与RGB颜色空间的转 换关系如下：3YIQ颜色空间（3-4） YIQ模型与YUV模型非常类似，是在彩色电视制式中使用的另一种重要的颜色模型，NTSC彩色电视制式中使用。这里的Y表示亮度，I、Q是两个彩色分量。YIQ和RGB的对应关系用下面的方程式表示：（3-5）用YUV和

5、YIQ的好处：（1）. 亮度信号Y解决了彩色电视机与黑白电视的兼容问题。因为亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图就是黑白灰度图。（2）. 大量实验表明，人眼对色差信号不敏感，而对亮度信号特别敏感。（3）. 传输电视信号用亮度信号Y 传送细节，用色差信号进 行大面积涂色。Y 带宽4.43MHz（PAL） （因为敏感）U、V 带宽1.3MHz （因为不敏感）PAL 制式使用YUV 彩色空间NTSC制式使用YIQ彩色空间PAL制 25帧/秒NTSC制 30帧/秒4CMYK颜色空间 计算机屏幕显示通常用RGB颜色空间，它是通过相加来产生其他颜色，这种

6、做法通常称为加色合成法。 彩色印刷或彩色打印的纸张不能发射光线，因而只能 使用一些能够吸收特定光波而反射其它光波的油墨或 颜料。油墨或颜料的3基色是青（Cyan）、品红（ Magenta）和黄（Yellow），简称为CMY。 理论上，任何一种由颜料表现的颜色都可以用这3种基 色按不同的比例混合而成，这种颜色表示方法称CMY 颜色空间表示法。 彩色打印机采用CMY颜色空间，而在印刷工业上则通 常用CMYK表色系统，它通过颜色相减来产生其他颜色 的，称这种方式为减色合成法。 CMY空间正好与RGB空间互补，也即用白色减去RGB空间中的某一颜色值就等于同样颜色在CMY空间中的值。根据这个原理，很容易

7、把RGB空间转换成CMY空间。 由于彩色墨水和颜料的化学特性，用等量的CMY 3基色得到的黑色不是真正的黑色，因此在印刷术中常加一 种真正的黑色，所以CMY又写成CMYK。 实际应用中，一幅图像在计算机中用RGB空间显示；用RGB或HSI空间编辑处理；打印输出时要转换成CMY空间；如果要印刷，则要转换成CMYK四幅印刷分色图，用于套印彩色印刷品。3.2图形处理技术 图形通常由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几何属性组成。 从处理技术上来看，图形主要分为两类，一类是基于线条信息表示的，用于刻画物体形状的点、线、面、体等几何要素，如工程图、等高线地图、曲面的线框图等。另一类是反

8、映物体表面属性或材质的灰度颜色等非几何要素，它侧重于根据给定的物体描述模型、光照及摄像机来生成真实感图形。图 3.1 线框图 图3.2 真实感图形计算机图形处理 计算机图形处理是指利用由概念或数学描述所 表示物体的几何数据或几何模型，用计算机进 行显示、存储、修改、完善以及有关操作的过 程。 计算机图形学的研究内容涉及用计算机对图形 数据进行处理的硬件和软件两个方面的技术， 主要是围绕着计算机图形信息的输入、表达、 存储、显示、变换以及表示物体的图形的准确 性、真实性和实时性的基础算法进行研究。 图形元素的几何变换，即对图形的平移、放大和缩小、旋转、镜像等操作。 自由曲线和曲面的插值、拟合、拼

9、接、分解、过渡、光顺、整体和局部修改等。 三维几何造型技术，包括对基本体素的定义及输入，规则曲面与自由曲面的造型技术，以及它们之间的布尔运算方法的研究。 三维形体的实时显示，包括投影变换、窗口裁剪等。 真实感图形生成技术，包括三维图形的消隐算法，光照模型的建立，阴影层次及彩色浓淡图的生成等。 山、水、花、草、烟云等模糊景物的模拟生成和虚拟现实环境的生成及其控制算法等。 科学计算可视化和三维或高维数据场的可视化，包括将科学计算中大量难以理解的数据通过计算机图形显示出来，从而使人们加深对其科学过程的理解。图形处理技术主要应用领域 计算机辅助设计和制造 计算机教育 计算机艺术 计算机模拟 计算机可视

10、化 计算机动画和虚拟现实3.3.1 图像数字化3.3.2 图像变换3.3.3 图像增强3.3.4 图像压缩编码3.3.5 图像恢复与重建 图像的数字化是指将一幅图像从模拟的形式转化为数字的形式，包括对图像进行采样、量化以及编码等过程。 采样（Sampling）是对图像空间坐标的离散化，它决定了图像的空间分辨率。简单地讲，就是用一个网格把待处理的图像覆盖，然后把每一小格上模拟图像的各个亮度取平均值，作为该小方格中点的值。这个网格称为采样网格。 采样后形成的图像称为数字图像。采样列 像素采样行采样间隔图3.3 图像的采样对一幅图像采样时，若每行（即横向）像素为M个，每列（即纵向）像素为N个，则图像

11、大小为MN个像素，从而f（x,y）构成一个MN实数矩阵,其中每个元素为图像f（x,y）的离散采样值，称之为像元或像素。 把采样后所得的各像素灰度值从模拟量到离散量的转换称为图像灰度的量化。 量化的方法包括：分层量化、均匀量化和非均匀量化。 分层量化是把每一个离散样本的连续灰度值只分成有限多的层次。 均匀量化是把原图像灰度层次从最暗至最亮均匀分为有限个层次，如果采用不均匀分层就称为非均匀量化。（a） 256级灰度图象 （b） 子图 （c） 子图对应的量化数据图3.4图像量化实例2. 图像的基本属性图像质量好坏可通过以下属性度量：（1）分辨率 分辨率包括显示分辨率和图像分辨率 显示分辨率是确定屏幕

12、上显示图像的区域大小。显示分辨率有最大显示分辨率和当前显示分辨率之别。最大显示分辨率是由物理参数，即显示器和显示卡（显示缓存）决定的。当前显示分辨率是由当前设置的参数决定的。（a） 采样点256256 （b）采样点6464 （c） 采样点3232 （d）采样点1616图3.5采样点数与图像质量之间的关系 图像分辨率是组成一幅图像的像素数目。对同样大小的一幅原图，如果数字化时图像分辨率高，则组成该图的像素点数目越多，看起来就越逼真。（2） 图像深度与颜色类型 图像深度是指位图中记录每个像素点所占的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。（a） 量化为2级的Le

13、na图像 （b）量化为16级的Lena图像 （c）量化为256级的Lena图像图3.6 量化级数与图像质量之间的关系 图像的颜色需用三维空间来表示，如RGB颜色空间，而颜色的空间表示法又不是唯一的，所以每个像素点的图像深度的分配还与图像所用的颜色空间有关。 真彩色是指图像中的每个像素值都分成R、G、B 3个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。 伪彩色图像的每个像素值实际上是一个索引 值或代码，该代码值作为颜色查找表（CLUT， Color Look-Up Table）中某一项的入口地址， 根据该地址可查找出包含实际R、G、B的强 度值。这种用查找映射的方法产生

14、的颜色称 为伪彩色。（3） 显示深度 显示深度表示显示缓存中记录屏幕上一个点的位数，也即显示器可以显示的颜色数 。 当显示深度大于图像深度时，屏幕上的颜色能较真实 地反映图像文件的颜色效果. 当显示深度等于图像深度时，如果用真彩色显示模式来显示真彩色图像，或者显示调色板与图像调色板一致时，屏幕上的颜色能较真实地反映图像文件的颜色效果。 当显示深度小于图像深度时，此时显示的颜色会出现失真。（4） 图像数据的容量 在扫描生成一幅图像时，实际上就是按一定的图像分辨率和一定的图像深度对模拟图片或照片进行采样，从而生成一幅数字化的图像。 按照像素点及其深度映射的图像数据大小可用下面的公式来估算：图像数据

15、量图像的总像素图像深度/8（Byte） 各种图像变换方法，如傅立叶变换（FFT） 、离散余弦变 换（DCT）、离散小波变换（DWT） ，将空间域的处理转 换为变换域的处理，不仅可以减少计算量，而且可获得更有效的信息。图像变换还包括传统的几何变换，例如图像的缩放、旋转、平移、投影转换等。 （a） lena原图 （b） 经过FFT变换后的频谱图像 （c） 经IFFT后的图像 图 3.7 原始图像与FFT和IFFT变换后的图像比较 图像增强处理是指根据一定的要求，突出图像中感兴 趣的信息，而减弱或去除不需要的信息，从而使有用 信息得到加强的信息处理方法。（a）原始图像 （b）增强后的图像图 3.8

16、原始图像与增强后的图像 根据增强处理过程所在的空间不同，图像增强技术可 分为基于空间域的增强方法和基于频率域的增强方法 两类。 前者直接在图像所在的二维空间进行处理，即直接对 每一像元的灰度值进行处理；后者则是先将图像从空 间域按照某种变换模型（如傅里叶变换）变换到频率域， 然后在频率域空间对图像进行处理，再将其反变换到 空间域。 图像增强主要方法有直方图增强、空域滤波法、频率域滤波法以及彩色增强法等 数字图像的数据量是非常大的，存贮时会占用大量空间，在数据传输时数码传输率非常高，这对通信信道 及网络都造成很大压力。因此，图像处理的重要内容之一就是图像的压缩编码。图像压缩的主要参数之一是图像压

17、缩比： 显然，压缩比越小，压缩后的图像文件数据量越小，图像质量有可能损失越多。当然，压缩的效果还与压缩前的图像效果及压缩方法有关。（a）退化图像 （b）正则化总体最小二乘法重建图像（c）局部线化D.F.P方法重建图像 （d）自适应正则化总体最小二乘法重建图像图3.9 图像重建实例 图像进行数字化处理后，得到一个二维数组，这个过 程是从图像到数据，而这个数据描述了图像。有了这 个描述图像的数据，就可以进行各种处理。 图像重建理解为上述过程的逆过程 。 图像的重建是一个极其复杂的信号处理过程，是采用某种滤波方法，去除噪声、干扰和模糊等，恢复或重建原来的图像。 由图像的多个一维投影重建该图像，可看成

18、是特殊的图像复原技术。常见的图像重建方法有：投影重建方 法、变换重建方法、级数展开重建方法和综合重建、体素级重建方法和切片级重建方法等。3.4.1 视频信号的获取3.4.2 视频信号的编码3.4.3 视频信号的传输3.4.4 视频信号的运动分析3.4.5 三维视频处理与显示 视频可分为模拟视频和数字视频。1.模拟视频 普通的广播电视信号是模拟视频信号。电视摄像机通过电子扫描将时间、空间函数所描述的景物进行光电转换后，得到单一的时间函数的电信号，其电平的高低对应于景物亮度的大小，即用一个电信号来表征景物。这种电视信号称为模拟电视信号，其特点是信号在时间和幅度上都是连续变化的。 对模拟电视信号进行

19、处理的视频技术（如校正、调制、滤波、录制、编辑、合成等）称为模拟视频技术。 在电视接收机中，通过显示器进行光电 转换，产生为人眼所接受的模拟信号的 光图像。 模拟电视系统通常用光栅扫描方式。光 栅扫描是指在一定的时间间隔内电子束 以从左到右、从上到下的方式扫描感光 表面。若时间间隔为一帧图像的时间， 则获得的是一场图像；在电视系统中， 两场图像为一帧。扫描方式常有逐行扫 描和隔行扫描。2.数字视频 模拟视频信号经过数字化处理后，就变成了 一帧帧由数字图像组成的图像序列，即数字 视频信号，它用二进制数字表示，是计算机 能够处理的数字信号。每帧图像由N行、每 行M个像素组成，即每帧图像共有MN个像

20、素。数字视频的优点：（1）适合于网络应用 在网络环境中，视频信息可以很方便地实现资源的共 享 和可以长距离传输，而模拟信号在传输过程中会有 信号损失 。（2）再现性好 数字视频可以不失真地进行无限次拷贝，抗干扰能力强，模拟信号由于是连续变化的复制容易失真。（3）便于计算机编辑处理 模拟信号只能简单调整亮度、对比度和颤色，而数字 视频信号可以传送到计算机内进行存储、处理，很容 易进行创造性地编辑与合成，并进行动态交互。数字视频的缺陷： 数字视频的缺陷是处理速度慢，所需的数据存储空间大，数字图像的处理成本增高。 通过对数字视频的压缩，这样可以节省大量的存储空间。 光盘技术的应用也使得大量视频信息的

21、存储成为可能。 数字视频的数据量非常大。视频压缩编码无论在通信还是存储中都具有极其重要的意义。 视频编码的目的就是在确保视频质量的前提下，尽可能地减少视频序列的数据量，以便更经济地在给定的信道上传输实时视频信息或者在给定的存储容量中存放更多的视频图像。 视频编码可分为第一代视频编码方法和第二代视频编码方法。 视频信号的传输是多媒体信息传输的核心。视频通信有两种基本的传输模式：单点传输模式和多点传输方式。 单点传输模式需要对等的通信方式，又称为为一对一方式。一般将这种对等（peer-to-peer）通信称为单播。 多点传送是一对多或一对全部的方式，也称为广播方式（broadcast）或组播。 根

22、据服务方式不同，视频流业务可以分为直播和点播。 点播是将编码后的视频流存储起来，编码在离线的状态下进行，而直播则需要编码器实时地对视频信息进行编码。 视频传输通常要求实时，对时延十分敏感。 此外，视频传输涉及传输比特率、吞吐量、延迟等一些重要的网络性能参数。3.4.4 视频信号的运动分析* 运动分析与估计是数字视频处理的基本内容，也是视频处理研究的热点与难点 。 研究内容包括：运动目标检测与分割、二维三维运动参数估计、运动物体的三维结构及空间关系的求解等。 运动分析与估计应用：计算机视觉、目标跟踪、工业监视和视频压缩等场合。 三维视频处理是对三维视频信号进行处理，即在普通二维视频信息的基础上增

23、加深度信息，更逼真地描述现实世界。 三维信息可以通过立体显示器显示。立体显示器能完整地再现出三维场景的三维信息，显示有纵深的图像，使观看者可以直接看出场景中物体的远近，从而获得更加全面和真实的信息。 三维视频已在许多场合有重要的应用，例如，三维医学图像可以给医生提供比二维图像更加精确和有用的细节等。3.5.1动画类型3.5.2动画的生成方法3.5.3 动画制作软件 计算机动画的原理与传统动画基本相同，只是在传统动画的基础上把计算机技术用于动画的处理和应用。 计算机动画是指采用图形与图像的数字处理技术，借助于编程或动画制作软件生成一系列的景物画面。其中，当前帧画面是对前一帧的部分修改。 计算机动

24、画的种类有很多，可以从不同的角度对其分类。 按实现的方式可分为：帧动画和造型动画。 按空间视觉效果可分为：二维动画和三维动画。 按播放方式可分为：顺序动画和交互动画。1、帧动画与造型动画 帧动画由图形或图像序列组成，序列中的每幅静态图像称为一帧。帧动画可以分为逐帧动画和补间动画。q 逐帧动画，每一帧上都有可编辑的对象角色，设计者可以分别进行修改。q 补间动画，设计者只需要在一个表演时间的两端分别给出两个关键帧，表示运动物体的初始和终结状态，动画制作软件就可以通过一定的算法计算生成自然、平滑的中间帧，从而产生细腻的动画效果。 造型动画也称为对象动画，就是利用三维软件创造三维形体。 三种三维形体的

25、造型技术：组合技术、拓展技术、放样技术 。 组合技术：先绘出基本的几何形体，再将它们变成需要的形状，然后通过不同的方法将它们组合在一起 。 拓展技术：先创建二维轮廓，再将其拓展到三维空间 。 放样技术：先创建一系列二维轮廓，用来定义形体的骨架，再将几何表面附于其上，从而建立立体图形。2. 二维动画与三维动画 二维动画只限于平面，缺乏立体感，对光、影、景深、景浅等要求不高，制作也比较简单。 三维动画强调空间概念，配上真实色彩和三维虚拟环境，动画效果会显得相当逼真。 实质上，三维动画是在一个三维虚拟空间创建物体的模型，把模型放在虚拟的三维空间中，配上灯光效果，然后给对象赋予动态效果和各种质感。1.

26、关键帧动画 关键帧是计算机动画中最基本并且运用最广泛的方法。 制作过程并不需要逐帧绘制，只需要选出少数几帧加以绘制。被选出来的画面一般出现在动作变化的转折点处，对这段连续动作起着关键的控制作用，因此称为关键帧。 绘出关键帧后，再根据关键帧插入中间画面，就完成了动画制作。中间帧的生成由计算机来完成。 所有影响画面图像的参数都可成为关键帧的参数，如位置、旋转角、纹理的参数等。n 图3.12 第1帧和第8帧是关键帧，其余各帧（2-7帧）可由插值算法生成n 从原理上讲，关键帧插值可归结为参数插值，传统的插值方法均可应用到关键帧方法中。n 但关键帧插值又有其特殊性。n 好的关键帧插值方法必须能够产生逼真的运动效果，并能给用户提供方便有效的控制手段。n 特定的运动从空间轨迹来看可能是正确的，但从运动学或动画设计来看可能是错误的或者是不合适的。n 用户必须能够控制运动的特性，即通过调整插值函数来改变运动的速度和加速度。2.调色板动画 某些情况下，物体并不运动，只有它的颜色改变。 调色板动画涉及画出物体和处理调色板的颜色，或者只是处理调色板的颜色而不重画物体。 例如，可以用不同的颜色段来画一个轮子，让一 个圆形从屏幕的左边运动到屏幕的右边，圆形开 始向右边运动时的初始颜色为红色，随着它的运 动，有规则地用不同的调色板项重