1初识数字图像处理与识别.docx

1、1初识数字图像处理与识别第1章 初识数字图像处理与识别图像是指能在人的视觉系统中产生视觉印象的客观对象，包括自然景物、拍摄到的图片、用数学方法描述的图形等等。图像的要素有几何要素（刻画对象的轮廓、形状等）和非几何要素（刻画对象的颜色、材质等）。本章中，我们主要讲解数字图像和数字图像处理的实质内容和一般步骤，以及一些后面会经常使用到的基本概念。1.1 数字图像自然界中的图像都是模拟量，在计算机普遍应用之前，电视、电影、照相机等图像记录与传输设备都是使用模拟信号对图像进行处理。但是，计算机只能处理数字量，而不能直接处理模拟图像。所以我们要在使用计算机处理图像之前进行图像数字化。1.1.1 什么是数

2、字图像简单地说，数字图像就是能够在计算机上显示和处理的图像，可根据其特性分为两大类 位图和矢量图。位图通常使用数字阵列来表示，常见格式有BMP、JPG、GIF等；矢量图由矢量数据库表示，我们接触最多的就是PNG图形。提示：本书只涉及数字图像中位图图像的处理与识别，如无特别说明，后文提到的“图像”和“数字图像”都仅仅是指位图图像。一般而言，使用数字摄像机或数字照相机得到的图像都是位图图像。我们可以将一幅图像视为一个二维函数f(x, y)，其中x和y是空间坐标，而在x y平面中的任意一对空间坐标(x, y)上的幅值f称为该点图像的灰度、亮度或强度。此时，如果f、x、y均为非负有限离散，则称该图像为

3、数字图像（位图）。一个大小为MN数字图像是由M行N列的有限元素组成的，每个元素都有特定的位置和幅值，代表了其所在行列位置上的图像物理信息，如灰度和色彩等。这些元素称为图像元素或像素。1.1.2 数字图像的显示不论是CRT显示器还是LCD显示器，都是由许多点构成的，显示图像时这些点对应着图像的像素，称显示器为位映像设备。所谓位映像，就是一个二维的像素矩阵，而位图也就是采用位映像方法显示和存储的图像。当一幅数字图像被放大后就可以明显地看出图像是由很多方格形状的像素构成的，如图1.1所示。图1.1 位图图像示例1.1.3 数字图像的分类根据每个像素所代表信息的不同，可将图像分为二值图像、灰度图像、R

4、GB图像以及索引图像等。1. 二值图像每个像素只有黑、白两种颜色的图像称为二值图像。在二值图像中，像素只有0和1两种取值，一般用0来表示黑色，用1表示白色。2. 灰度图像在二值图像中进一步加入许多介于黑色与白色之间的颜色深度，就构成了灰度图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，每种灰度（颜色深度）称为一个灰度级，通常用L表示。在灰度图像中，像素可以取0L-1之间的整数值，根据保存灰度数值所使用的数据类型不同，可能有256种取值或者说2k种取值，当k=1时即退化为二值图像。3. RGB图像众所周知，自然界中几乎所有颜色都可以由红（Red, R）、绿（Green, G）、蓝（Blue

5、, B）3种颜色组合而成，通常称他们为RGB三原色。计算机显示彩色图像时采用最多的就是RGB模型，对于每个像素，通过控制R、G、B三原色的合成比例决定该像素的最终显示颜色。对于三原色RGB中的每一种颜色，可以像灰度图那样使用L个等级来表示含有这种颜色成份的多少。例如对于含有256个等级的红色，0表示不含红色成份，255表示含有100%的红色成份。同样，绿色和蓝色也可以划分为256个等级。这样每种原色可以用8位二进制数据表示，于是3原色总共需要24位二进制数，这样能够表示出的颜色种类数目为256256256=224，大约有1600万种，已经远远超过普通人所能分辨出的颜色数目。RGB颜色代码可以使

6、用十六进制数减少书写长度，按照两位一组的方式依次书写R、G、B三种颜色的级别。例如：0xFF0000代表纯红色，0x00FF00代表纯绿色，而0x00FFFF是青色（这是绿色和蓝色的加和）。当RGB三种颜色的浓度一致时，所表示的颜色就退化为灰度，比如0 x808080就是50%的灰色，0x000000为黑色，而0xFFFFFF为白色。常见颜色的RGB组合值如表1.1所示。表1.1 常见颜色的RGB组合值颜色RGB红(0xFF0000)25500蓝(0x00FF00)02550绿(0x0000FF)00255黄(0xFFFF00)2552550紫(0xFF00FF)2550255青(0x00FF

7、FF)0255255白(0xFFFFFF)255255255黑(0x000000)000灰(0x808080)128128128未经压缩的原始BMP文件就是使用RGB标准给出的3个数值来存储图像数据的，称为RGB图像。在RGB图像中每个像素都是用24位二进制数表示，故也称为24位真彩色图像。4. 索引图像如果对每个像素都直接使用24位二进制数表示，图像文件的体积将变得十分庞大。来看一个例子，对一个长、宽各为200像素，颜色数为16的彩色图像，每个像素都用RGB三个分量表示。这样每个像素由3个字节表示，整个图像就是2002003=120k字节。这种完全未经压缩的表示方式，浪费了大量的存储空间，下

8、面简单介绍另一种更节省空间的存储方式：索引图像。同样还是对200200像素的16色图像，由于这张图片中最多只有16种颜色，那么可以用一张颜色表（163的二维数组）保存这16种颜色对应的RGB值，在表示图像的矩阵中使用那16种颜色在颜色表中的索引（偏移量）作为数据写入相应的行列位置。例如，颜色表中第3个元素为0xAA1111，那么在图像中所有颜色为0xAA1111的像素均可以由3-1=2表示（颜色表索引下标从0开始）。这样一来，每一个像素所需要使用的二进制数就仅仅为4位（0.5字节），从而整个图像只需要2002000.5=20k字节就可以存储，而不会影响显示质量。上文所指的颜色表就是常说的调色板

9、（Palette），另一种说法叫做颜色查找表（LUT：Look Up Table）。Windows位图中应用到了调色板技术。其实不仅是Windows位图，许多其他的图像文件格式比如PCX，TIF，GIF都应用了这种技术。在实际应用中，调色板中通常只有少于256种颜色。在使用许多图像编辑工具生成或者编辑GIF文件的时候，常常会提示用户选择文件包含的颜色数目。当选择较低的颜色数目时，将会有效地降低图像文件的体积，但也会一定程度上降低图像的质量。使用调色板技术可以减小图像文件体积的条件是图像的像素数目相对较多，而颜色种类相对较少。如果一个图像中用到了全部的24位真彩色，对其使用颜色查找表技术是完全没

10、有意义的，单纯从颜色角度对其进行压缩是不可能的。1.1.4 数字图像的实质实际上，1.1.1小节中对于数字图像f(x, y)的定义仅适用于最为一般的情况，即静态的灰度图像。更严格地说，数字图像可以是2个变量（对于静止图像，static image）或3个变量（对于动态画面，video sequence）的离散函数。在静态图像的情况下是的f (x, y)，而如果是动态画面，则还需要时间参数t，即f (x, y, t)；函数值可能是一个数值（对于灰度图像），也可能是一个向量（对于彩色图像）。提示：静态的灰度图像是本书研究的主要对象，对于函数值为向量的情况会在第9章彩色图像处理中阐述。图像处理是一个

11、涉及诸多研究领域的交叉学科，下面就让我们从不同的角度来审视数字图像：从线性代数和矩阵论的角度，数字图像就是一个由图像信息组成的二维矩阵，矩阵的每个元素代表对应位置上的图像亮度和/或色彩信息。当然，这个二维矩阵在数据表示和存储上可能不是二维的，这是因为每个单位位置的图像信息可能需要不只一个数值来表示，这样可能需要一个三维矩阵来对其进行表示（参见2.2节关于Matlab中RGB图像表示的介绍）。由于随机变化和噪声的原因，图像在本质上是统计性的。因而有时将图像函数作为随机过程的实现来观察存在其优越性。这时有关图像信息量和冗余的问题可以用概率分布和相关函数来描述和考虑。例如，如果知道概率分布，可以用熵

12、（Entropy）H来度量图像的信息量，这是信息论中一个重要的思想。从线性系统的角度考虑，图像及其处理也可以表示为用狄拉克冲激公式表达的点展开函数的叠加，在使用这种方式对图像进行表示时，可以采用成熟的线性系统理论研究。在大多数时候，我们都考虑使用线性系统近似的方式对图像进行近似处理以简化算法。虽然实际的图像并不是线性的，图像坐标和图像函数的取值都是有限的和非连续的。1.1.5 数字图像的表示为了表述像素之间的相对和绝对位置，我们通常还需要对像素的位置进行坐标约定。本书中所使用的坐标约定如图1.4所示。但在MATLAB中坐标的约定会有变化，具体请参见2.1.5小节。原点 0 .1 2 .3 N-

13、1 x123.N-1yf(x, y)像素点图1.4 数字图像的坐标约定在这之后，一幅物理图像就被转化成了数字矩阵，从而成为计算机能够处理的对象了。数字图像f的矩阵的表示如下所示： (1- 1)有时也可以使用传统矩阵表示法来表示数字图像和像素： (1- 2)其中行列（M行N列）必须为正整数，而离散灰度级数目L一般为2的k次幂，k为整数（因为使用二进制整数值表示灰度值），图像的动态范围为0, L-1，那么图像存储所需的比特数为b = MNk。注意到在矩阵f（y, x）中，一般习惯于先行下标，后列下标的表示方法，因此这里先是纵坐标y（对应行），然后才是横坐标x（对应列）。而有些图像矩阵中，很多像素的

14、值都是相同的。例如一个纯黑背景上使用不同灰度勾勒的图像，大多数像素的值都会是0。这种矩阵称为稀疏矩阵（Sparse Matrix），可以通过简单描述非零元素的值和位置来代替大量地写入0元素。这时存储图像需要的比特数可能大大少。1.1.6 图像的空间和灰度级分辨率1. 图像的空间分辨率（Spatial Resolution）图像的空间分辨率是指图像中每单位长度所包含的像素或点的数目，常以像素/英寸（pixels per inch, ppi）为单位来表示。如72ppi表示图像中每英寸包含72个像素或点。分辨率越高，图像将越清晰，图像文件所需的磁盘空间也越大，编辑和处理所需的时间也越长。像素越小，单

15、位长度所包含的像素数据就越多，分辨率也就越高，但同样物理大小范围内所对应图像的尺寸也会越大，存储图像所需要的字节数也越多。因而，在图像的放大缩小算法中，放大就是对图像的过采样，缩小是对图像的欠采样，这些会在4.5节图像缩放中进一步介绍。一般在没有必要对涉及像素的物理分辨率进行实际度量时，通常会称一幅大小为MN的数字图像的空间分辨率为MN像素。图1.5给出了同一幅图像在不同的空间分辨率下呈现出的不同效果。当高分辨率下的图像以低分辨率表示时，在同等的显示或者打印输出条件下，图像的尺寸变小，细节变得不明显；而当将低分辨率下的图像放大时，则会导致图像的细节仍然模糊，只是尺寸变大。这是因为缩小的图像已经

16、丢失了大量的信息，在放大图像时只能通过复制行列的插值方法来确定新增像素的取值。图1.5 图像的空间分辨率。一幅分辨率为256256的图像逐次减少至88的分辨率2. 图像的灰度级/辐射计量分辨率（Radiometric Resolution）在数字图像处理中，灰度级分辨率又叫色阶，是指图像中可分辨的灰度级数目，即前文提到的灰度级数目L，它与存储灰度级别所使用的数据类型有关。由于灰度级度量的是投射到传感器上光辐射值的强度，所以灰度级分辨率也叫辐射计量分辨率。随着图像的灰度级分辨率逐渐降低，图像中包含的颜色数目变少，从而在颜色的角度造成图像信息受损，同样使图像细节表达受到了一定影响。如图1.6所示。

17、图1.6 图像的灰度级分辨率。分别具有256、32、16、8、4和2个灰度级的一幅图像1.2 数字图像处理与识别1.2.1 从图像处理到图像识别图像处理、图像分析和图像识别是认知科学与计算机科学中的一个令人兴奋的活跃分支。从1970年这个领域经历了人们对其兴趣的爆炸性增长以来，到上世纪末逐渐步入成熟。其中遥感、技术诊断、智能车自主导航、医学平面和立体成像以及自动监视领域是发展最快的一些方向。这种进展最集中地体现在市场上多种应用这类技术的产品的纷纷涌现。事实上，从数字图像处理到数字图像分析，再发展到最前沿的图像识别技术，其核心都是对数字图像中所含有的信息的提取及与其相关的各种辅助过程。1. 数字

18、图像处理数字图像处理（Digital Image Processing）就是指使用电子计算机对量化的数字图像进行处理，具体地说就是通过对图像进行各种加工来改善图像的外观，是对图像的修改和增强。图像处理的输入是从传感器或其它来源获取的原始的数字图像，输出是经过处理后的输出图像。处理的目的可能是使输出图像具有更好的效果，以便于人的观察；也可能是为图像分析和识别做准备，此时的图像处理是作为一种预处理步骤，输出图像将进一步供其它图像分析、识别算法使用。2. 数字图像分析数字图像分析（Digital Image Analyzing）是指对图像中感兴趣的目标进行检测和测量，以获得客观的信息。数字图像分析通

19、常是指将一幅图像转化为另一种非图像的抽象形式，例如图像中某物体与测量者的距离，目标对象的计数或其尺寸等。这一概念的外延包括边缘检测和图像分割、特征提取以及几何测量与计数等。图像分析的输入是经过处理的数字图像，其输出通常不再是数字图像，而是一系列与目标相关的图像特征（目标的描述），如目标的长度、颜色、曲率和个数等等；3. 数字图像识别数字图像识别（Digital Image Recognition）主要是研究图像中各目标的性质和相互关系，识别出目标对象的类别，从而理解图像的含义。这往往囊括了使用数字图像处理技术的很多应用项目，例如光学字符识别（OCR）、产品质量检验、人脸识别、自动驾驶、医学图像

20、和地貌图像的自动判读理解等。图像识别是图像分析的延伸，它根据从图像分析中得到的相关描述（特征）对目标进行归类，输出我们感兴趣的目标类别标号信息（符号）。总而言之，从图像处理到图像分析再到图像识别这个过程，是一个将所含信息抽象化，尝试降低信息熵，提炼有效数据的过程，如图1.7所示。图像识别图像分析图像处理符号目标像素抽象性数据量小大大小图1.7 数字图像处理、分析和识别的关系从信息论的角度上说，图像应当是物体所含信息的一个概括，而数字图像处理侧重于将这些概括的信息进行变换，例如升高或降低熵值，数字图像分析则是将这些信息抽取出来以供其它过程调用。当然，在不太严格时，数字图像处理也可以兼指图像处理和

21、分析。您或许也听过另一个概念，计算机图形学（Computer Graphics）。此概念与数字图像分析大致相反，它是一个对由概念或数学表述的物体图像进行处理和显示的过程。1.2.2 数字图像处理与识别的应用实例如今，数字图像处理与机器视觉的应用越来越广泛，已经渗透到国家安全、航空航天、工业控制、医疗保健等各个领域乃至我们的日常生活和娱乐当中，在国民经济中发挥着举足轻重的作用。一些典型的应用有如表1.2所示。表1.2 图象处理与识别的典型应用相关领域典型应用安全监控指纹验证，基于人脸识别的门禁系统工业控制产品无损检测，商品自动分类医疗保健X光照片增强，CT，核磁共振，病灶自动检测生活娱乐基于表情

22、识别的笑脸自动检测，汽车自动驾驶，手写字符识别下面结合2个典型的应用来说明：1. 图象处理的典型案例X光照片的增强图1.8中的两幅图片，（a）是一幅直接拍摄未经处理的X光照片，对比度较低，图像细节难以辨识；（b）中呈现了（a）经过简单的增强处理后的效果，图像较为清晰，可以有效地指导诊断和治疗。从中读者应该可以看出图像处理技术在辅助医学成像上的重要作用。 (a) (b)图1.8 图像处理前后的效果对比。(a)未经处理的X光照片 (b)经过图像增强的X光照片2.图像识别的典型案例人脸识别人脸识别技术就是以计算机为辅助手段，从静态图像或动态图像中识别人脸。问题一般可以描述为：给定一个场景的静态或视频

23、图像，利用已经存储的人脸数据库确认场景中的一个或多个人。一般来说，人脸识别研究一般分为3个部分：从具有复杂背景的场景中检测并分离出人脸所在的区域；抽取人脸识别特征；然后进行匹配和识别。虽然人类从复杂背景中识别出人脸及表情相当容易，但人脸的自动机器识别却是一个极具挑战性的课题。它跨越了模式识别，图像处理、计算机视觉以及神经生理学、心理学等诸多研究领域。如同人的指纹一样，人脸也具有唯一性，可用来鉴别一个人的身份，人脸识别技术在商业、法律和其他领域有着广泛的应用。目前，人脸识别已成为法律部门打击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大的应用价值；此外，人脸识别的商业应用价值也正在日益增

24、长，主要是信用卡或者自动取款机的个人身份核对。与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人身份鉴别的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个人来说没有任何心理障碍。 图1.9为本书后面综合案例中实现的一个基于主成分分析（Principal Component Analysis, PCA）和支持向量机（Support Vector Machine, SVM）的人脸识别系统的简单界面。图1.9 一个简单的人脸识别系统1.2.3 数字图像处理与识别的基本步骤总体来说，数字图像处理与识别包括以下几项内容：图像的点运算通过灰度变换可以有效改善图像的外观，并在一定程度上实现图

25、像的灰度归一化。本书第3章中将介绍多种基于图像点运算的处理方法，如图像拉伸，对比度增强，直方图均衡，以及直方图匹配等等。图像的几何变换主要应用在图像的几何归一化和图像校准当中，将在本书第4章中进行介绍。总体而言，3、4两章内容大多作为图像的前期预处理工作必要的一部分，是图像处理中相对固定和程式化的内容。图像增强作为数字图像处理中相对简单却最具艺术性的领域之一，可理解为根据特定的需要突出一幅图像中的某些信息，同时，削弱或去除某些不需要的信息的处理方法。其主要目的是使处理后的图像对某种特定的应用来说，比原始图像更适用。作为图像处理中一个相当主观的领域（增强的目的是可以让人更好地观察和认知图像），图

26、像增强是以下多种图像处理方法的前提与基础，也是在图像获取后的先期步骤。本书第56章分别从空间域和频率域2个角度去考量图像增强的各个主要方面。小波变换伴随着人们对图像压缩、边缘和特征检测以及纹理分析的需求的提高而应运而生。傅立叶变换一直是频率域图像处理的基石，它能用正弦函数之和表示任何分析函数，而小波变换则基于一些有限宽度的基小波，这些小波不仅在频率上是变化的，而且具有有限的持续时间。比如对于一张乐谱，小波变换不仅能提供要演奏的音符，而且说明了何时演奏等细节信息，但是傅里叶变换只提供了音符，局部信息在变换中丢失。本书将在第7章中讨论小波变换。图像复原与图像增强相似，其目的也是改善图像质量。但是图

27、像复原是试图利用退化过程的先验知识使已被退化的图像恢复本来面目，而图像增强是用某种试探的方式改善图像质量，以适应人眼的视觉与心理。引起图像退化的因素包括由光学系统、运动等造成的图像模糊，以及源自电路和光学因素的噪声等。图像复原是基于图像退化的数学模型，复原的方法也建立在比较严格的数学推导上。本书第8章介绍图像复原。彩色图像处理实际上是从图像的类型分类，主要包括对全彩图像的处理，也包括灰度图像的伪彩色化。彩色图像处理相对二值图像和灰度图像更为复杂，我们会在第9章中简要阐述这方面的基础知识。形态学图像处理是一种将数学形态学推广应用于图像处理领域的新方法，是一种基于物体自然形态的图像处理分析方法。而

28、形态学的概念最早来源于生物学，是一门生物学中研究动物和植物结构的一个分支科学。数学形态学（也称图像代数）则是一种以形态为基础对图像进行分析的数学工具，其基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。图像形态学往往用于边界提取、区域填充、连通分量的提取、凸壳、细化、像素化等图像操作。本书第10章专门介绍形态学图像处理的方法与基本应用，这一章将是我们从图像处理到图像特征处理的开始。图像分割（Image Division）是指将一幅图像分解为若干互不交叠区域的过程，分割出的区域需要同时满足均匀性和连通性的条件。目标的表示与描述是指用组成目标区域的像素或区

29、域边界的像素标出这一目标，并且对目标进行抽象描述，使计算机能充分利用所获得的处理分割结果。实际上，表达和描述的联系是十分紧密的，表达的方法限制了描述的精确性，而只有通过对目标的描述，各种表达方法才有意义。特征提取（Feature Extraction）指的是进一步处理之前得到的图像区域和边缘，使其成为一种更适合于计算机处理的形式。为了使计算机能够“理解”图像，从而具有真正意义上的“视觉”，我们研究如何从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量和符号等等。这一过程就是特征提取，而提取出来的这些“非图像”的表示或描述就是特征。有了这些数值或向量形式特征我们就可以通

30、过训练过程教会计算机如何懂得这些特征，从而使计算机具有了识别图像的本领。常用的图像特征有纹理特征、形状特征、空间关系特征等。对象识别（Object Recognition & Identification）一般是指利用前一步从数字图像中提取出的特征向量进行分类和理解的过程，这涉及到计算机技术、模式识别、人工智能等多方面的知识。这一步骤是建立在前面诸多步骤的基础上的，用以向上层控制算法提供最终所需的数据或直接报告识别结果。事实上，对象识别已经上升到了机器视觉的层面上。在笔者曾参与的多个项目中，对象识别都被作为替代传统图像处理手段的方式，应用在人脸识别、表情识别等需求中。经过上述处理步骤，最初的一

31、幅原始的、可能存在干扰和缺损的图像就变成了其它控制算法需要的信息，从而实现了图像理解的最终目的。以上概括了数字图像处理的基本顺序，但不是每个图像处理系统都一定需要进行所有这些步骤。事实上，很多图像处理系统并不需要处理彩色图像，或者不需要进行图像复原。在实际的图像处理系统设计中，我们应当根据实际需要决定采用哪些步骤和模块。1.3 数字图像处理的预备知识数字图像是由一组具有一定的空间位置关系的像素组成的，因而具有一些度量和拓扑性质。理解像素间的关系是学习图像处理的必要准备，这主要包括相邻像素，邻接性、连通性，区域、边界的概念，以及今后要用到的一些常见距离度量方法。另外1.3.3小节还将简单介绍几种基本的图像操作。1.3.1 邻接性、连通性、区域和边界 为理解这些概念，需要首先了解相邻像素的概念。依据标准的不同，我们可以关注像素P的4邻域和8邻域，如图1.10所示。XXPXXP的4邻域N4(P)XXXXPXXXXP的8邻域N8(P)XXPXXP的对角邻域ND(P)图1.10 P的各种邻域1. 邻接性（Adj