三维图像预处理Word文件下载.docx

1、是三维人脸的坐标矫正，其中Z是矫正后的垂直轴，Z0是矫正前的垂直轴，X,Y,Z是矫正后的坐标轴。图2-3人脸柱面矫正Figure 2-3 Face recorrected by a cylinder人脸识别的图像预处理知识和算法研究图像预处理知识 预处理是人脸识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸在整幅图像中间的大小和位置不确定。为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对图像进行预处理。 人脸图像的预处理主要包括人脸扶正，人脸图像的增强，以及归一化

2、等工作。人脸扶正是为了得到人脸位置端正的人脸图像；图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像。下面简单介绍一些预处理的方法。（1）直方图均衡 直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像（即输出的直方图是平的）。这对于图像比较或分割是十分有用的。 设图像有N个灰度级，M个像素点，ha（n）是输入图像a （x ,y）的直方图，图像b （x, y）是

3、输入图像直方图均衡后的输出，依照下面的公式进行直方图均衡：（2）中值滤波 无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪声的存在，噪声对图像质量有很大的影响。进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于实验中的人脸图像。 中值滤波是一种非线性的信号处理方法，因此中值滤波器也就是一种非线性的滤波器。中值滤波器最先被应用于一维信号的处理中，后来被人们引用到二维图像的处理中来。中值滤波可以在一定程度上克服线性滤波所带来的图像细节模糊，而且它对滤除脉冲干扰和图像扫描噪声非常有效。 中值滤波一般采用一个含有若干个点的滑动窗口，

4、将窗口中各点灰度值的中值来代替指定点（一般是窗口的中心点）的灰度值。如果窗口中有奇数个元素，中值取元素按灰度值大小排序后的中间元素灰度值。如果窗口中有偶数个元素，中值取元素按灰度值大小排序后，中间两个元素灰度的平均值。因为图像为二维信号，中值滤波的窗口形状和尺寸对滤波器效果影响很大，不同图像内容和不同应用要求往往选用不同的窗口形状和尺寸。（3）归一化 人脸图像的归一化，目的是使不同成像条件（光照强度，方向，距离，姿势等）下拍摄的同一个人的照片具有一致性。人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化。几何归一化也称为位置校准，它将有助于矫正因成像距离和人脸姿势变化造成的尺寸差异和

5、角度倾斜。它的目的在于解决人脸尺度变化和人脸旋转问题。具体包括人脸尺度归一化，平面人脸旋转矫正（歪头），深度人脸旋转矫正（扭脸）三个环节。严格的深度人脸旋转矫正需要利用人脸的3D模型。灰度归一化用来对不同光强，光源方向下得到的人脸图像进行补偿。以减弱单纯由于光照变化造成的图像信号的变化。人脸检测算法的研究 人脸的检测过程实际上就是对人脸模式特征的综合判断过程，包括多种方法。归纳起来，根据利用特征的色彩属性可以将人脸检测算法分为基于肤色特征的方法和基于灰度特征的方法两类。前者适用于构造快速的人脸检测和跟踪算法，后者利用了人脸区别其他物体的更为本质的特征，是人脸检测研究领域的重点。根据特征综合时采

6、用的不同模型，可以将基于灰度特征的方法分为两大类，基于知识模型的方法和基于统计模型的方法。由于人脸检测问题的复杂性，无论哪一方法都无法适应所有的情况，一般都针对人脸检测领域内某个或某些特定的问题。基于haar-like特征的人脸检测 人脸检测不仅要求有较高的检测率，同时也要求能够满足实时性的要求， P.Viola发表的关于haar-like特征人脸检测的文章，他通过综合AdaBoost和Cascade算法实现了实时的人脸检测系统，使得人脸检测从真正意义上走向了实 用。我们在综合考虑了各方面因素的前提下，选择了这种基于haar-like特征的人脸检测方法。基于haar-like特征人脸检测的原理

7、 Viola提出了一种层叠递进式分类方法，该方法与那些复杂的单层分类方法相比，在达到相同检测率要求的前提下，能够极大地缩短检测时间，该方法是基于简单特征的，与传统的基于图像像素特征的方法相比具有以下几个优点： （1）它比使用像素特征的方法更具有可分性，它能够增大类间差异同时使类内差异减小。这是因为这些特征往往包括了相关领域知识的概括，而这也恰恰是很难直接从像素中得到的。 （2）特征的计算速度很快，同时还可以满足在图像任意位置和任意大小条件下的计算要求。特征集 特征集一共包含14个特征，它是在Viola提出的haar-like特征集的基础上变化而来，它将原始的haar-like特征进行45度的旋

8、转，得到了一系列新的特征，同时抛弃了具有包围特性的特征，如图所示*图像预处理31灰度级变换一、灰度级变换的定义 灰度级变换（点运算）的定义 对于输入图象f（x，y），灰度级变换T将产生一个输出图像g（x，y），且g（x，y）的每一个像素值都是由f（x，y）的对应输入像素点的值决定的，g（x，y）=T（f（x，y）。 对于原图象f（x，y）和灰度值变换函数T（f（x，y），由于灰度值总是有限个（如：O2 5 5），非几何变换可定义为：R=T（r），其LlJ R、r（O255）。二、灰度级变换的实现 灰度级变换（点运算）的实现 R=T（r）定义了输入像素值与输出像素之间的映射关系，通常通过查表来实

9、现。三、灰度级变换实例 1、图象求反 2、对比度拉伸 3、动态范围压缩 4、灰度级切片32图像的灰度直方图 灰度直方图（histogram）统计了图象中各个灰度级的象素的个数。一、灰度直方图的计算 若图象具有L级灰度（通常L=256，即8位灰度级），则大小为m（n的灰度图象f（x，Y）的灰度直方图Hk，k=0L-1，可按如下步骤计算获得： 1）初始化：for（k=O；kL；k+）Hk=O； 2）统计： for（x=O；xm；x+） for（y=O；yn；y+）Hf（x，y）+； 3）规格化： flOr（x=O；y+）Hf（x，y）=float（m（n）；二、直方图均衡化 直方图均衡化是通过灰度

10、变换将一幅图象转换为另一幅具有均衡直方图，即在每个灰度级上都具有相同的象素点数的过程。 直方图均衡化变换：设灰度变换s=f（r）为斜率有限的非减连续可微函数，它将输入图象Ii（x，y）转换为输出图象Io（x，y），输入图象的直方图为Hi（r），输出图象的直方图为Ho（s），则根据直方图的含义，经过灰度变换后对应的小面积元相等：Ho（s）ds=Hi（r）dr 变换函数f（r）必须满足下列2个条件： （1）f（r） （O（r（1）是单值函数、且单调增加； （2）O（f（r） （1，（O（r（1）。 上面第一个条件保证了灰度级从黑到白的次序，第二个条件保证了变换后象素的灰度级仍然在容许的范围之内。r

11、=f-l（s）为逆变换函数，同样也要满足上述条件。直方图修正的例子 假设有一幅图像，共有6 4（6 4个象素，8个灰度级，试进行直方图均衡化处理。根据公式可得： s2=0.19+0.25+0.2l=O.65， s3=0.19+0.25+0.2l+O.16=0.8l， s4=0.89,s5=0.95，s6=0.98，s7=100。 由于这里只取8个等间距的灰度级，变换后的s值也只能选择最靠近的一个灰度级的值。因此，根据上述计算值可近似地选取： sO17，s 137，s257，s367， s467，s51，s6l，s71。 可见，新图像将只有5个不同的灰度等级，于是我们可以重新定义其符号： sO=

12、l7，s1=37，s2=57，s3=67，s4=l。 因为由rO=O经变换映射到sO=17，所以有n0=790个象素取sO这个灰度值；由rl=37映射到sl=37，所以有1 02 3个象素取s 1这一灰度值；依次类推，有850个象素取s2=57这一灰度值；由于r3和r4均映射到s3=67这一灰度值，所以有656+329=98 5个象素都取这一灰度值；同理，有245+1 22+81=448个象素都取s4=1这一灰度值。上述值除以n=4096，便可以得到新的直方图。离散情况下不可能作到绝对的一致。三、直方图的性质 在直方图中，只知道具有某一灰度值的象素有多少个，但并不知道这些象素的位置； 一个图像

13、决定一个唯一的直方图，但是有时不同的图像具有相同的直方图； 如果已知一幅图像中各个区域的直方图，则把它们加起来，就可得到这个图像的直方图。四、直方图的典型用途 对图像进行数字化时，利用直方图可以检查输入图像的灰度值在可利用的灰度范围内分配得是否适当； 在医学方面，为了改善X射线操作人员的工作条件，可采用低辐射X射线曝光，但这样获得的X光片灰度级集中在暗区，导致某些图像细节无法看清，判读困难。通过直方图修正使灰度级分布在人眼合适的亮度区域，便可使X片中的细节清晰可见。 可以根据直方图确定二值化的阈值； 当物体部分的灰度值比其它部分的灰度值大时，可以用直方图求出物体的面积（实际上是象素数=灰度大于

14、和等于q的象素的总和）；利用色彩直方图可以进行基于颜色的图象分割。33几何变换 几何变换可改变图象中物体（象素）之间的空间关系。这种运算可以看成将各象素在图象内移动的过程。 几何变换中灰度级插值是必不可少的组成部分，因为图象一般用整数位置处的象素来定义，某个点经变换后可能映射到多个点之间。 仿射变换（Affine Transformation）和图象卷绕（ImageWarping）是两类常见的几何运算。一、灰度级插值 1、最近邻插值 最简单的插值方法是最近邻插值，即选择离它所映射到的位置最近的输入象素的灰度值为插值结果。 2、双线性插值：二、空间变换 空间变换包括可用数学函数表达的简单变换（如

15、：平移、拉伸等仿射变换）和依赖实际图象而不易用函数形式描述的复杂变换（如对存在几何畸变的摄象机所拍摄的图象进行校正，需要实际拍摄栅格图象，根据栅格的实际扭曲数据建立空间变换；再如通过指定图象中一些控制点的位移及插值方法来描述的空间变换）。 1、仿射变换（affine transfomation） 仿射变换变换的公式如下：f（x）=AX=b 其中A是变形矩阵，b是平移矢量。 任何一个放射变换可以分解为尺度、伸缩、扭曲、旋转、平移的组合。 2、基本变换 （1）基本几何变换的定义 对于原图象f（x，y），坐标变换函数 x=a（x，y）；y=b（x，y） 唯一确定了几何变换：g（x，y）=f（a（x，

16、y），b（x，y）；g（x，y）是目标图象。（2）平移变换（3）旋转变换：绕原点旋转（度（4）水平镜像（5）垂直镜像（6）缩放变换 3、透视变换（Persp ective Tmnsfomation） 透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换，透视变换常用于图象的校正。 4、几何校正 几何校正是指按照一定目的将图象中的典型几何结构校正为没有变形的本来形式。 例如，对如F的走廊图象进行校正，分两种情况，一种是针对地砖形状的校正，另一种是针对最右侧有把手的门形状的校正。5图象卷绕（Image Warping） 图象卷绕是通过指定一系列控制点的位移来定义空间变换的图象

17、变形处理。非控制点的位移根据控制点进行插值来确定。34图像的局部预处理一、平滑l、邻域平均 A、邻域的定义 B、邻域平均法 对一数字图像f（x，y），以（x，y）为中心，取一滑动窗口-邻域S（例如：33的方窗）进行处理： 缺点：去噪声的同时模糊了边界。 注意：当邻域中心落在图像边界上：（O行列或N-l行列）时 A、边界行列点不处理； B I、扩充上下两行、左右两列（复制）。2、高斯滤波二、中值滤波一般的中值滤波（Median Filtering） 与加权平均方式的平滑滤波不同，中值滤波是将邻域中的象素按灰度级排序，取其中间值为输出象素。 1）中值滤波可以保护图像边界； 2）中值滤波窗口越人，滤

18、波作用越强，但会丢失细节。 中值滤波是一种非线性滤波，适用于滤除脉冲噪声或颗粒噪声，并能保护图像边缘。这里以一维中值滤波为例：一维中值滤波就是用一个含有奇数点的一维滑动窗口，将窗口正中的那点值用窗口内各点按大小排列的中值代替。假设窗口长为5点，其中的值为（80，90，200，11 O，1 20），那么此窗口内的中值即为11O。三、边缘检测 边缘是指图象中灰度发生急剧变化的区域。图象灰度的变化情况可以用灰度分布的梯度来反映，给定连续图象f（x，y），其方向导数在边缘法线方向上取得局部最大值。 图象中一点的边缘被定义为一个矢量，模为当前点最人的方向导数，方向为该角度代表的方向。通常我们只考虑其模，

19、而不关心方向。四、梯度算子（一）梯度算子可分为3类： 1、使用差分近似图像函数导数的算子。有些是具有旋转不变性的（如：Laplacian算子），因此只需要一个卷积掩模来计算。其它近似一阶导数的算子使用几个掩模。 2、基于图像函数二阶导数过零点的算子（如：M arrHild reth或Canny边缘检测算子。 3、试图将图像函数与边缘的参数模型相匹配的箅子。（二）第一类梯度算子 拉普拉斯（Laplace）算子通常使用33的掩模，有时也使用强调中心象素或其邻接性的拉普拉斯算子（这种近似不再具有旋转不变性）。 拉普拉斯算子的缺点：它对图像中的某些边缘产生双重响应。图像锐化（shapeening） 图

20、像锐化的目的是图像的边缘更陡峭、清晰。锐化的输出图像f是根据下式从输入图像g得到的：f（i，j）=g（i，j）-c s（i，j），其中c是反映锐化程度的正系数，s（i，j）是图像函数锐化程度的度量，用梯度箅子来计算，Laplacian箅子常被用于这一目的。Prewitt边缘检测算子Sob e1边缘检测算子（三）第二类梯度算子-二阶导数过零点算子 根据图象边缘处的一阶微分（梯度）应该是极值点的事实，图象边缘处的二阶微分应为零，确定过零点的位置要比确定极值点容易得多也比较精确。右侧是Lena的过零点检测结果。 为抑制噪声，可先作平滑滤波然后再作二次微分，通常采用高斯函数作平滑滤波，故有LoG（La

21、placian of Gaussian）算子。 高斯-拉普拉斯（LoG，Laplacian of Gaussian）算子。 噪声点对边缘检测有较大的影响，效果更好的边缘检测器是高斯-拉普拉斯（Lo G）算子。它把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平滑掉噪声，再进行边缘检测，所以效果更好。过零点检测 在实现时一般用两个不同参数的高斯函数的差DoG（Difference ofGaussians）对图象作卷积来近似，这样检测来的边缘点称为f（x，y）的过零点（Zerocrossing）。 与前面的微分算子出仅采用很小的邻域来检测边缘不同，过零点（Zero-crossing）的检测所依赖的

22、范闱与参数。有关，但边缘位置与0的选择无关，若只关心全局性的边缘可以选取比较大的邻域（如0=4时，邻域接近40个象素宽）来获取明显的边缘。过零点检测更可靠，不易受噪声影响，但缺点是对形状作了过分的平滑，例如会丢失欠明显的角点；还有产生环行边缘的倾向。 产生环行边缘的原因是：图象的边缘多出现于亮度呈现突起或凹陷的位置上，其附近边缘法向线条上一阶微分会出现两个极值点，也就是会出现两个过零点。其整体结果是边缘呈现环行状态。（四）Canny边缘提取【或边缘检测Edge Detection） 在如下的三个标准意义下，Canny边缘检测算子对受闩噪声影响的阶跃型边缘是最优的： 1）检测标准-不丢失重要的边

23、缘，不应有虚假的边缘； 2）定位标准-实际边缘与检测到的边缘位置之间的偏差最小； 3）单响应标准-将多个响应降低为单个边缘响应。Canny边缘检测算子的提出是基于以下概念： （1）边缘检测算子是针对一维信号和前两个最优标准（即检测标准和定位标准）表达的，用微积分方法可以得到完整的解； （2）如果考虑第三个标准（多个响应），需要通过数值优化的办法得到最优解，该最优滤波器可以有效地近似为标准差为（的高斯平滑滤波器的一阶微分，其误差小于20，这是为了便于实现；这与M arHild reth边缘检测算子很相似；它是基于LoG边缘检测算子的； （3）将边缘检测箅子推广到两维情况。阶跃边缘由位置、方向和可

24、能的幅度（强度）来确定。可以证明将图象与一对称2 D Gaussian做卷积后再沿梯度方向微分，就构成了一个简单而有效的方向算子（回想一下，LoG过零点算子并不能提供边缘方向的信息，因为它使用了Laplacian滤波器）。 （4）由于噪声引起的对单个边缘的（多个）虚假响应通常造成所谓的“纹状（streaking）问题。一般而言，该问题在边缘检测中是非常普遍的。 边缘检测算子的输出通常要做阈值化处理，以确定哪些边缘是突出的。 纹状是指边缘轮廓断开的情形，是由算子输出超出或低于阈值的波动引起的。纹状现象可以通过带滞后的阈值处理（thresh01ding withhysteresis）来消除； 如果

25、边缘响应超过一给定高阈值时，这些象素点构成了某个尺度下的边缘检测算子的确定的输出。 个别的弱响应通常对应于噪声，但是如果这些点是与某些具有强响应的点连接时，它们很可能是图象中真实的边缘。这些连接的象素点在当其响应超过一给定的低阈值时，就被当作边缘象素。 这里的低阈值和高阈值需要根据对信噪比的估计来确定。 （5）算子的合适尺度取决于图象中所含的物体情况。解决该未知数的方法是使用多个尺度，将所得信息收集起来。不同尺度的Canny检测算子由高斯的不同的标准差（来表示。有可能存在几个尺度的算子对边缘都给出突出的响应（即信噪比超过阈值）；在这种情况下，选择具有最小尺度的算子，因为它定位最准确。特征综合方

26、法（Feature synthesis appmach） 首先标记出所有由最小尺度算子得到的突出边缘。具有较大尺度（的算子产生的边缘根据它们（标记出的边缘）合成得到（即，根据从较小的尺度收集到的证据来预测较大尺度（应具有的作用效果）。然后将合成得到的边缘响应与较大尺度（的实际边缘响应作比较。仅当它们比通过合成预测的响应显著地强时，才将其标记为边缘。 这一过程可以对一个尺度序列（从小到大）重复进行，通过不断加入较小的尺度中没有的边缘点的方式累积起来生成边缘图。Canny边缘检测算法 l、对于递增的标准差（重复（2）到（6）步骤）； 2、将图象f与尺度为高斯函数做卷积； 3、对图象中的每个象素，估

27、计局部边缘的法向n； 4、用非最大抑制公式找到边缘的位置； 5、用公式计算边缘强度； 6、对边缘图像做滞后阈值化处理，消除虚假响应； 7、用特征综合方法，收集来自多尺度的最终的边缘信息。 （通常的实现，省略该步。） 正文 配图 相关连接 图像预处理-正文在图像分析中，对输入图像进行特征抽取、分割和匹配前所进行的处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强等步骤。数字化一幅原始照片的灰度值是空间变量（位置的连续值）的连续函数。在MN点阵上对照片灰度采样并加以量化（归为2b个灰度等级之一），可以得到计算机