红外人脸识别技术概述.docx

1、红外人脸识别技术概述题 目 热红外成像人脸识别技术概述学 院 数学与计算机学院 专 业 计算机软件与理论 年 级 2010级 学生学号 12010130417 学生姓名 张 亮 指导教师 刘立波 2010年10 月 20 日热红外成像人脸识别技术概述张亮宁夏大学数学计算机学院 银川摘要：研发一个稳定可靠的人脸识别系统至今还是计算机视觉中的一个难题。用红外图像来进行人脸识别是近几年才发展的一个新领域。本文对红外人脸识别技术，特别是特征提取的研究，进行了综述，并对未来红外人脸识别的方向进行了展望。关键词：人脸识别 红外图像 特征提取Thermal infrared imaging technolo

2、gy overview for face recognitionZhanliang（School of Mathematics and Computer ,Ningxia University , Yinchuan）Abstract : Developing a reliable face recognition system has been a challenge problemInfrared appears to be a good ahernative imagery as it is independent of external illuminationIn this paper

3、 we present a survey on Infrared human face recognition，especially on feature extractionSeveral major issues for further research are also addressed in this paperKeywords : Face recognition，infrared images，feature extraction目录1.引言 12.红外人脸图像的特性 12.1.红外人脸图像的光照不变特性1-2 12.2.红外人脸图像的其它特性3 23.红外图像人脸识别的特点 2

4、3.1.红外图像人脸识别的优势 23.2.红外图像人脸识别的难点 34.红外人脸特征提取与识别方法 34.1.等温线匹配方法 34.2.基于生理学结构的方法 44.3.基于传统统计识别的方法 54.4.其他特征提取识别方法 64.5.基于血流图方法 65.方法分析及发展方向 76.结束语 9参考文献 91.引言 随着社会的发展，人们越来越迫切要求快速而准确的身份验证和识别系统。而生物特征所具有的人类内在的特征和差异，使得基于生物的识别方法具有很强的鲁棒性和重复性，成为身份验证的主要手段。人脸识别技术，由于具有直观性、被动性和非侵犯性，是当今生物识别技术中最为活跃的一个领域。近十多年来，来自数学

5、，计算机，心理学，乃至认知科学方面的研究人员都在努力探索能使计算机自动识别人脸的理论和算法，并产生了一批人脸识别系统。这一工作主要基于可见光照相机。其道理不言而喻：大量照片都由这类相机产生，且这种相机便宜、可靠、分辨率高。但是，到目前为止，还没有一个系统可以稳定可靠地应用于实际中。这种系统的性能受到光照、阴影、化妆等一系列外部因素的影响，而另一方面，脸是3维的弹性物体，它随姿态、表情、发型等变化而变化，而所有这些变化都难以建模、描述和分析于研究人员还无法回答“人脸识别基于什么”，“在变化的人脸中什么是独特的、不变的”等根本问题。至今，人脸识别仍是计算机视觉，模式识别领域最具挑战性的问题。2.红

6、外人脸图像的特性2.1.红外人脸图像的光照不变特性1-2 环境光照的变化对可见光人脸成像及其人脸识别性能有很大的影响，为减小或消除这种影响，在可见光人脸识别方法中各种补偿措施得到研究和采用。而人脸热红外图像基本上不受周围环境光照的影响，不需采取补偿措施。多年来的研究工作已表明：环境光照的变化对红外图像的获取以及图像的质量影响很小，红外图像人脸识别推动人脸识别的发展以及提高人脸识别性能的最大优势就是其对变化光照环境具有不变的特点。 2.2.红外人脸图像的其它特性3 已有的实验都证明，采集的待检测识别人脸图像与训练图库中的图像存在的时间误差，将影响红外与可见光人脸识别的性能，且其对红外图像的人脸识

7、别性能的影响比对可见光图像人脸识别性能的影响要大得多。另外，采集的红外人脸图像是人刚从寒冷的室外进入温度较高的室内，以及诸如人体温度的急剧变化、人脸表情的变化、人脸的姿态、人是否化妆和人是否戴眼镜等等，这些因素对红外人脸图像的成像都可产生一定的影响，从而也影响红外图像人脸识别的性能。在这些因素中，人是否戴眼镜对红外人脸图像的影响较大，从而明显影响其人脸识别的性能，而人脸姿态和人是否化妆对红外人脸图像的影响相对可见光人脸图像而言要小许多，所以对红外图像人脸识别性能的影响也相应要小。总之，红外人脸图像具有许多不同于可见光人脸图像的特性。3.红外图像人脸识别的特点 由于红外与可见光成像的不同机理以及

8、红外人脸图像所具有的特性，使得红外图像人脸识别与可见光人脸识别相比较具有其本身的一些特点。 3.1.红外图像人脸识别的优势通过对红外人脸图像特性的研究、分析以及相关的实验总结，并与可见光图像人脸识别进行比较，笔者对采用红外图像进行人脸识别的一些优势和特点进行了探讨，并结合实际应用总结出了一些有意义结论，以对研究和设计高性能的红外人脸识别系统提供帮助，具体结论如下： 红外图像人脸识别抗干扰性强，不受人脸变化和位置的影响； 红外图像人脸识别是与光强独立的，其识别性能受环境光照变化的影响很小； 红外图像人脸识别不受伪装的干扰，防欺骗性强，即使经过化妆或整容，也不能改变人脸面部的血管分布，从而不会改变

9、人脸的热辐射模式。 3.2.红外图像人脸识别的难点 红外图像人脸识别中的难点主要表现在：一方面，红外图像人脸识别有其本身的不足，如相对可见光人脸图像而言，红外人脸图像反映的是人脸的温度分布，红外人脸图像中人脸器官的边缘轮廓和细节特征较模糊；红外线对玻璃的透射性较差，因而对戴眼镜的人脸不好识别；某些生理变化（如酒精反应）和外部环境变化（如环境温度的改变），会对人脸的热辐射产生影响，从而影响红外人脸识别性能；红外人脸图像的采集时间误差对红外人脸识别有较大的影响等等。怎么克服这些因素的影响，从而提高红外图像人脸识别的性能是目前研究的难点。另一方面，相对可见光图像人脸识别而言，当前由于相关技术条件的限

10、制，以及对红外图像人脸识别的研究还不多，也不够深入，怎样通过对红外人脸图像特性的深入研究而设计出合理、高效和适用各种不同实际应用情况的红外图像人脸识别方法，也是我们面临的一个难题。4.红外人脸特征提取与识别方法 作为识别的基础和关键的一步，就是要提取出被识别对象的固有特征。如果能提取出每个人脸的独特特征，识别就可以很简单(如特征匹配的方法)，否则就很困难，识别的重点只能放在分类器设计上。人脸识别之所以难，就在于人脸是个时变对象。直到今天，研究人员还无法回答“在变化的人脸中什么是独特的、不变的或至少是稳定的”等根本问题。综合现有文献，研究人员根据红外人脸图像的特点，结合人体生理学、生物传热学、模

11、式识别等知识，提出了如下特征提取和识别方法。4.1.等温线匹配方法可见光人脸图像和红外人脸图像中都存在等高线(灰度值相等的点组成的线)，在可见光中，等高线反映的是人脸的光照信息和一些人脸表面的结构信息，这些等高线受光线影响特别大，一般不具备很好的识别信息，所以不能用于人脸识别。而这些等高线在红外人脸图像中反映的是人脸皮肤下面的血管分布信息4-6。使用噪声等效温差(NETD)小于或等于07的红外照相机所拍摄的人脸照片，每张脸一般含有100个或者更多的封闭的等温线4-6，这些等温线的形状对于每个人来说都是独一无二的，即使是相似的双胞胎也是不同的，因为这些等温线是由脸皮下面复杂的血管和动脉网络产生的

12、4。用等温线作为特征来识别通常有两类方法。(1)等温线形状实时匹配主要有3种方法用于提取等温线特征4-6：用包含该特征的区域的标准模板进行提取；用几何分析的方法来分析等温线形状，分析的结果和脸部图像的质心即为所求的特征；用数学上的分形方法来表示等温线。Prokoski使用等温线实时匹配的方法，用于门禁系统识别(需要配合)，准确率可以达到96。(2)等温线形状的置后匹配一是采用形状匹配，分析面部温度图像数据库中所有的形状，使用特征形状来比较形状的特征：周长，面积，质心在髫和Y轴的位置，面积周长等等。每个人的图像用11个系数多项式来刻画，在特征空间中任何两个图像的差异都要计算，从而确定适当的阈值来

13、得出匹配或不匹配的结果。这种方法对非合作的识别有很高的准确率，但是计算很复杂，需要较长的时间。应用于实时识别系统时还要依赖于硬件性能的提高。二是采用度量匹配，即抽取出人脸的几何特征点进行距离匹配。在清楚的可见光人脸图像中大概只有十个特征点(如外眼角、内眼角、耳朵同头部相连的最上面和最下面两个点、鼻孔的中心等)可以比较稳定地提取出来。而红外人脸图像除了眼睛、鼻子、嘴巴等脸部特征外，还可以从血管分布中(比如分叉点)提取信息，这是可见光所没有的。然而，不管是对可见光图像还是红外图像，特征点的提取受到图像分割精度的影响，特别是人脸姿态和尺度对距离度量的影响。所以脸部度量不是一个很鲁棒的识别方法旧7。4

14、.2.基于生理学结构的方法这种方法的思想就是运用图像分割方法从红外人脸图中找出脸部血管的细节(minutiae)8或称为血管网络(vascular network)9。文献6、8由此提出两种方法：(1)对称波形对称波形的提出基于一个假设，即每个人的不对称性都是唯一的，对称波形正是把这个不对称的唯一性用于识别。该方法首先对红外人脸图像进行大小和灰度值归一化。为了减少人的头部旋转的影响，对称波形方法只分析两个外眼角之间的部分，所以只有当红外人脸图像中两只眼睛都能看到的时候，对称波形方法才能使用。有几种方法可以用来分析对称波形，其中有代表性的有：方法一：找出两外眼角之间的小块矩形区域，对该区域的每一

15、行，找出一点，使得该点左右两边像素的灰度值之和的差最小。找出每一行的灰度值的中点，从上到下连接，所得到的折线就是要找的对称波形。方法二：分析等温线同水平线的交点，找到两个交点的中点。方法三：把图像进行二值化，然后找到每一行的中点；方法四：找到细节对称的点。对称波形方法可以用来判断人的头部的旋转、倾斜，从而可以得到人的正脸。对于小型的数据库，这几种方法都可以找出唯一的对称波形，但是对于大的数据库，这个方法就不大适用，但可以考虑用于分类。(2)面部编码如果能从每个人脸中提取唯一的面部编码，就可以直接识别而不需要同数据库中每个人脸进行匹配比较。在观察每个人的对称波形差异度的基础上，可以考虑采用编码方

16、法，该方法从对称波形中提取1维的条形码。从对称波形到条形码的转换看似很容易，其实不然，转换过程需要复杂的计算。在l维条形码之后也可以尝试2维的条形码，其方法是先建立一个数据库，该数据库中，人脸被分割成很多小单元，对每个小单元进行编码。当对一张人脸图像进行识别的时候，先对该人脸进行分割，对分割的每一块都同数据库中的内容进行比较，找出最匹配的一块，然后用数据库中该块的编码赋给它，这样就组成了2维的条形码8。这种方法看起来很有前途，但需要一个含有大量人脸图像的优化数据库。文献10与Prokoski的上述思想是一致的，只是图像分割的手段(采用数学形态学)、对所提取特征的处理(分为局部特征和全局特征)及

17、特征匹配的策略不同而已。4.3.基于传统统计识别的方法由于人脸图像的可变性，因而统计识别方法不仅在可见光也在红外人脸识别中得到广泛应用11-21。该方法将人脸图像作为随机向量，用统计的方法来抽取人脸的全局或局部特征。常用的方法有主成分分析(PCA)法、线性辨别分析(LDA)法、独立主元分析(ICA)法、局部特征分析(LFA)法等。4.4.其他特征提取识别方法文献7提出用神经网络对红外人脸图像进行识别。为提高识别性能，红外图像进行了均衡化处理，归一化的图像的温度分布信息(灰度直方图)、局部平均温度信息以及人脸形状信息分别作为神经网络的输人参数进行分类，然后把分类结果进行融合。实验结果表明，当环境

18、温度变化不大时，基于正面图像的识别率可达到97以上。但是，由于该方法的灰度值进行了均衡化处理，改变了灰度直方图的最初形状，带来了一些失真；当人脸的姿态变化较大，或环境温度变化较大时，效果会大大下降。文献22提出了一种统计假设约减的方法，其思想是采用低水平模型和高水平模型相结合的方法。首先用低水平模型得到一组原始红外图像的相似度高的候选部分，然后再运用高水平模型对这些候选部分进一步测试，并得到最终识别结果。低水平模型运算速度快但结果不是非常好，而高水平模型准确性高但运算代价高，所以两者结合可以达到速度与识别准确性的平衡。文献23根据小波理论，将1幅图进行适当级数的小波包分解，得到1棵小波包分解树

19、，选取其中识别率最高的若干个节点进行傅里叶变换，得到每个节点的特征矩阵，并以此来表示图的特征。文献24结合小波理论和离散余弦变换(DCT)，先对人脸图像进行两级小波分解，再对低频子带进行分块并对每个子块进行DCT变换，提取部分变换后的系数作为子块的特征向量。实验结果证明，同基于传统PCA、DCT以及DWT(离散小波变换)+PCA等方法相比，这两种方法更好地提取了红外人脸图像的判别信息，得到了很好的识别效果。与文献23类似，文献10也把识别过程分成两步，首先用模糊连通分割方法把人脸从背景中分割出来，然后用Gabor滤波器对分割出来的脸部图像进行滤波处理，再利用两个参数的Bessel函数对滤波后的

20、图像进行建模，并以此模型做初步分类，得到可能性高的候选对象，最后利用贝叶斯分类器找到准确的匹配。这种方法只获取表面温度信息，并未能得到皮肤内部的特征，因而对环境等因素的影响也不具有鲁棒性。4.5.基于血流图方法为提高红外人脸识别系统在时延环境下的识别性能，文献16基于人体的皮肤温度分布和温度调节机理，结合红外成像原理及生物传热学知识提出了一个人脸的血流模型，该模型的作用就是把易受外部环境影响的温度信息(温谱图)转为人体的生理信息，比如血流的运动参数。而人体的血液循环信息相对来说是稳定的，不受外部环境影响的，可以基于这些特定的生物信息来识别不同的人。该模型的提出基于以下假设：(1)只考虑皮肤表面

21、的热交换；(2)测试对象处于一个稳定的热平衡状态，因此将人体内部的温度看作是一个常量，同时不考虑人体的热调节功能(如出汗)；(3)周围环境温度比人体温度低；(4)不考虑非正常的生理(像发烧，头痛，发炎等)和心理状态(像焦虑，害羞等)因素；(5)红外相机已校准，能够精确测量温度；在这些假设下，皮肤表面可用以下热量平衡公式来描述Qr+Qe+Qf=Qc+Qm+Qb (1)Q表示单位面积的热流量。下标r，e和f分别表示辐射、蒸发和对流，左边3项代表从皮肤表面到外界的流出热流量。下标c，m和b表示人体热传导、新陈代谢和血液对流，这些是从人体体内到皮肤表面的流入热流量。5.方法分析及发展方向红外图像由于不

22、受光照影响、不存在阴影问题，而且更多地反映了人脸自身的信息(温度分布)，为提取人脸的稳定特征，对识别率的提高有正面影响。应指出的是，Prokoski的论述“人是恒温动物，其温度均值和方差很稳定”。其实是有前提的，即相同的环境条件。所谓“人是恒温动物”，准确地说是指人体内部而不是外部(即皮肤)。实际上，每个人的皮肤表面温度时时刻刻都在变化，而这个变化不是线性的25-26。因此，基于等温线的方法是不准确的。人体生理学知识25告诉我们，脸部上表皮的血管只有1015微米，而血管处的温度仅比其邻近区域的温度高0.1摄氏度。就目前的红外照相机，其分辨率还没有高到能捕捉到如此细微的差别，因此基于图像分割方法

23、，从红外人脸图中找出脸部血管网络是不可靠的。从硬件出发，开发高精度红外相机以得到清晰、稳定的血管网络，这是目前的研究方向之一。例如Sony公司就研发出一种红外相机27。它能拍到皮肤下的毛细血管并用于人脸识别。然而，更多的研究还是从算法上来提高红外人脸识别的性能。把融合技术运用到生物识别领域，形成多生物特征相结合(如人脸+指纹)、多成像源相结合(如可见光+红外19-22 28-30)的生物识别系统是今后的重要发展方向之一。目前，融合技术在红外人脸识别中主要反映在如下3个层次：(1)图像(或数据)级融合这类系统同时得到一个人脸的可见光图像和红外图像，然后利用融合技术合成一幅近似不随光线变化的图像。

24、显然，这类系统的识别率大大高于可见光人脸识别系统；(2)特征级融合即针对红外人脸图像，用不同的方法来抽取人脸特征，如小波脸、频谱脸、特征脸等。文献26则分别提取红外人脸的温度信息和几何信息，通过神经网络融合这两种信息。实验结果显示，不同的方法(角度)可以提取人脸不同方面的特征，基于特征的融合方法也是很有效的；(3)决策级融合即不同特征(或基于同一幅红外人脸图像，如文献26，或不同光源，通过分类器分别得到各自不同的分类结果(分数)，而最终的决策由这些分数加权融合决定。这类融合方法相对来说容易实现而且有效，所以在多形式(多传感器)生物识别系统中得到广泛应用。文献27的实验结果显示，对时延图像，如果

25、分别采用红外或可见光图像识别，识别率分别为74和75，如果结合红外和可见光图像，采用决策级融合技术，则识别率可提高到91。最后要指出的是，上述血流模型(即式(2)的建立基于5个假设，其中之一就是稳定热场假设，即认为人体体内温度保持不变，代谢热也是常数，因此，血流量是稳定不变的，也就是说上述血流模型没有考虑到生理和心理因素对血流量的影响，是一个静态模型。文献31提出了一种基于动态血流模型的方法，从变化的人脸温谱图中提取人脸血流数据和状态信息；根据所辨识的状态信息，对血流数据做进一步的补偿和归一化处理，以得到鲁棒、独特的红外人脸生物(血流)特征，达到非常态下也具有鲁棒的识别性能，这也是一种非常新颖

26、的方法。6.结束语本文只是对目前已有的红外图像人脸识别技术作了简单介绍，从研究成果看，红外人脸图像的对变化光照环境的不变性能提高人脸识别性能，采集的待检测识别人脸图像与训练库中的图像存在的时间识差对红外人脸识别的性能的影响比对可见光人脸识别的性能的影响要大得多32。综上所述，红外图像人脸识别技术对识别在非控制的阴暗条件下的人脸和检测伪装尤其有用。它将弥补可见光人脸检测的不足，但是对影响红外图像人脸识别性能的有关因素的研究还不够深入，这将是一个值得继续研究的领域。参考文献1 Chen X.Flynn P J.Bowyer K W Visible-light and Infrared Face R

27、ecognition 2003.2 Socolinsky D A.Wolff L B.Neuheisel J D Illumination Invariant Face Recognition Using Thermal Infrared Imagery 2001.3 Wolff L B.Socolinsky D A.Eveland C K Faces Recognition in the Thermal Infrared 2004.4 Prokoski F J.Coffin J S.Riedel R B Method for Identifying Individuals from Anal

28、ysis of Elemental Shapes Derived from Biosensor Data 19925 Kong S G.Heo J.Abidi B R Recent advances in visual and infrared race reeognition-a review 2005(01)6 Prokoski F J History,current status,and future of infrared identification 2000.7 Yoshitomi Y.Miyaura T.Tomita S Face identification using the

29、rmal image processing 1997.8 Prokoski F J Method and Apparatus for Recognizing and Classifying Individuals Based on Minutiae 2001.9 Buddharaju P.Pavlidis I.Kakodiaris I A Face recognition in thethermal infrared spectrum 2004.10 Buddharaju P.Pavlidis I.Tsiamyrtzis P Physiology-based face recognition

30、using the vascular network extracted from thermal facial images:a novel approach 2005.11 Friedrich G.Yeshurun Y Seeing people in the dark:face recognition in infrared images 2002.12 李江红外图像人脸识别方法研究学位论文 2005.13 Pereira D C Face Recognition Using Infrared Imaging 2002.14 Socolinsky D A.Selinger A A com

31、parative analysis of face recognition performance with visible and thermal infrared imagery 2002.15 Wilder J.Phillips P J.Jiang C Comparison of visible and infrared imagery for face recognition 1996.16 Wu S Q.Jiang L J.Cheng L RIFARS:a real-time infrared face recognition system 2003.17 Chen X.Flynn

32、P J.Bowyer K W Visible-light and infrared face recognition 2003.18 Chen X.Flynn P J.Bowyer K W IR and visible light face recognition 2005(03).19 Harihacan H.Kosehan A.Abidi B Fusion of visible and infrared images using empirical mode decomposition to improve face recognition 2006.20 Kim S-K.Lee H.Yu S Fusion of visual and infrared images