人脸识别文献综述.docx

1、人脸识别文献综述文献综述1引言在计算机视觉和模式识别领域，人脸识别技术(Face Recognition Technology,简称 FRT)是极具 挑战性的课题之一。近年来，随着相关技术的飞速发 展和实际需求的日益增长，它已逐渐引起越来越多研 究人员的关注。人脸识别在许多领域有实际的和潜在 的应用，在诸如证件检验、银行系统、军队安全、安 全检查等方面都有相当广阔的应用前景。人脸识别技 术用于司法领域，作为辅助手段，进行身份验证，罪 犯识别等;用于商业领域，如银行信用卡的身份识别、 安全识别系统等等。正是由于人脸识别有着广阔的应 用前景，它才越来越成为当前模式识别和人工智能领 域的一个研究热点

2、。虽然人类能够毫不费力的识别出人脸及其表情， 但是人脸的机器自动识别仍然是一个高难度的课题。 它牵涉到模式识别、图像处理及生理、心理等方面的 诸多知识。与指纹、视网膜、虹膜、基因、声音等其 他人体生物特征识别系统相比，人脸识别系统更加友 好、直接，使用者也没有心理障碍。并且通过人脸的 表情/姿态分析，还能获得其他识别系统难以获得的一 些信息。自动人脸识别可以表述为：对给定场景的静态或 视频序列图像，利用人脸数据库验证、比对或指认校 验场景中存在的人像，同时可以利用其他的间接信息, 比如人种、年龄、性别、面部表情、语音等，以减小 搜索范围提高识别效率。自上世纪90年代以来，人脸 识别研究得到了长

3、足发展，国内外许多知名的理工大 学及TT公司都成立了专门的人脸识别研究组，相关的 研究综述见文献A。本文对近年来自动人脸识别研究进行了综述，分 别从人脸识别涉及的理论，人脸检测与定位相关算法 及人脸识别核心算法等方面进行了分类整理，并对具 有典型意义的方法进行了较为详尽的分析对比。此外, 本文还分析介绍了当前人脸识别的优势与困难。2人脸识别相关理论图像是人们出生以来体验最丰富最重要的部分， 图像可以以各种各样的形式出现，我们只有意识到不 同种类图像的区别，才能更好的理解图像。要建立一 套完整的人脸识别系统(Face Recognetion System, 简称FRS),必然要综合运用以下几大学

4、科领域的知 识：2.1数字图像处理技术数字图像处理又称为汁算机图像处理，它是指将图像信号转换成数字信号并利用计算机 对英进行处理的过程，数字图像处理最早出现于20世纪50年代，当时的电子计算机己经发 展到一左水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大 约形成于20世纪60年代初期。与人类对视觉机理研究的历史相比，数字图像处理是一门相 对年轻的学科，但在苴短短的历史中，它却以不同程度的成功使用于几乎所有与成像有关的 领域。目前，数字图像处理技术己被广泛应用于办公自动化、工业机器人、地理数据处理、医 学数据处理、地球资源遥感、交互式计算机辅助设讣等领域，尤苴在机器视觉

5、应用系统中成 为关键技术之一。一般的图像都是模拟图像，对于模拟图像只能采用模拟处理方式进行处理, il算机不能接受和处理模拟信号，只有将连续的模拟信号变换为离散的数字信号，或者说将 模拟图像变换为数字图像才能接受。数字图像处理就是对给定的数字图像进行某些变换的过 程。对含有噪声的图像，要除去噪声、滤去干扰，提高信噪比；对信息微弱的图像要进行灰 度变换等增强处理：对已经退化的模糊图像要进行各种复原的处理：对失頁的图像要进行几 何校正等变换。除此之外，图像的合成，图像的边缘提取与分割，图像的编码、压缩与传输, 图像的分析等技术也属于图像处理的内容。由此可见，图像处理就是为了达到改善图像的质 量，将

6、图像变换成便于人们观察和适于机器识别的目的：52.2神经网络人工神经网络是一门以对大脑的生理研究成果为基础，以用机器模拟大脑的某些生理与 机制，实现某方而功能为目的的学科。研究神经网络，特别是神经学习的机理，对认识和 促进人自身发展有特殊的意义。神经网络有许多具有非线性映射能力的神经元组成，神经元之间通过权系数连接。网络 的信息分布式就存在连接系数中，使网络具有很高的容错性和鲁棒性。神经网络技术已经被 有效地用到组合优化、图像处理、模式识别、自动控制等方而。基于神经网络技术的人脸识 别方法是人脸识别研究领域中的一大重要分支。2.3模式识别模式识别，就是通过计算机用数学技术方法来研究模式的自动处

7、理和判读。这门学科 使用计算机的方法实现人的模式识别能力，即对各种事物或现象进行分析、描述、判别和识 别。在人脸识别中，如果是个人识别，则每一个人就是一个模式，预先存在数据库里的图像 就是样本：如果是性别识别、种族识别或年龄识别，则不同的性别、种族或年龄就构成一个 模式；如果是表情识别，则不同的表情就是一个模式。人脸识别重在讨论个人识别，人脸识 别的最终目的就是利用人脸图像确定待识别的人究竟与数据库里的哪个人是同一个人，这是 一个“是谁”的问题：或要判断这个人与库里的某个人是不是同一个人，这是一个“认识或 不认识”的问题。图像识别是指对视觉图像目标按其物理特征进行分类，属于模式识别的范畴。图像

8、识别 系统的基本结构如图1所示。图1图像识别系统的基本结构2.4计算机视觉在客观世界中，人类通过视觉识别文字和周围环境，感知外界信息。人们75%的信息 量都来自视觉，因此让计算机或机器人具有视觉，是人工智能的重要环节，也是人类多年以 来的梦想。在信号处理理论与高性能讣算机出现后，这种希望正在逐步实现。用让算机实现 对视觉信息的处理形成了一门新兴的学科一一计算机视觉。计算机视觉是一门用计算机来实现人的视觉功能，实现客观三维世界的识别的学科。计 算:机视觉的最终目标是模拟人类的视觉能力，理解并解释周国的世界，其研究的一个关键内 容是图像的识别。3人脸检测与定位人脸检测与左位是自动人脸识别系统首先需

9、要解决的关键问题，也即检测图像中是否有 人脸存在，若有，则将其从背景中分割出来并确左其在图像中的位置。在某些可以控制拍摄 条件的场合，如警察拍摄罪犯照片时将人脸限左在标尺内，此时的人脸泄位由于己经具备了 人脸位置的先验知识而相对比较简单：证件照（身份证、护照等）由于背景相对简单，立位 也比较容易。但在通常情况的实际应用中，人脸在图像中的位置预先未能得知，人脸检测与 泄位将受到以下因素的制约：（1）人脸在图像中的位垃、角度和尺度不同以及光照的变化： 发型、眼镜、胡须以及人脸的表情变化等：图像中的噪声影响。因此从某种程度上 说，人脸检测与立位甚至比人脸模式的识别更为关键。按照人脸检测技术的发展历程

10、，本文 依据采用的主要技术方法将人脸检测分为以下四种类型:基于特征检测的方法、基于肤色检 测的方法、基于模板匹配的方法、基于外观统讣学习的方法。3.1基于特征检测的方法基于特征的人脸检测方法依据人脸的而部几何特征、纹理特征、肤色特征进行人脸和非人脸的判别，见下表：表1基于特征的人脸检测与关键特征定位算法人脸特征主要算法主要参考文献边缘、轮廓边缘检测算子；椭圆拟合等8,9器官特征形态学运算；自适应域值：局部特征检 测：模板匹配：概率决策等10.11纹理特征（肤 色、头发、胡 须等）灰度共生矩阵（二阶纹理统计特征）； 神经网络分类器；自组织映射网络等12,133.2基于肤色检测的方法利用人脸肤色信

11、息进行人脸检测曾经一度成为人脸检测领域的研究热点，涌现了大虽:的 学术文献，Lee等刖最早利用人脸肤色信息进行人脸泄位；Saber强利用肤色、人脸形状及 几何对称信息实现人脸检测和面部特征的抽取；Jones利用大量的样本图像对肤色检测问 题进行了分析，并建立了人脸肤色的统计模型用于人脸检测，收到了较好的检测效果； Terrillonl：3使用髙斯模型和混合髙斯模型在不同色度空间建立肤色模型进行人脸检测，并 进行了对比分析，结果发现混合高斯模型比一般髙斯模型具有更好的泛化能力：Hadid則基 于Skin-Locus建立肤色模型，提取彩色人脸区域实现人脸检测，但需要在固泄成像参数下 才保证有良好的

12、性能，鲁棒性有待提高：MartinkauppiC19：对Skin-Locus理论进行了细致分 析，发现人脸肤色在各种光照条件下可以用两个二次或者多次多项式进行拟合；Comanieiu：3 采用Mean-Shift算法进行局部搜索实现人脸的检测与跟踪，该算法提髙了人脸的检测速度, 对遮挡和光照的鲁棒性较好，但对于复杂背景和多个人脸目标的检测不够鲁棒：Hsu：%采用 光照补偿的办法克服光照问题，从一泄程度上解决了偏色、复杂背景和多人脸目标的检测问 题，对人脸的位置、尺度、旋转、姿态和表情等变化具有较好的鲁棒性：Sobottka和PitasM 结合肤色（HSV）和人脸的形状信息来定位人脸和进行而部特

13、征的提取:Terrillond等利用高 斯模型对肤色象素进行聚类，并采用神经网络对二值图像的几何距进行学习实现人脸检测； Garcia和TziritasC3,采用量化肤色区域合并结合小波分析实现人脸检测。总的说来，基于肤色检测的方法鲁棒性的提髙依赖于肤色模型的质量，在背景相对简单的情况下可以获得良好的检测效果;但在复杂背景中，尤其是背景中存在较多的类肤色区域 时，检测质量将急剧下降。而且，肤色模型在不同人种之间会存在较大的差异，因而很难建 立一个通用性很强的人脸肤色统il模型。因此，基于肤色检测的人脸检测方法的应用受到一 定限制。3.3基于模板匹配的方法基于模板匹配的方法首先需要人工泄义一组标

14、准或参数化的人脸模式（通常为正而）， 称之为模板。对于给左输入图像，通过计算貝与标准模板的相关系数并根据相关系数判断是 否为人脸，详见表2。这种人脸检测方法实现简单，但是由于人脸尺度、姿态和形状的不确 定性，基于模板的人脸检测方法通常达不到很髙的准确率。表2基于模板匹配的人脸检测方法模板种类主要算法主要参考文献固宦模板人脸子模板（眼睛、鼻子）梯度图像：相关匹配等25,26人脸形状模板边缘检测：相关匹配等27,28分块比例模板29重心模板Laplancian边缘检测：相关匹配等30变形模板弹性模型能量函数度呈31Snakes能量函数度量32PDM模型ASM搜索333.4基于统计学习的方法与上述方

15、法不同,基于统计学习的方法主要采用大疑的人脸与非人脸样本对检测分类器 进行训练，将人脸检测转化为二类模式分类问题。Propp等人是最早采用神经网络进行人脸检测的学者之一，他们通过构造一个4层（两 个隐藏层）神经网络实现人脸检测，但没有相关检测性能的报道；后人在他们的基础上通过 优化神经网络结构提岀了时延神经网络（TDNN）,自组织映射神经网络（SOM）、卷积神经 网络（CNN）、槪率决策神经网络（PDBNN）。Feraud等人通过构造自协商神经网络（SNNN） （进行非线性主元分析，可以检测正而到左右60度族转的人脸，他们的方法后来被Listen 和Multrak采用。Sung. Rowley

16、、Lin&Kung等卩创采用K-mean聚类算法在特征空间建立“人脸”和“非 人脸”族，采用自举(bootstrap)方法首先建立一个仅使用人脸样本和少量非人脸样本训练 的初始神经网络分类器对一组图像进行训练，将误检的非人脸样本加入非人脸样本库：然后 训练新的分类器，如此不断迭代，直到收集到足够多的非人脸样本，这种方法后来被许多学 者所采用。Carleson、Yang 等人提出的 SNoW (Sparse Network of Winnows)学习方法，对检测 不同特征、表情、姿态和光照条件下的人脸收到了较好的效果。其实质就是采用Winnow算 法进行权值更新的稀疏神经网络：H.Schncid

17、crman刖提出的基于后验概率估计的方法，先对 样本进行小波变换，然后对这些特征进行统汁，通过统计计算训练样本的宜方图求得人脸与 非人脸的概率分布实现人脸检测。不同于传统基于经验风险最小化的分类器，如贝叶斯分类器、神经网络分类器等，支持 向量机分类器(SVM)以基于结构风险最小化原理最小化泛化误差，通过构造最优分类超 平而实现模式分类。在这一领域，Osuna等人最早提出采用SVM分类器进行人脸检测，并 提岀了针对大规模数据集的SVM训练算法。实验结果显示基于SVM的人脸检测速度比早 先Sung等人提出的神经网络人脸检测快足足30倍。Nefian39等人采用隐马尔可夫模型(Hidden Mark

18、ov Models简称HMM)检测人脸OHMM 是一种双重的随机过程，采用节点表示状态，有向边表示状态之间的转移。因此适合描述信 号统汁特性。Ncfhm等通过检测区域中的每个子区域，采用K丄变换系数作为观测矢量， 通过B-W和维特比算法获得HMM的模型参数，依据区域观测序列的输出概率判决是否为 人脸。3.5 AdaBoost算法训练器康柏研究院的Viola40在2001国际计算机学术年会上发表的论文标志着人脸检测技术 开始走向实用。他们通过综合AdaBoost41-42-43和Cascade算法实现了实时人脸检测，使得人 脸检测开始迈向实用化的道路。而且首次引入了 “积分图像”(Inwgal

19、Image)的概念，大大 加快了检测过程中特征的汁算速度。利用Adaboost学习算法提髙一个简单分类器(弱分类器) 的性能，理论上最终形成的强分类器的训练错误率接近零，而且推广性好。Viola在他的实 验中泄义了 180000种矩形特征，通过实验选择一小部分特征形成一个有效的分类器。继Viola等提出用于人脸检测的AdaBoost算法之后，许多学者对他们的算法进行了继 承和发展。首先，Lienlxart等人提岀了新的旋转Haar-Like特征，可以用于旋转人脸的快速 检测，同时提出了一些其他的 Boosting 法：如 Discrete AdaBoost, Real AdaBoost, Ge

20、ntleAdaBoost 等。Froba在AdaBoost算法基础上提岀了基于灰度图像的正而和平面内旋转人脸实时检测 系统，在EOM ( Edge Orientation Matching)的基础上进行扩展，引入SNoW算法进行校验， 得到一个更为鲁棒的系统。国内的李子淸在AdaBoost算法基础上提出了 HoatBoost算法，实现多视角人脸检测， 通过从粗到精、从简单到复杂的金字塔型的人脸检测：与传统的Adaboost算法相比，能在 提高人脸检测速度的冋时提髙检测精度。Liu 提出 了基于 Kullback-Leibler Boosting ( KLB)算法的分类器，解决了传统 AdaBo

21、ost 算法存在的弱分类器的最优组合以及最优分类器和特征的选择问题。Viola本人也对 AdaBoost算法进行了改进，提出了不对称AdaBoost算法，用于快速图像检索和人脸检测。 总的说来，基于Boosting和Cascade算法的系统在速度方而具有很大的优越性，通过 Haar-Like特征训练一些弱分类器，再组合成一个强分类器。如何在提高检测精度的同时不 降低检测速度，可以从以下方面综合考虑：采用更优的特征描述方法，综合AdaBoost和强 分类器。3.6多种方法的结合人脸检测与精确泄位是一个颇具挑战性的研究课题,一些效果较好的人脸检测系统并不 只是采用上述的某种方法,而是将多种方法有机

22、地融合。主流的方法大多是基于统计学习的, 因此受学习样本的影响较大，不同样本集合对算法的性能也有一定影响。复杂背景中正面人 脸检测已经有了比较好的结果，多姿态人脸检测仍然是目前的研究重点，虽然取得了一些进 展，但如何利用人脸的深度信息解决姿态和光照问题还有待进一步研究。4人脸的识别方法识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个人则比较稳泄的特 征。具体的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法有基于几 何特征的人脸识別方法和基于相关匹配的人脸识別方法。目前，静I匕图像的人脸识别方法主 要有三个研究方向：一是基于统讣的识别方法，包括特征脸(Eigcnfacc

23、)方法讪和隐马尔 科夫模型(Hidden Markov Model)昭方法：二是基于连接机制的识别方法，包括一般的神 经网络方法刚和弹性图匹配的(Elastic Graph Matching)方法：三是其他一些综合方法或处 理非二维灰度图像的方法。4.1基于几何特征的人脸识别方法常采用的几何特征|刪有人脸的五官如眼睹、鼻子、嘴巴等的局部形状特征，脸型特征 以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。在这种 基于几何特征的识别中，识别总归为特征矢量之间的匹配，基于欧氏距离的判决是最常用的 识別方法。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，其

24、分 量通常包括人脸指立两点间的欧式距离、曲率、角度等。基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于理解：对每幅 图像只需存储一个特征矢量，存储量小：对光照变化不太敏感。这种方法同样存在如下问题: 从图像中抽取稳左的特征比较困难，特别是特征受到遮挡时这种情况更为明显；对强烈的表 情变化和姿态变化的鲁棒性较差：一般几何特征只描述了部件的基本形状与结构关系，忽略 了局部细微特征，造成部分信息丢失，更适合于粗分类。4.2基于模板匹配的人脸识别方法模板匹配法妙是一种经典的模式识别方法，这种方法大多是用归一化互相关宜接计 算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相

25、同的尺度取向和光 照条件，所以预处理要做尺度归一化和灰度归一化的工作。最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆。另一种 方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、凍子模板、眉毛模板和下 巴模板等。但这些模板的获得必须利用各个特征的轮邮，而传统的基于边缘提取的方法很难 获得较髙的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取所需的特征疑。为 此，用弹性模板方法提取特征显示出英独到的优越性。弹性模板由一组根据特征形状的先验 知识设汁的可调参数所左义。为了求出这组参数，需要利用图像的边缘、金值、谷值和强度 信息及特征形状的先验知识设汁合适的能量函数

26、。参数向能量减小方向调整，当能量达到最 小时，这组参数对应的模板形状最符合特征形状。4.3特征脸方法特征脸(Eigenface)】方法是从主成分分析(Principal Component Analysis ,PCA) ,53) 导出的一种人脸识别和描述技术。PCA实质上是K-L展开的网络递推实现，K丄变换是图 像压缩中的一种最优正交变换，其生成矩阵一般为训练样本的总体散布矩阵。特征脸方法就 是将包含人脸的图像区域看作是一种随机向疑，因此可以采用K-L变换获得苴正交K丄基 底，对应貝中较大特征值的基底具有与人脸相似的形状，因此又称之为特征脸。利用这些基 底的线性组合可以描述、表达和逼近人脸图像

27、，因此可以进行人脸识别和合成。识别过程就 是将人脸图像映射到由特征脸张成的子空间上，比较英与已知人脸在特征脸空间中的位置。近年来，据此发展了多种对特征脸的改进方法，如双子空间法、相形歧义分析方法、 Fisher脸方法等。另一方面,Albert等将PCA与人脸拓扑关系结合起来提岀TPCA(topological principal component analysis)方法,识别率较单一的PCA类方法有所提高。此外，与K丄 变换的思想比较接近，但不是从统讣角度出发的。列一种变换是奇异值分解(SVD)的方法, 即将图像矩阵的奇异值作为模式的特征矢量。4.4隐马尔科夫模型隐马尔科夫模型(Hidden

28、 Markov Model, HMM)堤用于描述信号统计特性的一组统 计模型。使用马尔科夫链来模拟信号统计特性的变化，而这种变化又是间接地通过观 察序列来描述的，因此，隐马尔科夫过程是一个双重的随机过程。IHMM中，盯点表示状 态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征, 不同状态表现岀这一特征的概率不同。由于HMM是一个统计模型，对于同一特征序列，可 能会对应于许多状态序列，特征序列与状态序列之间的对应关系是非确立的。这种模型对于 状态序列来说是隐的，故称为隐马尔科夫模型。HMM有三个主要问题：评估、估计及解码。我们关心的是前两个问题，评估用于解决 识别问

29、题,一般采取比较有效的“向前-向后”法;估计用来产生用于识别的各个单元的HMM, 采取Baum-Welch方法。4.5基于神经网络的方法利用神经网络，人们就不需要为人脸识别淸晰地左义特征。Kohonen将自组织映射 (self-organizing map ,缩写SOM)网络应用于人脸回忆。即使当输入图像带有强烈噪声或 有部分丢失，准确的回忆能力仍然可以获得。LawrenceetaU53使用了一个混合的神经网络系 统，主要包括了一个改进的五层SOM网络和CNN网络(Convolutional neural networks), 其中CNN具有局部权值共享的拓扑结构。这种结构与基于接收区域(re

30、ceptive fields)的生 物网络有更多的相似点，并且提高了对局部变形的忍耐性。多层感知机神经网络(Multi-layer perceptron neural networks)和径向基函数网络(radial basis function networks)也己经被用于 人脸识别。4.6弹性匹配方法弹性图匹配方法何堤一种基于动态链接结构(Dynamic Link Architecture .DLA)的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位垃的Gabor小波分解得到的特征向 量标记，图的边用连接肖点的距离向量标记。匹配时，首先寻找与输入图像最相似的模型图, 再对图中的每个节

31、点位苣进行最佳匹配，这样产生一个变形图，其肖点逼近模型图的对应点 的位萱。Wiskott等人使用弹性图匹配方法，以FERET图像库做实验，准确率达到97.3%。 弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸方法的人脸识 别方法。此方法的主要缺点是对每个存储的人脸需计算苴模型图，计算量大，存储量大。为 此，Wiskott在原有方法的基础上提岀聚朿图匹配，部分克服了这些缺点。在聚束图中，所有 节点都已经定位在相应目标上。对于大虽数据库，这样可以大大减少识别时间，另外,利用聚 朿图还能够匹配不同人的最相似特征。因此可以获得关于未知人的性别、胡须和眼镜等相关 信息。Lee等提出

32、了一种基于弹性图动态链接模型的方法，既取得较高的识别速度，也获得 了较理想的识别率，在一立程度上克服了以往方法总是在速度与识别率之间进行折中的缺 点O4.7其它人脸识别方法以上几种典型的人脸识別方法，每种方法各有其优缺点，因此可以把多种方法综合起来, 或同时利用不同种类的特征。要从大量人脸数据库中进行识别，单靠扩展单一种类的特征数 目是不够的，而要扩展与原特征集正交的英它种类特征。Jia等在正而人脸几何特征的基础 上，将侧而轮娜特征、眼睛形状特征以及人脸轮解特征也加入特征矢量，获得了较采用单一 正面人脸几何特征为特征矢量方法更髙的识别率。Lai等结合小波变换与傅立叶变换提出与 平移、缩放、平而内旋转无关的光谱脸人脸表征方法。目前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外，还有深度人脸图像 识別和红外人脸图像识别方法。深度图像包含了人脸的深度信息，Gordon针对深度图像提 出了一种基于模板的用图像数