基于级联姿态回归的局部遮挡人脸特征点定位研究.pdf

基于级联姿态回归的局部遮挡人脸特征点定位研究.pdf

《基于级联姿态回归的局部遮挡人脸特征点定位研究.pdf》由会员分享，可在线阅读，更多相关《基于级联姿态回归的局部遮挡人脸特征点定位研究.pdf（64页珍藏版）》请在冰豆网上搜索。

II摘要人脸特征点定位是指自动标定出脸部特征点的位置，是研究和分析人脸图像的基础。

然而在局部遮挡的人脸上定位特征点依然是一个难点问题。

近年来，基于级联姿态回归模型的人脸特征点定位算法受到广泛关注，该模型在遮挡人脸上取得较好的定位精度并且在定位的同时还可以预测特征点的遮挡状态。

该模型由给定的初始形状开始级联回归，通过不断更新当前特征点的位置分布和遮挡状态，逐步逼近特征点真实位置，因此该模型必然依赖初始化，对初始形状敏感，不合理的初始化会严重降低定位和遮挡检测的准确性，甚至导致定位失败。

除此之外，现有模型仅通过一级级联回归更新特征点位置与遮挡状态，没有合理的方法评估预测结果是否可靠，也会影响特征点定位与遮挡检测的可靠性。

本文对这些问题展开了深入的研究，主要工作如下：

1）针对级联姿态回归模型对初始化很敏感的问题，本文针对级联姿态回归模型对初始化很敏感的问题，本文提出了基于纹理提出了基于纹理相相关初始化的级联姿态回归算法关初始化的级联姿态回归算法。

通过提取训练集中所有人脸与测试人脸的纹理直方图矩阵，利用皮尔逊相关性分析方法分析当前测试人脸与训练集中各个人脸的相关性，从而寻找到与当前测试人脸最相关的形状作为初始化。

该算法提高了初始形状的鲁棒性，在COFW数据集上特征点定位的精确度更高，并且特征点的遮挡检测精确度从80/42%（Precision/recall）提高到80/51.4%。

2）针对针对基于纹理相关的初始化仅基于纹理相关的初始化仅考虑考虑了人脸的纹理了人脸的纹理特征未特征未考虑姿态信息考虑姿态信息的的问题问题，因此因此本文提出了基于鲁棒初始化的级联姿态回归算法。

本文提出了基于鲁棒初始化的级联姿态回归算法。

该算法通过初步定位脸部五个特征点分析当前人脸姿态，利用求得的人脸姿态结合平均脸求得姿态相关初始形状，并将姿态相关初始形状结合纹理相关初始形状得到鲁棒的初始化，该初始化在遮挡和姿态上都更接近人脸的真实状态。

在输出结果时不再选取所有预测结果的中间值，而是通过方差评估的方式判定各个预测结果的有效性，取有效预测的中间值。

该算法在COFW数据集上的准确度超越了当前许多主流的特征点定位和遮挡检测算法。

实验表明该鲁棒初始化方法也适用于其他级联回归模型，具有一定的泛化能力。

3）针对针对一级级联一级级联回归回归没有评估没有评估预测结果预测结果可靠性可靠性的问题的问题，本文提出了基于稀本文提出了基于稀疏重构修正的两级级联姿态回归算法疏重构修正的两级级联姿态回归算法。

主要包含三个步骤：

首先利用基于鲁棒初始化的级联姿态回归算法得到初级定位结果，然后在初级定位的基础上，利用稀疏重构算法计算各个特征点的重构残差，根据重构残差判断初级定位结果III的可靠性从而修正不可靠的定位结果，再根据稀疏系数中非零项对应的字典元素的遮挡信息重新计算当前特征点的遮挡概率。

最后利用修正后的结果作为二级级联姿态回归的初始化，再次回归得到最终定位与遮挡检测结果。

此算法不再单纯的使用级联回归更新特征点位置与遮挡状态，而在中间考虑了特征点本身的信息，利用稀疏重构算法去修正位置及遮挡概率。

实验表明该算法的性能进一步优于基于鲁棒初始化的级联姿态回归算法。

本文主要针对级联姿态回归模型在遮挡人脸定位上初始化不够鲁棒，以及一级级联回归中未评估回归结果和遮挡检测准确度不高的问题，提出了改进方案。

实验结果表明，本文提出的算法在遮挡人脸特征点定位上取得了较好的性能，在定位与遮挡检测准确度上超越了当前许多主流的人脸特征点定位算法。

关键词：

遮挡人脸特征点定位；级联姿态回归；鲁棒初始化；稀疏重构修正；两级级联回归IVAbstractFaciallandmarklocalizationaimsatlocatingfaciallandmarksautomatically,whichistheprerequisiteandfoundationforanalysisoffaceimages.However,itisstillachallengingtasktolocatethefaciallandmarksunderthepartialocclusion.Recently,thecascadedposeregressionmodelhasattractedincreasingattention,duetoitssuperiorperformanceinfaciallandmarklocalization.Especially,thismodelcannotonlylocatelandmarkbutalsodetectocclusion.Ittypicallybeginswithaninitialshapeandthenupdatestheshapeandocclusionstatefromcoarsetofinethroughthetrainedregressors.Itisverysensitivetoinitialshape,whereanimproperinitializationcanseverelydegradetheperformance.Also,theexistingalgorithmsupdatelocationandocclusionstateonlythroughone-stagecascadedregression,thereisnoreasonablemethodtoevaluatewhetherthepredictionresultsarereliable.Especially,intheearlystageofregression,thedetectedlandmarkisinaccurate,whichmakesocclusiondetectioninaccuracy，itwillalsoaffecttheaccuracyoflocatinglandmark.Toovercomethoseproblems,threeimprovedmodelsareproposedinthispaper.Cascadedposeregressionmodelisverysensitivetoinitialization,whilemosttraditionalmethodsarebasedonrandominitialization,whichwouldseverelydecreasetheperformanceofregression.Therefore,inthispaper,weproposethecascadedposeregressionbasedontexturecorrelatedinitialization.Byextractingthetexturehistogrammatrixesofallfaces,thecorrelationbetweenthetestfaceandthetrainingfaceiscalculatedbythePearsoncorrelation,thentheshapesofthetrainingfacesthataremostcorrelatedwiththetestingfaceareselectedastheinitialization.Theproposedmethodimprovestherobustnessoftheinitialshape.TheaccuracyoflandmarklocalizationontheCOFWdatasetishigherthanexsitingalgorithms,andtheocclusiondetectionisimprovedfromthe80/42%（Precision/recall）to80/51.4%.Thetexturecorrelatedinitialshapeconsidersthetexturefeaturebutignoretheposeoftheface.Whenocclusionandposeexistsimultaneouslyinaface,theaccuracyoflocalizationisstillunsatisfactory.Tofurthermaketheinitialshapesmorerobusttovariousposes,weproposethecascadedposeregressionbasedonrobustinitialization.WeestimatetheposeofthefaceaccordingtothefivefiducialVlandmarks.Thentheposecorrelatedinitialshapesareconstructedbythemeanfacesshapeandthefacepose.Finally,thetexturecorrelatedandtheposecorrelatedinitialshapesarejoinedtogetherastherobustinitialization.Insteadoftakingthemedianofallpredictedresultsasthefinaloutput,thevarianceisusedtodeterminethereliabilityoftwoinitializationmethodspredictionsandtakethemedianofthereliablepredictions.Theexperimentalresultsshowthatourmethodobtainsaremarkablyhigheraccuracyonfaciallandmarklocalizationandocclusiondetection.Accurateinitializationwillimprovetheperformancesignificantly.However,thereisnomethodtoassessthereliabilityofthepredictionresultsintheone-stagecascadedregressionmodel.Also,updatingocclusionstatesimplythroughregressionmakesocclusiondetectioninaccuracy.Therefore,weproposetwo-stagecascadedposeregressionbasedonsparsereconstructionrevise.Firstly,thecascadedposeregressionbasedonrobustinitializationisusedasthefirststagetogetprimaryresults.Then,accordingtotheprimaryresults,thesparsereconstructionalgorithmisusedtocalculatethereconstructionresidualofeachlandmark,whichisusedtodeterminethereliabilityoftheprimaryresultsandmodifytheunreliableresults.Besides,accordingtothenon-zerotermsinthesparsecoefficient,thecorrespondingdictionaryelementsareusedtorecalculatetheocclusionprobabilityofeachlandmark.Finally,themodifiedresultsareusedastheinitializationofthesecondstageregressiontogetthefinaloutput.Theexperimentalresultsdemonstratethattheproposedschemeachievesbetterperformancesthanthecascadedposeregressionbasedonrobustinitialization.Inthispaper,weproposethreeimprovedmodelstosolvethatthetraditionalcascadedposeregressionmodelissensitivetoinitialization,one-stagecascadedregressionmodelhasnoreasonablemethodtoevaluatethepredictionresultsandtheaccuracyofocclusiondetectionisunsatisfactory.Experimentalresultsshowthattheproposedschemessignificantlyimprovetheaccuraciesonbothfaciallandmarklocalizationandocclusiondetectiononpartiallyoccludedfacethanthestate-of-the-artbenchmarks.Keywords:

Landmarklocalizationunderocclusion,Cascadedposeregression,Robustinitialization,Sparsereconstructionrevise,Two-stagecascadedregressioni目录摘要.IIAbstract.IV第1章绪论.11.1研究背景及意义.11.2国内外研究现状分析.21.3主要挑战.41.3.1初始化问题.41.3.2定位及遮挡检测精确度低.51.4数据集与评价标准.61.4.1数据集.61.4.2评价标准.61.5本文主要研究内容及结构安排.71.5.1主要研究内容.71.5.2结构安排.8第2章基于纹理相关初始化的级联姿态回归.102.1级联姿态回归模型框架.102.2基于纹理相关初始化的级联姿态回归.122.2.1LBP特征原理.122.2.2LBP纹理直方图矩阵.142.2.3基于纹理相关初始化的级联姿态回归.162.3实验结果.182.3.1实验配置.182.3.2特征点定位及遮挡检测结果.192.3.3LBP特征与其他特征结果比较.222.4本章小结.23第3章基于鲁棒初始化的级联姿态回归.24ii3.1姿态相关初始化.243.1.1脸部姿态估计.243.1.2姿态相关初始化.253.2基于鲁棒初始化的级联姿态回归.273.3实验结果.283.3.1实验配置.283.3.2特征点定位及遮挡检测结果.283.3.3算法运行时间分析.333.3.4初始化方法的泛化能力分析.333.4本章小结.34第4章基于稀疏重构修正的两级级联姿态回归.354.1稀疏重构修正.354.1.1稀疏重构修正原理.354.1.2稀疏重构修正特征点位置及遮挡概率.384.2基于稀疏重构修正的两级级联姿态回归.394.3实验结果.414.3.1实验配置.414.3.2稀疏重构修正性能分析.414.3.3特征点定位及遮挡检测结果.444.3.4两级级联回归模型泛化能力.474.4本章小结.48第5章总结与展望.495.1本文工作总结.495.2下一步工作展望.50致谢.52参考文献.53攻读硕士学位期间主要的工作.58武汉理工大学硕士学位论文1第1章绪论1.1研究背景及意义人脸特征点定位是指在预先检测到人脸的情况下，自动搜索面部关键点的位置，一般包括五官轮廓的尖端或突出处，比如眉毛、瞳孔中心、鼻尖以及嘴角等，如图1-1所示。

人脸特征点包含了脸部的重要信息，作为计算机视觉领域内的一项重要研究，人脸特征点定位是研究和分析人脸图像的基础。

人脸特征点隐式地包含了人脸头部姿态信息1，准确而快速的人脸特征点定位是后续的人脸分析和识别的关键，如人脸检测2、人脸跟踪3、人脸识别4-5、表情识别6-8等问题。

近年来，关于人脸特征点定位有大量研究，并取得诸多成果9-14，然而当脸部存在姿态、光照、表情、遮挡等变化时，人脸特征点定位仍然面临巨大的挑战，尤其是当人脸由于手、饰物、眼镜、发型等引起的局部遮挡，很大程度上增加了人脸特征点定位的难度。

（a）（b）图1-1定位与检测遮挡状态（绿色表示预测为未遮挡，红色表示预测为遮挡）然而，在大部分实际应用场景中，人脸总是存在遮挡，遮挡变化非常广泛而且很难控制，也很难用一种统一的模式去量化。

从2013年开始，出现了针对复杂场景中遮挡人脸特征点定位的研究12，在该研究中，将遮挡人脸特征点定位分为两个任务：

定位特征点和检测特征点的遮挡状态，如图1-1（b）所示。

如果特征点被遮挡不仅不能提供有用的信息还可能会对整个人脸特征点定位产生干扰，所以特征点的遮挡状态预测的越准确，特征点定位的准确性也会提高，其次检测出特征点的遮挡状态也会对人脸识别以及表情识别等问题带来积极影武汉理工大学硕士学位论文2响。

因此既检测出特征点位置又预测特征点遮挡状态成为研究的热点问题。

本文主要针对遮挡人脸特征点定位进行研究，通过考虑现有的遮挡人脸特征点定位算法的不足，进一步提高特征点定位和遮挡检测的准确度。

1.2国内外研究现状分析经过长期大量的研究，针对人脸特征点定位问题存在众多方法并取得一定的成果。

人脸特征点定位方法可以简单的分为两类，一类为基于局部形变模型的方法，另一类为基于全局回归的方法。

基于局部形变模型的方法通常依赖于判别式局部检测和使用明确的形状模型来规范局部输出，许多分类和回归的方法被用在该类方法中，如Belhumeur等人15和Rapp等人16应用了支持向量机（SupportVectorMachines），Martinez17等人应用了支持向量回归（SupportVectorRegression），最近回归森林也被用在基于局部形变模型的方法中18-21，在这些方法中通过人脸特征点临近区域的累积投票来估计人脸特征点的位置。

基于此，Smith等人22提出了基于样例图像检索的投票模式。

虽然有些方法没有利用形状信息19，但是将局部检测与形状模型结合起来更为有利，因为只有少数脸部特征点具有很强的判别性，并且通常一个特征点会存在多个候选点，通过使用形状模型来限制搜索区域，或者通过修正局部搜索中已得到的特征点预测来实现。

典型的形状模型包括受约束的局部模型（ConstrainedLocalModel）18,23,24和树结构模型（Tree-structuredModel）9,25,26。

基于局部的方法在脸部存在遮挡时性能会有较大的影响，因为局部检测对噪声很敏感，并且局部检测需要对每个特征点分开计算，因此当人脸特征点的数目增加时，测试以及训练的效率都会急剧下降。

基于全局回归的方法把人脸形状作为一个整体，将人脸特征定位用级联回归的方式求得。

此类中一个典型的方法就是主动外观模型（ActiveAppearanceModels,简称AAM）27，在AAM模型中，每次迭代都通过线性回归来预测当前参数的变化，基于AAM模型，提出了许多更优的算法28-30。

近年来，一个叫做级联姿态回归（CascadedPoseRegression,简称CPR）31的算法被提出用在人脸特征点定位上，自此便有大量以级联回归模型为基础的人脸特征点定位算法的研究10,12,32-39。

该类算法以一个初始形状开始，例如随机形状或平均形状，然后通过训练得到的回归器由粗到精逐步更新人脸形状。

以CPR算法为基武汉理工大学硕士学位论文3础的方法12,31,32使用的是随机蕨回归器并在回归器训练时运用姿态索引特征作为输入，Xiong等人30提出SDM（SupervisedDescentMethod）算法，该算法在级联回归过程中使用SIFT特征40，并从梯度下降的角度解释人脸特征点定位问题。

大部分全局回归的方法都依赖于初始化，初始化不同对结果影响很大，为了解决这个问题，现有的级联回归方法尝试用几个不同的形状做初始化12,31,32，然后求各个初始形状回归预测结果的中间值作为最终的输出结果。

Burgos-Artizzu等人12提出即使使用不同的初始形状，经过数次迭代回归后都将趋于近似值的初始化才是有效的，因此提出智能重启模式来提高随机初始化的鲁棒性。

基于局部的方法对局部遮挡很敏感，虽然全局的方法避免局部最优但是在脸部存在遮挡时算法性能依然会有很大的影响。

近年来，针对局部遮挡人脸特征点定位的研究越来越多12,34,37,41-43，脸部遮挡在实际应用中普遍存在，通常被遮挡的特征点不能提供有用的信息反而可能会影响其他特征点定位的准确性，因此在定位人脸特征点的同时预测特征点是否被遮挡在近几年受到研究者的关注12,25,34,37,42，Burgos-Artizzu等人在鲁棒的级联姿态回归算法（RobustCascadedPoseRegression，简称RCPR）12中首次提出在定位的同时预测特征点的遮挡状态，RCPR算法将遮挡状态转化为权重通过乘积去修正回归器的输出以此提高在遮挡情况下定位的鲁棒性。

考虑到遮挡总是连续的区域，Yang等人提出RPP（RegionalPredictivePower）算法34，该算法先将人脸用图像分割算法分割成不重叠的区域，利用局部回归森林投票求得每个区域像素的可信度从而求得遮挡权重，该算法提高了定位的准确性但在遮挡预测上的结果却没有很大的提高。

Yu等人提出CoR（Consensusofocclusion-robustRegression）算法42，通过训练针对脸部特定区域遮挡的回归器来提高遮挡预测的准确性。

Liu等人提出CRASM（CascadeRegressionwithAdaptiveShapeModel）算法37，该算法在每次迭代中，利用形状索引表象特征（Shape-indexedAppearance）求得各个特征点的遮挡等级，将遮挡等级转化为权重修正位置