Locally Assembled Binary LAB.docx

1、Locally Assembled Binary LABLocally Assembled Binary (LAB) Feature with Feature-centric Cascade forFast and Accurate Face Detection 摘要在本文中，我们描述了一种新类型的要素快速准确的人脸检测。该功能被称为本地组装二进制（LAB）哈尔功能。 LAB的特点是基本上是由哈尔特征和地方的成功的启发人脸检测二元模式（LBP），但它远远超出了简单的组合。在我们的方法，哈尔功能修改为只保留顺序关系（由名为二进制哈尔功能），而不是之间的差异累加强度。邻近几个二进制哈尔然后功能组装

2、捕捉他们的共生类似的想法LBP。我们表明，功能比较比Haar型特征LBP都在区分有效电力和计算成本。此外，一个新的有效的检测方法叫做功能为中心的级联建议构建一个高效检测器，其从显影特征为中心的方法。对实验结果CMU + MIT的正面人脸测试集和CMU轮廓测试集节目该方法可以达到很好的效果，并惊人的检测速度。简介在过去的十年里，我们见证了蓬勃开发的人脸检测技术。越来越多的快准确的人脸检测系统是由不同的开发研究或商业机构的各种实际应用，如视觉监控，机器人，图像检索和智能人机界面。之前介绍的脸的发展和问题检测我们首先给脸检测的概念，它是从参考引用1：给定任意的图像或图像序列，人脸检测的目标是确定是否

3、存在在图像中的任何面，和如果存在的话，回到自己的形象的位置和范围。在一般情况下图像中面临着不同的变化照明条件，人员，姿势，表情等，所有的这些因素使得人脸检测具有挑战性。以应付的变化，它是公由研究者认可认为适当的功能和有效的学习方法应该是设计或采用模型“面对”。更普遍说，这实际上是对所有模式的关键问题分类问题。提出了基于许多不同类型的特征人脸的各种物理性质。这些功能抽象包括强度，颜色，纹理，边缘和数字。某些功能显示特定下表现良好条件，但对一般的情况的限制。例如，皮肤的颜色可以是一个有效的特征来细分的面部区域。然而，它需要启发式后处理提取的面孔从所述分割的结果。另外，皮肤的颜色是敏感光照变化，并且

4、只能应用于彩色图像。其它特征，如小波，可以处理适中照明变化。然而，当考虑分类精度和计算成本合计，基于方法通常强度达到最佳性能在一些特殊的应用环境。至于分类器，分类器典型应用于面对检测包括神经网络8,9，贝叶斯分类器7，支持向量机（SVM）2，和雪10。最近的人脸检测研究具有里程碑意义的是中提琴琼斯的工作11。在他们的工作中，正面人脸检测系统的开发，这取得了优异的精度和近实时速度。哈尔特征和Adaboost的是探索构建一个级联检测器。这一开创性的工作之后，提出了许多改进版本。大多人集中于替代的AdaBoost12，13，14，15，16，17，18和19，Haar特征19，20，粗到细的体系结构

5、21，22，23，24和级联的优化调谐架构17，18，26，27，28事实上，上述的技术，尤其是中提琴和琼斯的工作，极大地先进的人脸检测。然而，这是当然的人脸检测研究的不是结束在分类精度和检测速度两者而言，尤其是在复杂的情况。为了进一步提高面部检测系统的效率，在本文中，我们提出了一种新的人脸检测方法。该我们的方法的第一个关键贡献是一种新型的功能。我们所说的特征本地装配二进制（LAB）功能。LAB功能是通过Haar型特征的成功的启发和局部二元模式（LBP）的人脸检测，但它远远超出了他们的简单组合。在我们的方法，哈尔功能被修改为只保留序关系（由二进制哈尔特征命名），而不是差异的累加强度之间。然后，

6、几个相邻二进制哈尔特征被组装在一起以捕捉具有类似想法的LBP共生。要了解一个高效的人脸检测器，一个功能为中心的级联进一步提出，其立足于原始特征为中心检测方法。功能为中心的级联引入级联想法付诸功能为中心的方法。它加快了正面面对决赛检测在很大程度上和用于多视图面部检测甚至更多。这是本文的第二个贡献。为了评估分类精度和计算所提出的实验室功能和特性为中心的级联的成本，我们在一个相当大的正面人脸数据集进行实验（包括230000个正面面部样本）。脸部图像该数据集包括变化的各种来源。最后检测器是在CMU+ MIT正面人脸测试集评估和显示与已知的最好的更好的性能比较结果。我们还开展多视角人脸检测实验进一步研究

7、提出的方法，在其中所提出的方法也显示了良好的性能准确度和速度。首先我们：本文的其余部分安排如下引进第2节中所提出的实验室功能。特征为中心的级联在第3节的下一个描述部分介绍了两个正面人脸的实验结果检测和多视图面部检测。结论和未来的工作在第5节给出。2.本地装配二进制（LAB）特征在本节中，我们描述了所提出的实验室功能的3个分层方面：二元Haar型特征;该组装二元Haar型特征，以及LAB功能。2.1 二进制哈尔功能为了清楚起见，我们首先回顾哈尔功能并分析计算成本的缺点，那么二进制哈尔特征呈现。甲哈尔特征是积累之间的差的几个相邻的矩形区域的强度。经典矩形的布局图1中的特征被示出值是填充的矩形和之间

8、的差填充矩形。更一般地，的布局矩形可以任意变化。的累加强度该矩形区域可以有效地被受助来计算图像被称为积分图像。请参阅11的细节。该的哈尔特征计算包括加法或减法的参与矩形的累加强度。 对于例如，如在图1中所示的2矩形的Haar特征（a）中和（b）可被计算为： fj(x)=(s1)j(s2)j, (1)其中，（S1）j和（S2）.J表示强度的填充的总和和哈尔特征j的未填充的矩形，x是输入图像。在实践中，为了提取具有强大的照明变型中，照明校正通常用于对特征提取之前的候选图像窗口。经常使用的照明校正方法包括方差归一化，直方图均衡，和线性照明校正等。虽然这些照明校正操作看似简单，检测可能会变得耗时因为他

9、们的应用程序在每个候选窗口输入图像。例如，在中提琴和琼斯的工作11中，输入图像，方差的每个候选窗口归一化进行。哈尔特征，然后计算方差标准化窗。 更重要的是，上述照明修正程序导致另一个问题：对于相同的哈尔功能属于不同的候选窗口，它必须是重新计算比的，因为不同的多次多对于不同的窗口照明校正参数。该重新计算结果在多个功能评估和主要是增加了计算成本。例如，哈尔与照明校正功能是通过计算： 其中是一些候选窗口x的方差。 因为s为不同的候选窗口不同，相同Haar型特征重新计算每个不同的候选窗户包含它，如图2所示。显然，这导致多个浮点部门。为了克服上述问题，二进制哈尔特点是提出了，只能保存序关系在哈尔特征计算

10、： 换句话说，所提出的二元哈尔功能只保留哈尔特征的符号信息，而绝对差异被丢弃。通过这种二元操作，该功能变得更强大的全球照明变革。 因此，对于每一个候选窗口特定照明校正是通过该光的鲁棒特征，这降低了避免计算成本。此外，上述特征重新计算问题被避免在同一时间，并且其便于使用特征为中心的策略的如描述部分3.1和3.2。其结果是，面部检测速度改进。2.2。装配二进制哈尔特征尽管其计算的优点，我们发现，识别单个二进制Haar型特征的功率可能太弱，构建一个强大的分类。为了提高二元Haar型特征的辨别力，我们建议组装多个二进制Haar特征在一起并使用他们共同出现作为一种新的功能。其特点是所谓组装二进制哈尔（A

11、BH）功能。图3示出的ABH特征的一个例子。在该图中，ABH功能集成了三个二进制哈尔特征。当三个二进制哈尔特征值是1,1和0时，ABH特征是计算方法如下： 其中，a是从三个ABH特征计算功能二进制Haar特征B1，B2，和B3（。）图2是从一个操作二进制代码为十进制索引。特征值指定指数为2F的不同组合，其中F是的数目结合二元特征。图2：重新计算在不同候选窗口哈尔。图3：装配三个二元Haar型特征。2.3。本地组装二进制（LAB）功能ABH特征的数量是巨大的。枚举所有的其中，有几个免费的参数，如数量二进制哈尔特征进行组装，每个二进制的大小特征，并且每个二进制哈尔特征的位置。 学习从这个大功能池是

12、棘手。幸运的是，我们发现减少的一套是人脸检测非常好。功能在简化的集合被称为当地组装二进制哈尔特征。为了简单起见，下文中称为LAB特征。在组装二进制哈尔特征，实验室功能是那些那些仅结合8局部相邻2-矩形二进制哈尔与同尺寸的特性和它们共享共同的中心矩形。的8个二进制Haar特征用于组装LAB特征显示于图4中。图5给LAB功能的两个例子。在图中，两个不同的实验室功能的表现。该中心的黑矩形是由8个相邻的二进制哈尔功能共享。 所有9个矩形的大小相同的。形式上，LAB特征可以由4元组来表示，L（X，Y，W，H），其中x和y分别表示X坐标和图像中的特征的左上角位置的Y坐标，（W，H）是矩形的宽度和高度。LA

13、B功能继承了二进制哈尔的所有优点特点是非常歧视。此外它的数量是小。LAB功能捕获的局部强度结构图片。一个实验室功能的计算需要计算82-矩形Haar特征。计算成本增加一个哈尔特征比较。但它拥有更多辨别力，不需要特殊的光量校正在检测过程中。在总这些优势降低在我们的面部检测处理的计算成本建议方法（第3节）。LAB功能有点类似于局部二进制模式（LBP），这已被证明是有效的纹理分析29。人们可以看到，LBP是LAB的特殊情况特征与一个像素的尺寸。类似LBP，LAB特征值正躺在0，. 255。每个值对应于特定的局部结构。图4：8个二进制哈尔在一个LAB特征的特征。图5：两个LAB特征。3.使用LAB特征的

14、人脸检测级联结构也是在提出的检测中使用方法。所提出的脸整个级联结构检测器在图6中示出它可以被分成两个明显的部位。第一部分是一些子分类器，这在总称为功能为中心的级联。它们是按照运行在第3.2节提出的方法。所述第二部分是其他子分类，叫做窗口为中心的级联。 他们是运行在类似中提琴的窗口为中心的方式琼斯的工作。这部分组织如下：首先，在节3.1，两种检测方法，特征为中心的和窗为中心的，由H.施奈德曼在名为23是介绍。然后，在3.2节的基础上，深入论文的分析两个检测方法，特征为中心的级联方法提出了构建更高效的脸探测器。在3.3节中，学习窗口为中心级联描述。最后，在3.4节，所提出的一个视图的检测方法适用于

15、多视图。3.1。特征为中心的检测方法之前引入的功能中心和窗口中心详细方法，让我们首先回顾脸的全过程检测高的水平。为了找到一个脸的图像中，我们需要做形象“穷举搜索”。这涉及建筑该对象和区分的分类器“非对象”（任何其他风景），而仅具有耐受在对象的位置和大小受限变化。该方法发现通过在一个详尽的范围扫描这个分类对象的图像中的可能的位置和尺度。图7说明了这一过程，其中分类计算所有如图中的矩形图像中的可能的“窗口”。大多数的级联，如Viola和Jones11，使用“窗口为中心”的方法。这些方法计算单独照明校正和特征计算每个窗口。分类的每一个可能的窗口的扫描意味着每个功能在的每个位置还计算图片。这意味着包含

16、在一些特征窗口是由其他窗口分类计算的，但它没有这个窗口的分类进行分类。特征为中心的方法的目的是利用多个计算的功能每个窗口。图6：该检测器的总体结构。图7：在人脸检测穷举搜索。要了解该窗口为中心和以功能为中心的检测方法更好，给出一个例子。在设置例子是一样的，因为它是在我们所有的实验。对于窗口为中心的方法，让我们假设分类只包含一个LAB功能。如所示的特征矩形在图8（a）中。而检测，在每个窗口图像分类，所以这个功能属于分类器也是在图像的每个位置计算。计算各位置上的特征的装置，所述检测处理产生的副产物，这是特征值的图像。该特征值的图像示于图8（b）所示。对于每一个窗口，在本例的情况下，只有一个功能用于

17、它进行分类，其它特征包含在它通过下式计算邻近的其它窗口”分类不使用。这是一种浪费，少的计算效率，所以建议功能为中心的方法来提高利用率的所计算的特征比。在特征为中心的方法中，首先，特征量图像（在图9所示中间图像）是通过扫描计算在图像的每个位置上的功能。这是一样的一个如在图8的（b）。然后在“功能为中心”的分类器运行该特征值的图像上并且不需要特征计算操作。图9示出该过程。至于学习，在“功能为中心”的分类是从所有功能教训属于窗口。事实上，功能是相同的大小，因为它们被转移的一个具体特征收集图片。当然，任何尺寸都可以用来构建“功能为中心”的分类。但最好是挑选出最有效的一种。在本文中，我们使用一个贪婪搜索

18、找到最好的大小，也就是3*3在我们的实验。利用所有的计算功能，在窗口中还导致更多的分类操作，因为每个功能都是用于建立分类和分类在运行时分类。但额外的分类操作当之无愧，因为更多的辨别能力已开始，尤其是当分类操作非常简单，有效。从理论上说，任何学习算法可以用来建立窗口为中心和以功能为中心的分类方法。但考虑到的简单性和有效性分类操作，我们使用RealBoost学习30算法学习的线性分类功能，可可以表示为：其中c是分类函数，x为采样窗口，h是弱分类器函数，L 1为特征的计算特征我的函数，T是总的特征数量。 对于RealBoost，分类操作H包括一个查找表的特征值，一个查找表的信心和一个加法。在图8和图

19、9中，窗为中心的和特征为中心的方法的线性分类器分别也被示出。在图9中，功能为中心检测方法中，所述分类中包含的所有功能包含在窗口中。总特征数目被表示为通过在分类函数N。图8：与分类Windows为中心的方法，只包含一个特征和所述特征值的图像。图9：功能为中心的方法与LAB特征中的一个的尺寸。3.2。功能为中心的级联在本节中，我们修改“功能为中心”的分类器为了计算效率的缘故级联。 在特征为中心的方法中，包含在窗口中的所有特征被用于构造一个整体分类器。 但“功能为中心”的分类常常是相当强的。在输入图像的每个位置处扫描它作为一个整体是不计算智能。为了促进计算效率，最好是进一步将其划分为级联。该瀑布从“

20、功能为中心”的分类称为已知功能为中心的级联。当然，它的功能为中心的运行办法。显然，拥有中心级联减少计算成本。一个例子，它的计算成本分析这里给出。它的设置是如第3.1节中的例子。假设分类窗口大小为2424，则特点是3 * 3 LAB的功能，所以有一个256层的功能窗口。由于其他的处理是相同的对的功能为中心的方法和功能为中心的级联，所以的分类操作数的数字上的每个平均这两种方法的窗口，代表了他们的差异计算成本。对于功能为中心的方法，所有256个这些256个的一些特点招致分类操作每个候选窗口上的操作。所以平均每个窗口分类操作256次。但对于功能为中心的级联，因为一些窗户与舞台的增加，平均逐渐被拒绝每个

21、候选窗口分类操作必须是不到256次。在我们的实验中，分类操作数小于15，用于正面人脸检测。从建筑功能为中心的级联的过程“功能为中心”的分类相似，中提琴和琼斯的工作11。在“功能为中心”的分类和的特点特征为中心的级联在图10中示出在图中，李是由RealBoost挑选出第i个LAB特征，N是的特征为中心的分类器的总功能号码。该在箭头弧数字表示阶段号。该由箭头弧覆盖特征是属于功能相应的阶段。图10：特征为中心的级联3.3。进一步学习其他窗口为中心的级联学习功能为中心的级联，即拒绝后最简单的非有效面，窗为中心的级联据悉基础的实验室功能各种规模进一步拒绝那些难以非面。学习过程类似于这只是实验室的各种规模

22、特征为中心的级联功能的使用。当然，窗口为中心的级联运行中一个窗口为中心的方式。3.4。多视角面部检测截至目前，我们已经提出了建立一个检测方法对表面中的一个视图。在本节中，我们扩展方法多视角面部检测。为了构建多视点面检测器，我们首先根据划分所有面分为5类左右旋转离开飞机，然后继续分裂各类别到3次，其中的每一个负责的30在平面内旋转。此外，每个视图盖-30，+30上下旋转关闭平面的鲁棒性。在15个不同的视图在图11中示出。我们建立了一个功能为中心的级联和窗口为中心级联为每个视图。为了检测，该过程是在图12中所示给定输入图像中，我们首先计算特征值的图像。然后，对于每个视图，功能为中心的级联首先运行基

23、础上，计算出特征图像，然后在窗口为中心的级联运行原始图像。请注意，对于多视角人脸检测功能值图像是由15次的所有特征为中心的级联共享。这在很大程度上加快了检测。图11：多视角脸部类别，每个矩形包括3个平面旋转。图12：用于多视图检测功能为中心的级联。4.实验在本节中，我们评估实验室功能及建议在正面脸部和多视图面部检测的检测方法。4.1节给出了实验装置首次。然后，在第4.2节，LAB特征的定量分析中给出。第4.3和第4.4节报告的性能上正面和多视图脸数据库提出的方法分别。4.1。 实验装置对于正面人脸检测，23608个正面脸部样品是从各种来源，如WEB，FERET，并收集BioID。样本组最有脸的

24、变化上下内的-30，30范围断面内旋转。 完全2360802424灰度面部样本从产生原来的23608人脸图像与手工标注的眼睛下列转换：镜像，在平面内旋转-12，-6，0和612。用于多视图面部检测中，左全轮廓面和左半边脸轮廓大多是从700视频采集由我们采集的素材。这些视频片段的场景是在室与正常照明条件。每个视频剪辑包含一个人。在这些视频短片的面孔约100*100大小。共24000左边完整的个人资料的面孔和60000左半轮廓面收集。通过旋转的-12，-6，0和612，左全轮廓与平面左半边脸轮廓分别是120,000，300,000。的其它视图的面部样本可以通过生成水平翻转和旋转平面。至于负样本，3

25、0000倍的图像，而不面被收集用于产生非面。从上面的描述中，我们可以看到我们的训练脸一套是相当大的。我们采用矩阵结构型学习（MSL）28从训练集学习，这是一个学习的级联方法来处理庞大的训练集。在级联学习，最小检测率和最大的误报率功能为中心和以窗口为中心的级联均设置为0.9999和0.4分别。用于将非面部样本训练功能为中心的分类是60,000。 培训非面部样本对每个窗口为中心的阶段被固定到10,000。对于MSL的积极引导，起始脸样本集的大小是2000。在每一个积极的引导，最大限度地500个新的样品加入。以检测与各种比例的面孔，测试图像是用0.8的系数降采样。在后面的章节中，如果有没有具体提到，

26、该实验进行了普通PC与3.20GHz奔腾IV处理器。4.2。LAB特征上效率评价正面人脸样本要构建一个功能为中心的级联，首先，我们搜索最有效的大小。从不同规模学到的分类LAB的特征是根据他们的调查分类精度。3*3挑选出作为最有效尺寸。其次，我们从事与哈尔实验对比特征。对于33 LAB特征中，当样本大小为24* 24，总共有256的功能。相比之下，哈尔功能设置由相当更大数量的功能，这是31728的准确地说。特征类型在图1的贮藏器如图所示对于哈尔特征数量被设定为40凭经验。该功能的数字，它主要确定计算成本的一组分类器，从3*3教训LAB功能和哈尔特征在表1中所提出的分类器通过调整目标误报率教训与固

27、定到0.9999检出率。在表1中，“远”表示误报率。从表1可以看出，LAB分类的功能号码总是比少半个相应哈尔分类的那些尽管哈尔用来学习这些分类功能远不止3*3LAB功能。表1：分类的功能号码从哈尔教训，3*3LAB特征在不同的误报率。4.3。实验在正面人脸检测正面人脸检测训练基础上，提出方法。检测速度为约30ms.for一个320 * 240图片。面部检测器过程面临着来自2424到240*240。事实上，计算速度大于约20倍哈尔在相同的精度特性。在这里，我们也尽力分析两个检测器的总的操作。如图表1中，在特征为中心的级联中的LAB特征数几乎是哈尔功能数量的一半在同一准确性。没错，顾级联处理约15

28、 LAB特征为每个窗口平均，其中包括15个查找表和（用于计算置信度）15次加法。包括功能评价（约17加法）在提前为每个窗口，完全，LAB级联需要32添加和15的查找表对每个窗口。相反，哈尔级联过程近30哈尔特征，这包括30个哈尔特征评价（每个特征评价需要使用积分图像至少7个添加物），30个分割（对于方差归一化），30的查找表和30添加剂（用于计算的置信度）。所以，完全哈尔级联需要至少240个添加，30个区划和30查找表。显然，所提出的方法是压倒性的速度。要获得分类精度感，脸检测器是在CMU+ MIT数据集包括130测试含507个面部的图像。该ROC曲线中给出图13.很显然，我们的方法得到最好的

29、结果。图13：上CMU+ MIT正面人脸组ROC曲线。4.4。实验上多视图面部检测我们还培养了多视图检测调查提出的方法。多视点面部检测器需要80毫秒在320x240的图像。检测处理从面2424到240240。这是合理的，多视角人脸检测器”的检测时间不随线性增加多个分类因为前述程序（积分图像计算，特征值图像计算等）是通过的15个类别的所有特征为中心的级联共享。要获得分类精度感，多视图面部检测器被上CMU轮廓面测试来测试集合包括的含有441面208倍的图像。图14显示了ROC曲线。为了便于比较，以前的方法结果同时上市。从图中可以看出，我们的结果比23好，但比19略差。考虑到在我们的实验侧面人脸训练

30、样本缺乏品种，结果是可接受的。请注意，我们的方法获取高得多的检测速度比23。如19，则检测速度接近。其实，这是很难说哪方法更快只从相关文献的结果因为编程也是非常重要的。顺便一提，脸的正面探测器和两个半侧面人脸检测没有平面内旋转被重新编程为600M赫兹DSP作为一个整体的多视点面检测器。令人惊讶地得到的30毫秒的检测速度的320 * 240的图像上运行他们同时进行。图14：在CMU侧面人脸集ROC曲线。5，结论和未来的工作我们建议功能的一种新型的，所谓的实验室功能，伴随其特征为中心的级联也呈现。在实验室功能，哈尔特征二值化，在一个模式组装在一起类似于LBP模型本地质地模式。从某种意义上说，实验室

31、功能桥梁的差距哈尔特征和LBP运营商之间。我们表明，LAB特征是不仅坚固以照明变化（从而避免费时照明校正算子），但也很辨别人脸/非人脸分类。此外，也便于使用的功能为中心的级联进一步提高面部检测的速度。大量的实验验证上述观察。有相关的实验室功能仍有许多悬而未决的问题和功能为中心的级联反应，如：是否有其他更在组装的二进制有效特征Haar特征而比实验室功能？如果有，如何找到他们呢？如果有更多的大小功能用于功能为中心的方法，会出现什么发生？可以检测速度进一步推进？ 它是同样有趣的应用LAB功能其它物体检测，如行人，汽车。致谢本文部分由国家自然支持根据合同No.60332010中国科学基金，No.607

32、72071和No.60673091;高技术研究和根据合同中国的发展计划No.2006AA01Z122和No.2007AA01Z163;100个人才CAS的计划;和ISVISION科技有限公司References1M.H.Yang,D.Kriegman,N.Ahuja.Detectingfacesinimages:asurvey.IEEETPAMI,2002,24(1):3458.2E.Osuna,R.Freund,andF.Girosi.Trainingsupportvectormachines:anapplicationtofacedetection.CVPR1997.3R.L.Hsu,M.Abdel-Motta