基于肤色的人脸检测算法研究Word下载.docx
《基于肤色的人脸检测算法研究Word下载.docx》由会员分享，可在线阅读，更多相关《基于肤色的人脸检测算法研究Word下载.docx（25页珍藏版）》请在冰豆网上搜索。
Facedetection;
Complexionmodel;
Complexioninformation;
Colorspace;
第一章人脸检测综述
1.1人脸检测的研究背景及意义
人脸检测是指使用计算机在输入图像中确定所有人脸（如果存在）的位置与大小的过程。
人脸检测系统的输入是可能包含人脸的图像，输出是关于图像中是否存在人脸以及人脸的数目、位置、尺度、位姿等信息的参数化描述
（1）。
人脸检测问题的提出最初来源于人脸识别研究中对人脸定位的需求。
人脸自动识别系统鉴于其友好性、方便性，已成为一种很有潜力的身份验证途径。
一个完整的人脸自动识别系统至少应包含两个主要的技术环节：
人脸的检测和人脸的特征提取与识别。
要完成自动人脸识别，首要条件是找出人脸，即人脸检测是完成人脸自动识别任务的第一步，它是自动人脸识别技术的基础，对自动人脸识别系统的速度、精度都起重要作用。
人脸识别的研究可以追溯到20世纪60年代，早期的人脸识别研究主要针对具有较强约束条件的人脸图像，往往假设人脸位置已知或很容易获得，致使人脸检测问题并未受到重视。
但20世纪90年代初以来，随着电子商务等网络资源的利用，使得人脸识别成为最具有潜力的生物身份验证手段，在这种应用背景下，要求人脸自动识别系统对一般的环境图像有一定的适应能力，由此所面临的一系列问题使得人脸检测作为一个单独的课题受到研究者的重视
（2）。
今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴。
随着网路技术和桌上视频的广泛应用，图像扑捉设备正在成为个人计算机的标准外设，为视频会议等服务所急需的技术——基于内容的压缩与检索成为一个研究热点。
并且近年来随着数码相机的广泛使用和数码相册的出现，以人脸为对象的索引和检索也引起了人们的浓厚的兴趣（3）。
人脸检测是进行人脸压缩的的前提条件，同时人脸也是基于内容检索的重要对象，因而人脸检测在这个领域中占有重要的地位。
此外，人脸检测在友好人机界面、视频监测、数字视频处理等方面也有着重要的应用价值，所有这些使得人脸检测的研究备受关注。
人脸检测技术之所以能在当今计算机视觉领域的研究中占有重要的地位并成为研究焦点，主要在于以下两个方面：
一方面，将人脸作为基本对象来考虑，自动检测与定位人脸是实现人脸识别、人脸跟踪、表情识别、人脸合成与人脸编码、唇读等技术的必要前提；
另一方面，人脸检测技术有着从智能安全监控、电子商务、视频会议和远程教育、基于内容检索等诸多领域的广泛应用价值。
从学术的观点来看，人脸检测的研究受到重视是因为人脸检测是物体检测中的一个典型问题。
人脸是一类具有相当复杂的细节变化的自然结构目标，对于这类目标的检测是一个极富挑战性的课题。
人脸检测问题的难度在于：
（1）人脸是一个非刚性模式，有各种姿态、表情的变化，不同人脸在细节如形状、大小、颜色上都有差异，即人脸本身是不规则的复杂模式，具有模式的可变性；
（2）背景与光照的不确定性，如在复杂的背景中，不同的采集条件下的光源方向、明暗、色彩都会影响输入图像的质量：
（3）人脸可能有的装饰物会增加检测的难度，如戴眼镜、口罩，化妆，脸上长有的胡须、黑斑等。
因此，如果能找到解决这些问题的方法，成功构造出人脸检测系统，将为其他具有类此特征和模式的检测问题提供重要的启示。
但从客观而言，以上一些难点致使完全不加条件限制的人脸检测无法具有健壮性，目前大多数人脸检测技术只针对正面端正人脸的检测，且有很多方法运算量特别大，时间复杂度高，虽然对于一定的应用来说，他们也是可以接受的，但为进一步提高实用价值，人脸检测系统需尽量弱化对待检图像的条件限制，并且最好能实时检测出人脸。
人脸检测研究重点将越来越趋向于复杂背景下、多姿态人脸的检测。
为向此目标靠近，我从人脸的显著特征之一——肤色入手，研究肤色特征的表达方式，即研究了各种不同色彩空间下的肤色模型，使之具有一定的实用价值且成为将来基于肤色人脸检测研究的一块基石。
1.2人脸检测技术的国内外研究现状
人脸检测问题是计算机视觉领域中的重要问题，最初作为人脸自动识别系统的定位环节被提出，近年来由于其在安全访问控制、视觉监测和新一代人机界面等领域的应用价值，开始作为一个独立的课题受到研究者的重视。
人脸检测问题在近十年中得到了深入的研究并取得了长足的发展，国内外的很多学者提出了许多不同的方法，在不同的领域都取得了不同的成果，但是要寻找一种准确率很高的、能普遍适用于各种复杂情况的人脸检测算法，还有一定的距离。
国外的主要研究单位有美国的麻省理工媒体实验室（MITMedialab）、卡耐基梅隆大学的人机交互学院（Humancomputerinterfaceinstitute）、微软研究院的视觉技术研究组（VisionTechnologyGroup）、英国剑桥大学工程系（DepartmentofEngineering）等，国内的微软亚洲研究院、中科院自动化研究所、清华大学、北京工业大学等都有专业人员从事人脸检测的相关研究。
而且，MPEG7标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。
此外，随着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如IEEE的FG、ICIP、CVPR等重要的国际会议上每年都有大量的关于人脸检测的论文，占有关人脸研究论文的1/3之多。
整体来看，人脸检测研究涉及计算机视觉、数字图像处理、人工智能等多个学科领域，同时这项研究还满足了现代计算机网络和通信系统高速发展的需求，无论从实用性还是从学术性来看，均具有很高的研究价值。
随着计算机网络的普及，图像、视频等多媒体信息在计算机信息中比重的加大，这一研究必然会得到更快、更长远的发展。
1.3人脸检测算法的总体框架
通常来说人脸检测一般按照“分割—检测”的模式，将基于肤色模型的区域分割与基于模板匹配的人脸检测综合起来。
1、基于肤色模型的区域分割
区域是一个彼此互相连通的具有一致意义属性的像素集合，是一种方便的图像中层符号描述，是目标模型化以及高层理解的基础。
区域分割是图像分析和理解的一项基本内容，其过程可以概括为按照选定的一致性属性准则，将图像划分为互补交叠的区域集的过程。
目前国内外很多专家学者对肤色分割做了大量的研究，基于肤色模型的分割方法大多采用RGB颜色空间、YCbCr颜色空间、HSV颜色空间等。
在不同颜色空间中的肤色分割各有其优缺点：
BGB颜色空间得到的结果将非肤色区域（尤其是偏红的部分）分割出来了，但是一般没有漏检；
在HSV颜色空间结果非肤色区域分割的较准确，但是肤色区域分割效果不完全；
YCbCr颜色空间的结果将亮度分量与色度分量分离，较好地去掉了肤色发红的部分。
2、基于模板匹配的人脸检测
在分割出的肤色区域中，使用平均双眼和平均人脸模板匹配加人工神经网验证的方法，在一定尺度范围内进行穷举搜索，精确定位出人脸，其中为了减少错误报警，使用了双神经网仲裁方法。
算法以大量样本为统计数据，分别建立肤色模型、构造平均人脸模板和训练人工神经网。
具体而言，首先建立了训练用的图像库，手工的方法裁剪出人脸的肤色区域，用于研究肤色的分布；
其次用手工标定的方法切割出人脸的五官区域，转换为灰度图像后进行尺度和灰度分布标准化，其中一小部分用于构早平均人脸模板，其他作为训练人工神经网的人脸样本。
通常采用改进的自举方法，用模板匹配加神经网的再训练。
概括地说，我们的方法是基于样本的机器学习方法，具有较强的鲁棒性，而且通过适当地增加样本容量可以进一步提高检测性能，具有较好的可扩展性。
人脸图像所包含的模式特征十分丰富，这些特征中哪些是最有用的、如何利用这些特征，是人脸检测要研究的一个关键问题。
人脸模式具有复杂而细致的变化，因此需要采用多种模式相结合的方法。
归纳起来，根据利用特征的色彩属性可以将人脸检测方法分为基于灰度特征的方法和基于肤色特征的方法两类，前者利用了人脸区别于其他物体的更为本质的特征，是人脸检测领域研究的重点，后者适用于构造快速的人脸检测和人脸跟踪算法，也是本文将要研究的内容。
1.4人脸检测的一般方法
1.4.1基于灰度特征的人脸检测
1.基于特征的人脸检测方法
基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根据他们之间的空间几何关系来定位人脸。
这种方法又可进一步分为基于知识和基于局部特征的检测策略。
基于知识的方法首先定位候选人脸区域，然后再通过人脸的先验知识来检验人脸是否存在。
与之相对应的基于局部特征的方法中，人脸的局部特征如眼睛、鼻子和嘴唇等首先被检测出来，然后由这些局部特征组合成人脸。
基于知识的方法是利用对人脸的先验知识导出的规则来进行人脸检测的。
人脸局部特征的分布存在着一定规律，例如，人的两个眼睛总是对称分布在人脸的上半部分，鼻子和嘴唇中心点的连线基本与两眼之间的连线垂直等，于是我们可以利用一组描述人脸的局部特征分布的规则来进行人脸检测。
基于知识的方法中所用到的规则可以表述为人脸局部特征之间的相对距离和位置关系等，当满足这些规则的图像区域被找到后，则认为一副人脸已被检测出来，然后可以对候选的人脸区域进行进一步的验证，以确定候选区域中是否包含人脸。
Yang和Huang[4]提出的分层次基于知识的方法检测人脸是采用这种方法的例子。
基于局部特征的方法首先在整个图像中搜索一组人脸局部特征，然后通过它们之间的几何关系组合成候选的人脸区域。
由于人脸局部特征的不变性，通过组合人脸的局部特征，可以把应用于检测不同位置、不同角度、不同位姿的人脸。
Chin-chuanHan[5]等提出的先获取眼睛再搜索人脸区域的人脸检测，是该方法的一个实例。
2.基于表象的人脸检测方法
基于表象的人脸检测方法遵循一种统一的模式，即首先通过学习，在大量训练样本的基础上建立一个能对人脸和非人脸样本进行正确识别的分类器，然后对被检测图像进行全局扫描，用分类器检测扫描到的图像是否包含人脸，若有，则给出人脸的位置。
采用这种检测模式的理论依据是：
人脸具有统一的结构模式（都是由眉毛、眼睛、鼻子和嘴唇等人脸器官构成），如果把所有的图像集看作一个高维线性空间，那么整个人脸图像仅对应于其中的某个子空间。
于是，可以通过检验待测图像是否落在这个子空间中来判断其是否为人脸。
因此，可以通过大量的人脸和非人脸样本来建立一个分类器，使它能够正确地分辨这两种不同的图像模式，再利用训练好的分类器在未知的图像中检测人脸。
采用这种检测策略的关键在于如何选取大量的具有代表性的图像样本，特别是非人脸图像样本，来训练分类器。
具体分类器的实现可以采用不同的策略，如采用神经网络的方法和传统的统计方法等。
采用这种方法进行人脸检测的例子有：
Sung和Poggio[6]提出的基于样本学习的人脸检测方法；
TurkPentland[7]提出的基于主成分分析的人脸检测方法；
Rowly[8]等实现的基于神经网络的方法等。
3.基于模板匹配的人脸检测方法
基于模板匹配的方法一般是人为地预先定义一个标准人脸模板，可以是包含局部人脸特征的子模板。
然后对一副图像进行全局搜索，对应不同尺度大小的图像窗口，计算与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图像窗口中是否包含人脸。
以上每一种基于灰度特征的人脸检测方法都有各自的优缺点。
基于特征的人脸检测方法规则不易设计，因规则制定的过高或过低会造成漏检或误检，而且当图像背景中存在灰度类似人脸的区域时，必然会导致误检，故识别率不高。
基于表象的人脸检测方法，一般只能在图像中检测垂直正面的人脸，用于建立人脸模型和训练神经网络的样本数量太大，进行全局搜索的时间较长。
基于模板匹配的方法，计算时间开销相当大，因固定模板无法调整，不适用于姿态、表情变化时的人脸检测，弹性模板虽然可调，但对图像进行全局搜索时，要动态地调整参数和计算能量函数，计算时间开销也很大。
1.4.2基于肤色特征的人脸检测
肤色是人脸的重要信息，不依赖与面部细节特征的变化而变化，对于旋转、表情变化等情况都能适用，具有相对的稳定性，并且和大多数背景物体的颜色相区别。
因此，肤色特征在人脸检测中是最常用的一种特征。
肤色特征主要由肤色模型来描述，肤色模型的建立是利用肤色特征进行人脸检测的首要条件，肤色模型是否合适直接影响人脸检测准确率，使用何种形式的肤色模型与颜色空间的选择密切相关。
人脸检测常用的颜色空间主要有RGB、YCbCr、HSV、HSI等颜色空间。
肤色模型一般采用实验的方法，通过大量“肤色”与“非肤色”像素在相应颜色空间中的聚类特性分析来建立。
不过，由于人脸颜色与某些其它物体的颜色相同，所以单纯利用肤色特征进行人脸检测是很不可靠的，实际应用中一般多是结合肤色特征与其他特征来检测人脸。
目前关于人脸检测的研究已开始向综合特征发展。
如基于模板匹配和支持向量机的人脸检测，基于离散隐马尔可夫模型和奇异值特征的人脸检测，基于小波变换和支持向量机的人脸检测等等。
大部分彩色图像的人脸检测，都利用了肤色特征和灰度特征的综合，如基于肤色和模板的人脸检测，基于肤色和主元分析的人脸检测，基于颜色和形状的人脸检测等等。
很多综合模型在理论上是很完美的，但从某些实际应用而言，有些特征的综合并不适合，不但算法过于复杂，计算时间过长，而且随着使用多个特征而引起的条件的增加，漏检率显著上升，从而不能应用于多数场合。
所以，选择何种形式的检测方法，在实际操作中要统筹兼顾。
1.5论文的结构安排
本论文共分五章，具体安排如下：
第一章，人脸检测综述，简要介绍了人脸检测技术产生的背景、意义以及国内外发展现状，系统分析了人脸检测的基本框架和主要方法；
第二章，算法理论与实现原理，详细介绍了肤色检测中最重要的理论基础以及实现的原理；
第三章，基于统计的肤色建模，通过对大量的样本训练，得到肤色在不同空间中的模型；
第四章，人脸检测实验仿真及结果，不同的肤色模型下仿真出的实验结果，并对每一种结果做了简要分析；
第五章，结论及展望，总结了全文的内容并对需要进一步研究的问题进行了展望。
第二章算法理论与实现原理
对于有关彩色视觉系统的设计开发而言，研究颜色是相当重要的。
图像中的颜色不仅给我们的感觉更愉悦，而且能获得更多的视觉信息。
人的视觉对彩色性当敏感，人眼一般能区分的灰度等级只有二十多个，但是能区分有不同色度和亮度的几千种颜色。
可以察觉的颜色属性包括色调、饱和度和亮度：
色调指红色、绿色、蓝色等颜色，对单色光源而言，色调的不同以波长的不同显示；
饱和度是可以察觉的白色光加入单色光的比；
亮度反映了察觉的明视度。
在数字图像中利用彩色信息可以提高图像的可鉴别性，使图像更容易辨认，目标更容易识别。
在进行数字图像处理时，人们并不是对所有颜色一一处理，而是根据色度学理论建立颜色模型，基于颜色模型进行处理。
色度学理论认为，任何颜色都可以由红（R）、绿（G）、蓝（B）三种基本颜色按不同的比例混合得到。
2.1颜色空间
根据计算机色彩理论，对每一种颜色而言，在计算机中有不同的表达方式，这样就形成了各种不同的色彩系统，即颜色空间。
当然，各种颜色空间只不过是颜色在计算机中不同的表达而已，每一种颜色空间都有各自的产生背景、应用领域等。
主要的颜色空间有RGB、YCbCr、HSV等。
其中，RGB颜色系统是最基本的颜色系统，其他的颜色系统都是基于该颜色系统的，只是用途各异，它们与RGB颜色系统可以按一定的关系相互转换。
2.1.1RGB颜色空间
RGB颜色空间用R、G、B三种基本颜色分量来标示数字图像像素的颜色值。
我们非常熟悉的计算机屏幕的显示通常采用RGB色彩系统，这是最常见的色彩系统。
可以用三维的笛卡尔坐标系统来表示RGB颜色空间，如图2-1所示，RGB颜色空间中三维空间的三个轴分别与红、绿、蓝三基色相对应，原点对应于黑色，离原点最远的顶点对应于白色，其他颜色落在三维空间中由红、绿、蓝三基色组成的彩色立方体中。
图2-1RGB颜色空间模型
将RGB颜色空间模型归一化处理的计算公式为：
r=
g=
b=
。
2.1.2YCbCr颜色空间
YCbCr彩色模型是一种彩色传输模型，主要用于彩色电视信号传输标准方面，被广泛的应用在电视的色彩显示等领域中。
YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。
人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到的图像质量的变化。
其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。
它将亮度型号与色度信号分离，非常适用于肤色检测。
具体来说YCbCr颜色空间模型具有如下的优点：
（1）YCbCr色彩格式具有与人类视觉感知过程相类似的构成原理。
（2）YCbCr色彩格式将色彩中色度分量Cb、Cr与亮度分量Y有效地分离。
（3）Y，Cb，Cr，可以由R，G，B经过线性变换得到，计算效率较高。
（4）在YcbCr空间中肤色聚类特性比较好。
它与RGB颜色空间的具体转换关系如下：
RGB颜色空间向YCbCr颜色空间转换的公式：
公式一
YCbCr颜色空间向RGB颜色空间转换的公式：
公式二
2.1.3HSV颜色空间
在许多实用系统中，大量应用的是HSV模型，这个模型是由色调（H）、饱和度（S）和亮度（V）三个分量组成的，与人的视觉特性比较接近。
HSV使用单六角锥的颜色模型，如图2-2所示， HSV模型的三维表示从RGB立方体演化而来。
H参数表示色彩信息，即所处的光谱颜色的位置，该参数用角度量来表示，红、绿、蓝分别相隔120度，互补色分别相差180度。
纯度S为比例值，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。
V表示色彩的明亮程度，它和光强度之间没有直接的联系。
该模型的重要性在于：
一方面消除了亮度成分V在图像中与颜色信息的联系，另一方面色调H和饱和度S与人的视觉感受密切相关。
基于人的视觉系统颜色特性使HSV模型成为一个研究图像处理的重要工具。
图2-2HSV颜色空间模型
RGB颜色空间向HSV颜色空间转换的公式：
V=max（R,G,B）
S=
公式三
H=h
公式三中：
mm=max（r,g,b）-min（r,g,b）,
h=5+b
若r=max（r,g,b）和g=min（r,g,b）时，
h=1-g
若r=max（r,g,b）和g
min（r,g,b）时，
h=1+r
若g=max（r,g,b）和b=min（r,g,b）时，
h=3-b
若g=max（r,g,b）和b
h=5-r
若是其他情况时，
（
）
HSV颜色空间向RGB颜色空间转换的公式：
公式四
2.2常见的肤色模型
肤色模型是关于肤色知识的计算机表示。
通过训练样本集建立肤色模型是肤色检测的关键，常用的肤色模型有单峰高斯模型、混合高斯模型和直方图模型。
Terrillion等考察了归一化的rgb、CIElab、
升级会员 