基于特征提取的人脸检测与定位技术Word下载.docx
《基于特征提取的人脸检测与定位技术Word下载.docx》由会员分享,可在线阅读,更多相关《基于特征提取的人脸检测与定位技术Word下载.docx(35页珍藏版)》请在冰豆网上搜索。
Keywords:
imageprocessing,facerecognition,featureextraction,thresholdsegmentation
1.绪论
1.1人脸检测研究的目的及意义
随着社会的发展以及技术的进步,尤其是近十年内计算机技术的飞速发展,社会生活中很多方面都需要运用到身份验证,其中运用人脸图像进行身份识别的鉴别和确认,具有被动识别、易于为用户接受、友好方便的特点,因此也成为国内外各高校研究的热点之一。
人脸识别技术是将静态图像或视频图像中的人脸图像信息进行提取,库存中的人脸信息与之对比,从而找出与之匹配的人脸的技术,以达到身份识别的意义。
它属于人工智能领域和生物特征识别领域的一个课题。
人脸识别是图像分析与理解的一种最成功的应用,其在商业、安全、身份认证、法律执行等众多方而的广泛应用,以及人们在人脸识别技术方面的多年研究,使其越来越得到重视,并逐渐成为一个充满活力的研究领域。
人脸识别按照人脸信息的来源可分为两种:
基于静态人脸图像的识别和基于包含人脸的动态视频信息的识别。
虽然人类在婴幼儿时期已经具有识别人脸的功力。
但建造一个全自动、识别率高的计算机人脸识别系统并没有那么简单。
目前,许多困难仍没有得到解决。
这些困难主要表现在:
人脸是一个三维非刚性物体。
其表情、姿态、光源的不相同使得同一人的图像千变万化;
其次,人脸会随着年龄的增长而变化;
第三,眼镜、发型、胡须等对人脸图像存在影响。
由美国国防部组织的FERET测试表明,当光照条件和人脸姿态发生变化后(例如人脸在深度方向发生偏转)。
人脸识别系统的识别率会出现明显的下降。
人脸识别研究在二十世纪六七十年代已经引起了诸多学科领域的研究者的浓厚兴趣。
而在九十年代后期,由于各行业对人脸识别系统的迫切需求,人脸识别研究就再次成为热门课题。
当前世界各国有很多研究机构都在从事人脸检测方面的研究,这些成果受到军方、警方以及大公司的高度重视和资助。
美国军方还专门组织人脸识别竟赛以促进人脸识别技术研究的发展。
研究人员将提出的诸多人脸识别方法,建成一系列实验系统,其中一些成功的人脸识别商业软件也投入市场。
人脸识别作为模式识别的一种,一般可以分为三个组成部分:
从场景中检测、分割人脸;
抽取人脸特征;
匹配识别人脸信息。
由于人脸检测已经发展成为一个独立课题,其具有特定的思想方法。
作为生物特征识别的一个重要组成方面,人脸识别在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域都具有广阔的前景。
与指纹识别、视网膜识别、虹膜识别等相比,人脸识别技术在数据采集方面程序比较简单,使用者更容易接受。
人脸作为生物特征,虽然唯一性比指纹和虹膜要差(基于人脸的识别系统识别率的上限是由同卵双胞胎的出生率决定的),在高安全性要求的系统中只能作为辅助手段。
然而,对于一般安全性要求的身份验证和鉴别系统,人脸识别技术已经足够应用了。
1.2国内外研究现状
20世纪60年代末至70年代初,人脸识别的研究刚刚起步,最早的研究者建立了一个半自动的人脸识别系统,主要以人脸特征点的间距、比率等参数为特征。
早期的人脸识别方法有两大特点:
一个是基于部件的识别方法,他们利用人脸的几何特征进行识别,提取的信息主要是人脸五官特征信息及其之间的几何关系。
这类方法比较简单,但是容易丢失有用的信息;
第二个特点就是人脸识别研究主要是在较强约束条件下的人脸图像识别。
系统假设图像单一或无背景,人脸位置已知或很容易获得,因此对现实场景产生的图像处理效果很不佳。
90年代以来,随着计算机软硬件性能的迅速提高,以及对人脸识别技术的高要求,人脸识别技术越来越成熟。
目前人脸识别方法的研究方向主要有两个:
其一是基于整体的研究方法,它主要是考虑了模式的整体属性,包括特征脸方法、模版匹配方法、弹性图匹配方法、隐马尔可夫模型方法以及神经网络方法等;
其二是基于特征分析的方法,也就是将人脸基准点的相对比率和其他描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量。
这种基于整个人脸的识别不仅保留了人脸的主要特征部件之间的拓扑关系,也保留了各部件本身的信息。
基于特征分析的识别是通过提取出局部轮廓信息及图像灰度信息来设计具体识别算法。
两种方式的人脸识别方法各有优点,基于整体的识别保留了更多信息,基于人脸特征分析的人脸识别比基于整体人脸的方法直观,它提取并利用了最有用的特征,如关键点的位置以及部件的形状等。
90年代中期以来,人脸识别方法向着整体识别和部件分析相结合的趋势发展。
研究人员开始逐渐认识到人脸识别算法必须能够充分利用人脸的各种特征点信息,并融合人脸的形状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。
因此,设计构思出了很多新的算法,这些算法是将原先单一的算法结合起来,共同完成人脸的识别。
灰度和形状分离的可变形模型方法就是其中之一。
人脸识别技术现如今已经非常成熟,其表现是全世界相当数量的科研院提出了各自的人脸识别的算法,同时也出现了一批提供人脸识别相关产品的公司。
近年来,因为恐怖分子的破坏活动,尤其是自美国911事件之后,包括人脸识别在内的生物特征识别再度成为人们关注的热点,各国也纷纷增加了对该领域研发的投入,其应用也非常广泛。
1.3几种人脸检测方法对比
1.3.1基于形状的检测方法
人脸的形状特征是指人类面部器官在几何上表现的特征,这里分别介绍两种主要的方法。
(1)基于先验知识的方法
基于先验知识的方法是将人脸面部器官之间的关系编码化的人脸检测方法。
该方法是一种自顶向下的方法,依据人脸面部器官的对称性、灰度差异等先验知识,制定出一系列准则。
当图像中的待测区域符合准则,则检测为人脸。
自顶向下的方法能够较好地把握全局信息,但是缺点在于对初始位置的定位非常重要,一旦出现偏差,将导致整体跟踪结果的偏移和变形。
目前比较好的方法有镶嵌图人脸分块方法、3×
3的广义三分图方法、结合3×
3和4×
4的分块方法。
分块的思想在于根据每块的灰度值制定准则进行判定。
例如将系统分为三级,利用不同精度的平均和二次采样产生三级不用分辨率的图像。
针对不同分辨率的图像的准则进行判定,低分辨率图像的准则主要体现人脸的大体轮廓,高分辨率图像的准则主要体现人脸的细节特征。
(2)基于模板的方法
基于模板的方法可以分为两类:
预定模板和变形模板。
预定模板方法首先制定出标准的模板,然后计算检测区域和模板的相关值,当相关值符合制定的准则就判断检测区域为人脸变形模板首先制定出模板参数,然后根据检测区域的数据对参数进行修改直至收敛,以达到检测出人脸面部器官位置的目的。
现有比较好的方法有层次模板匹配方法、多模板匹配方法、主动性状模型、主动表观模型等。
1.3.2基于统计理论的检测方法
基于统计理论的人脸检测是利用统计分析与机器学习的方法来寻找出人脸样本与非脸样本各自的统计特征,在使用各自的特征构建分类器并使用分类器完成人脸检测。
基于统计特征的人脸方法主要有:
子空间方法、神经网络方法、支持向量机方法、隐马尔可夫模型方法以及Boosting方法。
其中最成熟的方法是AdaBoost方法。
1.4本系统研究内容及技术方案
本系统主要对人脸的检测与定位做了深入研究,人脸识别作为模式识别的一种,一般可以分为人脸检测及定位,人脸特征提取技术和人脸对比确认识别。
构思运用人脸检测及定位技术包括阈值分割,特征点提取技术等设计一个系统,系统主要实现人脸图像相似度处理,图像二值化,滤波去噪;
对人脸图像进行水平方向和垂直方向求直方图;
用方框标记出人脸区域;
对人脸区域进行边缘提取;
根据边缘提取结果、人脸先验知识及肤色标记眼睛特征点;
根据人脸先验知识与肤色特征标记出嘴巴鼻子特征点等功能。
其具体步骤如下:
1.选择颜色空间和肤色模型。
2.计算得到相似度灰度图。
3.根据相似度灰度图将图像二值化。
4.垂直方向和水平方向投影。
5.标识人脸区域。
6.人脸内轮廓的提取
7.眼睛的识别与定位
8.鼻子的识别与定位
9.嘴部的识别与定位
2.图像预处理技术
为了实现检测方法的鲁棒性,我们要考虑监测对象在各种复杂的背景中,不同的方向、角度、尺度等情况下所展现出来的不同表象,而采集照片时特别是光照条件包括光源的方向、明暗、色彩等都会对图像的效果产生很大的影响,进而影响我们对检测目标的识别。
所以我们需要对图像进行预处理。
2.1BMP图像文件
BMP位图文件格式是Windows系统交换图像数据的一种标准图像文件存储格式,是一种与硬件设备无关的图像文件格式,使用非常广。
它采用位映射存储格式,除了图像深度可选以外,不采用其他任何压缩,因此,BblP文件所占用的空间很大。
BMP文件的图像深度可选lbit、4bit、8bit及24bit。
BMP文件存储数据时,图像的扫描方式是按从左到右、从下到上的顺序。
由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准,在Windows环境下运行的所有图像处理软件都支持这种格式。
Windows3.0以前的BMP位图文件格式与显示设备有关,因此把它称为设备相关位图(Device-dependentBitmap,DDB)文件格式。
Windows3.0以后的BMP位图文件格式称为设备无关位图(Device-independentBitmap,DIB)格式,目的是为了让Windows能够在任何类型的显示设备上显示BMP位图文件。
BMP位图文件默认的文件扩展名是bmp。
BMP位图文件是由4个部分组成:
位图文件头(Bitmap-fileHeader)、位图信息头(Bitmap-informationHeader)、调色板(Palette)和像素数据(ImageData)。
如图所示。
位图文件头
位
图
信
息
位图信息头
调色板数据
像素数据
图2-1
2.2图像的相似度计算
图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分,根据分数的高低来判断图像内容的相近程度。
要计算图像的相似度,必须要找出图像的特征。
这样跟你描述一个人的面貌:
国字脸,浓眉,双眼皮,直鼻梁,大而厚的嘴唇。
这些特征决定了这个人跟同事、朋友、家人的相似程度。
图像也一样,要计算相似度,必须抽象出一些特征比如蓝天白云绿草。
常用的图像特征有颜色特征、纹理特征、形状特征和空间关系特征等。
颜色特征的算是最常用的,在其中又分为直方图、颜色集、颜色矩、聚合向量和相关图等。
直方图能够描述一幅图像中颜色的全局分布,而且容易理解和实现,所以入门级的图像相似度计算都是使用直方图。
图像的相似度比较的大致实现步骤:
1.将图像转换成相同大小,以有利于计算出相像的特征
2.计算转化后的灰度,二值
3.利用相似度公式,得到图像相似度的定量度量
4.统计相似度结果数据
相似度公式:
2-3
2.3二值化技术
二值图像也就是只具有两个灰度级的图像,他是数字图像的一个重要子集。
一个二值图像(如一个剪影像或一个轮廓图)通常是由一个图像分割操作产生的。
如果初始的分割不够令人满意,对二值图像的某些形式的处理通常能提高其质量。
一个有效的二值图像处理运算集是从数学形态学下的集合轮方法发展起来的。
尽管它的基本运算很简单,但它们和它们的推广结合起来可以产生复杂得多的效果。
并且,它们适合于用相应的硬件构造查找表的方式,实现快速的流水线处理。
这种方法通常用于二值图像,但也可以扩展到灰度级图像的处理。
在通常情况下,形态学图像处理意在图像中移动一个结构元素并进行一种类似于卷积操作的方式进行,像卷积核一样,结构元素可以具有任意的大小,也可以包含任意的0与1的组合。
在每个像素位置,结构元素核与在它下面的二值图像之间进行一种特定的逻辑运算。
逻辑运算的二进制结果存在输出图像中对应于该像素的位置上。
产生的效果取决于结构元素的大小、内容及逻辑运算的性质。
图像的二值化一般按下面公式进行:
g(x,y)是原图像中位于(x,y)处像素的像素的灰度,
是二值化后该处的像素值,它只能取1(白)或0(黑)。
二值化后的人脸图像中,数字为0的部分为背景,数值为1的部分表示人脸,T是用于二值化处理的阈值。
直方图阈值处理是二值化常用方法。
2.3.1直方图
直方图又称灰度直方图,是图象处理中一种十分重要的图像分析工具,它是用来表示是图像各个灰度级的分布图像,任何一幅直方图都包含了丰富的信息。
从数学上来说图像直方图是图像各个灰度值统计特性与图像灰度值的函数,它统计了一幅图像中各个灰度级出现的次数和概率。
下面是对图2-3进行相似度计算而后得到2-4再进行二值化得到2-5
2-32-42-5
3.人脸肤色相似度比较
在第一章绪论中已经介绍许多种现有的人脸检测算法,若以检测过程中是否利用了色彩或肤色信息,我们可以分为基于彩色信息的人脸检测算法、基于灰度信息的人脸检测算法以及彩色信息与灰度信息相结合的人脸检测算法;
在彩色信息与灰度信息相结合的人脸检测算法中,我们又可以根据如何应用肤色信息这一角度在进行细分:
例如,可以分为肤色信息作为前期与处理的方法、肤色信息作为后期验证的方法等。
经过详细周密的考证,我们的系统采用基于肤色的人脸检测算法。
人脸的肤色不依赖于面部的其他特征,对于人脸姿态和表情的变化不敏感,具有较好的稳定性,而且明显区别于大多数背景物体的颜色。
大量实验证明,不同肤色的人脸对应的色调是比较一致的,其区别主要在于灰度。
因此,为了进行人脸检测,这里采用人脸肤色作为识别人脸的特征即采用基于肤色法进行人脸识别。
为了准确进行人脸肤色识别,首先将人脸图像从RGB颜色空间映射到YCbCr颜色空间,然后建立肤色模型并求得相似度矩阵,最后用相似度矩阵中的最大值对相似度矩阵进行归一化,该归一化矩阵将用于后续人脸检测。
3.1色彩空间与色彩空间的聚类
3.1.1归一化RGB颜色空间
在RGB颜色空间中,三个颜色分量R、G、B不但表示各自的色彩,也包含了各自的亮度分量。
研究表明,如果图像中的两个像素点
和
对应成比例且比值不等于1,如式3-1-1所示。
则表明两个像素色彩相同,其不同则体现在亮度上。
因此,在色度空间中除去亮度分量,即形成肤色空间,得到归一化的RGB颜色空间。
如式(3-1-2)
3-1-2
由于r+g+b=1,从未忽略了任何一个变量,经过上述变换其中二维都是独立的,大大减少了亮度分量的影响,相当于将三位的RGB空间降低成二维的r-g空间。
3.1.2HSV颜色空间
HSV颜色空间在视觉上是均匀的,与人类的视觉特性有很好的一致性。
如果去掉其亮度分量V,使用H和S分量对图像进行肤色分割,也可以得到很好的效果,但是它也有很大的不足:
(1)三个分量H、S、V是由三基色R、G、B经过非线性变换得到的,因此计算复杂度高,计算效率较低。
(2)HSV颜色空间中存在着奇异点,即色度点在V轴上时,其S值为零,而H没有定义。
而且在奇异点附近R、G、B值的较小变化就会引起H、S、V值的较大变化。
饱和度S越小,颜色越浅时,色调H值越不稳定。
图3-3-1
3.1.3YCbCr颜色空间
YCbCr颜色空间的Y亮度分量和色度分量Cb与Cr基本分离,比较适合肤色聚类。
除此YCbCr颜色空间还显示了其他一些良好的特性:
(1)该空间具有与人类视觉感知过程相类似的构成原理。
(2)YCbCr色彩空间被广泛地应用在电视显示等领域中,也是许多视频压缩编码,如MPEG和JPEG等标准中普遍采用的颜色表示。
(3)YCbCr的计算过程和空间坐标表示形式简单,与RGB之间的转换为线性,容易实现,避免了非线性的奇异性。
(4)YCbCr颜色空间是离散的,采用YCbCr颜色空间易于实现聚类算法。
(5)AnilK.Jain等人绘制了853571个肤色点的统计图像,其结果表明,肤色在YCbCr颜色空间的泪俱效果较好。
一般情况下,颜色图像都是RGB颜色空间的,其他颜色空间都是通过RGB转换得到的,而YCbCr也是如此。
由于是线性转换关系,其中的亮度分量Y并不是完全独立于色度信息存在的,而AnilK.Jain等人的实验也表明,肤色的聚类区域因为亮度分量的关系而呈现非线性变化的情况,而且在YCbCr颜色空间中,肤色聚类成两头尖的椭球形。
因此单纯的排除亮度分量Y的影响,可能会导致选取的肤色区域不够准确,降低其鲁棒性。
所以,在肤色检测之前,要先对图像进行分段线性颜色变换。
由YCbCr到YCb’Cr’如式3-1-3所示。
3-3-1
其中,i表示b或r,
,
为常量分别为125和188,
为聚类两头尖的椭球形的中轴线处的值,实际上是Cb、Cr两个分量随Y变化的聚类中心线处的值。
3.1.4RGB颜色空间到YCbCr颜色空间的映射
人类的肤色在YCbCr颜色空间相对比较集中(被称为肤色的聚类特性),因此选用在YCbCr颜色空间中进行人脸检测,需完成RGB颜色空间到YCbCr颜色空间的映射。
在你从RGB到YCbCr的转换过程中,输入、输出数据都是8位二进制格式。
转换公式如下:
3-1-4
式中,R、G、B是RGB颜色空间中红、绿、蓝3种颜色通道的颜色值。
YCbCr颜色空间中,Y的范围为16~235,Cb和Cr的范围为16~240。
但是,由于Y和Cb、Cr可能偶然超出16~235和16~240范围(视频处理和噪声的缘故),根据以上公式可知,此时RGB的值可能偏移到0~15和236~255范围内。
计