人脸跟踪和检测研究硕士学位论文 精品.docx

人脸跟踪和检测研究硕士学位论文 精品.docx

《人脸跟踪和检测研究硕士学位论文 精品.docx》由会员分享，可在线阅读，更多相关《人脸跟踪和检测研究硕士学位论文 精品.docx（83页珍藏版）》请在冰豆网上搜索。

人脸跟踪和检测研究硕士学位论文精品

西华大学

硕士学位（毕业）论文

题目：

人脸检测与跟踪算法研究

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：

所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。

尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。

对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：

　　　　　日　期：

指导教师签名：

　　　　　日　　期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：

按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：

　　　　　日　期：

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

日期：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权　　　　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：

日期：

年月日

导师签名：

日期：

年月日

人脸检测与跟踪算法研究

图像中的人往往是整个图像的中心，而根据人眼的视觉特性，人们通常对图像中人的脸部区域更感兴趣，因此人脸相关的图像处理技术成为了计算机视觉中的一个非常重要的研究方向。

人脸处理技术在身份验证、人机交互接口、智能视觉监控、基于感兴趣区域ROI（RegionofInterest）的编码与传输、可视电话等领域有着广泛的应用，有着广阔的发展前景。

本文研究的目标是在人脸检测的基础上进行人脸跟踪，选用快速有效的人脸检测算法，在保证实时性的基础上，提高人脸跟踪的准确性。

本文研究的内容主要分为三个部分：

人脸可能区域的获得，人脸检测，人脸跟踪。

本文采用帧间差法对视频图像进行运动检测，获得运动区域。

研究了经典的HsuRL肤色检测算法，在运动区域内进行肤色检测，得到有可能存在人脸的区域，以减少后续人脸检测的范围，提高检测速度。

对可能存在人脸的区域进行人脸检测，本文深入研究了经典的Adaboost人脸检测算法，同时针对Adaboost经典算法对人一定角度的侧脸检测率不高的问题，本文分析了人侧脸的五官结构在透视情况下的特性，改进了传统的Harr-like特征，得到一系列具有透视特性的进行侧脸检测的特征，将这些侧脸特征与传统的Harr-like特征一起构成新的特征库，用Adaboost算法构建分类器级联结构。

通过实验证明，在针对侧脸情况下进行人脸检测时结合使用本文的特征具有较好的效果。

本文通过对马赛克图像法的研究提出了针对多尺度五官结构的正面人脸模板，并且根据透视原理提出了侧面人脸模板。

利用这些模板来限定Adaboost人脸检测法中传统的Harr-like特征与侧脸特征的空间位置大小关系，整合了特征，组合成强分类器。

使用该强分类器对符合人脸模板的典型人脸进行检测时具有较快的检测速度，与用Adboost算法构成的分类器级联结构结合起来进行人脸检测。

实验证明，运用本文方法进行人脸检测具有较好的实用性。

把检测到的人脸作为目标进行跟踪，本文采用Kalman滤波预测人脸运动区域，并使用计算图像间的协方差值来判定图像相似度的模板匹配法来进行人脸目标匹配，具有较好的实用性。

实验证明，在本文提出的人脸检测法的基础上进行跟踪具有速度较快，准确性较高的特点。

关键词：

图像处理，人脸检测，跟踪，Adaboost，模板匹配。

ResearchOnTheAlgorithmOfHumanFaceDetectionAndTracking

Computersoftwareandtheory

M.D.Candidate：

HeShaofuSupervisor：

LuoXiaoHui

Peopleintheimagearealwaysthepointoftheimage,butaccordingtotheHumanVisualProperties,thepeopleusuallypaymoreattentiontothehumanfaceareaoftheimage,thereforethefacerelatedimageryprocessingtechnologyhasbecomeanimportantresearchdirectionofthecomputervisionfield.Thefaceprocessingtechnologyhaswideapplicationandgreatdevelopmentprospectinthefieldofidentificationverification,theman-machineinteractioninterface,theintelligentvisionmonitoring,thecodeandtransmissionbasedonROI（RegionofInterest）,andthevideophone.

Thepurposeofthispaperistodosomeresearchonhumanfacetrackingbasedonfacedetection.Sowechoosethefacedetectionalgorithmwhichisspeedyandeffective,canincreasetheaccuracyonthefoundationofrealtimetracking.

Thiscontentcanmainlybedividedintothreeparts：

thepossiblefaceareajudgment,facedetectionandfacetracking.

Wedomotiondetectionbyfamesubtractionmethod,getthemotionarea.ThendoresearchontheHsuRLskincolordetectionalgorithm,doskincolordetectiononthemotionarea,getthepossiblefaceareawhichcanreducethefacedetectionareaandspeedupthedetection.

Whenwearedetectingfaceinthepossiblefacearea,thisthesisdoadeepresearchontheAdaboostalgorithm,regardingtheAdaboostclassicalgorithmdoesn’thavegoodeffectonthecircumstanceofsideface,weanalyzethecharacteristicsofthefivesensesorgansinperspectiveconditions,improvethetraditionalHarr-likefeatures,getsomeperspectivefeatureswhichcanbeusedtodosidefacedetection,thenweuseAdaboostalgorithmtocreatethenewsorterunionstructurebythesidefacefeaturesandtraditionalHarr-likefeaturestogether.Experimentproves,intheconditionofside,usingfeaturesputforwardbythisthesishadbetterdetectioneffectthanusetraditionalHarr-likefeaturesonly.

Thethesisproposesafacetemplateofamuti-scalesfacefivesensesorganstemplatebasedonthemosaicimagemethod,thenproposesomesidefacetemplateaccordingtoperspective.WelimitthepositionofHarr-likefeaturesandsidefacefeaturesbythosetemplate,unitefeaturesandformastrongsorter.,whichcanspeedupfacedetectionandcanbeusedtodetectfacetogetherwiththesorterunionstructureofAdaboostalgorithm.Theexperimentproved,usingthemethodofthethesishadgoodpracticabilityinfacedetection.

Trackthedetectedfaceasanobject,thethesisforecastsfacemovementareabyKalmanfilter,thenmakesuseofatemplatematchingmethodofjudgingthesimilarityofimagebytheCovariance,whichhasgoodpracticability.Experimentsproved,trackingfaceintheconditionofthefacedetectionmethodtakenbythethesis,wasfastandaccurate.

Keyword：

imageprocessing，humanfacedetection，tracking，Adaboost，templatematching.

目录

1绪论1

1.1研究的背景及意义1

1.2人脸检测与跟踪技术简介2

1.3人脸检测与跟踪的研究状况3

1.4人脸检测方法综述3

1.5人脸跟踪方法综述5

1.6本文的研究方法6

1.7论文的结构与内容8

2人脸跟踪系统的组成原理及硬软件知识9

2.1人脸跟踪系统工作原理9

2.2人脸跟踪系统的硬件构成9

2.3开发工具11

3图像预处理12

4运动检测和分析法13

4.1运动物体定位13

4.2孔洞填充和运动区域判断16

5人体的肤色检测17

5.1颜色空间17

5.2肤色模型18

5.3HsuRL肤色检测算法[34]20

6基于五官特征的多尺度人脸检测法23

6.1多尺度的人脸检测23

6.2基于灰度结构的马赛克模糊结构的检测23

6.3本文改进的基于五官结构的多尺度人脸检测模板25

6.4基于Adaboost的人脸检测29

6.5本文改进的Adaboost的人脸检测法37

7人脸目标跟踪47

7.1概述47

7.2技术现状47

7.3模板匹配法50

7.4状态预测方法54

7.5跟踪实验结果59

8结论与展望60

9参考文献62

10作者在读期间的科研成果66

11声明67

12授权书68

13致谢69

CONTENTS

1Introduction1

1.1Backgroundandmeanningoftheresearch1

1.2Introductionofhumanfacedetectionandtracking2

1.3Aplicationandresearchofhumanfacedetectionandtracking3

1.4Introductionofhumanfacedetectionmethod3

1.5Introductionofhumanfacetrackingmethod5

1.6Researchofthisthesis6

1.7Researchofthisthesis8

2Frameoffacetrackingsystemandknowledgeofsoftwareandhardware9

2.1Principleofhumanfacetrackingsystem9

2.2Principleofhumanfacetrackingsystem9

2.3Developmenttool11

3Pretreatmentofimage12

4Motiondetectionandanalyse13

4.1Locatethemovementarea13

4.2Filltheholeandlocatemovementarea16

5Skincolordetection17

5.1Colorspace17

5.2Skincolormodel18

5.3HsuRLskincolordetection20

6Muti-scaleshumanfacedetectionbasedonfivesensesorgansstructure23

6.1Muti-scaleshumanfacedetection23

6.2Mosaicstructuredetectionbasedongrayimage23

6.3Muti-scalesfacetemplatebasedonfivesensesorgansstructure25

6.4FacedetectionbyAdaboostarithmetic29

6.5Adaboostfacedetectionmethodimprovedbythesis37

7Faceobjecttracking47

7.1Introduction47

7.2Presentationoftrackmethod47

7.3Templatematching50

7.4Stateforecastmethod54

7.5Resultoftracking59

8Conclusionsandoutlook60

9References62

10Academicresults66

11Announcements67

12Authorization68

13Acknowledgements69

1绪论

1.1研究的背景及意义

近年来，随着信息技术的发展，应用的普及性不断提高，以及计算机的软硬件性能的飞速提升，更加高效并且也更加友好的人机交互技术,即HCI（HumanComputerInteraction）被不断的提出并应用于我们周围，并且这些技术的应用不再依赖于传统的键盘，鼠标，显示器等设备，开始向着多模态人机交互的方向发展。

多模态人机交互模拟人类自然交流的方法，包括视觉、听觉、触觉和嗅觉，试图综合图像，声音，文字等手段，达到与计算机进行交流的目的，其中以视觉交流最为方便和易于接受。

同时，图像处理设备的性价比也不断的提高，从而使得基于图像处理的人机交互技术成为当前研究领域的热点。

同时随着人机交互技术的发展，视频监控，可视电话、视频电视会议的广泛应用，人们开始将人脸检测与跟踪作为统一的整体加以研究。

目前人脸检测与跟踪的应用背景己经远远超出了人脸识别系统的范畴。

作为完整的单独功能模块，人脸检测与跟踪已的应用领域十分广泛，已经成为了计算机视觉及相关领域中的关键技术，在基于内容的视频存储与检索、数字视频处理、高级人机交互、智能视频监控等方面有着重要的应用价值。

在CBIR（Content-basedImageRetrieval，即基于内容的图像检索）系统中，图像中的人脸可以成为图像检索的条件，因此许多CBIR系统都将人脸检测作为系统中一个重要的组成部分。

例如芝加哥大学开发的用于在万维网上搜索图像的影像搜索引擎Webseer，其中就使用了基于神经网络的人脸检测作为搜索引擎的一部分。

因特网上广泛使用的数字图书馆中包含了大量的视频及音频信息，因此许多数字图书馆将人脸检测作为系统搜索引擎的一个重要的组成部分。

在智能人机接口应用领域中，我们希望未来的机器能像人一样与我们更加容易和便捷地交流，如手势驱动控制、手语翻译等。

人与人之间的信息交流主要是依靠语言，并适当结合手势、身体姿势和面部表情等，因此视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交互。

这就要求未来的计算机必须具备感知外部环境的能力，即代替传统的键盘或鼠标输入模式、独立地提取周围环境的重要信息（如检测到人的存在等）；更进一步的能力是进行人的识别和视频中的人脸检测跟踪技术及其应用行为理解，结合面部表情、身体姿势和手势等的分析来与人进行相应的交流。

在视频监视系统中，人脸检测和跟踪技术得到了及其重要的应用。

针对敏感场合（如银行、商店、停车场）开发的智能监控系统，能够每天连续24小时的实时监视，并自动分析摄像机捕捉的图像数据，当盗窃发生或发现到具有异常行为的可疑的人时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生；同时，人脸检测与跟踪技术在访问控制场合，在自动售货机、ATM机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等监控方面也有着相应的应用。

同样，人脸检测和跟踪还可以应用于其他许多领域，比如现在数码相机中常见的对人脸进行检测和自动对焦，以及MPEG4中采用的基于对象的压缩等。

1.2人脸检测与跟踪技术简介

人脸检测问题最初来源于人脸识别，它是自动人脸识别系统中的一个关键环节。

但是早期的人脸识别研究主要针对具有较强约束条件的人脸图像（如无背景的图像），往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。

近几年随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测也开始作为一个独立的课题受到研究者的重视。

一般人脸检测问题可以描述为：

给定一副静止图像或一段动态图像序列，从未知的图像背景中分割、提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征。

虽然人类能毫不费力地识别出人脸及其表情，但用机器自动进行人脸检测与识别却是一个难度极大的课题。

它牵涉到模式识别、图像处理及生理、心理学等方面的诸多知识。

其面临的问题可以归结如下：

1．图像中是否存在人脸：

即如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像。

2．检测不同表现形式的人脸：

人脸可能以不同视角出现在图像中，也可能被某些物体遮挡，造成某些用于检测而需提取的人脸特征不可见，为了实现检测方法的鲁棒性，还需考虑人脸在各种复杂的背景中，不同方向、角度、尺度等情况下所展现出来的不同表象。

3．图像中存在着噪声：

检测对象大多是由图像捕捉设备所采集的数字图像或视频流中的数字图像序列，所以采集条件特别是光照条件包括光源的方向、明暗、色彩等都会对图像的效果产生很大的影响，进而影响对人脸的检测。

4．人脸自身的因素：

人脸是一个包含五官、毛发等极不规则的复杂待测目标，不同的人脸在形状、大小、颜色、质地等方面都有很大的变化性，某些局部特征具有随机性（如眼镜、胡须、发型等），而且还存在着不同表情的人脸，以及时间间隔产生人脸的变化等，这些都给人脸检测带来难度。

人脸检测问题在近十年中得到了广泛的关注和长足的发展，国内外很多研究学者提出了很多方法，在不同的领域取得了一定的成果。

但是对于寻找一种能够普遍适用于各种复杂情况的准确率很高的检测算法，还有很大的距离。

1.3人脸检测与跟踪的研究状况

目前国外对人脸检测与跟踪问题的研究很多，比较著名的有MIT、CMU等；国内的清华大学、北京工业大学、南京理工大学、中国科学院计算技术研究所和中国科学院自动化研究所等都有人员从事人脸检测与跟踪的相关研究。

而且MPEG7标准组织已经建立了人脸识别草案小组，人脸检测与跟踪算法也是一项征集的内容。

随着人脸检测与跟踪研究的深入，国际上发表的有关论文数量也大幅度增加，EI可检索到的相关文献多达数千篇，每年的国际会议上关于这方面的专题也屡屡可见，如IEEE的FG（IEEEInternationalConferenceonAutomaticFaceandGestureRecognition）、CVPR（ConferenceonComputerVisionandPatternRecognition）、ICIP（InternationalConferenceonImageProcessing）、ICPR（InternationalConferenceonPatternRecognition）等重要国际会议上每年都有大量关于人脸检测与跟踪的论文，占有关人脸研究论文的近1/3之多。

1.4人脸检测方法综述

人脸检测的基本思想是用知识或统计的方法，比较所有可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。

人脸检测问题所包含的内容十分广泛。

从不同的角度有多种分类方法。

根据利用人脸知识的不同，现有的人脸检测技术方法可以分为三类：

基于特征的方法、模板匹配法、基于表象（appearance-based）的方法。

1．基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根据它们之间的空间几何关系来定位人脸。

这种方法又可以进一步分为基于知识和基于局部特征的检测策略。

基于知识的方法首先定位候选人