视频技术报告.docx
《视频技术报告.docx》由会员分享，可在线阅读，更多相关《视频技术报告.docx（9页珍藏版）》请在冰豆网上搜索。
视频技术报告
视频技术报告
人脸检测与跟踪的仿真实现
学院：
学号：
姓名：
任课老师：
人脸检测与跟踪的仿真实现
摘要：
随着信息处理技术及多媒体技术的普及，以人为中心的计算得到了迅速发展。
比如，多通道人机交互试图摆脱传统的鼠标、键盘及显示器，其中人机智能交互已成为目前研究的一个重点。
人类的面部提供了大量的视觉信息，计算机的多种感知输入通道，如人脸识别，口形识别，表情识别等，都建立在人脸的基础上[1]。
因此，人脸检测及跟踪作为人脸信息处理中的一项关键技术受到了普遍重视，成为一个研究十分活跃的课题。
本文基于HAAR特征做人脸检测，结合Camshift跟踪算法，实现自动人脸检测和跟踪程序，基于VS2010和OpenCV编程实现，在计算机上试验运行。
一．引言
人脸检测是指在输人图像中确定所有人脸的位置、大小、位姿的过程。
先进的自动人脸识别系统必须能够对一般环境图像具有一定的适应能力，所以首先要求人脸检测应具有较高的鲁棒性和准确性，这使得人脸检测开始作为一个独立的课题受到研究者的重视。
今天，人脸检测在基于内容的检索、数字视频处理、视觉监测等方面有着重要的应用价值。
图像中的人脸检测可以看作一个分类问题，即分类人脸和非人脸，分类姿态和表情不同的人脸。
应用于人脸检测的算法很多，如人工神经网络、支撑向量机、AdaBoost和稀疏表示[2]等等。
AdaBoost算法基于弱分类器提升为强分类器的思想，在检测速度和准确率上有出色的表现。
Camshift[3]算法全称是ContinuouslyAdaptiveMeanShiftAlgorithm，是由Meanshift的改进算法。
该算法可以实现针对物体在视频中的大小进行自适应调整，从而大大改善跟踪效果。
Camshift充分利用了Mean-shift算法的计算简单快捷的优点，并且在不增加计算复杂度的同时，实现了自适应的窗口大小控制。
在Mean-shift迭代完成之后，改进的算法都会对窗口大小进行调整。
二．AdaBoost算法
1989年，Kearns提出PAC学习模型中弱学习算法与强学习算法的等价问题，即能否通过统计提升从很多弱分类器算法中学习到一个强分类器。
1996年，由Freund和Schapire[4]提出第一种Boosting算法，即AdaBoost算法。
AdaBoost算法的基本原理是训练一系列弱分类器（分类效果仅略好于随机的分类），然后将其整合为一个强分类器。
AdaBoost采取迭代的策略，在每一项弱分类器训练之后，提升其“分错类”样本的权重，在下一分类器的训练中，将“聚焦”于分类较为困难的样本。
在所有弱分类器的训练完结后，按每一弱分类器的错误率决定其在结果判别中所占的权重。
AdaBoost算法的原理图如下所示。
图一AdaBoost算法原理图
其中，算法的输入为
，
为特征向量，
为向量的类别标签，且满足
，
为样本总数。
由boosting算法训练T个分类器
，
。
这些分类器很简单，通常只包括仅有几次分裂的决策树。
，
决定特征向量所占的权重。
在最后做决定时，将赋值权重
给每一个分类器。
三．类Haar特征
Haar-like特征最早由Papageorgiou[5]等人应用于人脸表示，Viola和Jones在此基础上，使用3种类型4种形式的Haar-like特征，实现一种Viola-Jones检测器[6]。
LienchartR.等人对Haar-like矩形特征库进一步扩展[7]，增加旋转45度的矩形特征。
类Haar特征分为三类：
边缘特征、线性特征、中心特征和对角特征，组合成一组特征蒙板。
在特征模版中，定义有白色和黑色的两种矩形，该模版的特征值定义为白色矩形区域像素和与黑色矩形区域像素和的差。
图二中展示了V-J检测器中所用的Haar特征。
图二类Haar特征模版
通过改变特征模版的大小和位置可以在图像子窗口中穷举出大量的特征。
利用图中的特征模版作为“特征原型”，在图像子窗口中扩展和伸缩得到新的矩形特征及其特征值。
矩形特征的值具体取决于模版的类型，矩形位置和矩形大小三个参数。
图三中展示了在人脸检测中，将特征模版放在合适的位置可以将人脸与非人脸区分开。
中间一幅图表示眼睛区域的颜色比脸颊区域的颜色深，右边一幅图表示鼻梁两侧比鼻梁的颜色要深。
说明使用矩形特征可以表示人脸的某些特征。
图三区分人脸和非人脸的类Haar特征模版
四．Viola-Jones分类算法
实验中采用一种Viola-Jones识别器做人脸的检测，这种识别器将AdaBoost算法组织为筛选式的级联分类器，每个节点都是由很多树构成的分类器，在每一节点上对人脸的通过率很高，但正确拒绝率也很低。
通过将每一节点级联起来，在任一节点上判定为非人脸的区域不会进入下一节点，只有通过所有节点的区域才被认定为人脸，如图四所示。
故筛选式的级联分类器可以在减少计算量的同时提高正确拒绝率，在最后的检测中获得较高的正确识别率和正确拒绝率。
图四Viola-Jones分类器的筛选式级联结构
五．基于颜色信息的CAMSHIFT跟踪方法
1997年，MeanShift算法首先被Comaniciu和Meer提出[8]，它是一个搜索概率分布模式的非参数迭代技术的算法；1998年，Bradsk在这个算法的基础上提出了连续自适应的MeanShift算法，也就是CamShift（ContinuouslyAdaptiveMean-Shift）算法[9]。
该方法已渐渐成为图像跟踪算法的一个热潮，为越来越多的图像处理专家所关注。
CamShift算法利用的是跟踪模式的概率分布，而在跟踪模式中，颜色信息是计算机视觉领域，特别是图像处理领域中用得较多的一个信息，它在运动目标跟踪模式中有着至关重要的作用。
RGB空间作为计算机视觉中常用的色彩模式，并不能很好地反映视觉上的颜色感知性，两个彩色间的RGB空间距离也不能一致反映其感知度的相似性。
而HSV空间的Hue分量与色彩的明暗无关，能很好地表征色调。
MeanShift算法的基本流程是：
（1）．选择跟踪窗口的大小和初始位置。
在MeanShift跟踪算法中，核窗宽（即核函数的定义域的大小，就是搜索窗口的大小）的大小起着非常重要的作用。
因为它不但决定了参与MeanShift迭代的样本数量，而且也反映了跟踪窗口的大小。
通常，核窗宽由初始跟踪窗口的尺寸决定，而且在整个跟踪过程中不再发生变化。
（2）．计算跟踪窗口内的质心（或重心）。
在离散二维（2D）概率分布图像中，计算某窗口的质心同物理上计算某物体的质心一样，即利用窗口的零阶矩和的一阶矩之间的关系，计算得到窗口的质心。
（3）．调整跟踪窗口的中心到质心；
（4）．重复第二步和第三步，直到跟踪窗口中心和质心“会聚”，即每次窗口移动的距离小于一定的阈值。
MeanShift作为一种高效的模式匹配算法，由于不需要进行全局搜索，而且搜索精度高，已经广泛地应用在各种模式识别、实时可视跟踪等领域。
Bradski[53】根据Meanshift算法的不足，提出了Camshift算法。
该算法采用不变矩对目标的尺寸进行估算，实现了连续自适应地调整跟踪窗口的大小和位置，并将其应用在对连续彩色图像序列中的运动目标的快速跟踪。
Camshift算法首先根据跟踪目标颜色概率模型，将视频图像转化为概率分布图像（PDI），并初始化一个矩形搜索窗口，对每一帧PDI图像利用MeanShift算法搜索目标匹配的最优区域，并根据搜索区域的不变矩估算跟踪目标的中心和大小，保存和输出当前帧搜索结果，并且用当前帧搜索结果作为下一帧图像初始化搜索窗口。
如此循环，即可实现对目标的连续跟踪。
Camshift算法是一种动态变化的非参数密度函数梯度估计方法。
对离散二维（2D）概率分布图像，该算法具体运算步骤如下：
（1）．在颜色概率分布图中初始化一个搜索窗口W，其大小为S；
（2）．利用MeanShift算法使搜索窗口“收敛"；在2D概率分布图像中，计算搜索窗口的质心；调整搜索窗口的中心到计算的质心位置。
重复该过程，直到“收敛”（即中心的位移小于给定的阈值）；
（3）．重新设置搜索窗口的大小S并计算跟踪目标的输出参数。
六．人脸跟踪算法的实现
本实验的仿真程序在VisualStdio2010中实现，编程语言为C++，基于OpenCV开源计算机视觉库开发，仿真中使用Opencv2.4.8[10]自带针对人脸级联分类器实现人脸检测，给出跟踪所需的初始化位置，随后利用CamShift算法逐帧跟踪人脸，并检测人脸中的眼睛等器官。
基于统计学习的人脸识别可以分为训练和检测两个阶段。
在训练阶段，通过事先准备好的样本集训练一组分类器；检测阶段，输入待检测图像，以不同位置和大小的窗口扫描待检测图像，由之前训练的分类器判决窗口中是否含有人脸。
人脸检测算法的具体流程可以表述如图六所示。
图五人脸检测算法流程
人脸检测及跟踪的跟踪流程简图如下所示：
图六人脸检测跟踪算法流程
算法流程如下：
（1）从摄像头获取视频源；
（2）检测获取帧图像中的人脸位置，利用第一帧人脸位置初始化CamShift跟踪；
（3）在随后的帧中，由CamShift计算基于ＨＳＶ空间的反向投影图，确定概率极大点，随后更新目标的位置；
（4）在更新的人脸位置上检测出包含人脸的区域；
（5）将检测和跟踪结果绘制在视频中显示。
七．仿真结果与分析
实验中的软硬件环境为：
硬件IntelCoreI3M390，运行内存4G，操作系统为Windows7Ultimate。
图九人脸检测结果
实验中首先选择部分样本测试Haar检测人脸的效果。
随机选取与训练集独立的30张图像作为测试集检测分类器的训练效果。
OpenCV中提供了针对人脸正面检测的Haar分类器样例。
实验中训练所得的分类器与OpenCV中提供的分类器效果进行对比，详细的检测结果显示在表一中。
图九中给出训练分类器在第2（左上）、11（左下）、17（右上）、26（右下）张图像中的检测结果。
在测试图片2和11中，人脸都被准确地标识出来。
图片17为彩色图像，检测时首先会转化为灰度图，检测中存在完整的侧脸未被监测到，因为所选的分类器训练对象为正脸，但发现有轻微侧向的人脸被检测到。
在图片26中，右侧的人脸未被检测到，同时，在图片偏左上的地方存在一处虚警。
随后，通过摄像头测试人脸检测与跟踪的效果，部分结果显示如下图。
同时对有人眼检测与无人眼检测的条件下测试算法的运行速度，部分连续帧中的运行耗时统计在表一中，单位为毫秒。
图十人脸检测及跟踪结果，最左侧为人脸检测初始化图
表一截取连续帧耗时统计
序号
有检测
无检测
序号
有检测
无检测
1
119.15
18.66
9
111.72
18.75
2
119.46
19.97
10
118.59
24.62
3
146.05
19.44
11
133.85
19.50
4
140.17
18.46
12
133.61
18.19
5
120.40
22.10
13
123.61
19.31
6
131.07
23.59
14
124.74
20.23
7
115.98
19.48
15
137.16
19.41
8
120.11
19.60
16
136.83
19.81
八．结论
本文基于HAAR分类器检测人脸和面部器官，利用CAMSHIFT算法实现对人脸的跟踪。
在计算机上运行效果具有较好的实时性，能够适应人脸晃动和轻微的尺度及角度变化，表明该算法的有效性。
但基于颜色特征的CAMSHIFT算法无法对抗剧烈的光照变化，在噪声背景中会发生漂移和跟踪失败，HAAR特征适合刚性物体的检测，当目标旋转角度变化过大发生较大的外观变化时无法检测到人脸，是今后研究中值得关注的问题。
参考文献
[1]刘明宝，姚鸿勋，高文，彩色图像的实时人脸跟踪方法.计算机学报.1998,21（6）:
527-532.
[2]MichaelKearns，ThoughtsonHypothesisBoosting,UnpublishedmanuscriptMachineLearningclassproject,December1988.
[3]G.R.Bradski,"ComputerVisionFaceTrackingasaComponentofaPerceptualUser.Interface,"Proc.IEEEWorkshopApplicationsofComputerVision,pp.214-219,Oct.1998
[4]Y.Freund,R.R.Schapire,ExperimentwithaNewBoostingAlgorithm,MachineLearning:
ProceedingoftheThirteenthInternationalConference,MorganKauman,SanFrancisco,1996,148-156.
[5]PapageorgiouCP,OrenM,PoggioT.Ageneralframeworkforobjectdetection,C,ComputerVision，1998.SixthInternationalConferenceon.IEEE，1998：
555-562.
[6]P.ViolaandM.J.Jones,RapidObjectionDetectionUsingaBoostedCascadeofSimpleFeatures,IEEECVPR,2001.
[7]R.LienhartandJ.Maydt,AnExtendedSetofHaar-likeFeaturesforRapidObjectDetection,IEEEICIP,900-903.
[8]D.COmaniciu,P.Meer:
MeanShiftAnalysisandApplications[C].IEEEInt.Conf.ComputerVision（ICCV’99）,Kerkyra,Greece,1999.1197-1203.
[9]GrayR.BradskiandSantaClara.ComputerVisionFaceTrackingForUseinaperceptualUserInterface[A].InterTechnologyJournal,1998,2:
1-15.
[10]GaryBradski,AdrianKaebler,于仕琪，刘瑞祯（译），清华大学出版社，北京，2009.
升级会员 