复杂场景下的人体头部识别技巧Word格式.docx
《复杂场景下的人体头部识别技巧Word格式.docx》由会员分享，可在线阅读，更多相关《复杂场景下的人体头部识别技巧Word格式.docx（18页珍藏版）》请在冰豆网上搜索。
仍然具有过程复杂，要求较高计算量的缺点。
另外识别率依靠分类器的训练结果，场景的变化会出现不同的效果，不适于实际应用。
在现实场景中，特别是在人群密集的场合如车站、体育场馆、商场等由于遮挡，人体往往不能够被完整的摄录下来。
这给传统的基于人体外形特征或运动特征的方法造成很大的障碍。
然而，人体的头和肩膀即使在这种条件下也会部分或全部显现出来。
利用人头和肩部特征进行人体识别的方法被逐渐提及。
文章《基于组合模板的人体头部精确定位算法》<
<
中国图象图形学
报>
>
2007年第12卷第08期作者:
汤金宽,曹丹华,吴裕斌,顾雯雯提出采用“凸”字形模板匹配再通过水平和垂直模板矫正的方法检测人体头部及躯干。
只能对室内单体人处理，且摄像机需水平照射，不利于实际应用。
文章《基于人体头肩部形状的身份识别》<
应用科技>
2006年第33卷第12期作者:
韩新宇,朱齐丹,章慧君提出对采集图像去噪后进行逐行扫描匹配样本库的方式检测人头部，前提是只能处理单人，且人体与摄像头距离为已知。
这在一般现实场景中无法满足。
文章《智能监控中基于头肩特征的人体检测方法研究》<
浙江大学学报（工学版）>
2004年第38卷第04期作者:
潘锋,王宣银,王全强提出通过分割单体直方图得到头肩位置信息，再用SVM进行分类的方法。
该系统只能处理单个人体或互不遮挡的多人体，且摄像机要求水平照射，与实际应用有较大出入。
文章ZuiZhang,Gunes,HaticePiccardi,Massimo，“AnaccuratealgorithmforheaddetectionbasedonXYZandHSVhairandskincolormodels”CIP2008,pp：
1644-1647在位置空间及颜色空间建立高斯混合模型，然后利用椭圆拟合方式定位人头。
虽然能够对多角度人头进行有效识别，但前提是画面必须有较高的分辨率、背景为单色或已经做好人体分割且只处理单个人体。
发明内容针对现有技术中因现场光照、摄像机角度、人体尺寸以及遮挡等外界因素造成的人体识别准确度低或无法识别的问题，本发明的要解决的技术问题是提供一种复杂场景下的人体头部识别方法。
为解决上述技术问题，本发明采用的技术方案是：
本发明复杂场景下的人体头部识别方法包括以下步骤：
将视频设备输入的视频流分解成单帧视频序列后分配给由外轮廓识别模块、特征弧识别模块和颜色识别模块三个模块进行处理；
外轮廓识别模块对单帧视频序列进行前背景分离后，进行外轮廓提取，并计算出头顶顶点权概率分布；
特征弧识别模块在对单帧视频序列进行平滑及灰度化处理后的图像上做边缘检测，再经过特征弧匹配后得到特征弧匹配概率分布；
颜色识别模块将前景图像与颜色原始模板进行匹配得到色彩权概率分布；
将上述顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布通过简单boosting加权叠加，得到最终的头顶概率分布。
所述简单boosting为通过对顶点权概率分布、特征弧匹配概率分布以及色彩权概率分布三种弱分类器的线性加权叠加得到强分类器结果输出。
所述外轮廓识别模块、特征弧识别模块和颜色识别模块均在前背景分离后的前景图像中进行分析处理。
所述计算顶点权概率分布包括以下步骤：
确定计算起始点P。
将外轮廓提取结果得到的轮廓链链首作为起始点;
选取辅助计算点，沿轮廓链在起始点两侧分别确定近端辅助点和远端辅助点;
通过近端辅助点和远端辅助点计算起始点平均曲率的大小及法线方
向;
依据平均曲率大小及法线方向计算起始点顶点权;
如果没到轮廓链链尾，则沿轮廓链计算下一点顶点权直到该轮廓所有点计算完为止;
对顶点权进行加权距离变换，将权重按值大小向空间散布;
归一化处理得到顶点权概率分布。
加权距离变换在原有距离变换基础上增加权重机制，通过种子权重控制其影响范围，具体为：
将顶点权权重按值大小向空间散布，加权距离变换考虑种子点权大小，即权重大的种子散布的范围大于权重小的种子。
所述特征弧匹配概率分布通过以下步骤得到：
将视频设备输入的视频流分解成单帧视频序列进行平滑处理后的灰度图与得到的前景图进行掩码后作为边缘特征计算的输入;
在上述输入数据中抽取边缘特征及边缘特征点;
判断得到的边缘特征点的边缘强度是否大于阈值，如大于阈值，则取边缘特征点所在位置相应匹配模板大小图像;
将该图像与预先建立好的原始模板进行匹配并记录得分;
在与原始模板匹配后，动态调节原始模板大小;
判断匹配得分是否高于前一次动态调节后的原始模板，如果匹配得分不高于前一次动态调节后的模板，则置特征弧匹配权为前一次动态调节后的模板匹配得分;
判断所有特征点是否处理完毕，如处理完毕，则进行归一化处理，得
到特征弧匹配概率分布并输出；
如果没处理完，则返回至抽取边缘特征点步骤进行下一个点处理；
如果模板匹配得分高于前一次动态调节后的原始模板，则继续沿原调节方向对模板进行放大或缩小处理直到得分不再增加为止，并将此时分数作为最终模板匹配得分。
所述原始模板只涉及人头耳部以上区域。
采用跳跃移动窗口方式计算特征弧匹配权；
边缘特征点的查找和匹配通过水平移动原始模板窗口实现，而配合阈值的判断使其跳跃过边缘强度小的噪音点。
所述色彩权概率分布通过以下步骤得到：
以一帧原始视频图像与前景图进行掩码的结果作为输入；
在上述输入数据中选取有效颜色特征点；
判断有效特征点对应的特征弧点匹配权是否小于阈值；
如果特征弧点匹配权不小于阈值，则取该有效特征点所在图像窗口分别与正面模板和负面模板进行匹配，记录上述匹配的最大匹配得分；
判断所有边缘特征点是否处理完毕；
如处理完毕，则进行归一化处理得到色彩权概率分布并输出。
采用正面及反面颜色模板进行色彩匹配；
正面及反面模板设计均为矩形，长宽比例为1：
1.33。
正面模板由上下相连的两个矩形构成，颜色分别为纯黑及纯白色，其中黑、白色部分宽度比例1：
3，反面模板为纯黑色。
本发明具有以下有益效果及优点:
1.本发明提出一种在复杂场景下实时识别多人的人体头部技术，应用到多角度客流统计，人脸识别的前期定位、人体跟踪与识别、快球跟踪、头像超分辨率等应用当中，有效抑制人体遮挡、摄像机角度、光照变化等客观环境造成不良影响。
2．本发明利用人体头部多种特征进行识别，动态调整各特征分类权重，识别最优化设计；
视频图像利用现有的普通视频监控录像，在人群密度大、客流量大场所下，利用监控摄像机一般处于高处，人体肩膀以上的部位不会被整体遮挡的特点完成人的定位和检测。
3．本发明采用由顶点特征、轮廓特征，对称特征以及色谱和纹理分析等多方面信息组成，以实现对人体的头部检测，识别速度快、精度高，可以利用现有大部分监控系统，单体识别时间小于0.2秒。
附图说明
图1为行人在光照和摄像机角度、位置发生变化下的监控示意图；
图2为本发明方法人体头部识别的总体流程图；
图3为本发明方法中顶点权计算流程图；
图4为本发明方法中特征弧匹配及特征权计算流程图；
图5为本发明方法中颜色模板匹配及色彩权计算流程图；
图6为本发明方法中轮廓顶点权计算示意图；
图7为本发明方法中特征弧模板示意图；
图8为本发明方法中颜色模板示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细描述。
图1显示的是一个模拟的现实监控场景。
用黑色人体剪影代表大小不同的人体在平面105上模拟客流进出活动。
第1、2摄像机103、104表示现实中可能存在的多种安置方式，它们在角度、方向、焦距等有很大变化。
同时，现场的第1、2灯光101、102的位置、方向、强弱等变化也给人体识别带来较大难度。
处理器106运行人体识别算法，对由摄像机输入视频流进行实时处理。
如图2所示，本发明复杂场景下的人体头部识别方法步骤如下：
将视频设备输入的视频流分解成单帧视频序列后分配给由颜色识别模块、外轮廓识别模块和特征弧识别模块三个模块进行处理（201）；
外轮廓识别模块对单帧视频序列进行前背景分离（202）后，进行外轮廓提取（203），并计算出顶点权概率分布（204）；
颜色识别模块将前背景分离结果作为图像掩码进行处理后得到色彩权概率分布（206、208）；
特征弧识别模块将前背景分离结果作为图像掩码进行处理后得到特征弧匹配概率分布（205、207、209）;
将上述顶点权概率分布、色彩权概率分布以及特征弧匹配概率分布通过简单boosting进行线性加权叠加，得到最终的头顶概率分布（210）。
本实施例中运动物体前背影分离可采用简单帧差、背景建模、光流等方法，其中背景建模又可分为单高斯、高斯混合、Kernel-based
Eigen-Background等。
本实施例采用高斯混合模型，定义如下：
K
PXn八WjX；
」j,3j
j4
其中，Wj是为j个高斯核权重；
K为高斯核个数，一般为3。
n（x;
Pj.,£
）,是中值为Jj:
、方差为Zj的第j个高斯分布。
在N时刻，每个像素拥有值Xn的概率pXn被K个高斯混合所描述。
前背景分离202的结果一方面交给轮廓提取步骤203做外轮廓提取工作，另一方面作为图像掩码交给颜色模板匹配步骤206和特征弧匹配步骤207剔除与人体识别不相关区域，减少计算量。
轮廓提取203计算得到一个或多个轮廓链，交给顶点权计算步骤204（在图3中详细介绍）计算顶点权概率分布并输出。
特征弧匹配步骤207将经过灰度化及高斯平滑步骤205处理过的灰度图与经过前背景分离步骤202得到的图像掩码做与”操作得到有效识别区域，再经过特征权计算步骤209得到特征弧匹配概率分布。
特征弧匹配及特征权计算过程详见图4。
颜色识别模块由颜色模板匹配步骤206和色彩权计算步骤208构成。
颜色模板匹配步骤206将原始视频图像与前背景分离步骤202得到的图像掩码做与”操作得到有效识别区域，再通过与颜色模板的匹配计算色彩权得到色彩权概率分布，详细匹配计算过程见图5。
三个弱分类器已分别根据自己特征计算出头肩部出现的位置概率
hi（x），现在通过简单boosting合成强分类器H（x），输出最终结果。
设权重为“i的弱分类器输出结果为h（x），这里话勺,2,3｝，得到t时刻强分类器
3
J（x）八：
;
h：
（x）。
可见，强分类器是弱分类器的线性加权叠加。
弱分类器
i4
的权重:
i体现为单个弱分类器的贡献大小。
权重越大的弱分类器对最终强分类器的影响越大，而权重的更新则通过£
丄n'
W匚'
完成。
这里訂为
2Ie」丿
t-1时刻的错误率，通过d丄=Pr〔yt°
=得到（yt，为t-1时刻分类结果）。
可
见，前一时刻的分类错误会导致下一时刻该分类器贡献减小。
也就是说，假如某一时刻颜色信息不能够帮助正确区分人体头部的话，颜色比重在下一时刻整体辨别的时候会逐渐减小，这样就保证了在任何时刻都有最合适的分类器做出正确的选择。
（1）计算顶点权概率分布包括以下步骤：
确定曲率计算的起始点，将根据外轮廓提取结果得到的轮廓链链首作
为起始点；
选取辅助计算点，沿轮廓链在起始点两侧分别确定近端辅助点和远端
辅助点；
通过近端辅助点和远端辅助点计算起始点平均曲率的大小及起始点的
法线方向；
分配曲率权重，根据上述起始点平均曲率的大小及起始点的法线方向计算起始点权重，将起始点平均曲率投影至坐标轴正方向，取投影值作为权重；
本实施例中坐标以图片左下角顶点为原点，规定水平右方向为x轴
正方向，竖直上为y轴正方向；
如果没到轮廓链链尾，则沿轮廓链计算下一点曲率权直到该轮廓所有
点计算完为止；
对曲率权进行加权距离变换，将权重按值大小向空间散布；
进行归一化处理，得到顶点权概率分布。
图3详细介绍了顶点权计算过程。
步骤301从图2的步骤203中得到需要处理的轮廓链链首交给步骤302作为起始点P。
，步骤303和步骤304完成辅助计算点选取工作，沿轮廓链在Po两侧间隔为r和3r位置分别确定近端辅助点Pi、P2和远端辅助点P3、P4。
其中r用来控制曲率计算的局域
性防止奇异点干扰。
步骤305分别通过计算弧PRP2和弧BP0P4的平均曲率再求平均的方式得到Po点的曲率So,（3ZPA+NP3P4），其中，NPP2为
12r
Pl点切线到P2点时转过的角度，•P3P4同理。
为简便计算，Po点法线方向n取与直线PiP2和直线PE斜率平均值垂直方向，其斜率为ko-，其中，ki2与k34分别是直线PP2和直线PK
煜+k34
的斜率。
曲率权重分配步骤306根据S0的大小和法线方向n计算Po点权重QPo,根据公式Qpo=so?
将曲率投影至竖直轴正方向，取投影坐标作为权重，这样有利于头顶弧形成，因为一般竖直人体头顶弧线的曲率往往是向上的。
沿轮廓链计算下一点曲率权直到该轮廓所有点计算完为止。
步骤3。
8对得
到的曲率权进行WeightedDistaneeTransform（加权距离变换），将权重按值大小向空间散布。
加权距离变换与传统距离变换不同，这里不仅考虑种子点有无（二进制），而且考虑种子点权大小，也就是说，权重大的种子散布的范围要大于权重小的种子。
这对于在顶点权大的点附近寻找头顶非常有效。
最后经过步骤3。
9归一化得到人头部的概率分布。
该一系列的过程在图6中有示例。
如图6所示，步骤6oi中黑色封闭曲线为轮廓链，计算后的曲率权在步骤6。
2中以不同灰度的像素点表示。
颜色越深表明权重越大。
可见曲率大并且方向朝上的弧线部分具有较大的权重。
放大的一段曲率权在6。
4中
表示，为便于显示，图中数值已被统一缩放仅表明大小关系。
最后Distanee
Transform得到的概率分布显示在步骤6。
3，图中深色区域为头顶出现几率较大的区域。
（二）特征弧匹配概率分布通过以下步骤得到：
将视频设备输入的视频流分解成单帧视频序列进行平滑处理后的灰度图与得到的前景图进行掩码后作为边缘特征计算的输入；
在上步骤计算结果中抽取边缘特征及边缘特征点；
判断得到的边缘特征点的边缘强度是否大于阈值，如大于阈值，则取
边缘特征点所在位置相应匹配模板大小图像；
将该图像与预先建立好的原始模板进行匹配并记录得分；
在与原始模板匹配后，动态调节原始模板大小，使其适应于不同尺寸人体；
如果匹配得分不高于前一次动态调节后的原始模板，则置特征弧匹配权为前一次动态调节后的模板匹配得分；
判断所有特征点是事处理完毕，如处理完毕，则进行归一化处理，得到特征弧匹配概率分布并输出；
如果所有特征点没有处理完毕，则返回抽取边缘特征点步骤；
如果匹配得分高于前一次动态调节后的原始模板，则继续沿调节方向对模板进行放大或缩小处理，返回取边缘特征点所在位置相应匹配模板大小图像步骤；
如果边缘特征点的边缘强度不大于阈值，则视为噪音，置特征弧匹配权为零，返回在上步骤计算结果中抽取边缘特征及边缘特征点步骤。
上述原始模板是在模型训练过程对上千张不同场景、不同角度的图片数据学习所建立，该原始模板的设计经过大量实验测试，充分考虑人头顶在不同方向、角度观测条件下的形态变化，做到受影响最小。
模板着重检测头顶部弧线，权重最大。
而靠近该弧线人头顶区域下侧一般为头发、额头或帽边，颜色一般均匀，纹理不明显，在模板中用灰色作为负反馈。
在头顶左右两侧同样设置负反馈区域，有效过滤肩膀、背包等不对称或存在多余纹理情况。
特征弧匹配及特征权计算过程如图4。
步骤401将图2中步骤205平滑后的灰度图与步骤202得到的前景图进行掩码，作为步骤402边缘特征计算的输入，这样即减少了计算量也降低了噪音干扰。
边缘特征检测使用Sobel算子，只对图像丫方向进行边缘检测，有效抑制竖边干扰，具体形式
121
为000;
_1_2_1
通过步骤403~405,在得到的边缘特征中提取强度超过预定阈值的点作为原始模板匹配基点qo，其余点视为噪音，置特征弧匹配权为零。
步骤406~411完成模板匹配过程。
在qo位置取与默认模板大小一致边缘图像
（23x7像素），将该图像与图7中步骤701所示原始模板进行匹配。
设模板
i,j位置上像素强度为mij，相应匹配图像像素强度为q，则该图像匹配得
分；
可由；
八，、*e护刊计算得到。
模板数值离散化的结果在其右侧步骤702
ij
中显示，图中黑色区域为正反馈区域，对应数值为正，暗灰色区域为负反馈区域，对应数值为负。
在与原始模板匹配后，为适应物体（人头）大小变化，动态调节模板大小，比例系数为0.9（缩小）和1.1（放大）。
将调整后的模板继续与qo点图像进行匹配，直到匹配结果不再变好时记录最好匹配时得分以及当时模板大小（以后颜色匹配时用到）。
在步骤411确保所有有效特征点处理完后经步骤412归一化得到特征弧匹配概率分布。
（三）色彩权概率分布通过以下步骤得到：
以一帧原始视频图像与前景图进行掩码的结果作为输入；
在上述输入数据中选取有效特征点，这里的特征点是特征弧匹配”步骤中特征点的子集（超过阈值部分）；
判断有效特征点对应的特征弧点匹配权是否小于阈值；
如果特征弧点匹配权不小于阈值，则取该有效特征点所在图像窗口分
别与正面模板和负面模板进行匹配，记录上述匹配的最大匹配得分；
如处理完毕，则进行归一化处理得到色彩权概率分布并输出；
如果所有边缘特征点没有处理完毕，则返回在上述输入数据中选取有效特征点步骤；
如果有效特征点对应的特征弧点匹配权小于阈值，则将该有效特征点的色彩权置为0,返回在上述输入数据中选取有效特征点步骤。
图5所示为色彩权的计算过程。
步骤501得到原始一帧视频图像与前景掩码的结果作为输入。
步骤502~504选取有效特征点r。
，该点与图4所示过程中满足步骤404的点集一致，也就是说，只考虑具有一定边缘强度
的点做色彩匹配，而不是对所有点进行处理，这样极大节省系统开销。
步骤505根据qo匹配时最佳模板大小取ro相应大小图像。
将该图像分别与色彩正面模板和反面模板进行匹配，两种模板实例见图&
图8中显示正面及反面颜色模板例子，其中801显示正面模板，该模板由上部及下部两种颜色构成，上部颜色可为发色或帽子颜色，下部颜色可为肤色或白色（戴口罩情况）。
该模板同时可作为侧面模板使用。
802显示人头反面或顶面模板，模板可为黑色、灰色等单一颜色或通过发色学习得到的任意颜色分布。
色
.2
彩匹配可由-/Vej计算。
其中，dj2为图像i,j位置上像素点与模板颜色
分布在RGB色彩空间上的距离。
步骤508记录颜色模板匹配的最高得分，在处理完所有特征点后（步骤509），经步骤510归一化得到色彩权概率分布。
本发明方法考虑人体头部的形态特征、颜色特征、轮廓特征以及运动特征，分别建立动态模型，计算概率。
这些特征都是独立的弱分类器，根据自己特点对图像内容进行独立分析识别，形成分值，再结合自己的经验权重进行投票，投票结果作为最终结论统一输出。
也就是由弱分类器构建强分类器最后由强分类器决定输出结果的过程。
每个弱分类器都有属于自己的权重，通过对所有弱分类器线性叠加得到强分类器。
这样做的好处在于，在现实多变的场景中，所有特征不可能同时都得到很好的体现，颜色明显的地方轮廓可能不明显，轮廓清晰的地方可能运动信息不那么强。
这就需要特征明显的弱分类器权重大些，特征不明显的权重小些，通过实时动态的调节各特征的权重达到最好的检测效果。
由于这种通过弱分类器合成强分类器并且能够动态调节弱分类器权重（限于Adaboost训练）的过程与经典的boosting相似，并且出于实用性考虑，本发明去掉boosting费时的训练以及大量样本权重变化，称之为：
简单boosting。
该模型与
升级会员 