基于多变量多项式模型的多模态生物特征分数层融合算法.docx
《基于多变量多项式模型的多模态生物特征分数层融合算法.docx》由会员分享，可在线阅读，更多相关《基于多变量多项式模型的多模态生物特征分数层融合算法.docx（15页珍藏版）》请在冰豆网上搜索。
基于多变量多项式模型的多模态生物特征分数层融合算法
基于多变量多项式模型的多模态生物特征分数层融合算法
第39卷第11期
2009年11月
中圈料孽教求大誊辱取
JOURNALOFUNIVERSITYOFSCIENCEANDTECHNOLOGYOFCHINA
Vo1.39,No.11
NOV.2009
文章编号:
0253—2778（2009）11—1177—06
基于多变量多项式模型的多模态生物
特征分数层融合算法
张志坚,张培仁
（中国科学技术大学自动化系,安徽合肥230027）
摘要:
提出了一种基于多变量多项式模型的多模态生物特征分数层融合算法（MPMSF）,用多变量
多项式模型获取融合分数,用最小二乘法确定模型中的参数.并对多变量多项式模型进行简化,以
减小计算量.MPMSF的特点在于不需要分数归一化.采用交叉验证的方法,评估了各种分数层融
合算法的正确接受率和分数归一化,单模态性能对分数层融合算法的影响.开集测试表明,
MPMSF算法优于传统的分数层融合算法.同时,MPMSF满足多模态生物特征识别系统实时性的
需求.
关键词:
多模态生物特征识别;分数层融合;多变量多项式模型;交叉验证开集测试
中图分类号:
TP391.41文献标识码:
A
Ascorefusionalgorithmbasedonthemultivariatepolynomialmodel
ZHANGZhi—jian,ZHANGPei-ren
（DepartmentofAutomation,UniversityofScienceandTechnologyofChina,Hefei23007,China）
Abstract:
Anovelmultivariatepolynomialmodelbasedscorefusionalgorithm（MPMSF）wasproposed.A
fusedscorewasobtainedfromthematchingscoresofsinglebiometricsbyusingthemultivariate
polynomialmode1.Theparametersofthefunctionwereestimatedusingtheleastsquaresmethod（LSM）.
Also,crossvalidationwasemployedforscorefusionalgorithmevaluation.Theopensettestshowsthat
MPMSFoutperformsotherscorefusionmethodsandthatitsCPUtimecanmeettherealtimerequirement
ofmultimodalbiometrics.
Keywords:
muhimodalbiometric;scorefusion;multivariatepolynomialmodel;crossvalidationopentest
0引言
生物特征识别技术为身份识别提供了有效的方
法.一般来说,多模态生物特征识别技术与单模态的
生物特征识别技术相比,不仅具有更高的识别率,而
且可靠性和普适性更强引.生物特征识别系统一
般由四个环节构成:
获取生物特征信号,特征提取,
特征匹配以及决策.按照融合在哪个环节进行,多模
态生物特征识别系统的融合方法可以分成四类:
传
感器层或像素层融合,特征层融合,分数层融合和决
策层融合Ⅲ3].特征层融合利用了最多的原始信息,从
理论上可以得到最高的性能,但是不同模态提取的
特征不相容.例如,用PCAE,LDAE提取的人脸特
征均是实数向量,而虹膜提取的特征是二进制编
收稿日期:
2007—12—29;修回日期:
2009—05—30
作者简介:
张志坚,男,1980年,博士生.研究方向:
生物特征识别和嵌入式系统.E-mail:
zjzhang3@
通讯作者:
张培仁,教授.E-mail:
przhang@
1178中国科学技术大学第39卷
码__6],这就限制了特征层融合的应用;而决策层融
合利用的信息最少,对生物特征识别系统的性能提
高有限.因此,分数层融合得到了最广泛的关注.
目前,分数层融合策略有两种.（I）组合判定策
略l8]:
首先进行分数归一化然后用简单规则对匹配
分数进行融合.简单规则包括加法规则,乘法规则,
最小规则,最大规则.常用的分数归一化方法包括
min-max,Z-score,Tanh等.（Ⅱ）二级分类器策
略¨8叫:
把融合问题转换成二类（拒绝,接收）问题,
即把M种单模态生物特征的匹配分数组成一个M
维的特征向量,用各种模式分类算法（如LDAl】l_
等）进行分类.
实验表明,组合判定策略具有如下缺点:
（工）当
参加融合的生物特征的正确接收率（genuineaccept
rate,GAR）相差较大时,会出现融合系统的GAR
低于单生物特征的GAR的情况;（11）简单规则的
GAR受到分数归一化方法影响很大.本文提出了?
种新颖的基于多变量多项式模型的分数层融合算法
（multivariatepolynomialmodelbasedscorefusion,
MPMSF）,不仅可以避免上述组合判定策略的缺
点,并且其GAR高于传统分数层融合算法（二级分
类器策略和组合判定策略）,同时可以满足多模态生
物特征识别系统的实时性要求.
1基于多变量多项式模型的分数层
融合算法.
1.1多变量多项式模型
设S为第个子系统输出的匹配分数的集
合,SES,m一1,2,…,M.将各子系统的匹配分数
构成一个向量,即一（S,Sz,…,SM）,可以建立如下
的多变量多项式模型（multivariatepolynomial
model,简称MPM）
K—
1
ss===f（u,s）P?
a一n1"sn2一s
（1）
2一O
式中,S,是融合分数,a是模型参数,一[ao,Oil,…,
a一I],K是模型参数的个数.,,…,,2I垤是相应
模态的匹配分数的幂次,且满足如下三个条件:
n2一,M为非负整数;
②0≤,,…,M≤R,R≥1是模型阶数;
M
③≤R.
一
1
满足上述三个条件的,,…,眦的取值共
有K种可能.表1列举了K与模态数M,模型阶数
R的关系.例如,当R一2,M===2时,K一6,故
Sr—f（a,）一
ao+a1S1+d2S2+a3S}+a4s1S2+a5S;
（2）
P一[1s1S2SfS152s;]（3）
表1MPM的模型参数个数K随模型阶数（R）
和模态数（M）的变化
Tab.1RelationshipbetweenK.M.R
K
R
1234567
2361015212836
M
34102O355684120
由表1可以看到,多变量多项式模型的主要缺
点是:
模型参数的数目K随着模型阶数R和模态数
M的增加而迅速增加,从而使MPM的计算量大大
增加.
为了减少计算量,本文仿照文献E12]的方法,对
上述多变量多项式模型进行简化
Sf—f（a,）===P?
一
RMR
a.+∑∑asi+∑am州（s+s+…+SM）i一1i一11—1
（4）
式中,各变量的含义如前所述,R≥1是模型阶数.
式（4）称为简化的多变量多项式模型（reduced
multivariatepolynomialmodel,RMPM）,RMPM有
K===1+RM~R--1+R（M+1）个参数.
为了描述方便,以下用MPMSF-I—R表示采用
尺阶多变量多项式模型,用MPMSF-Ⅱ一R表示采用
简化的尺阶多变量多项式模型.
1.2模型参数的确定
设一（sS?
一,SiM）,===1,2,…,N的类别已
知.其中,S∈S,一1,2,…,M,由此获得N个观
测数据（s,Y）.Y一f（a,s）一Pa的取值由下式
确定
v,一JWl（5）
Io,∈Wo
式中,Wo.表示非法用户,w表示合法用户.
使用最小二乘法估计获得多变量多项式模型参
数口一[a.,a,a,…,a一]的估计值.使如下目
标函数最小
',（）一去Ily—Pa（6）
第11期基于多变量多项式模型的多模态生物特征分数层融合算法1179
式中,P一[1×P
1l（s1）
1Pl（s2）
1Pl（N）
PK1
（1）
PKl（s2）
PK1（sN）
…户一]一+",+z+n}+#4~1n2+;===
++（）+
Y一（Yl,2,…,
YN）,ll?
ll表示向量的2范数.
为了获取更好的分类结果,首先对矩阵P的每
列进行标准化,即
P,一（7）
stdi
式中,p是N×1的列向量,每个元素均为P的均
值,std表示P的标准差.
根据最zJx_-乘法,式（6）的解为
一（P）pTY（8）
值得一提的是,如果矩阵P存在多重共线
性,lPIn0,式（8）所获得的模型参数的估计精度
会降低.此时可以用岭估计求解多变量多项式模型
参数,即
===
（pTp+H）pTY（9）
式中,k>O,I是K×K的单位矩阵.
1.3分类器的构建
对于一个测试样本,把和带入式
（1）有
S===厂（口,S）一P?
（10）
式中,如式（8）所示.设定阈值r,则的类别可以
采用如下方式确定
s,∈如果>I（11）
S,∈WO,如果S<rJ
1.4MPMSF不需要分数归一化的原因
设融合系统中共有M个分系统,设s为第
个子系统输出的分数的集合,s∈S,一1,2,…,
M.实际上,常用的分数归一化方法具有相同的形
式,一,m=l,2,…,M,,z是归一化后的
匹配分数.
rain-max分数归一化方法:
A一rain（S）,
B一max（5）一min（S）
Z-score分数归一化方法:
A一mean（S）,
B一std（S）
为了便于书写,只推导R一2,M一2的情形.假
设对分数归一化后再采用MPMSF-2进行分数层融
合,把融合参数表示为===[,,…,岛],把和
带入式（3）,得到
sf一_厂（,,1）===
（）（）+（）
一
（一一+++）+
f盟一2一色鲁）+BBB\】}]B2/
f譬一2一鲁1+B\B2B;B】2/J2'
+盎.+
式（12）和式
（2）具有相同的形式,这说明,当M===2
时,MPMSF—I一2不需要对分数进行归一化的原
因,并且一[a.,a,…,a]是一[,,…,]
的函数.
同样可以证明,MPMSF-I—R和MPMSF一Ⅱ一R
不需要进行分数归一化.
2实验
2.1数据库
本文构建了包含132人的合成多模态数据
库¨],其中每人有4张虹膜样本和4张人脸样本.
将人脸样本和虹膜样本进行随机匹配,构成虚拟的
一
个人的多模态样本.
人脸样本来自中国科学院计算技术研究所开发
的CAS-PEAL—R1E"人脸数据库的标准子库,背景
子库,距离子库,如图1第一行所示.CAPEALR1
包含了1040名中国人共30900幅头肩部图像,分为
正面图像子库和姿态图像子库,其中正面图像子库
包含9060幅图像.
虹膜样本来自UBIRIS.vl虹膜数据库_】Il的
Session2,如图l的第三行所示.UBIRIS.vl于
2004年9月构建,包括241人的1877张眼部的图
像.与CASIAEM和UPOLE"等公开的虹膜数据库
不同,UBIRIS.v1是一个噪声数据库,虹膜样本包
括大量的聚焦模糊,遮挡,眼镜反光造成的低质量样
本.数据库分两次采集,第一次（Session1）采集了
241人的虹膜图像,采集对拍摄环境进行控制,样本
噪声比较小;第二次（Session2）采集了132人的虹
膜图像,不再控制拍摄环境,包含了大量的聚焦模
糊,遮挡,眼镜反光造成的低质量样本.
118O中国科学技术大学第39卷
图1合成数据库中的典型样本
Fig.1Representativesampleofthesynthesisdatabase
2.2测试协议
实验中把人脸图像归一化为120*142像素大
小,如图1的第2行所示,采用PCA提取人脸特征,
用最近邻距离分类器进行分类;采用一维Log—
Gabor滤波器提取虹膜特征_l6],利用海明距离进行
特征匹配.
在上述合成数据库中,随机划分为训练集和开
集测试集.对于人脸而言,测试集中使用标准子库的
样本作为gallery（注册图像）,其余3张作为probe
（待识别图像）;对于虹膜而言,测试集中使用任一张
作为gallery,其余3张作为probe.
采用交叉验证的方法评估各种分数层融合算法
的性能.即合成数据库做N一5O次不同的划分,训
练集训练分类器,测试集测试GAR,最后对N次的
GAR进行统计.需要指出的是,次实验均是开集
测试,即训练集和测试集中包含不同人的样本.
实验将全面测试MPMSF-I和MPMSF-1I的
性能,对比算法为:
（工）采用LDA作为二级分类器
的二级分类器策略;（II）组合判定策略,包括分数归
一
化方法和简单规则的12种组合.
2.3实验
2.3.1归一化方法和单模态性能对分数层融合算
法的影响
表2列举了各种分数层融合算法（二级分类器
策略,组合判定策略,MPMSF-I,MPMSF-Ⅱ）当
FAR=0.001时的GAR均值为
一
1兰
GARago~thm一GARlg.血hm,
i一1
式中,下标algorithm表示分数层融合算法的名称,
GARhn,表示该算法第i次测试取得的GAR.表
2的第4行（第5行）统计了MPMSF-Ⅱ一（2—6）
（MPMSF_I-（2—6））的GAR均值.
从表2可以得到如下结论:
（工）组合判定策略的GAR受到分数归一化方
法的影响比较明显.以Min规则为例,当采用Z_
score归一化方法时GAR均值为92.3,当采用
min-max归一化时GAR均值为74.7,相差了近
2O.而MPMSF不需要分数归一化的步骤,其结
果不会受到分数归一化方法的影响.
（II）在单模态的GAR相差很大的情况下,组
合判定策略出现融合GAR低于单模态GAR的情
况.人脸模态的GAR为54.7%,虹膜模态的GAR
为88.3,product+Tanh,min+rain-max,max+
min-max,max-[-Z-score,max+Tanh等组合的性能
低于虹膜的性能.相对应的,MPMSF算法在在单模
态的GAR相差很大的情况下仍然可以提高生物特
征识别系统的GAR.
表2各种分数层融合算法GAR的平均值（FAR=0.0o1）
lhb.2MeanGARofscorefusionalgorithms（FAR=0.001）
另外,从表2可以看出,sum规则在组合判定策
略中获得了最好的性能,因此在以下的对比试验中,
不再列举product规则,min规则,max规则的
数据.
2.3.2MPMSF算法的GAR
表3（表4）列举了MPMSF-I（MPMSF-1I）的
GAR均值与其他算法的GAR均值比较.其中,第
二列的黑体表示MPMSF-工（MPMSF-Ⅱ）算法中
GAR高于传统分数层融合算法的情况.从表3,表4
可以得到以下结论:
（I）MPMSF-I一（2,3,4,5,6）获得高于传统
分数层融合算法（包括二级分类器策略和组合判定
策略）的GAR.
（1I）MPMSF-II一（4,5,6）获得高于传统分数
第11期基于多变量多项式模型的多模态生物特征分数层融合算法1181
层融合算法的GAR.
（HI）当模型阶数相同时,在MPMSF-I的性能
高于MPMSD1I.
表3PlVlPSF-I与传统分数融合方法的
GAll比较（FAR=0.001）
Tab.3GAllforPMPSF-Tandotherscore
fusionmethods（FAR=O.001）
表4PMPSF-Ⅱ与传统分数融合方法的
正确接收率比较（FAR--0.001）
Tab.4GARforPMPSF-ⅡandotherSCOre
fusionmethods（.AR=0.001）
2.3.3MPMSF算法的CPU间开销
表5列举了各种算法的CPU时间开销,表中的
数据是在如下环境测试得到的:
三星笔记本电脑
X05,CPU为IntelPentium1.4G,内存大小256
M,操作系统为WindowsXP,软件Matlab7.0.4.
从表5可以看到,（I）MPMS~工算法的时间
开销高于传统的分数层融合算法（LDA,sum规则,
product规则,min规则,max规则）,这是由于
MPMSF算法计算量大于传统的分数层融合算法.
表5各种分数层融合算法的CPU时间开销
Tab.5CPUtimeofSCOrefusionalgorithms
（11）MPMSF算法的时间开销在其时间开销在
10S数量级,完全可以满足多模态生物特征识别
系统的实时性要求.因此,MPMSF算法是有实际应
用价值的.
3结论
研究了多模态生物特征的融合算法,主要有两
点贡献.（I）首先提出了一种新颖的基于多变量多
项式模型的分数层融合算法（MPMSF）.采用多变
量多项式模型（MPM）和简化的多变量多项式模型
从不同模态的生物特征的匹配分数获取融合分数,
采用最小二乘法确定多变量多项式模型中的参数取
值;（1I）采用交叉验证的方法,对各种分数层融合算
法进行了全面的评估.
开集测试表明,本文提出的MPMSF算法优于
传统的分数层融合算法,表现在:
（I）MPMSF不需
要分数归一化的步骤,其结果不会受到分数归一化
的影响;（.Ⅱ）MPMS~I,MPMSF-1I的GAR高于
传统分数层融合策略（二级分类器策略,组合判定策
略）;（III）在单模态的性能相差很大的情况下,
MPMSF算法仍然可以提高系统的GAR;（IV）当模
型阶数相同时,在MPMSF-I的性能高于MPMSF_
Ⅱ.另外,MPMSF的CPU时间开销在10S量级,
满足多模态生物特征识别系统实时性的需求.
参考文献（References）
[1]HongL,JainAK,Pankantis.Canmultibiometrics
improveperformance[R].EastLansing,MI:
ComputerandScienceandEngineering,MichiganState
University,MSU-CSE-99—39,1999.
[2]HongL,JainAK.Integratingfacesandfingerprints
forpersonalidentification[J].IEEETransactionson
PatternAnalysisandMachineIntelligence,1998,20
（12）:
l295—1307.
[3]RossA,JainAK,QianJ.Informationfusionin
biometricsEJ~.PatternRecognitionLetters,2003,24
1182中国科学技术大学第39卷
（13）:
2115—2125.
[4]TurkM,PentlandAEigenfacesforrecognition[J].
JournalofCogmtiveNeuroseience,1991,3
（1）:
71-86.
[5]EtemadK,ChellappaRDiscriminantanalysisfor
recognitionofhumanfaceimagesEJ].Journalofthe
Optica1SocietyofAmericaA,1997,14（8）:
1724-
1733.
[6]MasekLRecognitionofhumanirispatternsfor
biometricrD].MasterThesis,Bachelorof
Engineering,TheUniversityofWestern
Australia,2003.
[7]DaugmanJG.Highconfidencevisualrecognitionof
personsbyasetofstatisticalindependence[J].IEEE
TransactuinonsonPatternAnalysisandMachine
Intelligence,1993,15（11）:
1148—1161.
[8]JainAK,NandakumarK,RoSS久Score
normalizationinbiometrics[J.PatternRecognition,
2005,38（12）:
2270—2285.
[9]WangYH,TanTN,JainAK.Combiningfaceand
irisbiometricsforidentityverification[C3//
Proceedingsof4thInternationalConferenceonAudio-
andVideo_BasedBiometrics,PersonAuthentication.
Guildford,UK,2003:
805—813.
rlO3SandersonC,Paliwa1KK.Informationfusionand
personverificationusingspeechandfaceinformation
[EB/OL].http:
//www.idiap.ch/～sanders/conrad/
papers/idiap_rr02—33.ps.gz.
In2MclaehlanGJ.DiscriminantAnalysisandStatistical
PatternRecognition[M~.NewYork:
Wiley,1996.
[12]SrinivasanD,SharmaVAreducedmultivariate
polynomialbasedneuralnetworkmodelpattern
classifierforfreewayincidentdetection[C3//
ProceedingsofInternationalJointConferenceonNeural
Networks.Orlando,Florida:
IEEEPress,2007:
2366—2372.
[133SonB,LeeY.Biometricauthenticationsystemusing
reducedjointfeaturevectorofirisandface[c]//
ProceedingsofSixthInternationalConferenceon
Audio_andVideo-BasedBiometrics.Person
Authentication.HiltonRyeTown,NY:
IEEEPress,
2005,3546:
513—522.
[14]GaoW,CaoB,ShanSG,eta1.TheCAS-PEAL
large-scalechinesefacedatabaseandbaseline
evaluations[J].IEEETransactionsonSystemManand
Cybernetics,PartA:
SystemsandHumans,2007,38
（1）:
149—1
升级会员 