基于Fisher线性鉴别分析的人脸识别方法研究.docx
《基于Fisher线性鉴别分析的人脸识别方法研究.docx》由会员分享，可在线阅读，更多相关《基于Fisher线性鉴别分析的人脸识别方法研究.docx（9页珍藏版）》请在冰豆网上搜索。
基于Fisher线性鉴别分析的人脸识别方法研究
基于Ｆｉｓｈｅｒ线性鉴别分析的人脸识别方法研究
作者：
刘长华
来源：
《电脑知识与技术·学术交流》2008年第09期
摘要：
人脸识别技术是计算机模式识别领域非常活跃的研究课题，在法律、商业等领域有着广泛的应用背景。
由于人脸图像的特殊性，人脸识别问题也是模式识别领域一个相当困难的问题，要使这一技术趋于成熟还有许多工作需要做。
本文阐述了Fisher线性鉴别分析算法及其实现，同时针对其鉴别空间的统计相关性，提出改进措施。
关键词：
Fisher线性鉴别；特征子空间；正交鉴别分量
中图分类号：
TP391文献标识码：
A文章编号：
1009-3044（2008）04-11694-05
TheTechnologyofFaceRecognitionBasedonFisherLinearDiscriminationAnalysis
LIUChang-hua
（AnhuiBroadcastingMovieandTelevisionCollege,Hefei230022,China）
Abstract:
Thetechnologyoffacerecognitionisanactivesubjectintheareaofpatternrecognition,whichhasbroadapplicationsinthefieldsoflaw,businessetc.Fortheparticularityofthefaceimage,facerecognitionisalsoaverydifficultprobleminthefieldofpatternrecognition.Tomakethetechnologytendtomaturity,thereisstillmuchworklefttodo.
ThemethodstopreprocessFisherLinearDiscriminationAnalysis,Animprovementmeasure,whichisaimedonthestatisticalcorrelationofthediscriminationspace,isproposed.
Keywords:
FisherLinearDiscriminationAnalysis;EigenSubspace;orthogonaldiscriminationvectors
1引言
线性判别函数是统计模式识别的常用的方法之一。
它的基本思想是利用样本集直接设计分类器，它首先假设判别函数g（x）是x的线性函数，即g（x）=wT+w0，对于C类问题可以定义为C个判别函数，gi（x）=wiT+wi0，i=1，2，…，C用样本去估计wi和wi0，并把未知样本归到具有最大判别函数的类别中，一个基本的考虑是针对不同的情况，提出不同的设计要求，是分类器尽可能好地满足这些需求。
当然，要求不同，设计结果也将各异。
这说明“尽可能好”是相对于设计要求而言的。
这种设计要求，在数学上往往表现为某个特定的函数形式，称之为准则函数，“尽可能好”的结果相应与准则函数取最优值。
这实际上将分类器的设计问题转化为求准则函数极值问题了。
对解决人脸识别问题来说，线性判别分析分类器是一个很好的选择。
一般所采用的线性判别分析函数是Fisher线性判别函数，也称为FDA（FisherDiscriminantAnalysis）。
它首先由R.A.Fisher于1936年提出，不过直到近些年才被应用到人脸识别中。
在模式识别领域，Fisher线性判别方法有着重大的影响，其基本思想就是在Fisher判别准则函数取得极值的条件下，求得一个最佳判别方向，然后再将模式高维特征向量投影到该最佳判别方向上，构成一个一维的判别特征空间。
于是模式识别可以在一维空间中进行。
2Fisher线性鉴别
2.1Fisher线性鉴别原理
Fisher线性鉴别考虑把d维空间的样本投影到一条直线上，即形成一维空间，那么即使样本在d维空间形成若干紧凑的互相分得开的集群，如果把它投影到一条直线上，就可能使几类样本混在一起而无法识别，在一般情况下，总可以找到某个方向，使样本投影到这条直线后分开的最好，寻找这条投影线正是Fisher要解决的问题。
在w1/w2两类问题中，假设有N个训练样本xi（i=1,2,...,N），其中N1个来自于类型w1，N2个来自类型w2，两个类型w1,w2的训练样本分别构成训练样本的子集X1,X2，令
yi是向量xi通过变换w得到的标量。
事实上，对于给定的w，yi就是判别式的值。
由于子集X1,X2的样本经w映射后形成了两个子集Y1,Y2。
令‖w‖=1，那么yi就是xi在w的方向上的投影，使Y1,Y2最容易分开的w方向就是区分超平面的法线方向。
下面研究如何得到最佳w方向的解析式。
令
（1-2）
为各类在d维特征空间的样本均值向量。
通过变换w映射到一维特征空间后，各类的平均值为
（1-3）
映射后，各类样本的类内离散度矩阵定义为
（1-4）
Fisher思想是映射后两类的平均值之间的距离越大越好，而各类的离散度越小越好。
因此Fisher准则定义为
（1-5）
JF最大的解析解w*就是最佳解向量，即Fisher的线性判别式。
下面求解极大值。
先将式（1-4）变为w的显函数。
把（1-1）式和（1-2）式代入式（1-3），有
（1-6）
所以
（1-7）
式中
Sb=（m1-m2）（m1-m2）T（1-8）
Sb是原d维特征空间里的样本类内离散度矩阵，它表示了两类均值向量之间的离散大小。
Sb越大越容易区分。
将（1-1）式和（1-5）式代入（1-3）式，可得
（1-9）
所以
Si是原d维特征空间样本类内离散度矩阵，而Sw是样本类内总离散度矩阵。
类内离散度越小越便于分类。
将（1-6）式和（1-10）代入（1-4）式，就是JF（w）的显函数
（1-12）
下面求解使JF（w）取最大值时的w*，可以用Lagrange乘子法求解。
令分母等于非零常数。
即
式中λ为Lagrange乘子。
对于上式对w求偏导数，得
令偏导数为零。
得到
式中的w*就是JF（w）的极值解，即d维空间到一维空间的最好投影方向。
利用w*和式（1-1）可以将d维样本xi（i=1,2,...,N）投影到一维。
上式（1-13）为广义特征值问题，满足式（1-13）的解w*会有多个。
上述结论是在两类问题中的基础上推导出来的，对于C类问题，Fisher线形判别自然推广的C-1判别函数，这样形成d维空间向C-1维空间的投影。
不言而喻，这里假设d>C，类内离散度矩阵的推广显然为：
2.2推广至c类的Fisher线性鉴别
设原始图像x是n维向量。
样本类别有c类（即有c个人的人脸图像样本）w1,w2,...,wC，则样本的类内离散度矩阵Sw，类间散布矩阵Sb和总体散布矩阵St分别为：
（1-16）
（1-17）
（1-18）
其中：
P（Wi）为第i类样本的先验概率，mi=E（x/wi）为第i类样本的均值向量（i=1,2,...,C），m=（Ex）为总体样本的均值向量：
（1-19）
设第i类中含有ni个样本，记为xij（j=1,2,...,ni），则类内散布矩阵Sw，类间散布矩阵Sb估计公式为：
（1-20）
其中xi和x分别为mi和m的估计：
这里，第i类样本的先验概率p（wi）一般取为：
Fisher鉴别准则函数定义为
使得式（1-25）取极大值的向量W是Fisher最佳鉴别方向，其物理意义是使得样本集在W方向上的投影使得其具有最小的类内散布和最大的类间散布。
也就是说，投影后使得同一类的样本尽可能地靠近，而不同类的样本尽可能地分开。
下面求解使JF（w）取极大值时的w*。
式（1-25）中的JF（w）是广义的Rayleigh商，可以用Lagrange乘子法求解，令分母等于非零常数，即令wTSww=c≠0定义Lagrange函数为：
L（w,式中λ为Lagrange乘子。
对于上式对w求偏导数，得
令偏导数为零。
得到
其中w*就是使式（1-26）取得极大值时的W的值。
在Sw非奇异时候，式（1-27）两边左乘Sw-1，可得：
求解式（1-28）即为求解一般矩阵Sw-1Sb的特征值问题，Sw-1Sb最多有c-1个非零广义特征值，c为样本类别数。
最优LDA的判别函数为：
2.3小样本问题
Fisher线性鉴别在实际使用时，存在一些困难需要解决。
令先验概率等于类wi的样本个数与总体样本个数的比率，那么类内矩阵Sw的秩满足
其中，d维原始图像的维数，n为样本总个数，c为样本类别数即人数。
从不等式（1-30）可知，当d>n-c即n
目前解决小样本问题的方法可以分为三类，一是先对图像进行降维，再采用线性判别方法，二是Fisher线性鉴别最优准则，三是线性鉴别方法中的类内类间散布矩阵进行调整。
（1）降维后使用线性鉴别方法
这类方法在使用线性鉴别方法之前先对图像进行降维，把样本的维数d降到d'（d'
（2）对线性鉴别最优准则的修改
我们知道，Fisher标准是两种衡量标准的组合。
它一方面要最大化类间离散度，一方面要最小化类内离散度，当然这两种散度也可以用其他指标来代替。
Liu使用总体散布矩阵St来代替类内矩阵。
由于总体散布矩阵的秩满足rank（St）≤min（d,n-1），它仍然有可能是奇异的。
因此我们寻求变换矩阵T使得在条件tr（T'StT=0）的限制下，有tr（T'SbT≠0），其中Sb是类内离散度矩阵，St=Sb+Sw。
这个变换T通常并不是唯一的。
Chen提出在St的零空间进一步最大化tr（WT,SbW）。
Yu和Yang则提出直接LDA方法，在Sb的范围寻找矩阵T。
这种方法对类内散布矩阵Sb（或）和Sw进行同步对角化，使式WTSwW=Dw，WTSbW=I或WTStW=I成立。
（3）在LDA算法中调整类内离散度矩阵
Tian使用Sw的拟逆，当图像样本的数量增加的时候，拟逆趋近于它的逆。
Hong将Sw调整为Sw+εI。
YuBing加入权函数重新定义类间散布矩阵。
3SubspaceLDA
SubspaceLDA算法又称为Fisherface方法，通过特征脸方法将d维人脸图像空间的维数先降低到特征子空间的k维；然后，根据fisher线性鉴别分析，将维数进一步降低到l维。
所以Fisher判别的投影矩阵为
W=WpcaWlda
其中，Wpca就是在使用主分量分析法时所得到的特征子空间，
（1-31）
下面讨论使用子空间线性鉴别分析进行人脸识别的具体算法。
（1）计算每一类的均值mi和总体的均值m。
（2）中心化每一类的图像数据：
（1-32）
（3）中心化每一类的均值：
（4）将所有图像数据组成一个数据矩阵X。
（5）将原始的图像数据X投影到PCA降维形成的特征子空间Wpca
其中Wpca由原始图像数据所对应得血方差矩阵的特征向量组成，即人脸子空间，也就是上一章所求出的特征脸空间。
（6）将中心化后的每一类的均值投影到子空间：
（7）计算投影后子空间中的类间散布矩阵Sb和类内散布矩阵Sw
（8）求解式（1-27）的广义特征值问题。
（9）保留前面的l个特征向量。
将特征值由高到低排列，保留对应的前面c-1个特征向量组成Fisher投影空间。
（10）投影分类。
最后的投影方向即降维转换矩阵W=WpcaWlda。
首先将样本图像投影到人脸子空间中，然后将子空间中的低维的图像再次投影到Fisher投影空间上。
在测试的时候同样将测试图像投影两次，选择合适的分类其进行判别分类。
4改进措施——正交分量鉴别分析
以上算法所得到的特征空间的基是非正交基。
这样，识别结果容易受到训练集的影响，具有统计相关性。
为了满足统计无关性，需要使每一个鉴别向量满足正交。
Okada提出一种利用Gram-Schmidt正交化求解正交鉴别空间的方法。
其基本思想是：
取线性鉴别分析中所得到的最大特征值对应的特征向量作为正交化的起始向量（第一个向量），然后将类内散布矩阵和类内散布矩阵在与起始向量垂直的方向上作投影变换，得到新的类内，类间散布矩阵，求其最大特征值对应的特征向量作为正交化第二个向量，依次类推。
显然这样得到的基的数目要比LDA得到的多，并且求法相当繁琐。
本文通过修改Fisher最优判别准则，使所得到的鉴别分量既能够满足使类内离散最小，类间离散最大的要求，又能够使其满足统计无关性，最终得到一组正交鉴别分量以组成线性鉴别空间。
如前所述，Fisher线性鉴别准则函数为，最优变换。
Fisher线性鉴别准则是根据最大限度地增大类内散布，减小类内散布的原则建立的，同样根据这个原则我们可以将Fisher鉴别准则修改如下：
由行列式的性质，
因此准则函数可写成
可得到最优变换w是特征向量方程Sw-1SbSw-1w=wΛ的解向量。
这些解向量构成了式（1-31）中的Wlda。
这些解向量也就是矩阵Sw-1SbSw-1的特征向量。
从式（1-28）可知，原来的Fisher线性鉴别特征空间的向量是矩阵Sw-1Sb的特征向量。
由定义可知，类间离散度矩阵Sb和类内离散度矩阵Sw都是对称矩阵。
但是由
（Sw-1Sb）T=SbT（Sw-1）T=SbT（SwT）-1=SbSw-1
可知Sw-1Sb并不一定是实对称矩阵。
所以其特征向量并不一定满足相互正交。
这样就解释了为什么Fisher线性鉴别方法或子空间线性鉴别方法所得到的鉴别向量是与统计相关的，受到训练集的影响。
但是修改后的Fisher线性鉴别准则（1-37）所得到的鉴别向量是矩阵Sw-1SbSw-1的特征向量。
由
（Sw-1SbSw-1）T=（Sw-1）TSbT（Sw-1）T=（SwT）-1SbT（SwT）-1=Sw-1SbSw-1
可知矩阵Sw-1SbSw-1是实对称矩阵。
由线性代数的知识可知，实对称矩阵对应于不同特征值的特征向量是互相正交的。
因此，只要确定矩阵Sw-1SbSw-1的特征值互不相同，我们就可以认为所得到的鉴别分量是正交的，从而满足了统计无关性。
我们将修改后的Fishe判别准则用于SubspaceLDA方法，并得到了矩阵Sw-1SbSw-1在不同情况下时的特征值。
我们使用特征脸方法进行降维的时候，取不同数目的特征向量构成特征子空间Wpca，并求出在上述变化下Sw-1SbSw-1的特征值。
将这些特征值按从大到小降序排列，与之对应的特征向量随之排序。
我们试图在排序后的特征向量中寻找合适数目的正交鉴别分量以构成Wlda，以使其满足统计无关性。
这些满足统计无关性的鉴别向量所对应的特征值应该互不相等。
5改进算法的识别性能
下面考察改进算法的识别性能。
如前所述，改进的算法能够使得线性鉴别空间满足统计无关性，使其鉴别分量相互正交，从而提高其算法的识别与分类性能。
从图1看出，虽然SubspaceLDA算法识别性能低于特征脸算法，但是我们提出的改进算法可以大幅度地提高其识别率，并且识别率也普遍超过了特征脸算法。
其在子空间维数达到60左右的时候，识别率达到最高，为0.91。
而特征脸方法的识别率最高为0.89。
从图中可以看出，未经过小波变换情况下，算法的识别性能要高于经过小波变换的情况。
在未经过小波变换时，改进算法的识别性能最高可达到0.93.可见，小波变换虽然大幅度地降低了识别时间和训练时间，但是对于线性鉴别分析来说，小波变换削弱了图像间的差异，丢失了一些分类信息，从而也造成线性鉴别分析的分类性能的下降。
6小结
本文基于Fisher线性鉴别分析算法，考察了子空间线性鉴别分析。
并且指出子空间线性鉴别分析的缺点，即鉴别空间不满足统计无关性。
针对此缺点，本文提出了使鉴别分量满足正交的改进措施。
通过修改Fisher鉴别准则，使其鉴别空间满足正交，从而获得了优于子空间线性鉴别的识别性能。
参考文献：
[1]张敏贵.基于小波和支持向量机的人脸识别方法研究[M].西北工业大学控制理论与控制工程，2003.
[2]金忠，杨静宇，陆建峰.一种具有统计不相关性的最佳鉴别矢量集[M].计算机学报，1999,22（10）:
1105-11083.
[3]周激流，张哗.人脸识别理论研究进展[M].计算机辅助设计与图像学学报，1999,11
（2）:
180-184.
[4]周杰，卢春雨，张长水，李衍达.人脸识别方法综述[M].电子学报，2000,28（4）:
102-106.
[5]P.N.Belhumeur,J.P.Hespanha,D.J.Kriegman,EigenfacesvsfisherfacesRecognitionusingclassspecificlinearprojection,IEEETrans,1997.
[6]L.Chen,H.Liao,M.Ko,J.Lin,andG.Yu.AnewldabasedfacerecognitionSystemwhichcansolvethesmallsamplesizeproblem,PatternRecognition,2000,33（10）:
1713-1726.
注：
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
”
升级会员 