人脸识别1Word格式.docx
《人脸识别1Word格式.docx》由会员分享，可在线阅读，更多相关《人脸识别1Word格式.docx（10页珍藏版）》请在冰豆网上搜索。
后来出现了许多新的与之类似的方法，就TPAMI上发表的来看，比较有代表性就是HEXiaofei的LPP和YANShuicheng的MFA。
关于这两个方法的评论大家可参看j.liu贴中knato的回帖。
在这里我想谈谈我的个人见解。
首先这两个方法的出现有它们的意义。
LPP是流形学习中LaplacianEigenmaps线性化，这样无疑会带动其它流形学习方法在识别问题中的尝试，一个为解决问题找到一个思路，二个为进入寒冬的流形学习找到新的用武之地，虽然这两个都不是上档次的思路，但是潜在影响还是有的。
后来YANGJian的UDP就是在LPP号召下在TPAMI上的产物。
LPP是非监督方法，所以它的识别性能比LDA好的概率极其微弱。
MFA是基于局部数据关系的监督鉴别方法。
它有两个最近临近点数量的参数要调。
这两个参数是这个方法双刃剑。
参数调的好，MFA会比LDA效果好，调的不好则不行。
这样MFA用起来比LDA复杂，这样如果MFA的性能比LDA好的有限，而用起来复杂得多的话，它终将被历史所抛弃。
另外就像j.Liu在他的帖子中说出的一样，这些方法有一定的投机性，比如这两篇文章的试验，他们都把Fisherfaces（PCA+LDA）设为c-1，虽然这是按照原始论文的取法，但是是做过这方面工作的人都知道PCA的主元数目如果取得太大，PCA+LDA的性能会显著降低，在WANGXiaogang的IJCV上的RandomsamplingLDA中清楚地给出了图形说明。
所以他们论文中给出的实验比较不具可信性。
LPP,UDP,MFA都是我们中国人（至少这些方法发表时还都是）为第一作者发表的方法，个人认为其存在有一定的价值，但它们将是PAMI研究发展中的过眼烟云，无法与PCA,LDA相媲美。
2）LDA奇异性问题
众所周知，LDA是基于求解广义特征值问题（Sb*u=Alpha*Sw*u），所以在实际应用时遇到奇异性的问题，就是Sw矩阵不可逆。
在人脸识别中解决这一问题的论文“浩如烟海”。
这也说明了LDA的影响力之大。
在这一类方法中，也有风格之分。
o.PCA降维
在Fisherfaces中采用的就是先用PCA降维，再用LDA，这也是现在处理这一问题的一般方法。
这里有个比较讽刺的事情。
Belhumeur在他的论文里说：
PCAactuallysmearstheclassestogether。
那末既然smearstheclassestogether，既然PCA破坏类的结构，那为什莫还要用PCA降维？
而且事实证明，即使在Sw可逆的情况下，用PCAfeatures也会增强LDA在人脸识别中的性能。
这里只能说明，PCA的作用或是PCAfeatures并不是Belhumeur和其以后follow这样说法的人叙述的那样。
PCA虽然简单，但是人们应该对它有个正确的认识，这个以后如果有机会再谈。
a.RDA
至今影响最大最实用的还是基于regularization思想的RDA。
其实这个问题不仅仅在人脸识别中才被注意到。
很早在统计中就被解决过，RDA发表于1989的JournaloftheAmericalStatisticalAssociation杂志上，可见其久远。
在Sw上加一个扰动项也是解决这一问题的最简单方法。
b.子空间投影
论文最多的也就在这一块。
应用knato类似的排列组合方法，令image（Sw）和null（Sw）分别表示Sw的列（像）空间和零空间，则我们可很容易的就列出如下组合方法（强调：
这里却不是提供给大家发论文的方法论，而是以较形象的方式叙述！
）
把样本投影到
aa.image（Sb）,bb.null（Sw）,cc.image（Sw）,dd.image（Sw）+null（Sw）,ee.image（Sb）+null（Sw）可并列可串行,ff.image（St）+null（Sw）
以上每一种组合就代表不止一篇论文，在此就不详细列举了。
另外，你还可以把randomsampling技术加进来，这样就可以不止翻倍。
还有，你还可以把同样的技术用到KPCAKLDA（kFA）上，这样又可翻倍。
更进一步，你还可以把ICA,LBP,Gaborfeatures等诸如此类的东西和以上子空间混合，...，子子孙孙无穷尽焉。
把这个东西做到极致的是国内的YANGJian。
另外香港中文大学的TANGXiaoou和他以前的学生WANGXiaogang也做这相关的工作，但是他们做一个idea就是一个，没有灌水之嫌。
YANGJian的工作可以用他在TPAMI上的KPCAplusLDA这篇文章来概括，虽然他灌水无数，但就子空间方法而言，他这篇文章还有他发表在国内自动化学报上的那篇长文还是有东西的。
如果你想做这一块的工作，值得看一看，是个较为全面的总结。
TANGXiaoou在子空间方面的代表工作（开山之作）就是dualspacesLDA,randomsampling（andbagging）LDA,unifiedsubspaces。
（在此之后他还有学生一直在做，就不详细列举了。
我建议想做这一块工作的同学们，要把TANGandYANG的工作烂熟于心，取长补短，相互学习，取其精华，这样可以较为快速而全面地掌握。
c.QR分解
矩阵和数值功底比较好的人，能做得更像模像样。
CheongHeePark和YEJieping无疑是这方面的高手。
去看看他们在TPAMI,JMLR,和SIAM的J.MatrixAnal.&
Appl上发表的论文可知一二。
d.相关性
如果Sw可逆，则Sb*u=Alpha*Sw*u可以转化为inv（Sw）*Sb*u=Alpha*u。
那末就可以考察Sw的子空间和Sb子空间的相关性。
这方面的代表工作就是AleixM.Martinez在TPAMI上长文的那个工作。
e.变商为差
变u'
*Sb*u/（u'
*Sw*u）为u'
*（Sb-Sw）*u。
3）基于图像局部结构的方法
这一类获得广泛认可的方法有Gabor和LBP，另外还有可能有用的SIFT和differentialfeatures。
Gabor应用比较早有影响力的代表作就是EBGM。
Gabor也是提取用来识别的visualfeature的最常用手段。
有无数人因为LBP的极其简单而怀疑它的性能，但是有趣的是最近Ahonen在TPAMI上的短文，就是把LBP应用在人脸识别上，没有任何新的改进，这也说明Reviewer们和editor对这类方法的肯定和鼓励。
在非监督featureextraction中，LBP有明显的优势，但是绝对没有达到作者在论文显示的那个水平。
在他的论文中，LBP特别weightedLBP效果非常好，这和他们应用的FERET人脸库的人脸crop形式有关。
他们应用CSU的椭圆模板来crop人脸，如果应用正方形的模板weightedLBP提高很有限。
特别在FRGCVersion2上测试，LBP绝对没有一般监督性的识别方法好。
另外这也给我们一个小小启示，就是加个weight其识别性能就能大大提高，这说明什莫问题呢？
另外我不敢苟同j.liu在他文章说的LBP对imageblocks大小不敏感是个美丽谎言的说法。
首先，有一定的敏感性，这个是要承认的。
但是LBP有一个性能稳定的imageblocks，并不是人们认为的histogram要符合一定的统计性等等。
这个blocksize的选取比最优的PCA主元数目的选取要容易得多。
当然这些都是小问题。
国内有人做Gabor和LBP的结合。
当然是值得探索的，但是我个人认为不应该在这两种方法结合上花费太多精力。
完全可以用类似形式考虑别的思路。
4）Sparserepresentation
NMF和NTF都属于sparserepresentation的方法，都曾被应用在人脸识别中，但效果都非常有限。
特别是NTF，属于数学理论上非常优美，但是实际效果很勉强的典型。
另外，Sparserepresentation（coding）是一个很有趣也是很有前途的方法，Sparserepresentation有很多方式，关键要看你怎莫用、解决怎样的问题。
过段时间我们还有机会再谈。
5）Tensor方法
Tensor在人脸识别中至少到现在为止，还非常得不成功。
最典型的就是M.AlexO.Vasilescu在ECCV'
02上的tensorfaces。
他们对于问题的分析和tensor的对应天衣无缝，非常有道理，数学实现上也同样简单，但是自从那个方法发表出来以后基本无人follow。
究其原因，个人认为就是把本来简单的问题复杂化，最重要的就是复杂化以后并没有带来该有的益处。
Alex对tensor的应用是flatteninghigh-waytensor。
这是一种常见的处理tensor的方法，这样做的好处就是使tensor好处理易于计算。
two-waytensorfaces就是我们理解的Eigenfaces。
但是同样是tensor，这种tensor和AmnonShashua的NTF有着本质的区别。
NTF是纯正的tensor思想。
但是它实现起来过于复杂，又加上原理比Alex的tensor更复杂，所以无人问津。
但是不可否认，它们都是数学上十分优美的方法。
如果你想学习tensor而又不想枯燥，我推荐你去看这三篇论文（Shashua两篇）。
6）参数模型
参数模型的应用也多种多样，比如HMM,GMM等。
这两个都是一般性的建模方法，所以应用也很庞杂，而且在人脸识别中的应用大多是从speechrecognition中的方法转化而来，在此就不多谈。
有兴趣的同学们可以参看H.Othman在PAMI上的论文和ConradSanderson在PR上的论文。
但是在此其中，最简单的是BabackMoghaddam在TPAMI上那个ProbabilisticSubspaces的文章，这个文章也是WANGXiaogang的unifiedspaces的参考原本。
7）3D模型
代表作是VolkerBlanz在TPAMI上的那个文章。
不过个人十分不看好。
8）PersonalPerspectives
a.基于子空间的方法很难在实际应用中有所用处
b.基于找图像局部结构的方法更有希望。
像EBGM,LBP,SIFT之类可以给我们很多有益的启示。
这点和j.liu的观点一致。
c.把人脸识别中的方法推广开来，应用到一般的分类和统计问题中，这也是人脸识别衍生出来的一大作用。
d.由于我们国内的特殊研究环境，大家一般都喜欢做简易快的工作，所以人脸识别这一领域出现有华人名字的论文为数可观。
其实在某些压力之下这也无可厚非，但是还是希望我们国人在有条件的情况下，不要以发论文为主，多关注于解决问题本身、尽量向推动理论发展的方向努力。
我们绝对有这个能力。
君不见，NIPS‘06两篇Beststudentpaper被在国外留学的中国人获得，CVPR'
07更是又传来喜讯：
Beststudentpaper由清华学生获得，这些都是迹象。
我们正处于一个意气风发、大有可为的时代。
就本人学术水平和资历来说，绝没有资格来说这些话，这只不过是个人的一点心愿和号召而已，同时更是勉励自己。
这篇文章是接着《dodo：
人脸识别方法个人见解》，之所以没有用《dodo：
人脸识别方法个人见解II》，仅仅是因为prfans显示的标题较短，为了使大家便与区别，就用了一个醒目的短标题。
这个帖子主要是谈谈在上一篇中没有谈到或是一带而过的问题。
和上一篇一样，还是就方法论方法。
1，kernelmethods
a.KPCA及其相关
kernel席卷PAMI领域的趋势还在加强。
原因很简单，绝大多数的问题都能和kernel挂上钩。
在人脸识别里，KPCA和KFA的影响力远不及PCA和LDA。
就应用领域来说，KPCA也远没有PCA应用的广泛。
YANGJian在PAMI上的那个KPCAplusLDA就是子空间和kernel结合的典型论文。
如果用作一般性的降维KPCA确实会比PCA效果好，特别是你用的feature空间不是一般的欧式空间的时候更为明显。
所以，把LDA用在KPCA变换的空间里自然会比用在PCA变换的空间里效果好。
但是就降维来说，KPCA有一个严重的缺点，就是由它不能得到一个可表示的子空间，比如PCA也可以得到一组正交基作为表示基。
当然，这也是kernel方法的本质属性导致的。
这样就会限制kernel方法的应该范围。
举个简单的例子，有人做过用PCA来给SIFT特征降维的方法，也就是那个SIFT+PCA，但他们没有用KPCA+SIFT。
就原理上来说，KPCA更适合给SIFT降维，但是在实际应用中，对于SIFT来说，如果需要降维的话，用来降维的东西必须事先学好，PCA就可以事先通过大量的自然图片来学习一个子空间。
但是，KPCA做不到。
虽然有out-of-sample的方法，但是这种方法有明显的缺点：
如果训练样本过大，KPCA的kernel矩阵就很大，这样就很不方便应用，如果过小，效果又不好。
其实这也是这类kernel方法的通病（不是一般）。
b.regression
regression也是分类常用的一种方法。
CVPR'
07就有一篇Kernelridgeregression。
regression用来分类的原理很简单，但是他和传统的LDA等类似的方法有着明显的区别。
就ridgeregression来说，它就是要找一个变换，使样本在变换后的空间里和他们本身的label尽量接近，那末这个学到的变换就在最小二乘意义下尽量好的刻画了样本空间的类结构。
一般的，对变换函数（离散就是向量或是矩阵）做一个l2范数上的限制，美其名曰保证函数的smooth（这个下面还会再谈）。
这样就可以得到一个形式上较为美的闭解。
其实根本不用kernelizaton，regression本身就可以和kernel直接挂上钩，因为求出来变换矩阵在一定限制下就可以看成kernel矩阵（YEJiepingCVPR‘07的metriclearning中就用到了类似的思想）。
这个和用graphLaplacian做ranking的方法非常相似。
Laplacian（或是其简单变形）的逆矩阵如果是正定的，那末就把这个逆看作kernel矩阵。
那末和kernel直接相关的方法和思路就用上来了，特别是learning中，种类繁杂。
把ridgeregression核化的全部技术含量就在计算的trick上。
由于把样本映射到Hilbert空间中只是一个虚的表示，在出现内积的情况下才能写成现实的表达式，所以对于kernel方法来说，计算上的trick要求就比较高。
但是，往往这类trick都是在统计和矩阵早已被解决的问题，所以大部分工作就是怎样用好而已。
像这样“借壳还魂”的做法，在很多理论的研究上都非常重要。
我们要达到我们的目的，但是这个东西又不是直接可表达的，那末就可以把它放到一定的空间中，按照这个空间中的基本原理来计算，最后到达一个可以表达的形式，而且是按照你的idea来推导的。
这种东西一旦做出来，质量还不低。
2，regularization
虽然名字叫regularization，其实就想谈谈优化目标和优化约束问题。
如果你看了ICML'
07,CVPR'
07和即将出炉的ICCV'
07，你就会发现07年是个不平凡的一年，降维领域有点混乱。
或者说自从97年以来一直就没有平静过，都是Fisherfaces惹的祸：
还记得knato回帖中斗胆列出的排列组合吗？
如果不记得暂且去温习一下，因为我要用一把。
把knato列出的不同排列组合加上如下regression一个的一个优化
||Y-W'
X||^2，
就可以概括所有今年的和这类相关论文的思想。
然后，如果你愿意，你还可以衍生出很多。
优化目标确定以后，所不同的就是求解方法。
你可以带着这个观点再去看一下今年的论文，了然于胸。
由此，线性降维的混乱过程经历了一个小小的转折————从子空间组合到优化目标和优化约束的组合。
子空间主要集中在1998--2005（当然还不会消失），后一种在今年可以说是达到一个小小的高潮。
如果再加上应用算法的策略，就形成了乱世中的三足鼎立局面。
特别是后一种，往往穿插出现，而且有待加强。
这其中的代表人物TANGXiaoou,YANGJian,YEJieping,HEXiaofei，YANShuicheng。
导致这一变更的主要因素来源于非线性方法的应用，特别kernel和manifoldlearning的线性化应用，这其中LPP起了很大的刺激作用。
如果你能站在一个高度（一定范围内）看待这些东西，那末当你面临毕业出国压力时，你就可以“察若水三千，得一瓢饮”来缓解压力。
而且还可以尽量饮得好水。
（再次郑重声明：
这不是发这个帖子的原意。
3，子空间方法中常用的计算技巧
a.
关于这一块的东西，StanZ.Li编辑过一个小书挺好的，可以通过下面的网站找到。
http:
//www.face-rec.org/
不过，我想谈谈规律性的东西。
这其中涉及到的东西就是column（range）space,nullspace,generalizedinverse。
这些东西都和QR分解，SVD或是GSVD相关。
遇到这些东西，就想起他们准没错。
如果你有兴趣，可以看看YEJieping和HaesunPark关于子空间的论文，都是一个模式。
b.正交化
从发表的论文来看，对于广义特征值问题，如果求解一组相互正交的基，比B-orthogonal效果要好很多。
代表作就是CAIDeng的orthogonalLPP和YEJieping的orthogonalLDA。
CAIDeng做了一个orthogonalLPP发在TIP上。
他用的就是88年发在TPAMI上的方法，原理一模一样。
YEJieping用的是同时对角化三个矩阵。
风格不同，各有长短。
个人还是倾向于CAIDeng用的那个方法。
4，Tensorrevisited
在上一篇中，我谈了tensor的方法，主要说了tensorfaces和NTF。
这里再多说几句。
最近在tensor方面功夫最多的是YANShuicheng，最近的TPAMI,TIP,和CVPR'
07都有他与此相关的文章。
这对于发扬和推广tensor的思想和方法确实是个好事情，我是赞同探讨的。
另外，HEXiaofei和CAIDeng也做过tensorsubspace。
准确地说，他们只是借用了tensor的概念，他们的方法可以和2DPCA,2DLDA归为一类。
其实做这一块东西最早的是YANGJian的一个大师兄，在90年代PR上的工作，后来YANGJian把它发扬光大，最初的结果就是PR和TPAMI上各一篇短文（2DPCA）。
最早把这类东西以tensor形式呈现的是CV中的大牛AmnonShashua在01年CVPR上的论文，有兴趣可以看看。
不过，大牛终究是大牛，当他听说了NMF以后，NTF立马横空出世（ICML'
05）。
这个中间的变化是质的跨越，能做出前面那种方法的可以说非常之多，能做出后面那种方法的真是寥寥。
这是值得我们好好学习的。
（B.T.W.,Amnon此人并不只是学术了得，其妻子是以色列小姐
，again，也值得大家学习的榜样
，特别是整天闷头做科研的我们）
在这里要强调的是，我们不能完全否定一些简单的东西，上轨道的或是正宗有深度的方法往往就是这样慢慢做出来的。
5，其它
关于kernel的方法我就是点到而止。
在上一个帖子中有人提出说说SVM和Boosting，如果谁有兴趣，可以谈谈。
另外也有人说在上一个贴中我漏掉了Bayesianfaces，实际这个就是我在参数模型中提到的ProbabilisticSubspaces方法。
有兴趣可以看看。
结束语
纵观PAMI领域困扰纷争，虽然我们达不到“跳出三界外，不在五行中”的境界，但是至少我们可以更好的看清楚这个领域的情况。
如果你能站在一个高度看待这些东西，你就有可能认清你自己认为有希望的方向在哪儿，从而更准确地找到自己的目标而少走弯路，或是更好地给自己定位。
写这些东西，就是想帮助了解这一领域的人能全面准确地了解这一块的东西，少走弯路。
另外，对于已经谙熟于心的人，激发一个讨论的话题。
在上一篇贴子中，看贴的人多，回帖的人少，这个现象可不好。
欢迎大家踊跃发言，良性讨论，这样才会带来更多益处，千万不要担心自己是新手，越是新手越需要发言。
俗话说：
“乱世出英雄”，当今在PAMI领域正是需要英雄的时机，就是我在I中说的“我们正处在一个大有可为的时代”，希望下次力挽狂澜的是华人的名字。
以上尽是一家之言，欢迎大家批评指正、主动参与讨论。
最后用王羲之的《兰亭序》中的两段话来抒情吧：
夫人之相与，俯仰一世，或取诸怀抱，晤言一室之内；
或因寄所托，放浪形骸之外。
虽取舍万殊，静躁不同，当其欣于所遇，暂得于己，快然自足，不知老之将至，及其所之既倦，情随事迁，感慨系之矣。
向之，所欣俯仰之间，以为陈迹犹不能不以之兴怀。
况修短随化，终期于尽。
古人云：
死生亦大矣。
岂不痛哉！
每览昔人兴感之由，若合一契，未尝不临文嗟悼，不能喻之于
升级会员 