5.权值均衡化
循环结束
1.最终的分类器是,当一个X进入时,遍历所有Ｙ,寻找使（h（ｘ）=ｙ的情况下,ｌog（1/B）之和）最大者即是输出分类yﻫﻫM２相比于M1的改进是允许弱分类器输出多个分类结果，并输出这几个分类结果的可能性（注意,这里不是概率）
.M2的流程是
１.获得一组样本（X）和它的分类（Y）和一个分类器（weaklearｎ）.ﻫ2.对于某个样本Xi将它的分类归为一个正确分类Yi和其他不正确分类Yb
3.样本权值进行如下分布首先每个样本分到1／m的权值,然后每个不正确分类分到（１/m）/Yｂ的个数.也就是说样本权值是分到了每个不正确的分类上
ﻫ进入循环ﻫ1.求每个样本的权值,即每个样本所有不正确的分类的权值和，再求每个样本错误分类的权值，即不正确分类的权值除以该样本的权值.最后将每个样本的权值归一化ﻫ2．将样本权值和某样本的不正确分类的权值输入到ｗeaｋｌｅａrｎ,获得弱分类器的输出为各个分类的可能值
3.计算伪错误率:
公式见上ﻫ４.更新权值ﻫ退出循环
最终的强分类器:
图贴不出来了．.．
ﻫ１9９９年,ＲＯＢERTE．ＳＣHＡPIＲE和YOＲAＭ SIＮＧER,于MacｈineLearｎiｎg发表论文：
ImｐroｖｅdBｏostinｇAlｇｏｒitｈｍｓＵｓingＣonfｉｄence-ratｅdPｒｅｄictions.提出了更具一般性的AdaBoost形式.提出了自信率以改善AdaBoost的性能.并提出了解决多标签问题的AｄaBoost．MH和AdaBoost．MR算法,其中AｄａBoost.MH算法的一种形式又被称为RealBoost算法．ﻫ事实上：
ＤiscrｅtｅＡdaＢoost是指,弱分类器的输出值限定在{－1,+１｝,和与之相应的权值调整,强分类器生成的ＡdaBｏosｔ算法；ReａlＡdaBoost是指,弱分类器输出一个可能度,该值的范围是整个R, 和与之相应的权值调整，强分类器生成的AdａBoosｔ算法。
事实上，Dｉscrｅtｅ到Reａl的转变体现了古典集合到模糊集合转变的思想ﻫﻫ至于ＧｅntleAdａＢoost．考虑到（AdaＢoosｔ对”不像”的正样本权值调整很高,而导致了分类器的效率下降）,而产生的变种算法.它较少地强调难以分类的样本.
RａｉｎｅrLieｎharｔ, AleｘaｎderKurａｎoｖ,Vadｉm Pｉｓａrevsｋｙ在论文EｍｐｉricalAnａlysis ofDeteｃｔionＣascadesofBｏosteｄ Classifiersfor Rapid Object Deｔｅｃｔion中提出在ｓｔump弱分类器（即每个弱分类器使用一个特征进行分类）上进行的对比试验中，Ｇｅｎtlｅ的结果明显好于Real和Ｄiｓcｒete．大牛已经做出试验了，我就不怀疑它了.
和上篇论文流程大体相同.作者还讨论了alｐｈa（ｔ）的取法:
算法去看文章吧..．这里不能直接贴图
ﻫ
文献中记录的AdaBｏost.MH算法
算法的运算流程：
ﻫ1.得到一组样本（ｍ个）和样本相应的分类，这个分类是由Ｋ个是和否的标签组成．某一个样本可以有多个是标签.
２.均分权值：
1/mkﻫ
进入循环:
ﻫ1.由弱分类器获得各样本针对各标签的是或否结果（给出离散值或连续值）
2．获得alｐhａ（t）ﻫ3.调整权值.大概是,弱分类器判断l标签的是或否,若判断正确乘以1,错误乘以-1，再乘以 ,然后bｌablaｂla…
4．权值归一化ﻫ跳出循环
输出强分类器ﻫﻫ1998年JeroｍeFｒiedman＆ ＴrｅvorHａｓtie & Ｒｏbｅrｔ Tibsｈiｒaｎi发表文章AｄdiｔivｅLogistic Regｒesｓiｏn：
aStatｉsｔｉcａlViewof Boostinｇ
ﻫ一些重要的结论:
ﻫBａｇging是一个纯粹的降低相关度的方法,如果树的节点具有很高的相关性，ｂａggｉｎg就会有好的结果ﻫ1．早期的AdａBｏｏｓｔ在第二步的时候采用重采样方法,即使某些样本权重增加.这种方法与bａgging存在某种关联,它也是Bｏｏst的成功之处中降低相关度方面的重要部分.
2.在第二步中如果使用加权的tree－growing算法，而不是重采样算法,效果会更好.Ｔhiｓrｅmovesｔhe randomizatｉon cｏmｐoｎｅntesｓentiａl in bａgginｇ
３.使用stumpｓ作为弱分类器ﻫ
ﻫＬｏgｉt和Genｔle算法的提出过程大致是这样的
1．验证Bｏoｓｔｉｎgaｌｇorithｍs是一种拟合一个ａdditivelogistｉｃ ｒegrｅsｓionmodel（加性的逻辑回归模型）的阶段式估计过程.它有最优一个指数判据,这个判据由第二定理与二项式对数似然判据是等价的.ﻫ２.作者证明Dｉｓcｒete是使用ａdａpｔiveNewtｏnupdateｓ拟合一个ａddｉtiｖｅ logisticｒegressioｎmｏdｅl来最小化Ee＾（-yＦ（x））的过程,其中Ｆ（x）=求和ｆm（x）,而fm（ｘ）就是各层分类器的结果ﻫ3.作者证明Real是使用层级最优的方法来拟合一个addｉtiveｌogｉｓticrｅgｒｅｓｓiｏnｍodel．ﻫ4.作者说明了为什么要选择Ee^（-yF（x））作为目标:
因为大家都用这个
5.作者证明了当（blabｌa一个很复杂的公式,贴不出来）时Ee＾（－yF（ｘ））最小
６.作者证明了每次权值更新以后,最近一次训练出的弱分类器错误率为50%.
7.作者证明了对于最优的F（ｘ）,样本的分类乘以权值的和应该为０.ﻫﻫ于是作者用80年代兴起的逻辑回归的寻优方法中提炼出了LogｉtＢooｓt（我终于找到logitBoｏst的logｉc了）
自适应的牛顿法,拟合加性loｇisｔic回归模型ﻫ1.获得样本,（x，y）序列.将分类ｙ*=（y+1）／2
2. 设置初值,F（ｘ）=0，p（xi）=1/2ﻫﻫ进入循环
1.依式计算zｉ,wi．
2. 通过加权最小二乘的方式拟合函数ｆｍ（x）.由ｚi拟合xi,权重为ｗiﻫ３. 更新F（ｘ）,p（ｘ）ﻫ退出循环ﻫﻫ输出分类器sigｎ[F（ｘ）］．ﻫ
作者提出,logitAdaBooｓｔ在每一轮中都使Eｅ^（-y（F（x）＋f（ｘ）））最优,会使训练样本的代表性下降，于是提出了Gｅntｌe ＡdaBoost（牛顿步长法）
ﻫ第二部分人脸检测
ﻫ2001年，ＰauｌViola &Miｃhaｅｌ Joｎeｓ在ACCEPTEDCＯNFERENCＥON COMPUTERVISIONANDＰAＴTEＲNRＥCOＧＮＩTＩＯN发表文章:
RａpidObjecｔ ＤetectioｎuｓinｇaBoostｅｄ CascａｄｅofSｉmple Feaｔuｒes
文章的主要结论:
１.Ｈａａr特征的提出．使AｄaBoost进行人脸检测成为可能.作者说明使用Haaｒ特征而不是像素点的原因是:
特征能包含某些特别领域的信息（eｎｃodead-hｏcdomaiｎkｎｏwlｅdｇeｔhaｔisdｉfficuｌt to lｅａrnｕsing afinｉｔeqｕａntｉtyｏftrａinｉng ｄaｔａ.）;此外在Iｎtegral提出以后,基于特征的系统的运算速度高于基于像素的系统ﻫ2.用于快速Haar特征运算的InｔegｒalImａge的提出:
极大地提高了训练速度和检测速度
3.用于物体检测的AdaBoosｔ方法的提出:
Hａaｒ特征作为弱分类器判据与Adabｏost结合到了一起ﻫ4.Cａscａde级联方式的提出:
极大地提高了AdaＢoｏｓt的检测速度ﻫ[实在是一篇很NＢ的文章,每一个贡献都掷地有声]
ﻫ20０2年,Ｒainｅｒ Lｉenhａrt aｎdJoｃheｎMａyｄt在IＥＥEICIP 上发表文章ＡnExtendｅdＳeｔoｆ Haar－lｉｋeFeａｔurｅsfor RapｉdObjecｔDetectioｎ.
1.提出了扩展的Ｈaar特征,并证明了新的Ｈaar特征集提高了检测的能力
２． 提出了一种针对已训练完成的AｄaＢoost的修整程序ﻫﻫ2002年,Raiｎer Ｌｉenｈart&AleｘanderKuranｏv &ＶadｉmPisarevｓky 在ＭRL Technicaｌ Reｐoｒt上发表Empirical AｎalｙsisofDetｅcｔiｏn CａscadesofＢoostedCｌassｉfｉｅrsfｏｒRapidObｊｅcｔDetecｔion.
1.提出了训练时进行样本丰富化
2. 指出:
logiｔBoｏst coｕｌdnot beused due to converｇencepｒoblemonlaterstaｇeｓｉntｈecascａdeｔraining.
3． 通过试验得出结论，在人脸检测上ＧeｎtｌeAdaBooｓt的效果要好于 Discｒete 和 Reaｌ
ﻫ２00４年,BoWＵ &Ｈａizhoｕ AI& ChaｎgHUANＧ& ShihongLAO在Comｐuteｒ Soｃiｅｔｙ上发表文章ＦastRoｔatioｎＩnｖarｉａntMulti-Viｅw FaceＤetectiｏnＢasｅdｏnReａｌAdaＢoost.ﻫ1．提出了使用ReａlBoost检测旋转人脸ﻫﻫ**＊***＊***＊*＊＊***还有一篇巨大量负样本的速度提高方法找不到了……ﻫ
第三部分,OpenCv中AdaBoost训练程序略解ﻫﻫ这里只介绍一个大概的情况，具体的都写在代码的注释里了.
1.结构:
程序的总体结构是一棵多叉树，每个节点多少个叉由初始设定的mａｘtreesｐlｉtｓ决定
ﻫ树节点结构:
ｔypedefstｒucｔ CvTreeCａｓcadeNode
{ﻫCvStａｇｅHaarCｌaｓｓｉfiｅr*stage;/／指向该节点stａge强分类器的指针
ﻫstｒuctＣvTreeCａｓcadeNode*nｅxt;／/指向同层下一个节点的指针
sｔruｃtCvTreeＣascａdeNoｄe*chｉld；// 指向子节点的指针
struｃtCvTrｅeCascａdeNｏde*pａｒenｔ;//指向父节点的指针ﻫ
ｓtrucｔ CｖTｒeeCascadｅNode*neｘt_saｍe_ｌevel;／/最后一层叶节点之间的连接
struｃｔCvＴreｅCaｓcadeNode*cｈild_ｅval; ／/用于连接最终分类的叶节点和根节点
ｉnｔiｄx; /／表示该节点是第几个节点
ｉntｌeaf；／/从来没有用到过的参数
}CvTｒｅeCasｃadeＮode；ﻫ
这里需要说明的是child_ｅval这个指针,虽说人脸检测是一个单分类问题,程序中的maxtｒeｅsplits的设置值为0,没有分叉，但是树本身是解决多分类问题的,它有多个叶节点,也就有多个最终的分类结果。
但是我们使用的时候,虽然是一个多分类的树,也可能我们只需要判断是或者不是某一类。
于是我们就用root_evａｌ和child_eval把这个分类上的节点索引出来，更方便地使用树结构。
当然，这一点在本程序中是没有体现的。
分类器结构：
每个树节点中都包含了一个ＣvStageＨaarClassifier强分类器,而每个CｖStagｅHaarClaｓsｉfiｅr包含了多个CvＩnｔＨaａrCｌａssifier弱分类器。
当CｖInｔHaaｒClaｓｓifｉer被使用的时候，被转化为CvCARTHaａrClａｓsｉｆｉer,也就是分类树与衰减数分类器作为一个弱分类器。
ﻫ
ｔyｐedefstruｃtCｖCARＴHaarClaｓsifier
｛
CＶ_ＩNＴ_HＡAR_CLＡSSIＦＩER＿FIELDＳ（）ﻫ
iｎt count;／*在决策树中的节点数 nｕmberofnodeｓiｎ thｅｄecisiontｒｅe ＊/
int*comｐidx;//特征序号
CvＴHaarFｅaｔurｅ*ｆeatｕre；／/选出的特征。
数组
CｖFastＨaarFｅａture＊faｓｔfeaｔure;ﻫ
float＊threｓhoｌd；/*aｒｒay ｏｆdecision threshoｌｄｓ*/ﻫint＊left; /*arrayofleft-braｎchｉndices*／ﻫint＊ right；/*aｒrａｙof right-bｒanch indices＊/ﻫfｌoat*val；／*arrａｙ ｏf outｐutvａlｕes*/ﻫ｝ＣvCAＲTHaarＣlａｓsifier；
ﻫCｖＣＡRTＨaarＣlassifｉｅｒ结构中包含了弱分类器的左值右值阈值等数组,在我们的程序中CＡRT只选用了一个特征进行分类，即退化成了stｕmp。
这里的数组里面就只存有一个元了
那么这里为什么要使用一个如此复杂的结构呢。
大体来说有两个好处：
ﻫ1、方便弱分类器之间的切换,当我们不选用CART而是其他的弱分类器结构的时候，就可以调用CvIntHaarClassiｆier时转换成其他的指针ﻫ２、这样方便了Ｈaaｒ训练的过程和Bｏost过程的衔接。
特征的结构：
2.OpenCV的HａarTｒainiｎｇ程序中一种常用的编程方法:
在这个程序中,函数指针是一种很常用的手法。
函数指针的转换使读程序的人更难把握程序的脉络,在这里举一个最极端的例子,来说明程序中这种手法的应用。
ﻫﻫ我们在cvＢoost.ｃpp文件中的cvCreaｔeMTSｔuｍｐＣlａｓsiｆiｅr函数（这是一个生成多阈值（Multi-thｒｅsｈｏｌd）stump分类器的函数）下看到了一个这样的调用：
fiｎdSｔuｍpＴhreshｏｌd＿16s[stumpｅrror]（……….）
这里对应的stumｐｅrror值是2ﻫﻫ在ｃvboｏsｔ.cpp中我们找到了一个这样的数组ﻫCvFｉndThrｅsholｄFuｎc findＳｔumpＴhreshold_16s[4]={
ｉcｖFinｄStumｐThreshold_misｃ_16ｓ,
icvFindＳtumｐThrｅshold＿ｇinｉ_１6s,
ｉcｖＦｉndＳtumpＴhｒｅshold_enｔrｏpｙ_16ｓ，ﻫicvＦｉndＳtumpＴhreshold_sq_１6sﻫ};
这个数组的类型是一个类型定义过的函数指针typedefinｔ（*CvＦiｎdThｒｅshoｌdＦuｎc）（…..）ﻫ
因此这个数组中的四项就是四个指针，我们在cvCrｅateMTStumpCｌaｓsifier中调用的也就是其中的第三项ｉcｖFiｎｄStumpThreshold_enｔｒopy＿１6s。
ﻫ然后我们发现这个函数指针没有直接的显性的实现。
那么问题出在哪里呢？
ﻫ它是通过宏实现的：
程序中定义了一个这样的宏：
#deｆiｎe ICＶ_DEF_FIND_SＴUMＰ_ＴＨＲＥSHOLD_SＱ（ｓｕｆfix， type）
ICＶ＿DEＦ_FINＤ_STUMP_TＨRESHOLD（sq_##suffix, type，ﻫ/*calculateｅｒror（sｕmｏfsｑuareｓ）*/ﻫ/*err =ｓｕｍ（w*（y -lｅfｔ（riｇt）Vａｌ）＾2）*/
ｃｕｒｌｅrｒoｒ ＝ wｙyl + curｌefｔ*cｕrlefｔ*wl -2.0F*curｌeft*wｙｌ;ﻫcurreｒroｒ =（*suｍwyｙ）－wyｙl＋cｕrright＊curｒight*ｗr － 2.０F＊cuｒrｉｇht ＊ wyr;ﻫ）ﻫﻫ和一个这样的宏:
ﻫ＃dｅfｉｎｅ ICＶ_DEF_ＦINＤ＿STＵＭP_TＨRESHOLD（suｆfix， tｙpe,error ）ﻫＣV＿BOＯＳT＿IＭPL inticｖFｉndStuｍｐＴhreshold＿＃＃suｆfix（…..）ﻫ{
……..ﻫ｝ﻫ
这两个宏中,后者是函数的主体部分，而函数的定义通过前者完成。
即：
ﻫIＣV_ＤＥF_FＩND＿STUMＰ_THREＳＨOLD_ENTROPY（ １6s,short），这样的形式完成。
这相当于给前者的宏传递了两个参数，前者的宏将第一个参数转换成ｓq_1６ｓ后和第二个参数一起传到后者的宏。
（##是把前后两个stｒing连接到一起，strｉｎｇ是可变的两,在这里suｆfix就放入了16s和sq＿结合成了sq_１6s）
后者的宏接收到参数以后就进行了函数的定义：
ﻫCＶ_BOＯST＿ＩMＰL ｉnt iｃvFinｄStumpＴｈresholｄ＿ｓq＿１6ｓﻫﻫ这样iｃvFindStuｍpThｒeｓholｄ_sｑ＿16s就被定义了。
这样做的好处是，1２个非常相似的函数可以通过两个宏和１2个宏的调用来实现，而不需要直接定义１2个函数。
ﻫ
3．训练结果中数据的含义:
-
- <ｒectｓ>ﻫ<_>6412９－1． ﻫ//矩阵。
前四个数值是矩阵四个点的位置，最后一个数值是矩阵像素和的权值
<_＞６7 12３3.ﻫ//矩阵。
前四个数值是矩阵四个点的位置,最后一个是像素和的权值,这样两个矩阵就形成了一个Ｈａａr特征
<／rects>ﻫ／/是否是倾斜的Hａar特征
＜/ｆeａturｅ>ﻫ－0．03908＜/thrｅsｈoｌd＞/／阈值
/／小于阈值时取左值
-2．2172１<／ｒighｔ_val>//大于阈值时取右值
4.训练过程中使用的算法
这里主要讲弱分类器算法
•矩形特征值：
Value[ｉ][ｊ],１≤i≤n代表所有的Haar特征,１≤ｊ≤m代表所有的样本
•FAULT= （curlerｒｏｒ+cuｒreｒroｒ）表示当前分类器的错误率的最小值，初始设置:
curlerrorcurrerror=1０0０0（反正给个暴力大的数值就对了）
几种ａdaｂoｏs算法的区别
事实上:
DiscreｔeAdaBｏost是指,弱分类器的输出值限定在{-1，＋1},和与之相应的权值调整，强分类器生成的AｄaＢｏost算法;Real AｄａBoost是指，弱分类器输出一个可能度,该值的范围是整个R,和与之相应的权值调整，强分类器生成的AdaBoosｔ算法。
事实上，Dｉｓcrete到Reａl的转变体现了古典集合到模糊集合转变的思想ﻫ
Logit和Geｎｔle算法是由同一个人提出的，他认为aｄabｏｏst实际上是一个寻优过程，然后用运筹学里的两种不同的寻优方法提出了loｇｉt和gｅnｔle，loｇit是自适应的牛顿法,gentle是用的牛顿步长法。
作者认为,logｉtAdａBooｓt在每一轮中都使目标最优,会使训练样本的代表性下降。
然后这位作者的这篇文章被几位大牛批了一遍.．.具体见DiscuｓｓioｎoｆｔhePaper AdｄitiveLogisticRegreｓsioｎＡSｔatｉsｔicalVｉeｗｏf Ｂoｏstingby JeromｅＦrieｄmａn,TｒｅvoｒHaｓtｉｅａndRｏbeｒtTibshirani
ﻫ另外,值得一提的是ﻫ1、2００4年,BoWU＆HaiｚhouAI&ChanｇHUANＧ&ＳhihｏngLAＯ在ＣomｐuteｒSocieｔy上发表文章FaｓtＲoｔatｉoｎInvａrｉaｎtＭuｌti-Viｅw Face Detection BaｓeｄoｎＲeaｌAｄａBooｓt.提出了使用Real Boost检测旋转人脸，获得了很好的效果ﻫ２、200２年,RａｉnerLienhart＆AlexanderKuranov & VadimPisaｒevsky 在MRＬTechｎiｃalReporｔ上发表Empiｒiｃaｌ Analysis ofＤｅteｃｔiｏnCａｓcadesofBｏosteｄCｌasｓifiersfor RapiｄＯbｊect Dｅｔeｃtion．通过试验得出结论,在人脸检测上GｅnｔleAｄaBoｏst的效果要好于Dｉscrete和Ｒeal。
这也是Oｐencｖ里为什么要用Ｇentｌe的原因吧
Gentleboｏｓt算法的人物检测方法,利用人物的身体碎片以及这些碎片相对于身体中心的相对位置作为特征,用Gentlｅｂoｏsｔ算法训练的分类器来对人体进行分类。
为了提高分类器的学习效率,解决复杂场景中人体检测的难题，提出了一种利用线性回归末端作为弱分类器的方法， 从正、负两个方面对预测模型进行加权,改变了原来的仅从正预测进行加权的方法
1.2 Ｇeｎtlｅbｏost算法及其操作步骤
本文采用的Geｎtleboｏst算法是Ad
升级会员 