硕士研究生毕业预答辩PPT文档格式.ppt

硕士研究生毕业预答辩PPT文档格式.ppt

《硕士研究生毕业预答辩PPT文档格式.ppt》由会员分享，可在线阅读，更多相关《硕士研究生毕业预答辩PPT文档格式.ppt（16页珍藏版）》请在冰豆网上搜索。

xxx主要内容研究现状本文工作总结展望参考文献研究背景研究背景极端学习机极端学习机孪生支持向量机孪生支持向量机2004年，黄广斌等提出了一种新的单隐藏层前馈型神经网络ELM，其连接输入层与隐藏层的权值及偏置是随机生成的，求解神经网络的输出层权重；

孪生支持向量机（Twinsvm）是2007年由Jayadeva等提出的关于二类分类问题的一种新的方法，拟合两条隶属于各自类别的不平行的超平面随机生成求伪逆正类样例点到正类超平面的距离负类样例点到正类超平面距离大于1研究背景极端学习机ELM在结构选择中的应用ELM在最优化问题的应用ELM在逆矩阵运算中的应用ELM的SLFN结构中隐含节点个数未知，但隐含节点个数对SLFN结构的稳定性，和算法精度有很大影响，如何选择适当的网络结构至关重要ELM的训练时间和误差主要消耗在广义逆的计算上，广义逆计算误差大时间长，需要有更好的方法优化改进ELM算法可以拓展到数据的分类和回归问题中，采用ELM核函数研究背景支持向量机（SVM）孪生支持向量机（TWSVM）优点：

理论基础高、泛化能力强、结构风险极小化、能解决过学习、非线性、小样本问题优点：

把数据集划分成两个部分，时间复杂度降为原来的四分之一；

对特殊交叉数据有很好精度体现。

得到大量研究和发展。

缺点：

求解过程复杂、不能很好解决大样本问题、对特殊数据集误差较大孪生参数间隔支持向量机分类问题中应用SVM成熟算法回归问题中应用SVM成熟算法研究现状机器机器学习学习2011年年YuboYuan等人等人13提出基于提出基于ELM的关于回归问的关于回归问题的最优解有很强的鲁棒性。

题的最优解有很强的鲁棒性。

QiugeLiu等人等人11提出极端支持向提出极端支持向量机（量机（ESVM）。

用随机）。

用随机ELM核代核代替传统的替传统的SVM核，简化了计算步骤。

核，简化了计算步骤。

2010年黄广斌等人年黄广斌等人17提出了基于极端学习机提出了基于极端学习机的最优化方法，来解决的最优化方法，来解决分类问题，从而推广了分类问题，从而推广了ELM的应用范围。

的应用范围。

BenotFrnay在在2011年年把把ELM中的参数不敏感核中的参数不敏感核思想运用到非线性支持向思想运用到非线性支持向量回归机中量回归机中15，把，把ELM核成功运用到支持向量回核成功运用到支持向量回归机中。

归机中。

2008年年Kar-Ann等人等人12提出了总体错误率算法，通提出了总体错误率算法，通过整体考虑数据中分错样本在其各自类别个数中所占过整体考虑数据中分错样本在其各自类别个数中所占的比例，进而极小化分错样本点的整体错误率来建立的比例，进而极小化分错样本点的整体错误率来建立最优化模型，最优化模型，研究现状孪生支持向量机孪生支持向量机M.ArunKumar等在等在2009年提出年提出的最小二乘孪生支持向量机的最小二乘孪生支持向量机（TWSVM）23把把SVM中的经典中的经典最小二乘算法应用到最小二乘算法应用到TWSVM中中PengXinjun在在2010年提出了年提出了v-孪生孪生支持向量机（支持向量机（v-TWSVM）25，同，同样把样把SVM中比较成熟的中比较成熟的v-SVM算法算法运用到孪生支持向量机的求解中运用到孪生支持向量机的求解中PengXinjun在在2010年还提年还提出了最小二乘孪生支持向量出了最小二乘孪生支持向量超球面（超球面（LS-TWSVH）26结合一类支持向量机超结合一类支持向量机超球的思想，分别正负两类数球的思想，分别正负两类数据集用超球的方法进行分类据集用超球的方法进行分类MittulSingh等人在等人在2011年年提出的退化的孪生支持向量提出的退化的孪生支持向量回归机回归机29应用矩阵的内核应用矩阵的内核函数得到不同于原始的函数得到不同于原始的TWSVR的新的退化的孪生的新的退化的孪生支持向量回归机支持向量回归机XinjunPeng在在2011年提出年提出的孪生参数间隔支持向量机的孪生参数间隔支持向量机30，是在参数间隔，是在参数间隔v-支持支持向量机向量机Jayadeva等人等人7在在2007年年提出的一种改进的支持向量提出的一种改进的支持向量机的方法机的方法本文工作一、总体错误率两类分类总体错误率两类分类总体错误率负类样例分错个数负类样例分错个数正类样例分错个数一对余多类总体错误率一对余多类总体错误率基于ELM算法多次训练浪费时间多次训练浪费时间1一类样例对其他样例，个数不平衡一类样例对其他样例，个数不平衡2阈值正则化系数改进多类分类总体错误率（MTER）ELM一致逼近性如果第k类样例正确分类，有：

本文工作一、多类总体错误率（MTER）如果第k类样例错误分类，有：

第k类样例错分个数为：

MTER的最优化模型为：

相同机制下，只需要训练一次每一类的样例分开训练，而不是一类对其余类，避免不平衡数据集本文工作二、孪生参数间隔极端支持向量机（TPMESVM）负类样例点与正类参数间隔超平面的距离和，值越小则负类点离正类超平面越远运用ELM核函数，明确核函数的选取11优点优点优点优点22优点优点优点优点选用ELM核函数，使得核函数的选取更加明确有效利用等式约束，简化运算过程，提高运算效率采用等式约束，减少运算时间TPMESVM实验结果数据集LS-SVMTPMSVMTPMESVM训练测试时间（s）时间（s）训练测试时间（s）时间（s）训练测试时间（s）时间（s）Cancer1.83520.00490.50120.00130.45010.0012Sonar0.93460.00130.30520.00080.21850.0000Ionosphere053420.02040.02500.00130.15040.0000Wave5.84670.34253.42540.07451.48720.0024statlog1.65780.15770.54440.02120.40650.0127mushroom9.85570.12445.86240.07453.65480.0567credit1.68750.00250.62510.00630.41980.0044spambase4.36510.98022.91870.10351.64360.0893TPMESVM实验结果数据集LS-SVMTPMSVMTPMESVM训练测试精度%精度%训练测试精度%精度%训练测试精度%精度%Cancer0.98670.97740.98890.98930.98780.9659Sonar0.89550.83590.91050.89880.90130.9004Ionosphere0.94320.94650.95680.96120.95740.9607Wave0.86510.84230.87600.88040.87670.8853statlog0.90120.87680.91020.88480.89150.8908mushroom0.97620.96530.97890.98580.96560.9865credit0.88720.87530.90520.89380.90530.8758spambase0.91050.91520.92440.92570.93030.9322总结一、提出了针对多类分类问题的快速学习算法二、提出了快速的等式约束的孪生参数间隔极端支持向量机（TPMESVM）既可以避免多次计算过程时不必要的计算过程从而节约时间，同时把每一类都各自分别计算从而避免产生不平衡的数据。

用ELM核替换原始的孪生参数间隔支持向量机的SVM核，使得核函数的选取能够更加明确、稳定；

进而把最优化问题转化成了等式约束，从而仅需求解方程组就能得到优化问题的解，简化了运算步骤。

参考文献v1G.B.Huang,Q.Y.Zhu,andC.K.Siew.Extremelearningmachine:

Theoryandapplications.Neurocomputing,2006（70）:

489501.v2T.M.Mitchell.机器学习.北京:

机械工程出版社,2003.v3G.B.Huang,L.Chen,andC.K.Siew.Universalapproximationusingincrementalconstructivefeedforwardnetworkswithrandomhiddennodes.IEEETransactionsonNeuralNetworks,2006,17（4）:

879892.v4G.B.Huang,H.M.ZhouandX.J.Dingetal.ExtremelearningMachineforRegressionandMulti-ClassClassification.IEEE,2011:

1083-4419.v5H.J.Rong,Y.S.OngandA.H.Tanetal.AFastPruned-extremeLearningMachineforClassificationProblem.Neurocomputing,2008,72（1-3）:

359-366.v7Y.Miche,A.SorjamaaandP.Basetal.OP-ELM:

Optimallyprunedextremelearningmachine.IEEETransNeuralNetworks,2010,21

（1）:

158162.v8G.B.HuangandL.Chen.Enhancedrandomsearchbasedincrementalextremelearningmachine.Neurocomputing,2008,（71）:

30603068.v9S.X.Lu,G.Q.Zhang,andX.Z.Wang.RankReducedMatrixMethodinExtremeLearningMachine.9thIntehnationalSymposiumonNeuralNetworksShenyang,2012:

11-14.v10P.Horata,S.ChiewchanwattanaandK.Sunat.Robustextremelearningmachine.Neurocomputing,2013,102（15）:

31-44.v11Q.Liu,Q.He,andZ.Shi.Extremesupportvectormachineclassifier.LectureNotesinComputerScience，2008,50（12）:

222233.v12K.Ann,andT.DeterministicNeuralClassification.NeuralComputation,2008（20）:

1565-1595.v13Y.B.Yuan,Y.G.WangandF.L.Cao.Optimizationapproximationsolutionforregressionproblembasedonextremelearningmachine.Neurocomputing,2011,doi:

10.1016/j.neucom,2010.12.037.v14B.FrnayandM.Verleysen.UsingSVMswithrandomizedfeaturespaces:

anextremelearningapproach.ESANN2010proceedings,EuropeanSymposiumonArtificialNeuralNet