支持向量机算法研究及应用毕业论文.doc
《支持向量机算法研究及应用毕业论文.doc》由会员分享，可在线阅读，更多相关《支持向量机算法研究及应用毕业论文.doc（64页珍藏版）》请在冰豆网上搜索。
支持向量机算法研究及应用毕业论文
目录
1.绪论 4
1.1课题背景 4
1.2国外研究综述 4
1.3本课题研究的意义和目的 5
2.最优化基础 5
2.1欧式空间上的凸规划 5
2.2Hilbert空间上的凸规划 5
3.线性分类机 5
3.1线性可分问题的支持向量分类机 5
3.2线性支持向量分类机 5
4.线性回归机 5
4.1硬-带超平面 5
4.2线性硬-带支持向量回归机 5
5.核与支持向量机 5
5.1核函数 5
5.2支持向量机及其性质 5
6.支持向量机的应用 5
6.1准备工作 5
6.2问题描述 5
6.3步骤 5
6.4实现图 5
7.结束语 5
参考文献 5
致谢辞 5
附录1英文原文 5
附录2中文译文 5
附录3代码 5
.专业.专注.
1绪论
1.1课题背景
支持向量机是借助于最优化方法解决数据挖掘中若干问题的有力工具，它在一定程度上克服了“维数灾难”和“过学习”等传统困难，并在文本分类、生物信息、语音识别、遥感图像分析、故障识别和预测、时间序列预测、信息安全等诸多领域有了成功的应用。
国外数学专家仔细研究了支持向量机理论,并针对目前一些支持向量机算法存在的缺陷,分析了产生的原因,提出了两种新的支持向量机算法,针对支持向量机算法难以处理大规模数据的问题,提出了两种新的支持向量机分类方法。
随着对支持向量机研究的深入，涌现了许多支持向量机的变形算法，其主要思想是通过增加函数项、变量或系数等方法使公式变形，从而产生各种具有某一方面优势的或者具有一定应用围的新算法。
1.2国外研究综述
支持向量机是借助于最优化方法解决数据挖掘中若干问题的有力工具，支持向量机不仅有着统计学习理论的监视理论，而且具有直观的几何解释和完美的数学形式。
虽然自20世纪90年代有Vapnik提出以来一直处于飞速发展的阶段，但是支持向量机的理论基础和各种算法实现的基本框架已经形成，自2000年开始，国外已陆续有专著出版。
2004年，邓乃扬等人在科学出版了学术专著《数据挖掘中的新方法——支持向量机》，该书是国第一本专门对支持向量机进行全面完整介绍和论述的著作。
国外数学专家仔细研究了支持向量机理论，并针对目前一些支持向量机算法存在的缺陷，分析了产生的原因，提出了两种新的支持向量机算法,针对支持向量机算法难以处理大规模数据的问题，提出了两种新的支持向量机分类方法。
并就多类别分类问题等方面开展了初步的理论研究。
该文主要工作包括：
（1）讨论了支持向量机理论中各种变形的支持向量机算法，对常规支持向量机公式进行变形的算法主要有C-SVM系列、v-SVM系列、One-classSVM、RSVM、WSVM和LS-SVM等算法，通过增加函数项、变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用围的算法。
通过比较它们各自的优缺点等情况，为提出新的支持向量机算法做了理论准备。
（2）介绍了超球面支持向量机算法的思想,以及超球面和超平面的区别。
（3）针对某些支持向量机算法不能解决样本类别之间差异造成的不良影响的缺陷，提出了一种新的加权支持向量机算法，该算法具有补偿类别差异的优点，可应用于解决多类别分类问题。
（4）提出了基于粗糙集理论和支持向量机理论的粗SVM分类方法。
（5）提出了基于主成分分析方法和支持向量机理论的去噪声加权SVM分类方法。
（6）把支持向量机理论应用到污水处理过程运行状态监控中去。
由于支持向量机具有坚实的理论基础并在很多领域表现出良好的推广性能，因为国际上正在广泛开展对支持向量机的研究。
90年代之后取得了许多突破性进展，许多改进的和新型的SVM算法相继出现。
目前对支持向量机的研究主要包括：
SVM训练算法；大规模问题的求解；模型选择；应用研究等反方面。
支持向量机是在统计学习理论基础上发展起来的一种新的通用学习方法，其主要思想可概括为两点：
首先，它通过使用非线性映射将低维输入空间的样本映射到高维特征空间，从而使得在特征空间采用线性方程对样本进行分类成为可能；其次，他遇到过使用结构风险最小化原则在特征空间构建最优化分类超平面，使得学习机会有较好的泛化能力。
最优化分类超平面可以通过解决一个二次规划问题获得，包括线性可分、非线性可分两种情况。
随着对支持向量机研究的深入，涌现了许多支持向量机的变形算法，其主要思想是通过增加函数项、变量或系数等方法使公式变形，从而产生各种具有某一方面优势的或者具有一定应用围的新算法。
1.3本课题研究的意义和目的
支持向量机是借助于最优化方法解决数据挖掘中若干问题的有力工具，它在一定程度上克服了“维数灾难”和“过学习”等传统困难，并在文本分类、生物信息、语音识别、遥感图像分析、故障识别和预测、时间序列预测、信息安全等诸多领域有了成功的应用。
在论文写作中学习运用相关软件绘制图行,熟练掌握文本中的公式编辑以及插入,学会运用vs2010软件求解相关问题。
学习支持向量机的相关理论知识，掌握支持向量机的理论、算法与拓展的方法。
了解支持向量机所研究的最终的目的。
学习支持向量机中用最优化方法解决问题。
支持向量机是基于统计学习理论，借助最优化方法来解决分类问题的新工具。
2最优化基础
2.1欧式空间上的凸规划
2.1.1凸规划问题
与最优化问题相比，凸规划是一类特殊的最优化问题，即对其中的函数附带若干限定条件的最优化问题，为简单起见，这里不讨论最一般的形式是凸规划，而讨论如下所示的凸规划问题。
定理2.1.1（凸规划问题）凸规划问题是指最优化问题
其中和，都是定义在上的连续可微的凸函数，而，是线性函数。
定理2.1.2考虑二次规划问题
其中为矩阵，，，，，。
若为半正定矩阵，则该二次规划问题为凸规划问题，即它是凸二次规划问题。
凸规划问题的基本性质
先考察凸规划的可行域的性质，为此给出以下引理：
引理2.1.3若是上的凸函数，则对于任意的，水平集
的凸集。
定理2.1.4凸规划问题的可行域是闭的凸集。
该问题的解集也是闭的凸集。
可见，凸规划的问题就是要寻找一个凸集上的一个凸函数的最小值点。
定理2.1.5设凸规划问题中的变量具有式
所示的分化，记若分别是变量和的严格凸函数和凸函数，则该问题对的解唯一。
2.1.2凸规划对偶问题
考虑凸规划问题，即
其中是上的连续可微的凸函数，分别记该问题的可行域和最优值为和：
现在研究如何估计，即找出的下界。
引进函数
其中和是乘子向量。
显然，当，时，有
，
因而
所以，若令
则有
这表明对任意是的一个下界，若要寻找这些下界中最好的下界，则导致下列最优化问题
其中是由式给出的函数。
弱对偶定理 从前段对偶问题的导出可以得知，若记该对偶问题的最优值为：
，
则对偶问题的最优值是原始问题
最优值的一个下界。
这个事实常用下面定义的“对偶间隙”来描述：
定义2.1.6（对偶间隙）称原始问题的最优值与对偶问题的最优值之差为原始问题的对偶间隙。
定理2.1.7（弱对偶问题）原始问题的对偶问题间隙永远取非负值，即原始问题的最优值和对偶问题的最优值有如下关系：
注意，不论原始问题和对偶问题是否有解，上述定理中的式总是成立的，即允许该式中的和取无穷大值。
例如，当原始问题的目标函数值无下界时，。
此时必有，即对偶问题无可行解。
反之，当对偶问题的目标函数值无上界时，。
此时必有，即原始问题无可行解。
推论2.1.8设和分别为原始问题和对偶问题的可行点。
若，则和分别为原始问题和对偶问题的整体解。
强对偶定理强对偶定理主要研究对偶间隙为零的情况。
要保证对偶间隙为零是有条件的。
这样的条件称为约束规格。
对凸规划来说，最简单的约束规格是如下的Slater条件：
定义2.1.9（Slater条件）称凸规划满足Slater条件，如果存在着可行点，使得
当该凸规划中的前个不等式约束为线性约束时，则只需存在着可行点，使得
定理2.1.10（强对偶理论）考察凸规划。
若满足Slater条件，则它的对偶间隙为零。
进一步，若还知原始问题的最优值可以达到，即存在着最优解，则对偶问题的最优值也可以达到，即必存在着对偶问题的整体解，使得
凸函数的最优性条件
首先引进著名的Karush-Kuhn-Tucker（KKT）条件：
定义2.1.11（KKT）条件考虑凸规划。
称满足KKT条件，如果存在分别与约束和约束对应的乘子向量和，使得函数
满足
利用强对偶定理，不难证明KKT条件是凸规划解的必要条件：
定理2.1.12考虑凸规划，并设它满足Slater条件。
若是该问题的解，则满足KKT条件。
KKT条件不仅是凸规划解得必要条件，而且也是其充分条件。
定理2.1.13考虑凸规划
若满足KKT条件则是该问题的解。
定理2.1.14对于满足Slater条件的凸规划来说，点是解得充分必要条件是它满足KKT条件。
2.2Hilbert空间上的凸规划
现在把定义在欧式空间上的凸规划推广到Hilbert空间上。
与从欧式空间到实数的函数相对应，需要考虑从Hilbert空间到实数或欧式空间的映射。
2.2.1凸函数及Frechet导数
Hilbert空间中的凸集和凸映射的定义与空间中的凸集和凸函数定义类似，即只需要把定义和定义中的空间直接推广到Hilbert空间即可。
对此我们不在阐述。
这里先推广空间上的函数的可微性。
定义2.2.1（Frechet导数）设是从Hilbert空间到实数的映射，。
如果存在从到的线性连续映射其中使得
则称映射在点处是Frechet可微的，并称上式的积中的元素为在点处的Frechet导数，记为
和通常定义函数的连续可微一样，称从到的映射在上是连续可微的，如果它在的任一点处都是Frechet可微的，且其Frechet导数是连续的。
2.2.2凸规划问题
定义2.2.2（Hilbert空间上的凸规划问题）Hilbert空间上的凸规划问题是指最优化问题
其中和，都是从Hilbert空间到实数上的连续可微的凸映射，而，是式所示的线性连续映射。
关于上式问题的性质，我们几乎可以逐字逐句抄写欧式空间上的定理，仅仅是它们所考虑的空间哟所不同而已。
事实上，与从到的二次函数相对应，我们可以考虑Hilbert空间到的二次映射，其中：
是线性连续映射。
若对任意的都有则称是半正定的。
这样便有如下定理：
定理2.2.3考虑二次规划问题
其中，和分别从Hilbert空间到，和上的线性连续映射，。
若为半正定的，则该二次规划问题为凸规划问题，即凸二次规划问题。
定理2.2.4考虑Hilbert空间H上的凸规划问题。
若是它的局部解，则也是它的整体解。
推论2.2.5考虑当H为半正定时的凸二次规划问题，则它的任一局部解都是它的整体解。
凸规划的对偶理论
与式引进的对欧式空间凸规划的Lagrange函数相对应，这里可以引进Lagrange隐射
，
升级会员 