支持向量机毕业外文翻译Word文档下载推荐.docx

1、（五） 1.6节探讨通过削减支持向量来减少实验间隙维数的可能性。提议通过支持向量机削减算法的目的是最终只保留一小部分的训练向量，还产生高性能的决策规则。这可能进一步降低分类的复杂性。1.2线性支持向量机 给一个二元分类训练数据集，一个基本的SVM学习模式是找到两平行的边际超平面分离的正面和负面的训练矢量。理想的情况是，两平行超平面应区分两类，正向量落在第一平面的一侧，而负向量落在第二平面的另一边。在图1.1中，以两条虚线表示边际超平面，而实线用来强调线性分类器的决策边界，两个平面之间的地区则是安全带。由区域创建的安全边际可以被一个边际超平面（两条虚线中的一条）和决策边界（实线）之间的距离D测量

2、出来。可完美线性分离的支持向量机 回忆一下，前面介绍的线性学习模式的目的是找到一个决策向量W以产生一个没有误差的可以满足被公式（8.37）严格规定的等式的解决方案。在这方面，支持向量机公式有着不一样的目的：将严格的等式转化为不等式。 对于所有的积极训练向量： （1.1）图1.1 SVM中相应边际超平面的图解。虚线表示边际超平面，而实线用来表示决策超平面。同时：对于所有的积极训练向量： （1.2）这两个不等式可以通过一个简单的限制从而更简洁的表达：在松弛条件下，支持向量机提供了一个可以适用于已定（MN）和欠定（NM）场景的统一的学习模式。就像在以前的学习模式中，误差项可对应一个训练向量，叫做，表

3、示为：，被公式（1.3）限制后，变为：培训的目标是通过最小化w来最大限度地分离边缘约束下2 / w。这将导致以下优化公式：受约束后： （1.4）由于SVM方法采用比LSE较少限制的约束，其解决方案熊w值低于规定的LSE学习模型实现参照公式（8.32）。注意,小w的值更广泛的分离的安全裕度。等式（1.4）表示的式子是一个通过使用标准的凸优化方法可解的二次规划优化问题。更具体地说，可以从中推导出拉格朗日的相关结论。 （1.5）拉格朗日乘子必须是非负的，即： （1.6）以确保通过聚焦的一阶梯度对w,我们可以建立太阳能发电: （1.7）对于SVM，这已对LSP验证的标准方法。这应该是显而易见的，在公式

4、的优化配方，由定理1.1符合规定的条件，从而提供一个独立的LSP的验证。此外，通过相对于B的归零阶指令，我们得到如下的正交平面性（OHP）条件： （1.8）将式（1.7）和式（1.8）带入式（1.5），并化简，得： （1.9）沃尔夫对偶优化让我们来表示，for i = 1, . , N，然后，支持向量机的目标函数可以改写如下：其中，K是内核矩阵，并且是经验空间里的决策向量。注意,约束控制方程（1.8）可以被一个新的形成条件取代,即：这导致了下面的沃尔夫双优化公式的实证决策向量：服从OPM的条件后： 受符号约束后： （1.9）注意，由于式（1.6）符号的约束，是必要的。然而，如果我们暂时忽略符号

5、上的约束，那么我们只需要考虑控制约束。对于控制约束，采用拉格朗日乘子B，我们将获得一个新的拉格朗日公式。以F（a，b）一阶梯度相对于和B和均衡到零，我们得到：这说明了一个事实，如果它忽略符号限制，分析解决方案将是可行的。让我们用一个算例表明如果只有符号约束可以忽略这个问题可以大大简化。示例1.1（SVM分类器的三个三维（2 D）训练向量）如图1.2（a）所示，为三个训练向量根据式（1.9），目标函数是： （1.11）受和，对于等式限制，拉格朗日乘子B,可以导致了一种新的拉格朗日函数：以就和B和均衡他们零阶梯度，我们得到：图1.2 一个简单的支持向量机分类：（a）数据集。（b）支持向量机分类的决

6、策边界。在这种情况下，所有三个训练数据都是支持向量。这个收益率，和阈值b =1。如图1.2（b）虚线所示，决策边界是：在一般情况下，通过求解方程（1.11）是不能直接得到支持向量机的解决方案。根据KKT条件，式（1.11）仅部分有效。更准确地说,它适用于支持向量相关的行,但不适用于非支持向量相关的行。上述数值示例中，所有三个培训向量恰好是支持向量。因此，自动满足限制，通过切结一组线性方程提供一个分析的解决方案。一般来说，执行符号限制尝尝带来繁琐的数值程序，没有封闭的解。这样一个过程是在识别SVM中的支持向量和非支持向量时时必要的。在SVM学习模型中,等式（1.11）只适用于选择性的子集训练向量

7、。与这相关的训练向量子集将被命名为支持向量,而其余培训向量将称为非支持向量。更确切地说,积极的训练向量可以再细分如下:（1）支持向量必须满足等式: （1.12）并且（2）支持向量满足不等式：同样,训练向量可以类似地细分:（1）支持向量满足等式： （1.13）目前，将变得明确，与支持向量相关联是，而非支持向量是。因此，因此,只有支持向量定义判别函数有一个积极的作用,，见表（1.19）。为方便起见，支持向量的指标表示，其中S表示支持向量的个数。支持向量最优子集的识别在支持向量机学习模型中起着关键性的作用。换句话说，如果这样的子集是已知的，解决方案会通过简单地解决下列等式得：约束是与是与知名的卡罗需

8、-库恩-塔克（KKT）条件密切相关。更准确地说,根据KKT条件、最优的解决方案必须满足下列等式: （1.14）对于所有的训练向量。这有效的将约束分为两类。 支持向量。满足（即）的向量被称为支持向量。当时，相应的培训向量必须满足： （1.15） 因此，支持向量处于正确的边际超平面：。这也被成为支持超平面。同样，利用式（1.7）的LSP，我们得到： （1.16） 总之，只有当时，第k个训练向量是一个支持向量 。 非支持向量。如果那么KKT条件（式（1.14）总是会被遇到不管或者。因此，第k个训练向量没有必要满足零点误差条件：这进一步意味着第k个训练向量不会直接参与塑造决策边界。为此，第k个训练向量

9、应标记为非支持向量。在给出的式（1.10）中，求解沃尔夫对偶优化的困难点在于正确识别一组适当的支持向量。决策边界一旦乘数已经确定,可以由式（1.17）获得决策向量w: （1.17）阈值b可以被求出： （1.18）是任一个处于正面无误差平面上的支持向量。它遵循的判别函数可以表示为： （1.19）并且决策边界的特征可以用f（x）= 0来描述。现在让我们来探讨一个数值例子来帮助说明KKT条件所发挥的关键作用。示例1.2（带有四个二维训练向量的SVM分类器）如图1.3所示的数据集,有四个训练向量：数据矩阵为：对应的线性核矩阵为：图1.3 比较两个分离率表明SVM分类器的产量比LSE分类器较大幅度。（一

10、）LSE的分类器，正面和负面的利润率显示为实线。决策边界是由所有四个训练向量共同决定的，正（负）的安全边际是由正（或负）的训练模式，这是最接近的决策边界。（二）支持向量机分类器的决策边界是由三个支持向量决定的。对于支持向量机，正面和负面的利润率（如虚线）是相同的。由此推导出下列的拉格朗日公式： （1.20）通过调整相对于和B的拉格朗日一阶导数，我们得到：方程组的线性系统不存在可行解。然而，随着一个训练向量,可能是一个非支持向量，然后通过KKT条件的美德，其相应的乘数为零，即 。更重要的是，根据KKT条件，相对于必须是零，因此由上面第一个方程的约束可以被忽略。通过求解余下的四个方程，我们可以得到

11、一个可行的解. 和b=-1；它遵循决策向量w:最后，如图1.3（b）所示，决策边界是1.2.5 LSE和SVM分离率的比较从理论上讲，支持向量机产生一个最佳的分离裕度之间的类。特别是，它应该有一个比LSE对应更好的边缘。这个结果可以通过比较得到的分类器验证通过LSE（例8.1）和支持向量机（例1.2）。对于数据集（四个二维向量），SVM对LSE的微弱优势。这两个分类的决策边界和分离的利润率显示在图1.3。下面的例子提供了更详细的比较。示例1.3（LSE和SVM分类器的比较）对于给出的示例1.2中数据集（四个二维训练向量），我们有以下意见： 对于LSE分类器，决策边界被规定为：正面和负面的安全边

12、际是图1.3（1）的2条短的实心线所示。正类的安全边际是由最近的正训练模式的决策边界。负边缘被定义为类似的方式。例如，两者的利润率分别为0.382和0.318。平均等于0.35。 对于SVM分类器，决策边界被规定为：图1.3（二）的虚线表示，正、负利润率均为相同值： 注意：0.3540.35，因此SVM对LSE在平均利润率方面稍占优势。让我们举个例子来说明比较LDA，RR，SVM的数值：示例1.4（案例研究：比较LDA，RR，SVM）考虑到同一个数据集作为例8.6。其中有四个训练向量：同时，以及SVM的决策边界是，与第一特征主导的决策规则。另一方面，LSE或FDA的决策边界是，作为唯一的决策特

13、征。对于RR，两特征之间的平衡取决于所选择的价值。 当032，相比SVM ，RR更强调第二特征。 当= 32，RR和SVM具有完全相同的解决方案。 当32，相比SVM，RR解决方案更强调第一特征。通过定义，训练向量沿决策向量投影之后，支持向量机提供了最广泛的（任一）正面和（任一）负面分离之间的差距。在这种情况下，最宽的宽度是：没有其他的分类可以产生一个更广泛的正面和负面分离的投影。记得，当，RR的解决方案产生了最广泛的后投影分离阳性和阴性的质心之间的宽度： 见式（8.61）1.3模糊分离的支持向量机：松弛变量的作用在现实世界中的应用程序，训练向量是不太可能清楚地分离。然而，基于最大可分性相同的配方是可行的只要一些选择性的训练矢量的豁免，即允许违反最低保证金规则。显然，该豁免向量宽间隔的数量越多。这是由图1.4所示。首先，我们注意到，有一个明确的保证金（薄的固体线），其特征是由三个原始的支持向量。然而，一个相当大的分离区（虚线之间）可以通