机器学习3周志华PPT推荐.pptx
《机器学习3周志华PPT推荐.pptx》由会员分享,可在线阅读,更多相关《机器学习3周志华PPT推荐.pptx(23页珍藏版)》请在冰豆网上搜索。
![机器学习3周志华PPT推荐.pptx](https://file1.bdocx.com/fileroot1/2022-10/2/06b28bfb-2c9d-432c-b458-13ffca960230/06b28bfb-2c9d-432c-b458-13ffca9602301.gif)
,令导数为0,得到闭式(closed-form)解:
多元(multi-variate)线性回归使得,把,和,吸收入向量形式,,数据集表示为,多元线性回归同样采用最小二乘法求解,有,令,,对,求导:
令其为零可得然而,麻烦来了:
涉及矩阵求逆!
若若,满秩或正定,则不满秩,则可解出多个,此时需求助于归纳偏好,或引入正则化,(regularization),第6、11章,线性模型的变化,对于样例,若希望线性模型的预测值逼近真实标记,,则得到线性回归模型令预测值逼近y的衍生物?
若令则得到对数线性回归(log-linearregression),实际是在用,逼近y,广义(generalized)线性模型一般形式:
单调可微的联系函数,(linkfunction),令,则得到对数线性回归,二分类任务,找z和y的联系函数,性质不好,需找“替代函数”(surrogatefunction),线性回归模型产生的实值输出期望输出理想的“单位阶跃函数”(unit-stepfunction)常用,单调可微、任意阶可导,对数几率函数(logisticfunction)简称“对率函数”,对率回归以对率函数为联系函数:
变为即:
几率(odds),反映了x作为正例的相对可能性,“对数几率”,无需事先假设数据分布可得到“类别”的近似概率预测可直接应用现有数值优化算法求取最优解,(logodds,亦称logit)“对数几率回归”(logisticregression)简称“对率回归”注意:
它是,分类学习算法!
求解思路,若将y看作类后验概率估计可写为于是,可使用“极大似然法”,则第7章,(maximumlikelihoodmethod)给定数据集最大化“对数似然”(log-likelihood)函数,令,,则,可简写为,求解思路,再令则似然项可重写为于是,最大化似然函数等价为最小化高阶可导连续凸函数,可用经典的数值优化方法如梯度下降法/牛顿法BoydandVandenberghe,2004,线性模型做“分类”,回归广义线性模型;
通过“联系函数”例如,对率回归,分类如何“直接”做分类?
线性判别分析,(LinearDiscriminantAnalysis),由于将样例投影到一条直线(低维空间),因此也被视为,一种“监督降维”技术降维,第10章,LDA的目标给定数据集第i类示例的集合第i类示例的均值向量第i类示例的协方差矩阵,两类样本的中心在直线上的投影:
和,两类样本的协方差:
和,尽可能小尽可能大,同类样例的投影点尽可能接近异类样例的投影点尽可能远离于是,最大化,LDA的目标,类内散度矩阵(within-classscattermatrix),类间散度矩阵(between-classscattermatrix),LDA的目标:
最大化广义瑞利商(generalizedRayleighquotient),w成倍缩放不影响J值,仅考虑方向,实践中通常是进行奇异值分解然后,求解思路,令,,最大化广义瑞利商等价形式为,运用拉格朗日乘子法,有,的方向恒为,,不妨令,于是,附录,推广到多类假定有N个类全局散度矩阵类内散度矩阵类间散度矩阵,特征值所对应的特征向量组成的矩阵,多分类LDA有多种实现方法:
采用例如,的闭式解是,中的任何两个的N-1个最大广义,训练N(N-1)/2个分类器,存储开销和测试时间大训练只用两个类的样例,训练时间短,训练N个分类器,存储开销和测试时间小训练用到全部训练样例,训练时间长,多分类学习拆解法:
将一个多分类任务拆分为若干个二分类任务求解,预测性能取决于具体数据分布,多数情况下两者差不多,纠错输出码(ECOC)多对多(ManyvsMany,MvM):
将若干类作为正类,若干类作为反类,一种常见方法:
纠错输出码编码:
对N个类别做M次划分,每次将一部分类别划为正类,一部分划为反类解码:
测试样本交给M个分类器预测,(ErrorCorrectingOutputCode)M个二类任务;
(原)每类对应一个长为M的编码距离最小的类为最终结果长为M的预测结果编码,纠错输出码,ECOC编码对分类器错误有一定容忍和修正能力,编码越长、纠错能力越强对同等长度的编码,理论上来说,任意两个类别之间的编码距离越远,则纠错能力越强,DietterichandBakiri,1995,Allweinetal.2000,类别不平衡(class-imbalance)不同类别的样本比例相差很大;
“小类”往往更重要基本思路:
基本策略“再缩放”(rescaling):
然而,精确估计m-/m+通常很困难!
常见类别不平衡学习方法:
过采样(oversampling)例如:
SMOTE欠采样(undersampling)例如:
EasyEnsemble阈值移动(threshold-moving),前往第四站,