机器学习中几种常见回归函数的概念学习Word下载.docx

1、接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。最小二乘法 是一个直接的数学求解公式，不过它要求 X 是列满秩的，梯度下降法 分别有梯度下降法，批梯度下降法，增量梯度下降。本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。2.逻辑回归 逻辑回归与线性回归的联系、异同？逻辑回归的模型 是一个非线性模型，sigmoid 函数，又称逻辑回归函数。但是它本质上又是一个线性回归模型，因为除去 sigmoid 映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。只不过，线

2、性模型，无法做到 sigmoid 的非线性形式，sigmoid 可以轻松处理 0/1分类问题。另外它的推导含义：仍然与线性回归的最大似然估计推导相同，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。逻辑回归函数 表现了 0，1分类的形式。应用举例：是否垃圾邮件分类？是否肿瘤、癌症诊断？是否金融欺诈？3.一般线性回归 线性回归 是以 高斯分布 为误差分析模型；逻辑回归 采用的是 伯努利分布 分析误差。而高斯分布、伯努利分布、贝塔分布、迪特里特分布，都属于指数分布。而一般线性回归，在 x条件下，y的概率分布 p（y|x）就是指 指数分布。经历最大似然

3、估计的推导，就能导出一般线性回归的 误差分析模型（最小化误差模型）。softmax回归就是 一般线性回归的一个例子。有监督学习回归，针对多类问题（逻辑回归，解决的是二类划分问题），如数字字符的分类问题，0-9，10个数字，y值有 10个可能性。而这种可能的分布，是一种指数分布。而且所有可能的和 为 1，则对于一个输入的结果，其结果可表示为：参数是一个 k维的向量。而代价函数：是逻辑回归代价函数的推广。而对于 softmax的求解，没有闭式解法（高阶多项方程组求解），仍用梯度下降法，或 L-BFGS 求解。当 k=2时，softmax退化为逻辑回归，这也能反映 softmax回归是逻辑回归的推广

4、。线性回归，逻辑回归，softmax回归 三者联系，需要反复回味，想的多了，理解就能深入了。4.拟合：拟合模型/函数 由测量的数据，估计一个假定的模型/函数。如何拟合，拟合的模型是否合适？可分为以下三类 合适拟合 欠拟合 过拟合 看过一篇文章（附录）的图示，理解起来很不错：欠拟合：合适的拟合 过拟合 过拟合的问题如何解决？问题起源？模型太复杂，参数过多，特征数目过多。方法：1）减少特征的数量，有人工选择，或者采用模型选择算法 2）正则化，即保留所有特征，但降低参数的值的影响。正则化的优点是，特征很多时，每个特征都会有一个合适的影响因子。5.概率解释：线性回归中为什么选用平方和作为误差函数？假设

5、模型结果与测量值 误差满足，均值为 0的高斯分布，即正态分布。这个假设是靠谱的，符合一般客观统计规律。数据 x与 y的条件概率：若使 模型与测量数据最接近，那么其概率积就最大。概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。对最大似然函数估计进行推导，就得出了求导后结果：平方和最小公式 6.参数估计 与 数据的关系 拟合关系 7.错误函数/代价函数/损失函数：线性回归中采用平方和的形式，一般都是由模型条件概率的最大似然函数 概率积最大值，求导，推导出来的。统计学中，损失函数一般有以下几种：1）0-1损失函数 L（Y，f（X）=1，0，Yf（X）Y=f（X）2）平方损失函数

6、 L（Y，f（X）=（Yf（X）2 3）绝对损失函数 L（Y，f（X）=|Yf（X）|4）对数损失函数 L（Y，P（Y|X）=logP（Y|X）损失函数越小，模型就越好，而且损失函数 尽量 是一个凸函数，便于收敛计算。线性回归，采用的是平方损失函数。而逻辑回归采用的是 对数 损失函数。这些仅仅是一些结果，没有推导。8.正则化：为防止过度拟合的模型出现（过于复杂的模型），在损失函数里增加一个每个特征的惩罚因子。这个就是正则化。如正则化的线性回归 的 损失函数：lambda就是惩罚因子。正则化是模型处理的典型方法。也是结构风险最小的策略。在经验风险（误差平方和）的基础上，增加一个惩罚项/正则化项。

7、线性回归的解，也从=（XTX）1XTy 转化为 括号内的矩阵，即使在样本数小于特征数的情况下，也是可逆的。逻辑回归的正则化：从贝叶斯估计来看，正则化项对应模型的先验概率，复杂模型有较大先验概率，简单模型具有较小先验概率。这个里面又有几个概念。什么是结构风险最小化？先验概率？模型简单与否与先验概率的关系？经验风险、期望风险、经验损失、结构风险 期望风险（真实风险），可理解为 模型函数固定时，数据 平均的 损失程度，或“平均”犯错误的程度。期望风险是依赖损失函数和概率分布的。只有样本，是无法计算期望风险的。所以，采用经验风险，对期望风险进行估计，并设计学习算法，使其最小化。即经验风险最小化（Emp

8、irical Risk MinimizaTIon）ERM，而经验风险是用损失函数来评估的、计算的。对于分类问题，经验风险，就训练样本错误率。对于函数逼近，拟合问题，经验风险，就平方训练误差。对于概率密度估计问题，ERM，就是最大似然估计法。而经验风险最小，并不一定就是期望风险最小，无理论依据。只有样本无限大时，经验风险就逼近了期望风险。如何解决这个问题？统计学习理论 SLT，支持向量机 SVM就是专门解决这个问题的。有限样本条件下，学习出一个较好的模型。由于有限样本下，经验风险 Rempf无法近似期望风险 Rf。因此，统计学习理论给出了二者之间的关系：Rf=（Rempf+e）而右端的表达形式就

9、是结构风险，是期望风险的上界。而 e=g（h/n）是置信区间，是 VC 维 h的增函数，也是样本数 n的减函数。VC 维的定义在 SVM，SLT中有详细介绍。e依赖 h和 n，若使期望风险最小，只需关心其上界最小，即 e最小化。所以，需要选择合适的 h和 n。这就是结构风险最小化 Structure Risk MinimizaTIon，SRM.SVM就是 SRM的近似实现，SVM中的概念另有一大筐。就此打住。1范数，2范数 的物理意义：范数，能将一个事物，映射到非负实数，且满足非负性，齐次性，三角不等式。是一个具有“长度”概念的函数。1范数为什么能得到稀疏解？压缩感知理论，求解与重构，求解一个

10、 L1范数正则化的最小二乘问题。其解正是 欠定线性系统的解。2范数为什么能得到最大间隔解？2范数代表能量的度量单位，用来重构误差。以上几个概念理解需要补充。9.最小描述长度准则：即一组实例数据，存储时，利用一模型，编码压缩。模型长度，加上压缩后长度，即为该数据的总的描述长度。最小描述长度准则，就是选择 总的描述长度最小的模型。最小描述长度 MDL 准则，一个重要特性就是避免过度拟合现象。如利用贝叶斯网络，压缩数据，一方面，模型自身描述长度 随模型复杂度的增加而增加；另一方面，对数据集描述的长度随模型复杂度的增加而下降。因此，贝叶斯网络的 MD L 总是力求在模型精度和模型复杂度之间找到平衡。当

11、模型过于复杂时，最小描述长度准则就会其作用，限制复杂程度。奥卡姆剃刀原则：如果你有两个原理，它们都能解释观测到的事实，那么你应该使用简单的那个，直到发现更多的证据。万事万物应该尽量简单，而不是更简单。11.凸松弛技术：将组合优化问题，转化为易于求解极值点的凸优化技术。凸函数/代价函数的推导，最大似然估计法。12.牛顿法求解 最大似然估计 前提条件：求导迭代，似然函数可导，且二阶可导。迭代公式：若是 向量形式，H 就是 n*n 的 hessian矩阵了。特征：当靠近极值点时，牛顿法能快速收敛，而在远离极值点的地方，牛顿法可能不收敛。这个的推导？这点是与梯度下降法的收敛特征是相反的。线性与非线性：

12、线性，一次函数；非线性，输入、输出不成正比，非一次函数。线性的局限性：xor问题。线性不可分，形式：x 0 0 x 而线性可分，是只用一个线性函数，将数据分类。线性函数，直线。线性无关：各个独立的特征，独立的分量，无法由其他分量或特征线性表示。核函数的物理意义：映射到高维，使其变得线性可分。什么是高维？如一个一维数据特征 x，转换为（x，x2，x3），就成为了一个三维特征，且线性无关。一个一维特征线性不可分的特征，在高维，就可能线性可分了。逻辑回归 logicalisTIc regression 本质上仍为线性回归，为什么被单独列为一类？其存在一个非线性的映射关系，处理的一般是二元结构的 0，

13、1问题，是线性回归的扩展，应用广泛，被单独列为一类。而且如果直接应用线性回归来拟合 逻辑回归数据，就会形成很多局部最小值。是一个非凸集，而线性回归损失函数 是一个 凸函数，即最小极值点，即是全局极小点。模型不符。若采用 逻辑回归的 损失函数，损失函数就能形成一个 凸函数。多项式样条函数拟合 多项式拟合，模型是一个多项式形式；样条函数，模型不仅连续，而且在边界处，高阶导数也是连续的。好处：是一条光滑的曲线，能避免边界出现震荡的形式出现（龙格线性）以下是几个需慢慢深入理解的概念：无结构化预测模型 结构化预测模型 什么是结构化问题？adaboost，svm，lr 三个算法的关系。三种算法的分布对应 exponenTIal loss（指数 损失函数），hinge loss，log loss（对数损失函数），无本质区别。应用凸上界取代 0、1损失，即凸松弛技术。从组合优化到凸集优化问题。凸函数，比较容易计算极值点。技术专区 马化腾提出“腾讯叮当生态伙伴计划”共建数字生态共同体 企业目前能靠人工智能与人类进行交互吗？人工智能到底改变了手机拍照的哪些元素？拆分 Windows之后，微软真能演上王者归来吗？汇春科技：展示 IoT、人工智能领域重大突破，强推手势识别！-全文完-