机器学习方法有哪些Word下载.docx

机器学习方法有哪些Word下载.docx

《机器学习方法有哪些Word下载.docx》由会员分享，可在线阅读，更多相关《机器学习方法有哪些Word下载.docx（9页珍藏版）》请在冰豆网上搜索。

向量的内积运算更是随处可见。

矩阵乘法与分解在机器学习的主成分分析（PCA）和奇异值分解（SVD）等部分呈现刷屏状地出现。

概率与统计

从广义来说，机器学习在做的很多事情，和统计层面数据分析和发掘隐藏的模式，是非常类似的。

极大似然思想、贝叶斯模型是理论基础，朴素贝叶斯

（Na?

veBayes）、语言模型（N-gram）、隐马尔科夫（HMM、）隐变量混合概率模型是他们的高级形态。

常见分布如高斯分布是混合高斯模型（GMM等）的基础。

典型算法

绝大多数问题用典型机器学习的算法都能解决，粗略地列举一下这些方法如下：

处理分类问题的常用算法包括：

逻辑回归（工业界最常用），支持向量机，随机森林，朴素贝叶斯（NLP中常用），深度神经网络（视频、图片、语音等多媒体数据中使用）。

处理回归问题的常用算法包括：

线性回归，普通最小二乘回归

（OrdinaryLeastSquaresRegression），逐步回归（StepwiseRegression），多元自适应回归样条（MultivariateAdaptiveRegressionSplines）

处理聚类问题的常用算法包括：

K均值（K-means），基于密度聚类，LDA等等。

降维的常用算法包括：

主成分分析（PCA）,奇异值分解（SVD）等。

模型融合（modelensemble）和提升（boosting）的算法包括：

bagging，adaboost，GBD，TGBRT

其他很重要的算法包括：

EM算法等等。

我们多插一句，机器学习里所说的“算法”与程序员所说的“数据结构与算法分析”里的“算法”略有区别。

前者更关注结果数据的召回率、精确度、准确性等方面，后者更关注执行过程的时间复杂度、空间复杂度等方面。

。

当然，实际机器学习问题中，对效率和资源占用的考量是不可或缺的。

编程语言、工具和环境

看了无数的理论与知识，总归要落到实际动手实现和解决问题上。

而没有工具所有的材料和框架、逻辑、思路都给你，也寸步难行。

因此我们还是得需要合适的编程语言、工具和环境帮助自己在数据集上应用机器学习算法，或者实现自己的想法。

对初学者而言，Python和R语言是很好的入门语言，很容易上手，同时又活跃的社区支持，丰富的工具包帮助我们完成想法。

相对而言，似乎计算机相关的同学用Python多一些，而数学统计出身的同学更喜欢R一些我们对编程语言、工具和环境稍加介绍：

python

python有着全品类的数据科学工具，从数据获取、数据清洗到整合各种算法都做得非常全面。

网页爬虫:

scrapy

数据挖掘:

pandas：

模拟R，进行数据浏览与预处理。

numpy：

数组运算。

scipy：

高效的科学计算。

matplotlib：

非常方便的数据可视化工具。

机器学习:

scikit-learn：

远近闻名的机器学习package。

未必是最高效的，但是接口真心封装得好，几乎所有的机器学习算法输入输出部分格式都一致。

而它的支持文档甚至可以直接当做教程来学习，非常用

心。

对于不是非常高纬度、高量级的数据，scikit-learn胜任得非常好（有兴趣可以看看sklearn的源码，也很有意思）。

libsvm：

高效率的svm模型实现（了解一下很有好处，libsvm的系数数据输入格式，在各处都非常常见）

keras/TensorFlow：

对深度学习感兴趣的同学，也能很方便地搭建自己的神经网络了。

自然语言处理:

nltk：

自然语言处理的相关功能做得非常全面，有典型语料库，而且上手也非常容易。

交互式环境：

R最大的优势是开源社区，聚集了非常多功能强大可直接使用的包，绝大多数的机器学习算法在R中都有完善的包可直接使用，同时文档也非常齐全。

常见的package包括：

RGtk2,pmml,colorspace,ada,amap,arules,biclust,cba,descr,doBy,e1071,ellipse等等。

另外，值得一提的是R的可视化效果做得非常不错，而这对于机器学习是非常有帮助的。

其他语言

相应资深程序员GG的要求，再补充一下java和C++相关机器学习package。

Java系列

WEKAMachineLearningWorkbench相当于java中的scikit-learn其他的工具如MassiveOnlineAnalysis（MOA）、MEK、AMallet等也非常有名。

更多详细的应用请参考这篇文章《25个Java机器学习工具&

库》

C++系列

mlpack，高效同时可扩充性非常好的机器学习库。

Shark：

文档齐全的老牌C++机器学习库。

大数据相关

Hadoop：

基本上是工业界的标配了。

一般用来做特征清洗、特征处理的相关工作。

spark：

提供了MLlib这样的大数据机器学习平台，实现了很多常用算法。

但可靠性、稳定性上有待提高。

操作系统

mac和linux会方便一些，而windows在开发中略显力不从心。

所谓方便，主要是指的mac和linux在下载安装软件、配置环境更快捷。

基本工作流程

以上我们基本具备了机器学习的必要条件，剩下的就是怎么运用它们去做一个完整的机器学习项目。

其工作流程如下:

抽象成数学问题

明确问题是进行机器学习的第一步。

机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。

这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。

获取数据

数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。

数据要有代表性，否则必然会过拟合。

而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距

而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。

如果放不下就得考虑改进算法或者使用一些降维的技巧了。

如果数据量实在太大，那就要考虑分布式了。

特征预处理与特征选择

良好的数据要能够提取出良好的特征才能真正发挥效力。

特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。

归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。

这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。

这对很多结果有决定性的影响。

特征选择好了，非常简单的算法也能得出良好、稳定的结果。

这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

训练模型与调优

直到这一步才用到我们上面说的算法进行训练。

现在很多算法都能够封装成黑盒供人使用。

但是真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。

这需要我们对算法的原理有深入的理解。

理解越深入，就越能发现问题的症结，提出良好的调优方案。

模型诊断

如何确定模型调优的方向与思路呢?

这就需要对模型进行诊断的技术。

过拟合、欠拟合判断是模型诊断中至关重要的一步。

常见的方法如交叉验证，绘制学习曲线等。

过拟合的基本调优思路是增加数据量，降低模型复杂度。

欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。

误差分析也是机器学习至关重要的步骤。

通过观察误差样本，全面分析误差产生误差的原因:

是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题⋯⋯

诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试，进而达到最优状态。

模型融合

一般来说，模型融合后都能使得效果有一定提升。

而且效果很好。

工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。

因为他们比较标准可复制，效果比较稳定。

而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

上线运行

这一部分内容主要跟工程实现的相关性比较大。

工程上是结果导向，模型在线上运行的效果直接决定模型的成败。

不单纯包括其准确程度、误差等情况，还包括其运行的速度（时间复杂度）、资源消耗程度（空间复杂度）、稳定性是否可接受。

这些工作流程主要是工程实践上总结出的一些经验。

并不是每个项目都包含完整的一个流程。

这里的部分只是一个指导性的说明，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。

关于积累项目经验

初学机器学习可能有一个误区，就是一上来就陷入到对各种高大上算法的追逐当中。

动不动就我能不能用深度学习去解决这个问题啊?

我是不是要用boosting算法做一些模型融合啊?

我一直持有一个观点，『脱离业务和数据的算法讨论是毫无意义的』。

实际上按我们的学习经验，从一个数据源开始，即使是用最传统，已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数

据、特征和算法搞透，真正积累出项目经验才是最快、最靠谱的学习路径。

那如何获取数据和项目呢?

一个捷径就是积极参加国内外各种数据挖掘竞赛，数据直接下载下来，按照竞赛的要求去不断优化，积累经验。

国外的Kaggle和国内的DataCastle以及阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛，尝试使用已经学过的所有知识来完成这个比赛本身也是一件很有乐趣的事情。

和其他数据科学家的讨论能开阔视野，对机器学习算法有更深层次的认识。

有意思的是，有些平台，比如阿里天池比赛，甚至给出了从数据处理到模型训练到模型评

估、可视化到模型融合增强的全部组件，你要做的事情只是参与比赛，获取数据，然后使用这些组件去实现自己的idea