机器学习方法Word格式.docx

1、lt;感知机>一书. 第三阶段：20世纪70年代中叶至80年代中叶，称为复兴时期在这个时期，人们从学习单一概念延伸至学习的多个概念，探索不同的学习策略和各种学习方法在此阶段中，研究 者已经将机器学习系统与现实应用相结合，完成相应的学习过程，取得了很大的成功1980年，在美国召开的第一届机器学习国际研讨会，标志着机器学习在全世界范围内的全面兴起. 第四阶段：1986年至今 由于作为机器学习科学基础之一的神经科学研究的重新兴起，机器学习也进一步受到了人们的重视另一方面，对实验研究和应用研究得到前所未有的重视. 2.1 机械学习 机械学习是一种最基本的学习策略，把环境提供的信息简单存储起来，不

2、经过任何推理，“死记硬背”式的学习。适合于一些环境相对稳定，输入输出模式相对固定的系统中，例如医生给病人看病。 2.2 传授学习 传授学习又叫做指导式学习或示教学习。传授学习的学习过程可以简单地描述如下：（1）请求：先向指导者请求提出建议；（2）解释：接受建议并将其转化为内部表示形式；（3）操作化：将解释后的建议转化为具体的知识；（4）归并：将得到的新知识归并到知识库中；（5）评价：对新知识进行评价，常用方法有，检查新知识与知识库里的知识是否矛盾，或者使 用新知识执行某些任务，观察其执行情况。 2.3 演绎学习 演绎学习以演绎推理为基础。演绎推理是一种有一般到个别的推理方法，其核心是三段论。例

3、如，1动物都会死亡；2狗是一种动物；3狗会死亡。只要对给定的知识进行演绎的保真推理，就能得出一个正确的新结论，然后把有价值的结论存储起来。 2.4 归纳学习 归纳学习以归纳推理为基础。从某个概念的一系列正例和反例中归纳出一个一般的概念描述。归纳学习可分为有导师学习和无导师学习。有导师学习，又称示例学习。给学习系统提供正例和反例，学习系统通过归纳算法求解出一个总的概念描述。无导师学习，又称观察与发现学习。通过由环境提供的观察来进行学习，而且这些观察是未经过知道者分类的例子。 2.5 类比学习 类比学习是一种利用相似性来认识新事物的学习方式，其基础是类比推理。可以看作是演绎学习和归纳学习的组合学习

4、形式。 学习过程： （1）联想搜索匹配：提取特征值，搜索和它相似的已知事物； （2）检验相似程度：判断相似程度，相似程度达到一定阈 值，则说明匹配成功； （3）修正变换求解：即类比映射，把对已知事物的有关知 识进行适当的调整或变换，以求出新事物的解； （4）更新知识库：求出新事物的解以后，将新事物及其解 并入知识库。 3 机器学习方法 3.1 流形学习 现实世界中的数据，例如语音信号、数字图像或功能性磁共振图像等，通常都是高维数据，为了正确地了解这些数据，我们就需要对其进行降维，降维的目的就是要找出隐藏在高维数据中的低维结构。流形学习是一种新的数据降维方法，能揭示数据的内在变化规律，其目标是发

5、现嵌入在高维数据空间中的低维流形结构，并给出一个有效的低维表示。2000年以来，流形学习在包括数据挖掘、机器学习、计算机视觉等多个研究领域得到了广泛的 应用。 3.2 李群机器学习 李群机器学习（lie group machine learning，lml）作为机器学习领域的一种新的学习方法，一方面继承流形学习的优点，另一方面借用李群的思想，形成了具有创新特色的学习范式自2004年提出至今，已引起加拿大、爱尔兰、芬兰、意大利、美国等国内外同行的广泛关注。李群结构是目前学术界公认的对学习问题研究很有用的一套理论工具。从数据分析的角度来说，用机器学习进行数据分析（数据挖掘），其目的就是揭示这些数据

6、具有的规律，从而帮助用户提供解释的依据。李群一方面具有好的数学结构，另一方面物理学家广泛使用李群方法来处理物理学中复杂数据的启发。因此，引进李群理论对机器学习是一种可以探索的新思路。 3.3 核机器学习 20世纪90年代初随着统计学习理论的完善和线性超平面函数集容量控制方法的发现，提出了著名的支撑矢量机方法（svms）。随后，以支撑矢量机为核心算法的核机器（km）方法和fisher判断分析（fda）方法得到了机器学习、模式识别、网络搜索引擎技术、计算机视觉等等领域的广泛关注。核机器方法以统计学习理论为基础，巧妙利用了mercer核技巧，使其获得了良好的推广能力、强大的非线性处理能力、灵活的相似

7、性测度定义和简洁的模型表示，是目前在特征提取、模式识别、数据发掘领域公认的具有最佳性能的方法之一。 4.1基于限制玻尔兹曼机的深度学习架构 玻尔兹曼机（ boltzmannmachine）本质上是一种能量模型 能量模型是指对于参数空间（ configurationspace） 中每一种情况均有一个标量形式的能量与之对应 能量函数就是从参数空间到能量的映射函数，人们希望通过学习使得能量函数有符合要求的性质 从结构上来说，玻尔兹曼机是双层无向全连通图，如图3所示 为了方便起见，这里仅讨论观测变量和隐变量均是0 1变量的情况 玻尔兹曼机的能量函数为e（ x，h） =bxchhwxxuxhvh （ 1

8、）式中，x表示可见层，h表示隐层，b 0，1k，c0，1d分别表示可见层和隐层单元的偏置（ offset） ， kd分别表示可见层和隐层单元的数目 wuv分别表示观测层和隐层之间，观测层变量之间，隐层变量之间的连接权重矩阵在实际中，由于计算样本概率密度时归一化因子的存在，需要使用马尔可夫蒙特卡洛方法（ mcmc）来对玻尔兹曼机进行优化 但是mcmc方法收敛速度很慢，因此人们提出限制玻尔兹曼机和对比散度方法来解决这一问题. 4.2限制玻尔兹曼机 限制玻尔兹曼机是对全连通的玻尔兹曼机进行简化，其限制条件是在给定可见层或者隐层中的其中一层后，另一层的单元彼此独立，即式（ 1） 中u和v矩阵中的元素均

9、等于0 层间单元独立的条件是构成高效的训练限制玻尔兹曼机的方法的条件之 一，而bm也因此成为深度置信网络（ dbn）的构成单元 限制玻尔兹曼机的图模型如图4所示 可见，层内单元之间没有连接关系，层间单元是全连接关系 将式（ 1） 中层间连接矩阵u，v置零，得到限制玻尔兹曼机的能量函数e（ x，h） =bxchhwx 由于限制玻尔兹曼机取消了层内单元之间的连接，所以可以将其条件概率分布进行分解，这样就简化了模型优化过程中的运算 但是在其优化过程中仍然需要基于mcmc方法的吉布斯采样，训练过程仍然十分漫长，因此人们提出对比散度方法来加快模型优化. 对比散度（ contrastivedivergen

10、ce） 是hinton在2006年提出来的快速地训练限制玻尔兹曼机的方法，该方法在实践中得到广泛的应用 对比散度主要是将对数似然函数梯度的求解进行了两个近似: （1） 使用从条件分布中得到的样本来近似替代计算梯度时的平均求和这是因为在进行随机梯度下降法进行参数优化时已经有平均的效果，而如果每次计算都进行均值求和则这些效果会相互抵消，而且会造成很大的计算时间的浪费 （2） 在进行吉布斯采样（ gibbs sampling） 时只采用一步，即仅仅进行一次吉布斯采样这种一次吉布斯采样方法会使得采样得到的样本分布与真实分布存在一定的误差 但是实践发现，如果仅作一次迭代的话，就已经能得到令人满意的结果将

11、限制玻尔兹曼机逐层叠加，就构成了深度置信网络（ dbn） 在深度置信网络中底层的输出作为上一层的输入，每层是一个限制 玻尔兹曼机，使用对比散度的方法单独训练 为了达到更好的识别效果，往往还要对深度置信网络每层的参数进行微调使用限制玻尔兹曼机构建成深度网络，在一些公开的数据集上取得了非常好的效果. 5机器学习系统的模型及其特征 5.1 机器学习系统的模型 （1） 外部环境是以某种形式表达的信息或知识的集合，是知识和信息的来源，执行的对象和任务 外部环境像系统提高信息的质量是影响学习系统设计的首要因素。（2）学习是将外部环境提供的信息，加工成为有效信息的过程，它也是学习系统的核心，包括采集信息接受

12、监督指导学习推理修改知识库等其他功能。（3）知识库是影响学习系统设计的第二大因素，根据知识的不同，选择不同的表达方式，兼顾表达能力强易于推理易于修改知识库和知识表示易于扩展等几方面，均是知识库在表达上需要符合的要求。（4）执行是利用知识库完成某种任务，并进行识别论证决策判定，将获得的信息进行反馈，以修正和完善下一步的学习。 5.2 机器学习系统的重要特征 机器学习系统通常具有如下重要特征：（1）目的性系统知道学习什么，学习的行为具有高度的目的性。（2）结构性系统能修改和完善知识结构和组织形式。（3）有效性系统学习到的知识具有适应和符合实践的能力，能够对系统性能的改善起到正面的作用。（4）开放性

13、系统在与环境进行信息交互的过程中，能使自身不断进化。 6.机器学习策略 对于环境提供信息，机器要运用一定的学习策略转换为知识，并存储在知识库中，为下一步的执行作保证根据策略使用推理的多少和难易程度，学习策略可以分为四类： 1机械学习 这种学习策略，无需任何推理过程或计算转换过程，可以直接将环境提供的信息进行存储该学习系统主要考虑三个方面：第一：存储组织的形式利于检索在采用机械学习的系统中，主要采用的是索引存储的方式，在这种情况下，只有检索一个项目比重新分析计算更加快捷，这种学习策略才具有一定的意义 采用适当的存储组织形式，最大限度地提高检索效率，缩短检索时间，是机械学习要解决的重大问题第二：环

14、境稳定存储信息适用性高因为系统不需要对信息做过多的加工，学习部分没有推理的过程，这对于环境的依赖程度就大大提高要求环境具有高度的稳定性系统的学习是通过事先编好的程序获得，是建立在这次获得的知识适用于下次的情况的假设上的，如果环境变化的过于频繁，每次存的知识都不能适用，这种策略也就失去其意义第三：权衡存储和计算之间的关系学习的目的是改进系统的效率，如果检索比重新计算来的慢，那么就降低了系统的执行力 机械学习也就失去了意义。 2归纳学习 归纳推理是由环境提供足够多的实例或反例，应用归纳的方法，得出一般性的规律或对于概念的一般性的描述这是一个从个别到一般的过程归纳学习可以获得新的概念，创立新的规则，

15、发现新的理论 其原理是在大量观察的基础上通过假设形成一个科学理论 按其有无教师的指导，可以分为示例学习及观察与发现学习示例学习，又称为概念获取 确定概念的一篇二：机器学习理论与方法 机器学习理论与方法 实验报告 实验项目：基于hopfield network 模型的数字识别 实验者： 彭江军 学号： 2011114093 专业： 信息与计算科学 指导教师： 张瑞 一：程序前期准备与思路 （1） 先对图中给的8个已知的pattern图像数字化成矩阵，对于待处理的图像也处理为矩阵，导入excel表。 （2） 由权重的计算公式，编写程序得到权重矩阵。 （3） 选择相应的激活函数，这里我们选择bi-p

16、olar binary 函数。不断更新，使其能量不断下降，最终趋于稳定。 二：程序代码 1.得到权重的程序 % 读取数据 a=xlsread（0.xls,1）; b=xlsread（1.xls,1）; c=xlsread（2.xls,1）; d=xlsread（3.xls,1）; e=xlsread（4.xls,1）; f=xlsread（6.xls,1）; g=xlsread（u.xls,1）; h=xlsread（9.xls,1）; % 将矩阵依次处理为向量，以便求 法用for来做 a1=a（1,:）; for i=2:12 a1=vpa（a1 a（i,:）; end b1=b（1,:12

17、 b1=vpa（b1 b（i,: c1=c（1,: c1=vpa（c1 c（i,: d1=d（1,: d1=vpa（d1 d（i,: end e1=e（1,: e1=vpa（e1 e（i,: f1=f（1,: f1=vpa（f1 f（i,: weight，由于是a,b等编号，故这一步无 g1=g（1,: g1=vpa（g1 g（i,: h1=h（1,: h1=vpa（h1 h（i,: % 求weight公式 i=eye（120）; w=（a1*a1+b1*b1+c1*c1+d1*d1+e1*e1+f1*f1+g1*g1+h1*h1）/120-8/120*i; w=double（w）; xlsw

18、rite（w.xls,w） 2.更新程序 编写脚本文件 function hpml（x0,weight,n） % x0为需要识别的数字矩阵 % weight 为经过学习得到的权重 % n为需要迭代的次数 o=weight*x0; r,c=size（o）; % 迭代更新矩阵 for k=1:n-1 for i=1:r for j=1:c if（o（i,j）&=0） o（i,j）=1; else o（i,j）=-1; o=weight*o; % 对于跳出循环的矩阵规范化 r c else %将生成的向量以行序为主转化为矩阵，因为reshape函数以列序为主，故未采用 m=zeros（12,10）;

19、 m（i,:）=o（10*（i-1）+1:10*i）; imshow（m,-1,1） title（strcat（iteration times:,num2str（n）; 3.调用函数 x0=xlsread（i.xls,1）； weight=xlsread（w.xls,1）; x=zeros（12,10）; x（i,:）=x0（10*（i-1）+1: subplot（1,3,1）; imshow（x,-1,1）; title（previous image）; n=1; subplot（1,3,2）; hpml（x0,weight,n） subplot（1,3,3）; n=2; 三：程序结果 篇三

20、：机器学习方法及应用研究 机器学习方法及应用研究 很早人类就有制造机器人的幻想，例如黄帝的“指南车”，诸葛亮的“木牛流马”。三国演义中诸葛亮发明的运输工具称为“木牛流马”，解决了川山山区军粮运输的难题。根据文献，诸葛亮最具有实物性质的智慧结晶就是“木牛流马”。 1997年5月，美国ibm公司的“深蓝”超级计算机首次击败国际象棋男子世界冠军卡斯帕罗夫。表1给出了卡斯帕罗夫和“深蓝”具有的不同特点。 学习是人类获取知识的重要途径和自然智能的重要标志，机器学习则是机器获取知识的重要途径和人工智能的重要标志2。“深蓝”之所以能击败卡斯帕罗夫，最主 _ 作者简介：马健喆，男，（1995,11-），山西太

21、原人，本科，主要研究方向为信息处理。 要的原因是“深蓝”具有较强的学习能力和推理能力。 表1卡斯帕罗夫和“深蓝”的不同特点 学习过程与推理过程密切相关。按照学习中使用推理的多少，机器学习所采用的策略总体上可以分为机械学习、示教学习、示例学习和类比学习。学习中所用的推理越多，系统的能力越强3,4。 2、五子棋游戏的设计 设计五子棋游戏，实现简单的五子棋游戏；插入一个下载的棋盘图片作为自己的棋盘；插入一段音乐实现背景音乐的播放；当有输赢出现时弹出一个显示战况的对话框；在菜单栏上添加一个战况的标题，当单击时弹出显示当时战况的对话框。 五子棋棋局与围棋相同，棋子分为黑、白两种颜色，棋盘为19?19，在

22、棋盘线交叉点上放置棋子。计算机与人对局，各执一种颜色的棋子，轮流下一子，先将横、竖或斜线的5个或5个以上同色棋子连成不间断的一排者为胜。现代五子棋棋盘已标准化为15?15的方格棋盘。 本文采用mfc对话框构建五子棋棋盘，直接截取五子棋棋盘图片作为对话框背景；采用mfc按钮控件作为五子棋游戏“悔棋”、“音乐”、“战况”、“重新开始”的选项按键；实现五子棋人机对战，人通过鼠标点击下子；设计五子棋游戏算法实现计算机的下子点的选择。 图1给出了五子棋游戏算法的程序流程图，具体步骤如下： 图1五子棋游戏算法的程序流程图 （1）对局双方各执一种颜色的棋子； （2）空棋盘开局； （3）玩家（黑方）首先落子，

23、接着计算机（白方）作出决策，落子，交替下子，每次只能下一子； （4）棋子下在棋盘的空白点上，棋子下定后，不得向其它点移动，不得从棋盘上拿掉或拿起另落别处； （5）黑方的第一枚棋子可下在棋盘任意交叉点上； （6）轮流下子是双方的权利； （7）连五取胜。在对弈过程中若某一方出现“成五”（“五连”和“多连”的总称），则判定为胜。若棋盘下满还没有胜方，则为平局。 该五子棋游戏算法没有用到机器学习，计算机不具有智能。图2、图3分别给出了利用mfc实现五子棋游戏程序的运行结果。本文设计实现的五子棋游戏可以根据个人爱好设计界面，人机交互方便、简单。 图2 五子棋游戏程序的运行结果 图3 五子棋游戏程序的运行结果 机器学习是计算机获取智能的途径，本文设计了五子棋游戏算法，实现了五子棋游戏。下一步工作将机器学习方法引入到五子棋游戏的设计，提高计算机的学习能力和推理能力。篇四：机器学习优缺点 机器学习10大经典算法 2012-03-29 20:35 20186人阅读 评论（3） 收藏 举报 算法google网络搜索引擎互联网yahoo 1、c4.5 机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可