[机器学习优质PPT.pptx

1、面向任务的研究主要目的是要根据特定任务的要求，建立相应的学习系统。,4,神经元模型研究20世纪50年代中期到60年代初期，也被称为机器学习的热烈时期，最具 有代表性的工作是罗森勃拉特1957年提出的感知器模型。符号概念获取20世纪60年代中期到70年代初期。其主要研究目标是模拟人类的概念学 习过程。这一阶段神经学习落入低谷，称为机器学习的冷静时期。知识强化学习20世纪70年代中期到80年代初期。人们开始把机器学习与各种实际应用 相结合，尤其是专家系统在知识获取方面的需求，也有人称这一阶段为机 器学习的复兴时期。连接学习和混合型学习20世纪80年代中期至今。把符号学习和连接学习结合起来的混合型学

2、习 系统研究已成为机器学习研究的一个新的热点。,7.1.1学习和机器学习,3.机器学习的发展过程,7.1.3学习系统,环境,学习环节,知识库,执行环节,环境是学习系统所感知到的外界信息集合，也是学习系统的外界来源。信息的 水平（一般化程度）和质量（正确性）对学习系统影响较大。学习环节对环境提供的信息进行整理、分析归纳或类比，形成知识，并将其放入知 识库。知识库存储经过加工后的信息（即知识）。其表示形式是否合适非常重要。执行环节根据知识库去执行一系列任务，并将执行结果或执行过程中获得的信息反 馈给学习环节。学习环节再利用反馈信息对知识进行评价，进一步改善执行 环节的行为。,5,6,7.1.4机器

3、学习的主要策略,按学习策略来分类即按学习中所使用的推理方法来分，可分为记忆学习、传授学习、演绎学习、归纳学习等。按应用领域分类专家系统学习、机器人学习、自然语言理解学习等。按对人类学习的模拟方式符号主义学习、连接主义学习等。,7,第7章 机器学习,机器学习的基本概念记忆学习归纳学习解释学习神经学习,8,7.2记忆学习概念,记忆学习（Rote learning）也叫死记硬背学习，是一种最基本的学习 过程，它没有足够的能力独立完成智能学习，但对学习系统来说都 是十分重要的一个组成部分，原因是任何学习系统都必须记住它们 所获取的知识，以便将来使用。记忆学习的基本过程是：执行元素每解决一个问题，系统就

4、记住 这个问题和它的解，当以后再遇到此类问题时，系统就不必重新进 行计算，而可以直接找出原来的解去使用,（x1,x2,xn）（y1,y2,yn）,（x1,x2,xn）,（y1,y2,yn）,f,9,存储,输入模式,执行函数输出模式,输入输出模式对,机械式学习的学习模型,7.2记忆学习,模型若把执行元素比作一个函数f，由环境得到的输入模式记为（x1,x2,xn），由该输入模式经F计算后得到的输出模式记为（y1,y2,ym），则机械学习系统 就是要把这一输入输出模式对：（x1,x2,xn），（y1,y2,ym）保存在知识库中，当以后再需要计算f（x1,x2,xn）时，就可以直接从存储器 把（y1,

5、y2,ym）检索出来，而不需要再重新进行计算。,10,7.3归纳学习,归纳学习是指以归纳推理为基础的学习，其任务是要从关于某个概念的 一系列已知的正例和反例中归纳出一个一般的概念描述。示例学习是归纳学习的一种特例。它给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除 所有的反例。决策树学习是一种以示例为基础的归纳学习方法，也是目前最流行的归纳学习方法 之一。在现有的各种决策树学习算法中，影响较大的是ID3算法。本节主要 讨论决策树的概念和决策树学习的ID3算法。,11,7.3.1示例学习,1.示例学习的类型按例子的来源分类 例子来源于教师的示

6、例学习 例子来源于学习者本身的示例学习学习者明确知道自己的状态，但完全不清楚所要获取的概念。例子来源于学习者以外的外部环境的示例学习 例子的产生是随机的。按例子的类型分类 仅利用正例的示例学习这种学习方法会使推出的概念的外延扩大化。利用正例和反例的示例学习这是示例学习的一种典型方式，它用正例用来产生概念，用反例用来防止 概念外延的扩大。,示例空间,规则空间,解释过程,7.3.1示例学习,12,2.示例学习的模型示例空间是我们向系统提供的示教例子的集合。研究问题：例子质量，搜索方法。解释过程是从搜索到的示例中抽象出一般性的知识的归纳过程。解释方法：常量转 换为变量，去掉条件，增加选择，曲线拟合等

7、。规则空间是事务所具有的各种规律的集合。对空间的要求，搜索方法 验证过程是要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和 修改。验证过程,13,7.3.1示例学习,3.示例学习的解释方法（1/5）是指解释过程从具体示例形成一般性知识所采用的归纳推理方法。最常用 的解释方法有以下4种：把常量转换为变量把示例中的常量换成变量而得到一个一般性的规则。去掉条件把示例中的某些无关的子条件舍去。增加选择在析取条件中增加一个新的析取项。常用的增加析取项的方法有前件析取 法和内部析取法两种曲线拟合对数值问题的归纳可采用最小二乘法进行曲线拟合,14,7.3.1示例学习,3.示例学习的解释方法（2

8、/5）例：假设例子空间中有以下两个关于扑克牌中“同花”概念的示例：示例1：花色（c1，梅花）花色（c2，梅花）花色（c3，梅花）花色（c4，梅 花）花色（c5，梅花）同花（c1,c2,c3,c4,c5）示例2：花色（c1，红桃）花色（c2，红桃）花色（c3，红桃）花色（c4，红 桃）花色（c5，红桃）同花（c1,c2,c3,c4,c5）其中，示例1表示5张梅花牌是同花，示例2表示5张红桃牌是同花。解释过程：（1）把常量化为变量例如，对这两个示例，只要把“梅花”和“红桃”用变量x代换，就可得 到如下一般性的规则：规则1：花色（c1，x）花色（c2，x）花色（c3，x）花色（c4，x）花色（c5，

9、x）同花（c1,c2,c3,c4,c5）,15,7.3.1示例学习,3.示例学习的解释方法（3/5）（2）去掉条件这种方法是要把示例中的某些无关的子条件舍去。例如，有如下示例：示例3：花色（c1,红桃）点数（c1，2）花色（c2,红桃）点数（c2，3）花色（c3,红桃）点数（c3，4）花色（c4,红桃）点数（c4，5）花色（c5,红桃）点数（c5，6）同花（c1,c2,c3,c4,c5）为了学习同花的概念，除了需要把常量变为变量外，还需要把与花色无关 的“点数”子条件舍去。这样也可得到上述规则1：花色（c1，x）花色（c2，x）花色（c3，x）花色（c4，x）花色（c5，x）同花（c1,c2,

10、c3,c4,c5）,16,7.3.1示例学习,3.示例学习的解释方法（4/5）（3）增加选择在析取条件中增加一个新的析取项。包括前件析取法和内部析取法。前件析取法：是通过对示例的前件的析取来形成知识的。例如：示例4：点数（c1,J）脸（c1）示例5：点数（c1,Q）脸（c1）示例6：点数（c1,K）脸（c1）将各示例的前件进行析取，就可得到所要求的规则：规则2：点数（c1,J）点数（c1,Q）点数（c1,K）脸（c1）内部析取法：是在示例的表示中使用集合与集合的成员关系来形成知识 的。例如，有如下关于“脸牌”的示例：示例7：点数c1J脸（c1）示例8：点数c1Q脸（c1）示例9：点数c1K脸（

11、c1）用内部析取法，可得到如下规则：规则3：点数（c1）J,Q,K脸（c1）,17,7.3.1示例学习,3.示例学习的解释方法（5/5）（4）曲线拟合对数值问题的归纳可采用曲线拟合法。假设示例空间中的每个示例（x,y,z）都 是输入x,y与输出z之间关系的三元组。例如，有下3个示例：示例10：（0,2,7）示例11：（6,-1,10）示例12：（-1,-5,-16）用最小二乘法进行曲线拟合，可得x,y,z之间关系的规则如下：规则4：z=2x+3y+1说明：在上述前三种方法中，方法（1）是把常量转换为变量；方法（2）是去掉合 取项（约束条件）；方法（3）是增加析取项。它们都是要扩大条件的适用范围

12、。从归纳速度上看，方法（1）的归纳速度快，但容易出错；方法（2）归纳速度慢，但 不容易出错。因此，在使用方法（1）时应特别小心。对示例4、示例5及示例6，若使用方法（1）,则会归纳出如下的错误规则：规则5：（错误）点数（c1,x）脸（c1）它说明，归纳过程是很容易出错的。,18,是一种由节点和边构成的用来描述分类过程的层次数据结构。该树的根接 点表示分类的开始，叶节点表示一个实例的结束，中间节点表示相应实例中 的某一属性，而边则代表某一属性可能的属性值。在决策树中，从根节点到叶节点的每一条路径都代表一个具体的实例，并 且同一路径上的所有属性之间为合取关系，不同路径（即一个属性的不同属 性值）之

13、间为析取关系。决策树的分类过程就是从这棵树的根接点开始，按照给定的事例的属性值 去测试对应的树枝，并依次下移，直至到达某个叶节点为止。图7.4是一个非常简单的用来描述对鸟类进行分类的决策树。在该图中：根节点包含各种鸟类，叶节点是所能识别的各种鸟的名称；中间节点是鸟的一些属性，边是鸟的某一属性的属性值；从根节点到叶节点的每一条路径都描述了一种鸟，它包括该种鸟的一些 属性及相应的属性值。,7.3.2决策树学习,1.决策树的概念（1/2）,鸟类,家养,可能是和平鸽,游泳,可能是鸵鸟,可能是信天翁可能是企鹅图7.4 一个简单的鸟类识别决策树,会飞,不会飞,是,不是,会,不会,19,决策树还可以表示成规

14、则的形式。上图的决策树可表示为如下规则集：IF 鸟类会飞 AND 是家养的THEN 该鸟类是和平鸽 IF 鸟类会飞 AND 不是家养的 THEN 该鸟类是信天翁 IF 鸟类不会飞 AND 会游泳THEN 该鸟类是企鹅IF 鸟类不会飞 AND 不会游泳THEN 该鸟类是鸵鸟决策树学习过程实际上是一个构造决策树的过程。当学习完成后，就可以 利用这棵决策树对未知事物进行分类。,7.3.2决策树学习,1.决策树的概念（2/2）,20,7.3.2决策树学习2.ID3算法（1/11）,D3算法是昆兰（J.R.Quinlan）于1979年提出的一种以信息 熵（entropy）的下降速度作为属性选择标准的一种学习算法。其输入是一个用来描述各种已知类别的例子集，学习结果是 一棵用于进行分类的决策树。主要讨论：ID3算法的数学基础 ID3算法机器举例,7.3.2决策树学习2.ID3算法（2/11）,（1）ID3算法的数学基础下面讨论信息熵和条件熵的数学概念 信息熵信息熵是对信息源整体不确定性的度量。假设X为信源，xi为X所发出的 单个信息，P（xi）为X发出xi的概率，则信息熵可定义为：,其中，k为信源X发出的所有可能的信息类型，对数可以是以各种数为底的 对数，在ID3算法中，我们取以2为底的对数。信息熵反应的是信源每发出一个信息所提供的平均信息