人工智能课件第五章.docx

1、人工智能课件第五章第5章计算智能计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要借鉴仿生学的思想，基于人们对生物体智能机理的认识，采用数值计算的方法去模拟和实现人类的智能。计算智能的主要研究领域包括：神经计算、进化计算、模糊计算、免疫计算、DNA计算和人工生命等。本章主要讨论神经计算、进化计算和模糊计算问题。5.1 概述5.2 神经计算5.3 进化计算5.4 模糊计算5.1 概述5.1.1 5.1.2 5.1.32什么是计算智能计算智能的产生与发展计算智能与人工智能的关系5.1.1 什么是计算智能计算智能（Computational Intelligence，CI）目前还

2、没有一个统一的的定义，使用较多的是美国科学家贝慈德克（J.C.Bezdek）从计算智能系统角度所给出的定义:如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这4个特性，则它是计算智能的。从学科范畴看，计算智能是在神经网络（NeuralNetworks,NN）、进化计算（Evolutionary Computation,EC）及模糊系统（Fuzzy System,FS）这3个领域发展相对成熟的基础上形成的一个统一的学科概念。3神经网络是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行

3、互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。进化计算是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。模糊计算是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。从贝慈德克对计算智能的定义和上述计算智能学科范畴的分析，可以看出以下2点：第一，计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。第二，计算智能是一种以模型（计算模型、数学模型）为基础，以分布、并行计算为特征的自然智能模拟方法。45.1.2 计算智能的产生与发展1992年，贝

4、慈德克在Approximate Reasoning学报上首次提出了“计算智能”的概念。1994年6月底到7月初，IEEE在美国佛罗里达州的奥兰多市召开了首届国际计算智能大会(简称WCCI94)。会议第一次将神经网络、进化计算和模糊系统这三个领域合并在一起，形成了“计算智能”这个统一的学科范畴。在此之后，WCCI大会就成了IEEE的一个系列性学术会议，每4年举办一次。1998年5月，在美国阿拉斯加州的安克雷奇市又召开了第2届计算智能国际会议WCCI98。2002年5月，IEEE在美国州夏威夷州首府火奴鲁鲁市又召开了第3届计算智能国际会议WCCI02。此外，IEEE还出版了一些与计算智能有关的刊物

5、。目前，计算智能的发展得到了国内外众多的学术组织和研究机构的高度重视，并已成为智能科学技术一个重要的研究领域。55.1.3 计算智能与人工智能的关系目前，对计算智能与人工智能的关系有2种不同观点，一种点认为计算智能是人工智能的一个子集，另一种观点认为计算智能和人工智能是不同的范畴。第一种观点的代表人物是贝慈德克。他把智能（Intelligence，I）和神经网络（Neural Network，NN）都分为计算的（Computational，C）、人工的（Artificial，A）和生物的（Biological,B）3个层次，并以模式识别（PR）为例，给出了下图所示的智能的层次结构。在该图中，底

6、层是计算智能（CI），它通过数值计算来实现，其基础是CNN；中间层是人工智能（AI），它通过人造的符号系统实现，其基础是ANN；顶层是生物智能（BI），它通过生物神经系统来实现，其基础是BNN。按照贝慈德克的观点，CNN是指按生物激励模型构造的NN，ANN是指CNN+知识，BNN是指人脑，即ANN包含了CNN，BNN又包含了ANN。对智能也一样，贝慈德克认为AI包含了CI，BI又包含了AI，6即计算智能是人工智能的一个子集。第二种观点是大多数学者所持有的观点，其代表人物是艾伯哈特（R.C.Eberhart）。他们认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物

7、智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。事实上，CI和传统的AI只是智能的两个不同层次，各自都有自身的优势和局限性，相互之间只应该互补，而不能取代。大量实践证明，只有把AI和CI很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。5.2 神经计算神经计算或叫神经网络，是计算智能的重要基础和核心，也是计算智能乃至智能科学技术的一个重要研究领域。本节的主要内容包括：5.1.1 神经计算基础5.1.2 人工神经网络的互连结构5.1.3 人工神经网络的典型模型至于基于神经网络的连接学习机制放到第7章学习部分讨论。5.2.1 神经计算基础1. 生物神经系统简

8、介生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。为方便对神经网络的进一步讨论，下面先介绍：(1) 生物神经元的结构(2) 生物神经元的功能(3) 人脑神经系统的联结机制轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处树突是指由细胞体向外延伸的除轴突以外的其它

9、所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。5.2.1 神经计算基础2. 人工神经网络简介人工神经网络是由大量的人工神经元经广泛互联所形成的一种人工网络系统，用以模拟人类神经系统的结构和功能。(1) 人工神经元的结构(2) 常用的人工神经元模型5.2.2 人工神经网络的互联结构1. 前馈网络(2/3)若假设各神经元的阈值分别是j，j=1,2,m，则各神经元的输出yj, j=1,2,.,m分别为：yj=f(wijxij)i=1nj=1,2,.,m其中，由所有连接权值wij构成的连接权值矩阵W为：w11w21W=Mwn1w12Lw1mw22L

10、w2mMMwn2Lwnm18在实际应用中，该矩阵是通过大量的训练示例学习而形成的。5.2.2 人工神经网络的互联结构2. 反馈网络反馈网络是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式是指一个神经元的输出可以被反馈至同层或前层的神经元。反馈网络和前向网络不同：前向网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此不具有“短期记忆”的性质。反馈网络则不同，它的每个神经元的输入都有可能包含有该神经元先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先前的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。反馈网络的典型例子是后面将要介绍的Ho

11、pfield网络5.2.3 人工神经网络的典型模型人工神经网络的模型是指对网络结构、联结权值和学习能力的总括。常用的网络模型已有数十种。例如：传统的感知机模型，具有误差反向传播功能的反向传播网络模型，采用多变量插值的径向基函数网络模型，建立在统计学习理论基础上的支撑向量机网络模型，采用反馈联接方式的反馈网络模型，基于模拟退火算法的随机网络模型。本小节主要讨论反向传播（BP）模型反馈网络（Hopfield）模型5.2.2 人工神经网络的典型模型2. Hopfield网络模型(1/2)Hopfield网络是由美国加州工学院物理学家霍普菲尔特1982年提出来的一种单层全互连的对称反馈网络模型。它可分

12、为离散Hopfield网络和连续Hopfield网络，限于篇幅，本书重点讨论离散Hopfield网络。离散Hopfield网络的结构离散Hopfield网络是在非线性动力学的基础上由若干基本神经元构成的一种单层全互连网络，其任意神经元之间均有连接，并且是一种对称连接结构。一个典型的离散Hopfidld网络结构如图5-17所示。离散Hopfield网络模型是一个离散时间系统，每个神经元只有0和1（或-1和1）两种状态，任意神经元i和j之间的连接权值为wij。由于神经元之间为对称连接，且神经元自身无连接，因此有wjiwij=0若ij若i=j(56)由该连接权值所构成的连接矩阵是一个零对角的对称矩阵

13、。5.3 进化计算进化计算（Evolutionary Computation,EC）是在达尔文（Darwin）的进化论和孟德尔（Mendel）的遗传变异理论的基础上产生的一种在基因和种群层次上模拟自然界生物进化过程与机制的问题求解技术。它主要包括遗传算法（Genetic Algorithm，GA）进化策略（Evolutionary Strategy,ES）进化规划（Evolutionary Programming,EP）遗传规划（Genetic Programming,GP）四大分支。其中，第一个分支是进化计算中最初形成的一种具有普遍影响的模拟进化优化算法。因此我们主要讨论遗传算法。5.3.1

14、 进化计算概述1. 进化计算及其生物学基础(1/3)(1) 什么是进化计算进化计算是一种模拟自然界生物进化过程与机制进行问题求解的自组织、自适应的随机搜索技术。它以达尔文进化论的“物竟天择、适者生存”作为算法的进化规则，并结合孟德尔的遗传变异理论，将生物进化过程中的繁殖（Reproduction）变异（Mutation）竞争（Competition）选择（Selection）引入到了算法中。5.3.1 进化计算概述1. 进化计算及其生物学基础(2/3)(2) 进化计算的生物学基础自然界生物进化过程是进化计算的生物学基础，它主要包括遗传(Heredity)、变异(Mutation)和进化(Evo

15、lution)理论。遗传理论遗传是指父代（或亲代）利用遗传基因将自身的基因信息传递给下一代（或子代），使子代能够继承其父代的特征或性状的这种生命现象。正是由于遗传的作用，自然界才能有稳定的物种。在自然界，构成生物基本结构与功能的单位是细胞（Cell）。细胞中含有一种包含着所有遗传信息的复杂而又微小的丝状化合物，人们称其为染色体（Chromosome）。在染色体中，遗传信息由基因（Gene）所组成，基因决定着生物的性状，是遗传的基本单位。染色体的形状是一种双螺旋结构，构成染色体的主要物质叫做脱氧核糖核酸(DNA)，每个基因都在DNA长链中占有一定的位置。一个细胞中的所有染色体所携带的遗传信息的全

16、体称为一个基因组(Genome)。细胞在分裂过程中，其遗传物质DNA通过复制转移到新生细胞中，从而28实现了生物的遗传功能。5.3.1 进化计算概述1. 进化计算及其生物学基础(3/3)变异理论变异是指子代和父代之间，以及子代的各个不同个体之间产生差异的现象。变异是生物进化过程中发生的一种随机现象，是一种不可逆过程，在生物多样性方面具有不可替代的作用。引起变异的主要原因有以下两种：杂交，是指有性生殖生物在繁殖下一代时两个同源染色体之间的交配重组，即两个染色体在某一相同处的DNA被切断后再进行交配重组，形成两个新的染色体。复制差错，是指在细胞复制过程中因DNA上某些基因结构的随机改变而产生出新的

17、染色体。进化论进化是指在生物延续生存过程中，逐渐适应其生存环境，使得其品质不断得到改良的这种生命现象。遗传和变异是生物进化的两种基本现象，优胜劣汰、适者生存是生物进化的基本规律。5.3.1 进化计算概述2. 进化计算的基本结构进化计算尽管有多个重要分支，并且不同分支的编码方案、选择策略和进化操作也有可能不同，但它们却有着共同的进化框架。若假设P为种群(Population，或称为群体)，t为进化代数，P(t)为第t代种群, 则进化计算的基本结构可粗略描述如下： 确定编码形式并生成搜索空间；初始化各个进化参数，并设置进化代数t=0；初始化种群P(0);对初始种群进行评价（即适应度计算）；whil

18、e（不满足终止条件）dot=t+1;利用选择操作从P(t-1)代中选出P(t)代群体；对P(t)代种群执行进化操作；对执行完进化操作后的种群进行评价（即适应度计算）；可以看出，上述基本结构包含了生物进化中所必需的选择操作、进化操作30和适应度评价等过程。5.3.2 遗传算法1. 遗传算法的基本概念遗传算法的基本思想是从初始种群出发，采用优胜劣汰、适者生存的自然法则选择个体，并通过杂交、变异来产生新一代种群，如此逐代进化，直到满足目标为止。遗传算法所涉及到的基本概念主要有以下几个：种群（Population）：种群是指用遗传算法求解问题时，初始给定的多个解的集合。遗传算法的求解过程是从这个子集开

19、始的。个体（Individual）：个体是指种群中的单个元素，它通常由一个用于描述其基本遗传结构的数据结构来表示。例如，可以用0、1组成的长度为l的串来表示个体。染色体（Chromos）：染色体是指对个体进行编码后所得到的编码串。染色体中的每1位称为基因，染色体上由若干个基因构成的一个有效信息段称为基因组。适应度（Fitness）函数：适应度函数是一种用来对种群中各个个体的环境适应性进行度量的函数。其函数值是遗传算法实现优胜劣汰的主要依据遗传操作（Genetic Operator）：遗传操作是指作用于种群而产生新的种群的操作。标准的遗传操作包括以下3种基本形式：选择（Selection）交叉（

20、Crosssover）31变异（Mutation）5.3.2 遗传算法2. 遗传算法的基本结构(1/2)遗传算法主要由染色体编码、初始种群设定、适应度函数设定、遗传操作设计等几大部分所组成，其算法主要内容和基本步骤可描述如下：(1) 选择编码策略，将问题搜索空间中每个可能的点用相应的编码策略表示出来，即形成染色体；(2) 定义遗传策略，包括种群规模N，交叉、变异方法，以及选择概率Pr、交叉概率Pc、变异概率Pm等遗传参数；(3) 令t=0，随机选择N个染色体初始化种群P(0)；(4) 定义适应度函数f（f0）；(5) 计算P(t)中每个染色体的适应值；(6) t=t+1；(7) 运用选择算子，

21、从P(t-1)中得到P(t)；(8) 对P(t)中的每个染色体，按概率Pc参与交叉；(9) 对染色体中的基因，以概率Pm参与变异运算；(10) 判断群体性能是否满足预先设定的终止标准，若不满足则返回(5)。325.3.2 遗传算法3. 遗传编码(1/2)常用的遗传编码算法有霍兰德二进制码、实数编码和字符编码等。(1)二进制编码（Binary encoding）二进制编码是将原问题的结构变换为染色体的位串结构。在二进制编码中，首先要确定二进制字符串的长度l，该长度与变量的定义域和所求问题的计算精度有关。例5.5假设变量x的定义域为5，10，要求的计算精度为10-5，则需要将5，10至少分为600

22、000个等长小区间，每个小区间用一个二进制串表示。于是，串长至少等于20，原因是：524288=219600000220=1048576这样，对应于区间5，10内满足精度要求的每个值x，都可用一个20位编码的二进制串来表示。二进制编码存在的主要缺点是汉明（Hamming）悬崖。例如，7和8的二进制数分别为0111和1000，当算法从7改进到8时，就必须改变所有的位。5.3.2 遗传算法3. 遗传编码(2/2)(2) 实数编码（Real encoding）实数编码是将每个个体的染色体都用某一范围的一个实数（浮点数）来表示，其编码长度等于该问题变量的个数。这种编码方法是将问题的解空间映射到实数空间

23、上，然后在实数空间上进行遗传操作。由于实数编码使用的是变量的真实值，因此这种编码方法也叫做真值编码方法。实数编码适应于那种多维、高精度要求的连续函数优化问题。5.3.2 遗传算法4. 适应度函数(1/4)适应度函数是一个用于对个体的适应性进行度量的函数。通常，一个个体的适应度值越大，它被遗传到下一代种群中的概率也就越大。(1) 常用的适应度函数在遗传算法中，有许多计算适应度的方法，其中最常用的适应度函数有以下两种：原始适应度函数它是直接将待求解问题的目标函数f(x)定义为遗传算法的适应度函数。例如，在求解极值问题xa,bmaxf(x)时，f(x)即为x的原始适应度函数。采用原始适应度函数的优点

24、是能够直接反映出待求解问题的最初求解目标，其缺点是有可能出现适应度值为负的情况。5.3.2 遗传算法4. 适应度函数(2/4)标准适应度函数在遗传算法中，一般要求适应度函数非负，并其适应度值越大越好。这就往往需要对原始适应函数进行某种变换，将其转换为标准的度量方式，以满足进化操作的要求，这样所得到的适应度函数被称为标准适应度函数fNormal(x)。极小化问题对极小化问题，其标准适应度函数可定义为fmax(x)f(x)f(x)=0当f(x)fmin(x)f(x)=0否则其中，fmin(x)是原始适应函数f(x)的一个下界。如果fmin(x)未知，则可用当前代或到目前为止各演化代中的f(x)的最

25、小值来代替。(510)5.3.2 遗传算法4. 适应度函数(4/4)(2) 适应度函数的加速变换在某些情况下，适应度函数在极值附近的变化可能会非常小，以至于不同个体的适应值非常接近，使得难以区分出哪个染色体更占优势。对此，最好能定义新的适应度函数，使该适应度函数既与问题的目标函数具有相同的变化趋势，又有更快的变化速度。适应度函数的加速变换有两种基本方法线性加速适应度函数的定义如下：f(x)=f(x)+其中，f(x)是加速转换前的适应度函数；f(x)是加速转换后的适应度函数；和是转换系数。非线性加速幂函数变换方法f(x)=f(x)k指数变换方法39f(x)=exp(-f(x)5.3.2 遗传算法

26、5. 基本遗传操作(1/11)遗传算法中的基本遗传操作包括选择、交叉和变异3种，而每种操作又包括多种不同的方法，下面分别对它们进行介绍。(1). 选择操作选择（Selection）操作是指根据选择概率按某种策略从当前种群中挑选出一定数目的个体，使它们能够有更多的机会被遗传到下一代中。常用的选择策略可分为比例选择、排序选择和竞技选择三种类型。比例选择比例选择方法（Proportional Model）的基本思想是：各个个体被选中的概率与其适应度大小成正比。常用的比例选择策略包括轮盘赌选择繁殖池选择5.3.2 遗传算法5. 基本遗传操作(4/11)(2)交叉操作交叉（Crossover）操作是指按

27、照某种方式对选择的父代个体的染色体的部分基因进行交配重组，从而形成新的个体。交配重组是自然界中生物遗传进化的一个主要环节，也是遗传算法中产生新的个体的最主要方法。根据个体编码方法的不同，遗传算法中的交叉操作可分为二进制交叉和实值交叉两种类型。二进制交叉二进制交叉（Binary Valued Crossover）是指二进制编码情况下所采用的交叉操作，它主要包括单点交叉、两点交叉、多点交叉和均匀交叉等方法。5.3.2 遗传算法5. 基本遗传操作(5/11)单点交叉单点交叉也称简单交叉，它是先在两个父代个体的编码串中随机设定一个交叉点，然后对这两个父代个体交叉点前面或后面部分的基因进行交换，并生成子

28、代中的两个新的个体。假设两个父代的个体串分别是：X=x1x2xkxk+1xnY=y1y2ykyk+1yn随机选择第k位为交叉点，若采用对交叉点后面的基因进行交换的方法，但点交叉是将X中的xk+1到xn部分与Y中的yk+1到yn部分进行交叉，交叉后生成的两个新的个体是：X= x1x2xkyk+1ynY= y1y2ykxk+1xn例5.7设有两个父代的个体串A=0 0 1 1 0 1和B=1 1 0 0 1 0，若随机交叉点为4，则交叉后生成的两个新的个体是：A= 0 0 1 1 1 044B= 1 1 0 0 0 15.3.2 遗传算法5. 基本遗传操作(6/11)两点交叉两点交叉是指先在两个父

29、代个体的编码串中随机设定两个交叉点，然后再按这两个交叉点进行部分基因交换，生成子代中的两个新的个体。假设两个父代的个体串分别是：X=x1x2xixjxnY=y1y2yiyj,yn随机设定第i、j位为两个交叉点（其中ijn），两点交叉是将X中的xi+1到xj部分与Y中的yi+1到yj部分进行交换，交叉后生成的两个新的个体是：X= x1x2xiyi+1yjxj+1xnY= y1y2yixi+1xjyj+1yn例5.8设有两个父代的个体串A= 0 0 1 1 01 和B= 1 1 0 0 10 ，若随机交叉点为3和5，则交叉后的两个新的个体是：A= 0 0 1 0 11B= 1 1 0 1 00 4

30、55.3.2 遗传算法5. 基本遗传操作(7/11)多点交叉多点交是指先随机生成多个交叉点，然后再按这些交叉点分段地进行部分基因交换，生成子代中的两个新的个体。假设交叉点个数为m，则可将个体串划分为m+1个分段，其划分方法是：当m为偶数时，对全部交叉点依次进行两两配对，构成m/2个交叉段。当m为奇数时，对前(m-1)个交叉点依次进行两两配对，构成(m-1)/2个交叉段，而第m个交叉点则按单点交叉方法构成一个交叉段。下面以m=3为例进行讨论。假设两个父代的个体串分别是X=x1x2xixjxkxn和Y=y1y2yiyjykyn，随机设定第i、j、k位为三个交叉点（其中ijkn），则将构成两个交叉段。交叉后生成的两个新的个体是：X= x1x2xi yi+1 yjxj+1xkyk+1ynY= y1y2yixi+1xjyj+1ykxk+1xn例5.9设有两个父代的个体串A= 0 0 1 1 0 1 和B= 1 1 0 0 1 0 ，若随