计算智能概论.docx

1、计算智能概论 计算智能概论课程论文院系名称：管理学院专业班级：电子商务 10级1班 学生姓名： 李伟超学号： 201046900307 2012年 12 月基于人工神经网络的模式识别1.1模式识别的简介模式识别就是机器识别、计算机识别或者机器自动化识别，目的在于让机器自动识别事物，使机器能做以前只能由人类才能做的事，具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。它研究的目的就是利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观事物相符合。机器辨别事物最基本的方法是计算，原则上说是对计算机要分析的事物与标准模板的相似程度进行比较计算。 对于一些比较简单的

2、模式识别问题，可以认为模式识别就是模式分类。如对于识别“0”到“9”这10个阿拉伯数字的课题研究，可以将其转化为把待识别的字符分为从“0”到“9”这十类中某一类的问题。但是，对于比较复杂的识别问题，仅用简单的模式分类就很难实现模式识别，因此还需要对待识别模式进行有关特征描述。 在模式识别技术中，被待观测的每个对象称为样品。对于一个样品来说，必须确定一些与识别有关的因素作为研究的依据，每一个因素称为一个特征。模式就是样品所具有特征的描述。模式特征集又可用处于同一个特征空间的特征向量表示。如果一个样品X有n个特征，则可以把X看作一个n维列向量，该向量X称为特征向量。 这样，模式识别问题就是根据X的

3、n个特征来判断模式X属于哪一类。待识别的不同模式都在同一特征空间中考察，不同模式类由于性质上的不同，它们在各特征取值范围内有所不同，因而会在不同的特征空间的不同区域中出现，因此，模式识别系统的目标是在特征空间和解释空间之间找到一种映射关系。特征空间由从模式得到的对分类有用的度量、属性以及基元构成的空间。解释空间是由所有不同所属类别的集合构成。正因如此，在模式识别过程中，要对许多具体对象进行观测，以获得许多观测，其中有均值、方差、协方差和协方差矩阵等。1.2 模式识别系统对于一个具体的模式识别问题，一般要进行数据采集、数据预处理、特征提取与选择以及模式分类四步骤。研究模式识别过程实际上就是实现由

4、数据空间经特征空间到类别空间的映射。在模式识别中，通常将经数据预处理后的原始数据所的空间称为测量空间，把分类进行的空间叫做特征空间在两个模块中都需要数据的预处理，而数据预处理功能是多方面的，如除去噪声信号的边缘影响；将研究有关的模式分离；对模式样品标准化等。训练模式样本的特征数据输入过程，就是将已知的模式样品进行数值化后载入计算机。这样对于输入样品进行分析，除去对分类无用或者易造成混淆的特征，尽量保留对分类判别有效的数值特征，于是完成模式识别的特征选择。接下来就是按照设定的分类判别模型对给定的训练样品进行训练，得到分类的判别规则，有了判别规则就可以进行模式识别过程，最后得到输出识别结果。1.3

5、模式识别的主要方法模板匹配方法、结构模式识别和统计模式识别是目前常用的模式识别方法。模板匹配模式识别是通过比较待识别模式和已有模式的相似程度来达到识别模式的目的，也是应用最早最简单的模式识别形式。随着科学技术的发展和研究对象的深入，模式识别问题也变得非常复杂多变，这就要求人们对于事物的识别不仅局限于简单的模式分类，还需要应对模式结构作全面完善的描述，从而需要运用结构模式识别方法。但是目前，研究最多也较为深入的模式识别方法是统计模式识别，神经网络模式识别技术也可以归为到这类方法中。在统计模式识别中，每一个模式采用多维特征或测量值来表示，最终的目的是由这些特征构成的空间能将各模式类有效的分离。统计

6、模式识别主要研究对象的因素包括特征的提取和优化、分类判别和聚类判别。如何确定合适的特征空间是设计模式识别系统一个非常重要的问题，对特征空间进行优化可以采用特征选择和特征组合优化两种基本方法。对于已知若干个样品的类别以及特征，我们需要对分类问题建立一个样品库。根据这些样品库建立判别分类函数，这就让机器学习来实现，然后对某些未知的新对象分析它们的特征以至决定它们属于哪一类，就需要有监督学习的方法。有时候，已知若干对象和它们的特征，但不知道每个对象属于哪一类，而且事先也并不知道究竟分为几类。这样就可能需要考虑用某种相似性度量的方法，即运用“物以类聚，人以群分”的思想，把特征相似或相同的归为同一类，这

7、样就采用了无监督的学习方法。1.4模式识别应用模式识别技术已广泛应用于文字识别、语音识别、图像识别、指纹识别、身份识别、医学诊断、工业产品检测等众多科学领域。模式识别技术同时也是人工智能的基础技术。随着科学技术的不断发展，模式识别不断发展和完善，模糊理论、神经网络、遗传算法和支持向量机等研究成果也渗透进来，融合形成了解决复杂问题的一种有效机制。在运用模式识别技术中，我们需要根据具体问题与模式识别方法结合起来，同时把人工神经网络、智能计算结合起来，逐步通过模式分类、网络训练、确定优化区域，找到优化准则，从而实现优化、应用和发展。经过多年的科学发展，文字识别是模式识别领域发展最为成熟并应用最为广泛

8、的方面。如手写体阿拉伯数字的识别在邮政信函自动分拣上起到重要的作用。语音识别的难度和复杂度都很高，因为要提取语音的特征，不仅要分析语音的结构和语音的物理过程，还要涉及听觉的物理和生理过程。但是，语音识别课题已在不同领域中运用，尤其在身份鉴别中起到很大作用。同样地，模式识别在医学上应用也很多，如医学图片分析、染色体的自动分类、癌细胞的分类等领域。应该可以这样说，模式识别技术在科学不断发展的推动下，已逐渐被人们所认知和认同，并能结合新的有关科学研究技术，可以有效的解决复杂多变的识别问题，提供了一种分析解决问题的重要工具。揭开人脸识别的面纱一、简介人脸识别是模式识别的重要应用，有着迫切的现实需求和广

9、阔的应用前景。由于人脸的各种可能变化与不同人脸之间的相似性，使人脸识别成为一个难题。虽然有许多研究机构致力于这一领域的研究，但是迄今为止还没有一种通用性很强的方法可以在毫无约束的情况下出色地完成人脸识别任务。 在应用领域上，目前可能的识别任务主要可以归为身份识别和身份验证两本文的任务是实现一个应用于公司考勤实时监控系统的人脸识别系统，它属于身份验证的应用范围。本文针对实际应用的要求，在人脸检测定位部分采用肤色和积分投影相结合的方法。 在现代社会中，随着社会自动化程度的提高，各个方面对快速有效的自动身份验证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此理所当然

10、地成为了身份验证的最理想依据。生物特征识别作为模式识别的一个分支，在很多领域己经取得了较大的进展。人体生物特征识别(Biometrics)技术，是指利用人体特有的生理特征(如指纹、虹膜、人脸、掌纹、视网膜、DNA等)或行为特征(如书写、声音、击键等)来达到身份识别或验证目的的技术。其中利用人脸特征进行身份验证由于具有直接、方便、友好、使用者无任何心理障碍等优点，因而有着极其广泛的应用前景。人脸识别技术应用广泛，可用于自动门卫的监控系统、计算机及网络登陆系统、公安系统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行及海关的监控系统、档案管理、人机交互系统等；人脸识别问题的一般性描述可以陈

11、述如下：根据人脸数据库中所保存的已知人脸信息，来识别存在于静止图像或者视频图像序列中的一个或者多个人脸。在应 用 领 域上，目前可能的识别任务主要可以归为两类：身份验证/证实/(Verification/Authentication/Surveillance)、(Recognition/ Identification/ match)。通俗的说来，身份识别/辨认/匹配前者是判别他或她是不是某个人，而后者则是判断他或她是谁。具体地说，前者的应用情形一般俞IA7者提供一个ID，同时自动验证系统获取图像，并与图像集中与此ID对应的图像相比较，从而判断此访问者是否与所提供的ID对应的个体为同一个人。典型

12、实例就是自动门禁控制系统、银行ATM取款机、身份证件的鉴别等领域。而后者的应用情形是给出一个未知个体的图像，和己知图像集中的图像相比较，找到最相最相似的，从而得知个体的身份系统给出的结果不必仅仅一个，而可以根据相似度提出一个最为匹配的图像子集。在应用上的典型实例就是公安刑侦追逃。二、人脸识别系统的研究范围 从广义上讲，人脸自动识别的研究范围大致包括以下5个方面的内容： (1)人脸检测(FaceDetection)：即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。人脸检测的主要目的就是在输入的图像中寻找人脸区域，把图像分成两个部分：人

13、脸区域和非人脸区域，从而为后续的应用做准备。 (2)人脸表征(FaceRepresentation)：即采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示法包括几何特征(如欧氏距离、曲率角度)、代数特征(如矩阵特征向量)、固定特征模板、特征脸、云纹图等。人脸识别的困难首先表现在人脸模式的表达上，寻找一种稳健和精确的人脸表达方法将会极大地推动人脸识别研究。 (3) 人脸鉴别 (FaceIdentification)(通常所说的，人脸识别”)：即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关

14、。通常是选择全局的方法或者是选择基于特征的方法进行匹配。 (4 )表情/姿态分析(Expression/GestureAnalysis)：即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。到目前为止，由于该问题的复杂性对其研究还处于初步阶段。 (5) 生理分类(PhysicalClassification)：即对待识别人脸的生理特征进行分析，得出其年龄、性别、种族、职业等相关信息。显然，这需要大量的知识并且通常都是非常困难的。 2.12.12.12.1 人脸识别系统的组成人脸识别系统的组成人脸识别系统的组成人脸识别系统的组成 由图可见一个人脸识别系统主要由以下几个功能模块组成： (1)

15、图像获取：图像获取模块完成获取图像，图像有可能来自于摄像机或是扫描仪等设备。 (2)人脸检测定位：处理分析输入的图像，判断其中是否有人脸，如果有人脸则找到人脸存在的位置，并将人脸从背景中分割出来。输入的图像可能是静态的也可能是动态的，可能是彩色的也可能是灰度的，可能是简单背景也可能是复杂背景，可能有一个或者多个人脸，要根据不同情况作相应的处理。这一部分工作在整个系统中是非常重要的，它直接影响后续的特征提取和识别等工作的成功与否。 在大多数应用场合中，人无法控制场景，也没有任何有关人脸位置、尺度、方向(上下左右的角度)、是否遮挡和人脸的姿态的先验知识，于是人脸检测和定位成为一个非常困难的问题。不

16、过在很多特定情况下这部分的工作会变得比较简单，在具体摄像条件可控制时这一步还可以省略。比如普察拍罪犯的照片时要他们将脸的某一部分靠近标尺，这时候人脸的定位很容易，普通证件照片上头部占了照片中央的大部分地方，定位也比较容易。 (3) 图像预处理：预处理的主要作用在于尽可能的去除或者减小光照、成像系统、外部环境等等对于待处理图像的干扰，为后续处理提供高质量的图像。这部分完成对抽取的人脸图像的几何归一化、消除噪声、和灰度归一化等处理(可以视具体应用而选用)，使不同图像中人脸大小和亮度统一以便在同一条件下完成训练和识别。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小，灰度归一化是指

17、对图像进行光照补偿等处理，光照补偿能够在一定程度上克服光照变化的影响而提高识别率。 (4) 特征提取和选择：在前面预处理后的人脸图像中按照某种策略抽取出用来识别的特征，将原始的脸空间中的数据映像到特征空间。由于原始的图像数据量是相当大的，为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。如何提取稳定和有效的特征是识别系统成败的关键。具体 的 特 征形式随识别方法的不同而不同，比如在基于几何特征的识别方法中，这一步主要是提取特征点，然后构造特征向量;在统计识别方法中，特征脸方法是利用图像相关矩阵的特征向量构造特征脸;模板匹配方法用相关系数作为特征;而大部分神经网络方法则

18、直接用归一化后的灰度图像作为输入，网络的输出就是识别结果，没有专门的特征提取过程。 (5 )训练：也可称为分类器设计。此过程结束后将生成可用于识别的参数，也就是可用于分类识别的分类器。事实上，模式识别问题可以看成是一个分类问题，即把待识别的对象归到某一类中。在人像识别问题中就是把输入的不同的人像归入某个人这一类。这部分的基本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。 (6)识别：根据训练所得的参数完成人脸的判别工作，给出最后的识别结果，并做出相应的判断。概括的说来，人脸识别系统一般可以划分为两个过程，如图1。1 所示：

19、虚线上半部分是训练过程，也叫做分类器的设计过程，虚线下半部分是识别过程，也叫做分类决策过程。 三、人脸识别系统的实现此人脸识别系统的实现分为软件部分和硬件部分。硬件主要由摄像头，视频采集卡和计算机三部分组成。首先，摄像头从外界采集图像，将图像转换成模拟电信号，再经过视频采集卡将模拟视频信号转换成数字视频信号，显示在计算机显示器或者存储为文件。遗传算法对生产调度问题的求解1. 引言遗传算法是从代表问题可能潜在的解集的一个种群（population）开始的，而一个种群则由经过基因（gene）编码的一定数目的个体(individual)组成1。每个个体实际上是染色体(chromosome)带有特征的

20、实体。染色体作为遗传物质的主要载体，即多个基因的集合，其内部表现（即基因型）是某种基因组合，它决定了个体的形状的外部表现，如黑头发的特征是由染色体中控制这一特征的某种基因组合决定的。因此，在一开始需要实现从表现型到基因型的映射即编码工作。由于仿照基因编码的工作很复杂，我们往往进行简化，如二进制编码，初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代（generation）演化产生出越来越好的近似解，在每一代，根据问题域中个体的适应度（fitness）大小选择（selection）个体，并借助于自然遗传学的遗传算子（genetic operators）进行组合交叉（crossover）和变异（

21、mutation），产生出代表新的解集的种群。这个过程将导致种群像自然进化一样的后生代种群比前代更加适应于环境，末代种群中的最优个体经过解码（decoding），可以作为问题近似最优解。2. 背景知识介绍2.1 遗传算法的现状进入 90 年代，遗传算法迎来了兴盛发展时期，无论是理论研究还是应用研究都成了十分热门的课题。尤其是遗传算法的应用研究显得格外活跃，不但它的应用领域扩大，而且利用遗传算法进行优化和规则学习的能力也显著提高，同时产业应用方面的研究也在摸索之中。此外一些新的理论和方法在应用研究中亦得到了迅速的发展，这些无疑均给遗传算法增添了新的活力。遗传算法的应用研究已从初期的组合优化求解扩

22、展到了许多更新、更工程化的应用方面。随着应用领域的扩展，遗传算法的研究出现了几个引人注目的新动向：一是基于遗传算法的机器学习，这一新的研究课题把遗传算法从历来离散的搜索空间的优化搜索算法扩展到具有独特的规则生成功能的崭新的机器学习算法。这一新的学习机制对于解决人工智能中知识获取和知识优化精炼的瓶颈难题带来了希望。二是遗传算法正日益和神经网络、模糊推理以及混沌理论等其它智能计算方法相互渗透和结合，这对开拓21 世纪中新的智能计算技术将具有重要的意义。三是并行处理的遗传算法的研究十分活跃。这一研究不仅对遗传算法本身的发展，而且对于新一代智能计算机体系结构的研究都是十分重要的。四是遗传算法和另一个称

23、为人工生命的崭新研究领域正不断渗透。所谓人工生命即是用计算机模拟自然界丰富多彩的生命现象，其中生物的自适应3、进化和免疫等现象是人工生命的重要研究对象，而遗传算法在这方面将会发挥一定的作用，五是遗传算法和进化规划（Evolution Programming,EP）以及进化策略（Evolution Strategy,ES）等进化计算理论日益结合。EP 和ES 几乎是和遗传算法同时独立发展起来的，同遗传算法一样，它们也是模拟自然界生物进化机制的只能计算方法，即同遗传算法具有相同之处，也有各自的特点。目前，这三者之间的比较研究和彼此结合的探讨正形成热点。1991 年D.Whitey在他的论文中提出了

24、基于领域交叉的交叉算子（Adjacency basedcrossover），这个算子是特别针对用序号表示基因的个体的交叉，并将其应用到了TSP问题中，通过实验对其进行了验证。D.H.Ackley等提出了随即迭代遗传爬山法（ Stochastic Iterated GeneticHill-climbing，SIGH）采用了一种复杂的概率选举机制，此机制中由m 个“投票者”来共同决定新个体的值（m 表示群体的大小）。实验结果表明，SIGH 与单点交叉、均匀交叉的神经遗传算法相比，所测试的六个函数中有四个表现出更好的性能，而且总体来讲，SIGH 比现存的许多算法在求解速度方面更有竞争力。H.Bers

25、ini和G.Seront将遗传算法与单一方法（simplex method）结合起来，形成了一种叫单一操作的多亲交叉算子（simplex crossover），该算子在根据两个母体以及一个额外的个体产生新个体，事实上他的交叉结果与对三个个体用选举交叉产生的结果一致。同时，文献还将三者交叉算子与点交叉、均匀交叉做了比较，结果表明，三者交叉算子比其余两个有更好的性能。国内也有不少的专家和学者对遗传算法的交叉算子进行改进。2002 年，戴晓明等应用多种群遗传并行进化的思想，对不同种群基于不同的遗传策略，如变异概率，不同的变异算子等来搜索变量空间，并利用种群间迁移算子来进行遗传信息交流，以解决经典遗传

26、算法的收敛到局部最优值问题2004 年，赵宏立等针对简单遗传算法在较大规模组合优化问题上搜索效率不高的现象，提出了一种用基因块编码的并行遗传算法（Building-block Coded Parallel GA，BCPGA）。该方法以粗粒度并行遗传算法为基本框架，在染色体群体中识别出可能的基因块，然后用基因块作为新的基因单位对染色体重新编码，产生长度较短的染色体，在用重新编码的染色体群体作为下一轮以相同方式演化的初始群体。2005年，江雷等针对并行遗传算法求解TSP问题,探讨了使用弹性策略来维持群体的多样性,使得算法跨过局部收敛的障碍,向全局最优解方向进化。2.3 遗传算法的特点遗传算法是一类

27、可用于复杂系统优化计算的鲁棒搜索算法，与其他一些优化算法相比，它主要有下述几个特点：（1）遗传算法以决策变量的编码作为运算对象。传统的优化算法往往直接利用决策变量的实际值本身来进行优化计算，但遗传算法不是直接以决策变量的值，而是以决策变量的某种形式的编码为运算对象。这种对决策变量的编码处理方式，使得我们在优化计算过程中可以借鉴生物学中染色体和基因等概念，可以模仿自然界中生物的遗传和进化等机理，也使得我们可以方便地应用遗传操作算子。（2）遗传算法直接以目标函数值作为搜索信息。传统的优化算法不仅需要利用目标函数值，而且往往需要目标函数的导数值等其他一些辅助信息才能确定搜索方向。而遗传算法仅使用由目

28、标函数值变换来的适应度函数值，就可确定进一步的搜索方向和搜索范围，无需目标函数的导数值等其他一些辅助信息。（3）遗传算法同时使用多个搜索点的搜索信息。传统的优化算法从解空间的一个初始点开始最优解的迭代搜索过程。遗传算法从由很多个体所组成的一个初始群体开始最优解的搜索过程，而不是从一个单一的个体开始搜索。对这个群体所进行的选择、交叉、变异等运算，产生出的乃是新一代的群体，在这之中包括了很多群体信息。（4）遗传算法使用概率搜索技术。很多传统的优化算法往往使用的是确定性的搜索方法，一个搜索点到另一个搜索点的转移有确定的转移方法和转移关系，这种确定性往往也有可能使得搜索永远达不到最优点，因而也限制了算

29、法的应用范围。而遗传算法数以一种自适应概率搜索技术，其选择、交叉、变异等运算都是以一种概率的方式来进行的，从而增加了其搜索的灵活性。如何选择遗传算法的参数在其应用中是一个比较重要的问题，而另一方面，与其他一些算法相比，遗传算法的鲁棒性又会使得参数对其搜索效果的影响会尽可能地低。2.4 遗传算法的步骤遗传算法的实施过程中包括编码、产生群体、计算适应度、复制、交换、突变等步骤。概括地讲，遗传算法主要执行以下几步。步骤1：对研究的变量或对象进行编码（形成字符串），并随机地建立一个初始群体。步骤2：计算群体中诸个体的适应度。步骤3：执行产生新群体的操作，包括a. 复制将适应度高的个体进行复制后添入到新

30、群体中，删除适应度低的个体；b. 交换随机选出个体对，进行片段交叉换位，产生新个体对；c. 突变随机地改变某个体的某个字符，而得到新个体。步骤4：根据某种条件判断计算过程是否可以结束，如果不满足结束条件，则返回到步骤2，直到满足结束条件为止。3. 用遗传算法解生产调度问题Job-Shop 调度问题就是在不破坏加工顺序的前提下，怎样在机器上安排工件以达到目标函数式(3-6)的要求，即各工件在机器上的最佳排列组合，而这种排列组合关系有其内在的序关系，如果假定工件号按由小到大的自然顺序排列，则各台机器上任意两个不同工件之间只有两种序关系（顺序或逆序），这种序关系用二进制表示，顺序为1，逆序为0。例如

31、对第k台机器上的工件Ji和Jj工件（设ij），若Ji在Jj前，则序值为1；若Jj在Ji前，则序值为0。以第k 台机器上n 个工件的序关系所对应的序值为基因码，可以得到一个长度为n(n-1)/2染色体子串，故m 台机器的染色体串总长为mn(n-1)/2。（二进制染色体的产生算法） For i=1 to m /*对m 台机器分别编码*/For j=1 to n-1 /*对工件号逐个判断先后次序*/For k=j+1 to nif JjJk then aip=1 ;else aip=0 ;endif ; /*如果Jj出现在Jk之前，第i 台机器上对应的基因码置为1，否则置为0*/初始群体产生时，将N

32、 矩阵各行列的元素值初始化为(0,0)mn，我们假定某工件i 的第j 道工序已加工完毕，则M 矩阵的第i 行第j 列对应元素设为(0,0)。从M 矩阵某行随机产生左边第一个不为(0,0)的元素(i,k)，得到一个将加工的工件Ji及所在机器k，加工完成后将该元素的变为(0,0)，同时将N 矩阵中的第k 行第一个为0 的元素变为(i,k)，直到所有工件都加工完毕为止。便得到一个个体。（初始群体产生算法）1)种群已满吗？若是则结束，否则转2)2)初始化N (i,j) =(0,0)mn3)随机产生一个工件号i，在M 矩阵第i 行找出第1 个不为(0,0)的元素(i,k)及所在的列j14)找出N(k,j)的第k 行的第一个为（0，0）的列号j2，并将N(j，j2) (2,k)5)将M 矩阵中相应的(i,j1)变为（0，0）6)循环执行了mn 次吗?若是则转7)，否则转3)7)对N 矩阵中各行进行编码，并计算目标函数值v选择算子：采用轮盘赌选择法，目标函数值小的个体复制概率大的原则进行选择，逐步淘汰目标函数值大的的个体。杂交算子：采用单点杂交算子，以概率任意选择两个个体，随机产生一杂交点w（w1，mn(n-1)/2