桂林理工大学本科毕业设计论文管理资料.docx

1、桂林理工大学本科毕业设计论文管理资料学 号：3080419285 题目类型： 论文 (设计、论文、报告)桂林理工大学GUILIN UNIVERSITY OF TECHNOLOGY本科毕业设计(论文)题目： 人工神经网络在认知科学的研究 中的应用状况的报告 学 院： 机械与控制工程学院 专业(方向)： 自动化（控制） 班 级： 学 生： 指导教师： 2015年6月1日摘 要人工神经网络是一种基于生物神经网络结构和机制的算法或模型。认知科学是一种研究人类大脑处理认知信号并做出反应过程的科学。利用对人类认知现象的了解来设计的人工神经网络具有很好的处理信息的能力，这对现实应用很有帮助。现在，人工神经网

2、络模拟认知科学已经成为了人工智能的重要分支。首先简单说明了人类大脑神经元特点，生物神经元的简单组成和复杂联系构成了生物神经网络模型。其次简述了人工智能和认知科学的历史，从古希腊哲学认知研究到现代的人工神经网络模拟认知。接着总结了典型的人工神经网络结构，共有十五组经典神经网络模型。然后重点论述了十个近年来关于人工神经网络模拟认知的模型，主要从模型模拟认知的优势、模型结构、模型信息处理过程和模型应用等方面阐述。接着讲述作者总结的人工神经网络模拟认知现象的发展规律，即模型机制的完全生物性与部分生物性问题。再接着介绍了五个关于人工智能神经网络国际会议，特别列出了会议的投稿主题。最后，对人工神经网络模拟

3、认知的发展趋势做预测，多学科综合和复杂性成为未来神经网络研究的方向。关键词：人工神经网络；认知；国际会议The report that the situation of artificial neural network on the study of cognition science in recent yearsStudent:LIANG Cheng-he teacher:XU Jian-yuAbstract: Artificial neural network which is based on the structure and theory of biological neural

4、 network is algorithm and model. Cognition science is a subject which discusses the process of disposing information and response. Artificial neural network have the capability of dealing with information which is designed for understand biological cognition phenomenon on cognition science better th

5、an other model, and it is useful to the need of the reality. In recent years, artificial neural network model of cognition science become one branch of artificial intelligence.First，we introduce that the characteristics of human being of brain neurons, which is made up of simple element and complex

6、connection, and the history of the artificial intelligence and cognitive science from ancient Greek philosophy to artificial neural network model of cognition in recent years. Next, we summarize that the typical structure of the artificial neural network, together fifteen neural network models. Then

7、, we discuss that the ten artificial neural networks which are model of the cognition in recent years, including the model of the advantage of the model, the cognitive structure of the model, the aspects of information process, the use of models. The author summarize that the development law of arti

8、ficial neural network, including all of biological model and the part of biological model. And then it introduces that five international meetings of artificial intelligence neural network, and make a list which is meeting contribute theme. Finally, the article said that the development of the artif

9、icial neural network model of cognitive, which will become complex and multi-discipline in the future. Key words: artificial neural network；cognition；international conference目 次1 引言 基本原理现代人大脑的平均重量约为1400g，大脑内约含1000亿个神经元，每个神经元与其他神经元间有约1000个连接，大脑内总共约有1000000亿个连接。人脑的基本组成单元是神经元，是一种特殊化学细胞。神经元由树突与轴突组成，树突位于

10、神经元表面，轴突周围有腱鞘。树突与其他神经元轴突末梢相联系，构成突触。神经元间信号传递是一种复杂的生物化学过程：电过程。总之，简单神经元的复杂联系构成了人类智能的物质基础。人的智能涉及许多领域，包括感知和认知，语言能力及视觉功能，记忆，学习与知识预测，自适应和鲁邦性，创新和发明，行动和动作，优化，计划、判断和决定，博弈与对策，深层智能因素（意识，感情，意志，注意力，直觉，理解）1。其中认知的研究，是本文讨论的重点1。人工神经网络简称作神经网络，他是一种基于生物神经网络的功能和结构的数学模型或计算模型。神经网络由人工神经元组成，神经元间相互连接构成了神经网络系统。大多数情况下，人工神经网络是自适

11、应系统，在学习期间，他能通过观察流过网络的外部或内部信息来变换他的结构，以适应信息加工的变化。现代神经网络是非线性统计数据模型工具，他们通常是在输入和输出关系复杂的模式或查询数据中得到应用。认知科学是一个交叉性学科，其研究思维和思维过程，探索什么是认知、认知做什么、怎么工作。其研究主要是在人类的智力和行为上，特别是人类的神经系统。在神经系统中信息怎样表述、怎样产生、怎样转换，是认知科学的研究课题。认知科学涉及心理学、人工智能、哲学、神经科学、语言学、社会学、教育学、人类学，其分析层次既有低水平学习和机械式决定又有高水平逻辑和计划，不仅关注神经元的连接而且关注大脑分子组织。在研究人类认知能力中，

12、利用人工神经网络模型来模拟认知能力是一种重要的研究方法。模拟认知利用的是现有已知的认知运行机制，虽然这些机制并不完美，但通过模拟我们还是能利用其解决许多问题，甚至能透过人工神经网络模型进一步了解认知。这类人工神经网络的模拟理论，被称为联结主义。联结主义的原理是神经网络及神经网络间连接机制与学习算法，理论认为人的思维基元是神经元，而不是符号处理过程。人工神经网络发展起于20世纪，认知科学研究起于古希腊哲学，而将人工神经网络用于研究认知科学则是近几十年的事。 人工神经网络发展简史2早期：古希腊哲学，代表人物Descartes，David Hume，Immanuel Kant，Benedict de

13、 Spinoza，Nicolas，Malebranche，Pierre Cabanis，Leibniz，John Locke，这个时期的认知科学研究与现代认知科学不同，其最终发展成了心理学和哲学。启蒙期：1880年美国心理学家William James出版了第一部详细论述人脑结构及功能的专著principles of psychology，对与学习、联想记忆相关的基本原理做了开创性研究。1930年代到1940年代（自动控制化时期），Warren Mcculloch 和Walter Pitts寻求解释：思维的组织原则，第一次提出了人工神经网络。，提出了神经元的数学模型M-P模型。1949年心理学

14、家Donald olding Hebb出版了名为organization of Behavior的书，提出了Hebb算法的连结权值训练算法和联结主义。1958年计算机学家Frank Rosenblatt发表文章提出了三层网络特性的神经网络结构，称为“感知机”。 1940年代到1950年代，计算机理论和数字计算机的快速发展，Alan Turing和John von Neu mann在认知科学研究中首次运用了现代计算机理论和技术。1959年，Noam 语言行为。提出了为解释语言，我们需要一个产生语法的理论，它不仅能归属内在表达，而且有潜在的顺序特征。1960年电机工程师Bernard Widrow

15、和Marcian Hoff发表了文章Adaptive Switching Circuits实现了人工神经网络的计算机仿真和硬件电路的设计。低潮期：“感知机”，认为其存在无法扩展到多层网络的问题。（SOM）理论。同年，“交换存储器”。 1973年，Christopher Longuet-Higgins在他的文献Lighthill report中提到了认知科学的术语。1980年到1983年Kunihiko Fukushima发表了文章Neocognitron，并开发了许多神经网络结构与训练算法复兴期：1982年John 。1987年美国电话与电报公司贝尔实验室利用Hopfield网络，仿真出耳蜗与

16、视网膜等硬件网络。（波尔兹曼机）。1988年David Parallel Distributed Processing。新时期：1987年6月首届国际神经网络学术会议在美国加州圣地亚哥召开，而且在会上成立了国际神经网络学会（INNS）。1989年Stephen Grossberg、Teuvo kohonen和Shunichi Amari主持创办了世界第一份神经网络杂志Neural Network。 文章内容文章第二部分论述了部分对人工神经网络发展有重大影响的网络模型，然后第三部分重点介绍了近十年内十个模拟人类认知的人工神经网络模型，分别从人工神经网络模型的结构、优势和原理等方面论述。第四部分总

17、结了作者对近年人工神经网络模拟认知现象的发展规律。第五部分讲述了五个国际著名的人工智能会议及投稿主题。第六部分对人工智能特别是人工神经网络模拟认知的发展趋势进行了预测。2 对神经网络发展有重要影响的神经网络模型2Perceptron（感知机）Frank Rosenblatt（康奈尔大学）在1957年提出的Adaline（自适应线性单位）和Madaline（多个Adaline的组合网络）Bernard Widrow（斯坦福大学）在1960年到1962年提出的Avakabche（雪崩网）：Cerellatron（小脑自动机）Back Propagation（误差反传网络）：（哈佛大学）、David

18、 Rumelhart（斯坦福大学）James McClelland（斯坦福大学）在1979年到1990年提出Adaptive Resonance Theory（自适应共振理论ART）有ART1、ART2、 Grossberg（波士顿大学）在1976年到1990年提出的Brain State in a Box（盒中脑BSB网络）James Anderson（布朗大学）在1977年提出Neocognition（新认知机）Fukushima（日本广播协会）在1978年到1984年提出Self-Organizing feature map（自组织特征映射网络）Tuevo Konhonen（芬兰赫尔辛基

19、技术大学）在1980年提出Hopfield网络John Hopfield（加州理工大学）在1982年提出Boltzman machine（波尔兹曼机）和Cauchy machine（柯西机）（多伦多大学）（霍布金斯大学）在1985到1986年提出的Bidirectional Associative Memory（BAM，双向联想记忆网）Baaart kosko（南加州大学）1985年到1988年提出Counter proagation（CPN，双向传播网）Robert Hecht-Nielsen在1983年提出Radial Basis Functions（RBF，径向基函数网络）Broomhe

20、ad Lowe在1988年提出Support Vector Machine（SVM，支持向量机）Vapnik在1992年到1988年提出3 模拟认知的人工神经网络模型 模拟记忆3在人类大脑中，信息是存储在大脑内神经元中的，不同神经元间不同连接强度构成了特定的信息，这些信息在大脑中被称作记忆。生物大脑的信息 存储容量和效率是现代电子计算机的许多倍，如果能模拟出大脑记忆的机制，将会给计算机存储带来深远的影响。R-nets模型是一种模拟记忆现象的存储模型。R-nets中有两个重要的组成部分，训练集和回忆集，其中的神经元分为兴奋神经元和抑制神经元，光滑球形是兴奋神经元，尖状球形是抑制神经元，R-net

21、s大约有3000到75000个兴奋神经元组成。在模型中，兴奋神经元到抑制神经元的比率和突触的数量是不等的。R-nets神经网络的存储能力由随机选择兴奋神经元和训练突触估算出来。网络中部分神经元被训练成训练集，训练集中半数兴奋神经元又组成回忆集。网络可以运行100个循环，训练集的数量是持续增长的，直至训练集中每个目标组的错误数量达到目标组尺寸的10%。在网络整体尺寸大幅增长下，回忆集的尺寸也是小幅增长的，这可以有效的存储信息。而对于训练集而言，训练集尺寸与网络尺寸要相适应，否则会出现许多错误偏差。训练集对网络整体相对较小时，其错误偏差主要由于神经元中存在虚假的连结，使得训练组不能连结到回忆集。训

22、练集对网络整体相对较大时，错误主要原因则是网络的过度训练。由于存储空间和突触数量是线性的，使得网络间出现密集的连接。 R-nets模型结构R-nets网络模型相对于传统神经网络模型的优势在于，其信息存储能力更强而且更符合生物学上神经系统的运行方式。对于信息存储而言，网络的学习算法和回忆算法是独立于网络结构的，且不需要设定临界值也不需要对突触进行分级。对于符合生物神经系统运行模式而言，模型表现在不仅体现了大脑的物质情况，而且提供了特别的仿生物连接矩阵。虽然模型的生物特征可能会限制其求解更低水平的问题的能力，但是这些特征在非现实突触模拟中是有用的。由于其符合大脑内神经元存储信息的结构，使得他可以模

23、拟许多心理现象，如串行记忆，次级加强，再加工记忆，预测制造，不完整再加工记忆等。他还能模拟在刺激作用下的感官反应，并能通过回忆感官反应的结果来重复运动。他不仅能在特殊刺激下预测行为，也能在没有特殊刺激下预测行为。4非线性动态人工神经网络，简称为NDANN模型，他是以非线性动态系统（NDS）理论为基础的人工神经网络。NDS是一个理论方法，其目的是有两点：首先，他能作为一个分析数据的工具；第二，他能模拟不同领域的调查研究。在NDS方法中，时间和变化是两个重要的变量。对系统而言，系统随时间而产生的变化是直接与外部环境状况相互联系、相互作用的，系统和环境的相互作用对自组织和复杂行为是非常重要的，非线性

24、动态系统（NDS）理论在微观和宏观上都能反应这些联系。NDS理论可以应用在很多领域中，包括神经科学，感知心理学和认知科学和社会心理学，近来NDS理论已经成为了探测和理解认知现象的必要工具。NDANN模型不仅体现了NDS的性能水平，而且可以模拟神经元活动和低水平认知现象 ，x0和y0表示初始输入状态（刺激）；t是网络的迭代数量；W和V是强度矩阵。网络模型由两层组成，模型可以加工在一个周期中流动的双向信息。网络成产生联想记忆和非联想记忆，也就是说，他可以进行有导师学习也可以进行无导师学习。模型两层的大小是不同的，强度矩阵不需要作转换阵操作。而且，网络的每一个单元都对应一个神经元种群，就好像是在生物

25、神经网络或心理学概念上讲述的生物神经元一样。 非线性动态人工神经网络结构由于当前未能全部知晓脑部记忆机制，故模拟记忆现象设计的人工神经网络只能部分模拟记忆过程，这导致模型的信息存储和处理等方面存在缺陷。结合生物记忆机制和NDA原理的NDANN模型可以避免这一缺陷，由于他可以模拟混沌的时间空间行为，因此他也成为一个帮助弥合生物记忆和基于行为模拟的存储模型间差距的有效工具。5竞争网络是通过评估他们的强度空间中训练后的随机变量来进行学习的，网络最大的特点是能在学习环境出现偏差时正常的学习。周期联系记忆（RAM）通常作为模拟不稳定原则的分析器，但是他对环境偏差很敏感。竞争神经网络是由Rumelhart

26、和Zipser在1986年提出的，他是一个简单的标准前馈网络，他由两层组成，分别是隐含层和输出层，（a），其中的虚线箭头表示无可调节强度的抑制连接。（a） 竞争神经网络模型结构自适应响应理论模型，简称ART，是Carpenter和Grossberg在1987年提出的，他是一个基于生物学竞争性的网络，他以两个主要问题为基础，一个是共振（Grossberg在1976年提出的）一个是新探测器（是vigilance和Grossberg在1976年提出的）。共振是一个平衡状态，当一个输出能重新构建输入时，就会出现共振现象，ART1网络仅仅在平衡状态到达时学习。（b），他由两层单元，网络有两个距离强度集组

27、成，右边部分是网络的新探测器。（b） 自适应响应理论模型结构周期联想忆模型，简称RAM，（c），W是强度矩阵，表示一个简单的线性网络，xt是网络在时间t时的状态，灰色正方形式是一个延迟单元。模型规则是由Hopfield在1982年提出的，在1977年Anderson再次强调了这个原则，模型的参数不会影响到模型的瞬态性能。（c） 周期联想记忆模型结构非线性联想记忆模型，简称NDRAM，他是一个非线性RAM，他能分类灰度值相关的模式，还能在RAMs处于新的连续刺激下学习。在学习算法下,小数量的虚假状态能显著改善了网络的性能。（d），这是一个通常的联系记忆模型的主要结构，但是附加了一个新颖探测器，这

28、个探测器是用来计算输入和输出间的联系的。（d） NDRAM模型结构学习环境偏差是一个合理的行为，是一种先前不平等。许多证据表明人类大脑能执行一系列认知行为，而不受学习环境偏差影响。无导师学习的联结主义神经网络被用于计算机科学中的机器学习和心理学中的模拟人类认知，但是并不清楚他们对先前不平等是否敏感。从模拟记忆的方式上来分，神经网络模型可分为竞争网络模型和周期联想记忆模型。在仿真实验中，设置两个环境，一个是简单环境，实验RAM模型和竞争神经网络模型，另一个环境是复杂学习环境，实验NDRAM模型和ART1模型。通过对这两大类四个模型的仿真可知，竞争网络模型难以适应学习环境偏差，而周期联想记忆模型则

29、能很好的适应这一偏差。 6计算认知神经学模型，简称作CCN模型。现代的神经网络理论在模拟感知时是作为一种媒介，他们的优点是与人类大脑运行机制部分相似，包括离散表示、连续流动、把记忆模拟为突触强度等。但是这些模拟方法也有缺点，那就是他们不能完全模拟或尽可能模拟人类大脑的认知过程，构建模型结构时，他们首先考虑的是如何优化自身的模型结构。，这个网络结构是Ashby和Crossley在2011年提出的，粗大的黑色箭头表示信息的流动。从图中可知，模型由早期训练和晚期训练激活，在TAN学习前和其学习后的时期中，环境参数是得到奖励的。最初，刺激不能引起TAN停止，因此MSN不能由刺激激起。结果，在刺激开始后

30、pre-SMA/SMA单元的激励比暂时不会改变。训练进行一段时间后，TAN由刺激停止，他释放了MSN。这允许MSN接收刺激，并引起激励比在pre-SMA/SMA增加超过基准值 （SMA=补充动力区域，VA=丘脑的前腹部核心，VL=丘脑的后腹部核心，GPi=苍白球内部，MSN=中等有刺神经元，TAN=tonically丘脑。 计算机认知神经学模型结构CNN模型与传统的人工神经网络认知模型相比，其有许多优点，第一，CCN模型增加了在模拟行为的数量限制。Newell提出认知理论在根本上是不能被数据证明的。增加神经行为的数量能减少候选分类模式的数量，而且能减少分类的不均匀。第二，CNN模型能显示出在名

31、义上并不相关的神经科学行为间的关系。第三，在很多情况下，研究神经科学本质会导致惊奇行为的发现，而这些行为很难通过一个纯粹的认知方法来追溯。第四，CNN模型使用符合聚集运作的方法来模拟实验，聚集运作方法能起到预测行为和神经科学数据的作用。 模拟注意力7注意力瞬脱是一种指示注意力的暂态现象，注意力瞬脱即当注意力集中在第一个目标，并出现第二个目标时，注意力在注意第二目标过程中发生的瞬间注意力脱离现象，研究表明注意力由第一个目标向第二个目标转移的时间是200-500ms。以脑部为基础的神经模型在模拟注意力时通常都是采用研究注意力瞬脱现象，即观察模型在刺激下对两个不同目标的反应。注意运动推导模型，简称C

32、ODAM模型，其由以下几个模块组成：1，目标映射，作用是告知注意力信号的调节过程。2，注意力控制信号产生器（IMC），在工程控制方法中表达为反向模型控制器。3，目标模块，分为内在目标模块和外在目标模块，其用作偏离注意力的运动信号。4，工作记忆模块，功能是作为注意力刺激的评价器。5，注意力控制信号的推导解除器，可以通过对比注意力控制信号和目标信号快速产生对错误信号的修正，还可以在早期帮助呼叫工作记忆站加快，引入注意力刺激的过程。6，监视器，可以通过计算目标信号和预测信号的值产生一个错误信号。，开环表示目标，闭环表示干扰项或隐藏项，黑线表示兴奋连接，灰线表示抑制连接。 CODAM模型结构CODAM模型原本是用于分析发动机控制的模型，最近才发现其也可用于模拟注意力。我们可以利用CODAM模型模拟注意力瞬脱现象，这可以帮助我们指定出现象的抑制过程， CODAM模型探索方法可以更为详细指明的注意力过程，这是采用模型模拟注意力并研究注意力过程的模型，他扩展了第二