联结主义认知心理学.ppt

联结主义认知心理学.ppt

《联结主义认知心理学.ppt》由会员分享，可在线阅读，更多相关《联结主义认知心理学.ppt（23页珍藏版）》请在冰豆网上搜索。

认知心理学的新进展联结主义,一、联结主义的产生和发展,1.联结主义的历史渊源在心理学史中，联结主义最早的思想渊源可以追溯到古希腊时期亚里士多德对联想主义的论述。

亚里士多德并没有明确使用“联想”这一概念，只是运用联想概念的内涵来说明记忆或回忆的历程。

洛克在人类智慧论提出了“联想”的概念。

洛克认为，“我们一些观念相互之间有一种自然的联合”，即联想就是观念的联合。

20世纪中期，西方主流心理学掀起了一场推翻行为主义心理学的革命，结果产生了认知心理学。

认知心理学的目的在于研究和揭示人的认知过程的本质。

由于大脑本身的不可直接研究性，使认知心理学在孕育和诞生之时就以假设、模拟和类比的方式进行认知过程的研究。

认知心理学的联结主义理论和符号加工理论的历史都可以追述到麦克洛奇和匹茨1943年发表的神经系统中所蕴含的思想的逻辑演算。

符号加工理论（信息加工理论）的基本原理：

1、符号加工取向的认知心理学也被称为认知主义，由于其指导性隐喻和核心工作是计算机，因而它采纳的是功能的或者软件的描述水平，把心智看做是一种信息加工。

2、认知主义者认为，无论是有生命的人还是人工的计算机，都是通过对符号的接收、编码、存储、提取、转变和传递来加工信息的。

3、在符号加工取向的认知心理学中，符号是模式，其功能是代表标志和指明外部世界的事物。

符号通过一定的联系形成符号系统。

符号和符号结构代表着一定的内容和意义，是对外部事物的内部表征。

符号不仅可以代表外部事物，也可以标志信息加工的操作。

符号加工系统得到某个符号，就可以得到这个符合代表的事物或进行该符号所标注的操作。

符号加工论和联结主义理论的关系：

共同点：

1、研究对象相同，感知觉、注意、记忆、表象、思维和言语等。

2、都把心理过程视为层次结构的加工系统。

3、重视研究认知过程的内部心理机制。

4、注重心理过程的整体性研究。

5、都采用了模拟、假设、类比的研究方法。

两者的不同点是：

2.联结主义的发展启蒙阶段1890年，詹姆士出版了心理学原理，详细论述了人脑结构以及其功能，对相关学习、联想记忆的基本原理做了开创性研究。

他认为，“当两个基本的大脑过程被同时激活或继发激活时，一个过程的再次激活将导致把兴奋传导到另一个过程”，这就是“神经习惯法则”。

开始阶段1943年，麦克洛奇和匹茨发表了神经系统中所蕴含的思想的逻辑演算，总结了生物神经元的一些基本特征，突出了形式神经元的数学描述和结构方法，即M-P模型一种阈值模型。

其基本点是模拟神经元扩布性峰电位的“全或无”性质，注意的中心是神经元的数学特性。

这种模型把神经元看作逻辑组件，由此把脑的思维过程当做是一个可操作的组合。

1949年，Hebb出版了行为的组织一书，提出了神经元群，突触和反响回路的理论概念，并提出了神经元之间突触联系强度可变的假设。

神经系统的学习是发生在两个神经细胞相互连接的突触处，突触间的连结强度是可变的，并首次给出了突触间连结权重值变化的方案，即著名的Hebb学习规则.Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

1958年，鲁梅尔哈特提出感知机模型。

鲁梅尔哈特从特殊的途径，以对人脑结构和功能的初步认识为基础，模仿人脑处理信息的多层结构，制造出视知觉的脑模型感知机。

这是一种自学习和自组织的心理学模型，它是由简单的阈值性神经元组成的，基本上符合生物神经网络的情况，模型可以在有噪声的环境中学习且网络结构中存在随机联结，可进行模式识别、联想记忆等活动。

该模型具有分类、自学习、分布式贮存、并行处理和一定的容错性。

萧条阶段1969年，明斯基和佩帕特出版了感知机，对感知机模型提出质疑，指出感知机的处理能力有限。

人工智能和数字计算机大发展阶段。

复兴阶段20世纪70年代后期，人们发现以符号表征理论为基础的计算机一般不能从现实世界的实例和现象中获取病总结出知识，即计算机不具有学习能力。

1982年，霍普菲尔德把网络的各种结构和算法概括起来，提出了一种回归网络，即霍普菲尔德网络模型（关于学习和记忆的模型）。

1986年，鲁梅尔哈特和麦克莱兰德出版了联结主义事业的“圣经”并行分布加工：

认知结构的微观探索，第一次系统阐述了联结主义的观点和成就。

这部著作涉及神经网络的三个主要特征，即结构、神经元的传递函数和它的学习训练方法，并分别介绍了这三个方面的各种网络模型，提出了多层前馈网络的误差反传算法（Backpropagationalgorithm，简称BP算法），解决了多层神经网络的学习问题，证明了多层神经网络的计算能力，可以完成许多学习任务，解决许多学习问题。

1、联结主义模型的基本含义“联结主义模式”通常是指“通过简单加工单元之间的联结方式进行计算的一类模型”，它是包括大量特殊算法形式和结构的通用词。

由于它把信息看成是分布在各个神经单元以及神经单元的联结中，信奉通过合作并行主义的形式来运用简单的单个加工单元加工信息，因此称为并行分布加工；由于它是对真实神经网络的模拟，故又称为人工神经网络；斯摩伦斯基把联结主义与符号加工范式进行了比较，认为它是处于符号层次水平和真实神经元层次之间的无意识加工，因此又把它称作亚符号范式。

联结主义是一种旨在模拟人脑结构及其功能并具有简化大脑结构的特征的信息处理系统。

二、联结主义的基本理论观点,2、联结主义模式的基本构成成分单元是带有活性值（activationvalue）的简单加工器。

联结是单元之间相互作用的中介，单元及单元之间的联结构成网络。

一般来说联结都是加权的（weighted），权值可正、可负，特定的输入将根据权数的提示而决定接受它的单元是兴奋还是抑制。

联结权重决定着联结的重要性以及对通过它所联结的单元之间的影响程度。

在联结主义模式中，知识是贮存在加工单元的联结之中，单元的激活表征将引起其它单元新的激活模式。

3、联结主义相关假设神经元结构假设：

对于完成特殊任务的直觉处理器而言，使用的是与大脑完成这种任务所使用的结构相同的结构。

直觉处理器具有一定的联结主义结构，抽象模拟了神经网络的一般特征。

处理器的相互作用是一种活性进化方程。

联结主义动力系统假设：

任何时刻的直觉处理器的状态是由对于每一单元的大量活性值的向量精确界定的，其动力学是由不同的变异方程控制，这种方程中的参项组成了直觉处理器的程序或知识。

4、联结主义模型分析以神经网络中最常见的BP网络为例BP网络是单向传播的多层向前神经网络，包括：

输入层神经元、隐含层神经元、输出层神经元。

不同层间的神经元形成交叉多维联结（包括兴奋性联结和抑制性联结），同层神经元之间无联结或只有抑制性联结，信息仅单方向流动。

这里的输入层神经元模拟感觉神经元接受信息；隐含层神经元模拟联合神经元以不同的权重整合信息；输出层神经元模拟运动神经元，进一步整合并输出来自隐含层的信息。

5、联结主义网络模型的训练基本思想首先对权重设置一小的初始值，然后选择一个训练样本并计算相对于该样本的误差梯度，通过调整权重使得误差值能达到全域最小值直至为0利用均方误差和梯度下降法来实现对联结权重的修正操作步骤

（1）前向过程，给网络一个输入，并且这一输入通过网络经由隐含层向上传播，当网络产生输出时，即把这种实际输出与期望输出进行比较，如果不相符合就会产生一个误差信号

（2）反向过程，即把输出单元作为输入单元，通过网络把误差信号向后传播，随着传播的不断进行，输出单元与隐含单元之间的权重就会发生改变，然后再进一步地改变隐含单元与正常输入单元之间的权重。

通过改变联结的权重，产生预期的输出,6、联结主义神经网络的基本特征平行结构和平行处理机制联结主义神经网络是由大量简单加工单元相互联结构成的高度平行的非线性网络，网络的所有运算处理也是同时平行进行的，在同一层次内的所有加工单元都是同时进行操作的。

分布式表征人脑具有通过联想或直观地把储存在脑中的记忆以及知识结合起来的能力，分散储存的记忆实在具有这样的联想或直观能力的基础上发挥作用的。

连续性和亚符号性的特征联结主义强调模拟运算的连续性和信息表征的亚符号性，表征的是直觉经验以及尚未结晶或升华为用语言表达出来的概念，即亚概念。

很强的容错性由于模型中信息的分布式存储和分布式表征，模型激活时会有大量神经元的平行加工，某一神经单元或联结受到损失，不会影响整个网络模型的输出模式自适应、自组织、自学习等功能自适应性是指一个系统能改变自身的性能以适应环境变化的能力，自适应包括自组织和自学习两层含义。

人脑的优越性在于人脑可以根据环境通过“自学”来认识为学习过的新知识并解决不熟悉的新问题，既能牢固地记住所学的各种知识，又能根据环境的变化不断地进行自我调节以适应变化了的环境。

抵制噪声人类通常可以在噪声很大的环境下从事工作而不影响工作的效果，联结主义网络也模拟了人的这一特点。

假如噪声没有大到混淆网络的思维，输入与所存储的一切不同模式相类似，网络就可以正确的工作。

三、联结主义对心理过程的说明,1、联结主义对记忆的说明在记忆方面，联结主义表现出最明显的智能特点是它具有联想记忆的能力。

联结主义关心的问题是如何用权重的变化来解释记忆的变化。

联结主义者认为记忆的变化与联结权重的变化之间是等价的。

模式联合者是由单元的输入层、单元的输出层以及介于两组单元之间的调节联结层所构成的，模式联合者中没有隐含层。

从程序上讲，这种训练包括呈现或训练阶段和测验阶段两个阶段。

从本质上说，联结主义神经网络所呈现的以及类型是重构性的，通过变化网络联结权重的功能，即改变激活模式，记忆就得到了重构。

联结主义的记忆包含信息的储存和会议这两层含义。

通过学习，联结主义网络将获得的知识信息分布储存在联结权重的变化上，并具有相对稳定性。

网络学习的过程，也是网络存储记忆的过程。

长时记忆一般来说储存记忆需要花费较长的时间，但是一旦形成，就具有时间稳定性，能够保持较长的时间；短时记忆在学习期间，网络计算给定输入模式的输出状态的速度很快，但记忆保持的时间却很短，这种在学习期间发生的记忆称之为短时记忆。

在联结主义网络中，由于各单元的相互联结，一个单元的兴奋或抑制能够引起相邻或相关单元的兴奋或抑制，因而，联想是联结主义网络记忆的重要特性，联想记忆是联结主义记忆的一个重要特征。

2、霍普菲尔德网络霍普菲尔德提出一种神经网络的数学模型，并研究了该网络的动力学性质。

这种模型基于记忆状态可被分析为类似于动力物理学系统的固定状态的思想，把理论分析与动力系统稳定性分析方法结合起来，从而为获得有关神经网络的联想记忆问题的可解模型提供了理论条件。

对霍普菲尔德网络的核心思想霍普菲尔德提出的神经网络模型有两个重要成分，即储存信息和提取信息。

在典型的对称性霍普菲尔德模型中，其系统的动力学趋于使能量函数达到最小值，生物学的噪声或神经元的背景活动可用温度表征，这就使神经网络具有统计力学或热力学的特性。

对霍普菲尔德网络的基本说明采用“死记式”学习方法，其权重一经确定就不再改变，网络中各神经单元的状态在运行过程中不断更新，网络演变到稳定状态时各神经元的状态就是问题的解。

霍普菲尔德网络的记忆功能利用霍普菲尔德网络的稳定状态可以实现联想记忆功能。

若用网络的稳定状态代表一种记忆模式，初始状态朝着稳定状态收敛的过程便是网络寻找记忆模式的过程。

可把初始状态看做记忆模式的部分信息，网络演变的过程可视为从部分信息回忆起全部信息的过程，通过这种方式，网络就实现了联想记忆功能。

四、对联结主义理论的评价,联结主义的贡献：

联结主义模型建立在脑隐喻的基础上,所以它对大脑的模拟更接近于生物脑的实际情况；能更好的解决复杂性更高的问题自学习自组织自适应和容错性等特点；联结主义理论在问句的解释和答案的提取过程中也具有重要意义平行分布加工原理；亚符号推理理论对传统的符号系统理论进行补充和修正它从更加微观的角度在亚符号的水平上揭示了神经网络的结构和功能,联结主义模型也有其局限性:

有些人批评联结主义是披着高科技外衣的联想主义和行为主义,也有人认为联结主义不具备统合的语法和统合的语义,所以它不能表征认知活动,只能说明认知活动的生理实现基础；联结主义以“心理活动像大脑”为隐喻基础，以对大脑的同