人类面孔认知模型和脑机制的研究.docx

1、人类面孔认知模型和脑机制的研究项目可行性报告及经费概算项目题目：人类面孔认知模型和脑机制的研究（一）立项的背景和意义1.1 研究目的面孔是人们日常生活中最常见的事物，通过面孔认知（Face Recognition）这种基本而重要的社会行为，人们可以获得许多重要的社会信息（如年龄，性别，种族和情绪等）。面孔认知是认知心理学研究的重点之一，至今已经积累了大量的研究成果。PYSYCINFO近5年的文献检索表明面孔研究有两条主线。一条主线是研究面孔的结构和特征信息的认知加工规律。例如，McKone在2008年发现面孔的结构信息加工并不受观察角度的影响，而特征信息加工却会随着观察角度偏离而被削弱1。其中

2、，面孔特征信息指的是单独的面孔特征，比如面孔的眼睛、鼻子等部件的信息；而结构信息指的是这些部件之间的空间结构关系2。通常，结构信息由这些部件之间的实际距离来表征，比如眼睛之间的距离。另一条研究主线是研究面孔认知的脑机制问题，例如，2008年，Cloutier等人采用fMRI技术对面孔中静态信息和动态信息研究，发现了眼睛注视的加工和面孔性别信息加工的不同神经回路3。目前来说，近10年中虽然国内外研究者采用各种研究技术在面孔认知研究中已经取得了大量研究成果，但我们认为在该领域仍然还有大量的关键性问题亟待解决。第一，有关面孔认知中结构和特征信息认知加工规律的研究还停留在较为零散的、定性层次上对问题进

3、行描述，缺乏对面孔认知规律的深入系统研究。这些研究目的主要是探讨结构信息以及特征信息变化对人脸认知的影响趋势或方向，实验中大多数也只采用静态面孔作为实验材料。本课题将通过本课题研究系统考察对于静态和动态面孔认知过程中，结构和特征信息的不同维度变化如何在数量层次上影响面孔认知的加工，从而建立面孔认知的认知模型。第二，虽然已经有大量研究采用ERP（事件相关电位）以及fMRI（功能性核磁共振）等技术开始研究面孔认知的脑机制问题。比如对大脑枕颞结合部的腹侧皮层（Ventral occipital temporal cortical system, VOT）内的特殊皮层区域梭状回面孔区（Fusiform

4、 face area, FFA）的功能一直受到研究者的争议。由于目前对于面孔认知的脑机制研究还处于探索发展阶段，还有大量关于面孔认知的脑机制问题没有进行深入研究。比如Haxby等人在1999年提出的面孔知觉的分布式神经系统模型中提到面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能4，但是这一推论并没有直接的实验支持，需要进一步的实验进行验证。因此，本课题研究将在前期已有的研究基础上，采用实验心理学的方法，结合ERP脑电与fMRI等脑成像技术，深入研究静态和动态面孔结构信息、特征信息认知加工的脑机制规律和特点，解决一直以来困扰面孔认知研究的脑中枢特异性问题。1.2 研究意义本课题的研究无论

5、是在理论研究上还是实践应用上都有重要的价值和意义，具体来说：在理论上，本课题研究意义包括：揭示结构信息和特征信息在静态和动态面孔识别中的认知规律和特点，构建基于特征和结构信息的多维面孔认知模型，说明人类面孔认知的基本机理，并从解决面孔认知规律和特点为出发点，说明人类对各种客观物体的认知加工的规律和特点。揭示结构和特征信息加工的脑机制及其规律和特点，进一步说明面孔认知加工规律和特点及其脑机制此外,本项目的实验数据也可以进一步应用于基于面孔识别基本数据的一些实际应用：为计算机面孔识别提供基本的科学数据。计算机已具有识别简单面孔的能，但尚不具备识别动态面孔和人的表情功能，本项目成果将为计算机的面孔识

6、别提供基本的科学数据，使计算机的面孔识别智能化。为机器人视觉提供科学的设计参数。解决了人类面孔认知的奥秘将为机器人视觉的智能化提供基本的设计参数，使制作具有和人相同的、能识别不同面孔的机器人视觉成为可能。面孔认知研究成果还有许多实际应用，由此可派生出许多新的产品和构想。例如，可以根据面孔识别的原理制作银行保安密码（面孔锁），进行脸部整容，在公安系统帮助对罪犯的识别等等。我们认为我们的研究工作将进一步推动我们省的基础心理学方面的研究工作，研究的成果也可以应用于我们省的具体生产实践。 1.3 研究基础我们的研究小组从2001年开始就与加拿大女皇大学心理系、加拿大多伦多大学心理系以及美国加州大学圣地

7、亚哥分校心理系等国外知名科研结构合作，对面孔结构、特征信息认知规律进行了数年研究。本课题组得到的国内外合作项目主要有：1、Development of face and chinses character processing；Natural Science and engineering Research Council of Canada，nserc pin 185791，20082012（进行中）2、Development of face processing expertise in children，the National Institutes of Health, U S A（N

8、IH）：1 R01 HD046526-01， 20032008（已经结题）3、The face recognition research, Natural Science and engineering Research Council of Canada 0313048-I,2001-2005,（已经结题）在国内得到的资助主要有：1、动态面孔认知规律和特点的研究,国家自然科学基金项目，项目批准号：30770710， 0708年,（已结题）。2、动态面孔认知规律和特点及其脑机制研究，浙江省自然科学基金，项目批准号：Y207234，07-09年，（进行中）。3、人脸认知规律及其脑机制的研究,教育

9、部高等学校博士点科研基金，0105，项目编号：20020335063，（已结题） 本课题组近三年已经发表在国外学术期刊的与本课题相关文章有：1、The roles of visual expertise and visual input in the face inversion effect: Behaviral and neurocomputational evidence, Vision research，2008，48，7037152、Infant preference for female faces occurs for same- but not other-race faces

10、. Journal of Neuropsychology, 2008,15-26.3、An inner face advantage in childrens recognition of familiar peers. Journal of Experimental Child Psychology, 2008,101(2), 124-136.4、Preference for attractive faces in human infants extends beyond conspecifics. Developmental Science, 2008,11, 7683.5、Cross-r

11、ace preferences for same-race faces extend beyond the African versus Caucasian contrast in 3-month-old infants. Infancy, 2007,11(1), 87-95.6、Cross-Race Preferences for Same-Race Faces Extend Beyond the African Versus Caucasian Contrast in 3-Month-Old Infants. Infancy, 2007,11(1), 87-95.7、The other-r

12、ace effect develops during infancy: Evidence of perceptual narrowing. Psychological Science, 2007,18(12), 1084-1089.8、The effect of face expertise activation on the inversion effect. Psychological Science, 2006,17(1), 12-16.9、Activation of Face Expertise and the Inversion Effect， Psychological scien

13、ce，2006，V17，No1，1216，10、Three-month-olds, but not newborns, prefer own-race faces. Developmental Science, 2005，8(6), 31-36.本课题组在国内一级刊物上发表的相关文章有10余篇。本课题组发表的相关文章在2007年获得浙江省自然科学优秀论文一等奖。上述研究工作基本上都是围绕着静态面孔的认知规律进行的，在面孔认知的脑机制上也主要采用脑电技术。本课题组希望能在现有的实验基础和条件下上，进一步改进现有的实验手段，例如，实验刺激除了静态面孔之外，还将采用动态连续的视频画面（动态面孔）；在

14、结构信息和特征信息变量改变上，除了单维信息的改动之外，还将采用两维以及三维结构信息、特征信息同时变化的面孔刺激来探索静态和动态面孔认知的规律和特点，在量化层次上建立面孔认知的模型，以更深入的揭示面孔认知的规律和特点。在面孔认知的脑机制研究中，我们经过ERP脑电实验研究，也得到了一些重要的研究发现。比如我们的研究结果初步表明：反转和正立的面孔相比，在枕颞叶的N170波上，波幅明显要大；结构信息不一致和特征信息不一致的面孔相比，在枕颞叶的N170波上，潜伏期明显要短；并且结构信息反转的面孔会引起一个波幅明显加大的N170波，而特征信息反转的面孔引起的波幅较小。由于脑电研究结果受实验刺激、实验条件的

15、影响较大，因此本课题研究将继续这方面的工作，特别是采用脑电和fMRI等先进分析技术，采用多种面孔刺激（如静态面孔、动态面孔、不同结构信息或特征信息差异类型）来深入探索在面孔结构和特征信息加工的特异脑区。基于以上考虑，本课题将采用静态面孔和动态面孔作为实验材料，通过不同维度的面孔结构和特征信息量化操作，研究在面孔静态和动态呈现条件下面孔认知规律和特点并建立面孔认知模型，同时采用脑电和fMRI等先进分析技术探究人类面孔认知加工的脑机制和特点。（二）国内外研究现状和发展趋势从达尔文时代开始，人们就对面孔的认知规律进行了研究，到目前为止，已经积累了大量的研究成果。下面是和本项目相关的面孔认知的国内外研

16、究现状及未来发展趋势：2.1 特征信息和和结构信息认知加工特点的研究特征和结构信息的研究开始于Yin(1969)关于面孔倒置效应的经典研究5。根据多年的实验结果，关于特征和结构两种信息在面孔认知中的规律和特点，心理学家们提出了各种理论来说明特征和结构信息在面孔认知中的规律和特点，这些观点主要有：Garner的特征信息理论认为，面部识别主要是依赖于面部特征信息6。Carey的双重加工理论认为，面部识别同时依赖面部特征和结构信息2。Tanaka的整体假设理论认为，人们通过使用结构信息和特征信息两种信息进行面部识别的，但是，这两种信息是作为一个整体加工的7。Valentine的多维空间假设认为，面孔

17、加工不仅包括结构信息和特征信息而且还包括肤色、年龄等其它信息8。Rakover的图式层次理论认为很多复杂的多维刺激都是根据已经储存在认知系统中的图式来加工的，其中结构信息和特征信息两种信息在面孔认知中起到了非常主要的作用9。Bruce和Young的面孔加工的多阶段认知模型认为，面孔认知加工的第一阶段是主要对面孔信息进行知觉结构编码加工；第二阶段中，一条支路通过面部再认单元（FRU）加工最终的面孔识别；而一条支路则根据面孔结构和特征进行性别和表情的加工10。2.2 面孔认知的脑机制的研究从一百多年前法国医生布洛卡在治疗和研究失语症病人时发现语言中枢布洛卡区（Broca area）以来，神经生理学

18、家和解剖学家一直按机能定位的思想寻找各种认知功能的特异性脑中枢。有关面孔认知的脑机制研究最初主要是采用脑电及其相关技术进行的。1965年，Sutton采用对脑电的平均叠加法发现了与心理因素相关的内源性成分的P300认知电位后11，Allision和Benin 等人开始通过ERP这种研究方法对人的面孔认知机制进行了一系列的研究12。在2007年，Itier等人通过ERP发现与面孔加工相关的N170认知电位主要收到面孔中眼睛部位加工的影响13。近十年来，由于技术的发展，fMRI（功能性磁共振成像，Functional Magnetic Resonance Imaging）、PET（正电子发射计算机

19、断层扫描，Positron Emission Tomography）等脑成像技术也大量的应用于面孔认知的脑机制研究14。这些研究主要围绕着N170 面孔特异性效应和脑中梭状回面孔区（Fusiform face area, 简称 FFA）功能的特异性展开的。面孔特异性假设（Face Specificity Hypotllesis,FSH）观点认为在大脑枕颞结合部的腹侧皮层（Ventral occipital temporal cortical system, VOT）存在着具有不同的功能模块，每个模块对某种特定类型的刺激具有选择性的反应。如面孔或其他物体。有fMRI研究证明VOT在结构上可以分割

20、成若干个小的区域，每个小区域都对应一个特定类别的刺激，并且该类别刺激在该区域所引起的激活最大15。其中包括面孔选择区，即面孔刺激相对于其他物体刺激在这些区域引起更强的反应，如“梭状回面孔区”(Fusiform face area, FFA)1518、“枕叶面孔区”(Occipital face area, OFA)19等。当然也包括其他物体选择区域，如被称为“旁海马风景区”(Parahippocampal place area,PPA）的旁海马皮层对包含风景信息的视觉刺激有选择性反应20。然而，还有另外一种观点即视觉专家知识假设（Visual Expertise Hypothesis, VEH

21、）对FFA 的面孔选择性提出了另外一种解释。根据该观点，导致FFA 激活的不是刺激物的特点而是对刺激物所进行的分类或识别的视觉加工。侧重于视觉加工水平的研究为这种基于加工的观点提供了大量的证据16-17。当人们对物体进行视觉分类的时候，不同类别的物体可能采用不同的分类水平，这些分类的水平从高到低主要分为以下几个水平：领域水平（如：生物和非生物）、基本水平（如：鸟类和犬类）、亚级水平（如：猎犬和牧羊犬）和个体水平（如：特指的一条狗）。不同种类的物体具有不同的习惯或“默认”加工水平，如面孔通常在个体水平上进行加工，而大多数非面孔物体都是在基本水平上进行加工。VEH 认为FFA 的激活与亚水平的视觉

22、加工有关，并且进一步指出：从亚水平加工中积累的大量经验所得到的专家知识能够影响对物体进行视觉加工时的习惯加工水平。国内的研究者主要采用ERP技术对面孔认知的脑机制问题进行了探讨。比如在2003和2004年，彭小虎老师等人采用ERP技术研究了面孔识别的特异性脑机制问题21，22。2004年，黄宇霞、罗跃嘉老师等人的ERP研究证明了人的情绪活动存在着大脑的偏侧化23；2005年，郑能慆，周曙等人研究了面孔加工中面孔加工事件相关电位时空模式24。2005年，杜英春，吕勇等人采用事件相关电位方法考察了N170面孔特异性效应25。2006年，陆雪松，周曙等人，采用ERP技术研究了面孔表情识别中的性别效应

23、26 。根据面孔认知的脑机制的研究，Haxby J等人在2002年提出了面孔认知加工的人类面孔知觉的分布式神经系统模型（distributed human neural system for face perception）。如下图1所示，该模型包括核心和外围 2个系统。核心系统由位于外侧纹状视皮层的枕颞区构成，这些脑区主要负责面孔的视觉分析。在核心系统中，面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能，而不变部分的加工更多地是位于梭状回的面孔反应区的功能。外围4个脑区在参与面孔加工的同时也负责其它认知功能的加工27。目前，Haxby等人提出的这一神经系统模型并没有得到直接的实验支持，

24、需要开展进一步的实验加以验证。图1 面孔知觉的分布式神经系统模型2.3未来发展趋势近年来，随着研究的深入，对面孔认知的研究在以往静态面孔研究的基础上，动态面孔认知的研究逐渐成为研究的热点。在检索到的15篇文章中，06年发表的就有4篇。而最早的动态面孔的实验研究是Campbell等人对活动面孔的面部表情进行的研究28。这些研究内容主要围绕着动态面孔认知的动态增益效应（the Benefits of Facial Motion）展开的。Knight等人1997年，通过对动态和静态的名人和陌生面孔的辨认实验，证明了面孔认知的动态增益效应（the Benefits of Facial Motion）2

25、9。Pike, Graham E.等人通过对动态图像、多幅静态图像以及单幅静态图像辨认绩效的比较证明了面孔动态面孔认知的增益效应30。Lander等人发现在模糊的脸部图像的辨认中当动态图像的绩效要高于静态图像31。Lander的研究提出：面孔认知动态增益效应是一个普遍的规律32。针对面孔动态增益效应产生的原因，Yakel和Deborah A等人认为是说话时面孔的活动能为面孔认知提供信息33；而Lander等人则认为熟悉面孔的动态增益效应是由于熟悉面孔提供了动作模式这一附加线索造成的34。Toole等人在总结了先前的研究的基础上35，提出：动态信息在视觉条件不佳的情况下能够提供更多的识别信息。动

26、态信息在识别中的作用随着个体拥有的经验的增加而增大。脸部活动中的结构分析能为面孔识别提供知觉线索。由于在现实生活中，人对面孔认知多半是在面孔动态的情况下完成的,因此有必要在对静态面孔认知规律进行深入研究的基础上，进一步结合动态面孔认知的动态增益效应进行相关面孔认知的研究，对揭示人类面孔认知规律具有重要科学意义。同时，由于目前对于面孔特异区VOT的脑机制仍然存在较大的争议，包括Haxby等人提出的面孔知觉的分布式神经系统模型中提到面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能27，仍然需要进一步的实验研究。从以往典型研究来看，研究者大多单一采用ERP脑电或者fMRI进行研究。由于ERP脑

27、电技术与fMRI技术在时间性以及定位准确性等方面各自有着不同的技术优势。 在今后，将两种方法进行结合来深入探讨面孔认知加工的特异性脑区激活问题，将有助于研究者对面孔认知加工脑机制更为深入的探讨。（三）项目主要研究开发内容、技术关键及主要创新点。3.1主要研究内容本课题的研究内容主要有心理物理学实验和脑机制实验两个方面：1）心理物理学实验具体实验有：单维和多维结构信息变化对静态面孔识别的作用和特点的研究实验目的是研究在面孔静态呈现条件下眼睛、嘴巴和鼻子等单维结构信息变化以及多维同时变化对面孔识别的认知规律（包括这些特征变化时，面孔识别的特点，眼动模式和认知阈限，下同）。单维和多维结构信息变化对动

28、态面孔识别的作用和特点的研究实验目的是研究在面孔动态呈现条件下眼睛、嘴巴和鼻子等单维结构信息变化以及二维、三维同时变化对面孔识别的认知规律。单维和多维特征信息变化对静态面孔识别的作用和特点的研究实验目的是研究在面孔静态呈现条件下，眼睛、嘴巴和鼻子等单维特征信息变化以及二维、三维同时变化对面孔识别的认知规律。单维和多维特征信息变化对动态面孔识别的作用和特点的研究实验目的是研究在面孔动态呈现条件下，眼睛、嘴巴和鼻子等单维特征信息变化以及二维、三维同时变化对面孔识别的认知规律。多维结构和特征信息组合情况下的静态面孔识别的研究；实验目的是研究在面孔静态呈现条件下眼睛、嘴巴和鼻子等多维结构和特征信息组合

29、变化对面孔识别的认知规律。多维结构和特征信息组合情况下的动态面孔识别的研究；实验目的是研究在面孔动态呈现条件下眼睛、嘴巴和鼻子等多维结构和特征信息组合变化对面孔识别的认知规律。比较采用不同类型的面孔对静态面孔识别的影响作用及其规律。实验目的是研究在静态面孔呈现的条件下，不同类型面孔对这种识别规律的影响作用。不同类型的面孔包括熟悉面孔，陌生面孔和自我面孔。比较采用不同类型的面孔对动态面孔识别的影响作用及其规律。实验目的是研究在动态面孔呈现的条件下，不同类型面孔对这种识别规律的影响作用。不同类型的面孔包括熟悉面孔，陌生面孔和自我面孔。面孔认知过程中特殊认知现象的认知规律研究实验目的是研究在静态和动

30、态面孔呈现的条件下，面孔认知中较为特殊的认知现象如种族效应和倒置效应的影响因素及内在规律研究。上述实验中，将采用静态和动态平均面孔作为实验刺激、通过E-prime专用心理学实验软件系统和动态面孔呈现交互实验系统（VIAS）进行刺激呈现，计算机记录被试的绩效（反应时和正确率），ASL眼动仪记录被试实验中的各眼动指标，分析被试的各种绩效指标的变化特点、认知阈限和眼动模式，揭示特征和结构信息对静态和动态面孔认知的作用规律和特点，并在此基础上构建人类面孔结构信息和特征信息的认知模型。2）静态面孔和动态面孔识别的脑机制研究：脑机制研究包括脑电和fMRI的研究两个部分。脑电部分的研究有以下具体的实验：单维

31、特征信息变化的ERP研究实验目的是研究面孔单维特征信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是特征信息的特异性指标，特征信息加工的特异脑区，和面孔加工的右半球优势效应）多维特征信息变化的ERP研究实验目的是研究面孔二维或多维特征信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是特征信息的特异性指标，特征信息加工的特异脑区，和面孔加工的右半球优势效应）单维结构信息变化的ERP研究实验目的是研究面孔单维结构信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是结构信息的特异性指标，结构信息加工的特异脑区，和面孔加工的右半球优势效应

32、）多维结构信息变化的ERP研究实验目的是研究面孔二维或者多维结构信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是结构信息的特异性指标，结构信息加工的特异脑区，和面孔加工的右半球优势效应）特征和结构信息同时变化条件下的ERP研究实验目的是研究面孔单维或者多维结构和特征信息同时变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是结构和特征信息的特异性指标，结构和特征信息加工的特异脑区，和面孔加工的右半球优势效应。）人脸面孔与其它对照物（汉字）认知的ERP对比研究通过人脸面孔和其它参照物（例如汉字）的ERP对比实验，研究面孔识别脑中枢的特异性问题。在这个系列实验中，我们将采用平均面孔作为实验材料，记录被试在进行面孔认知时的行为指标（反应时和正确率），并通过EGI公司的System 2