第02章 北理工贾云德《计算机视觉》人类视觉.docx

1、第02章 北理工贾云德计算机视觉人类视觉第二章 人类视觉21人类视觉简介了解人类视觉的构成、信息处理过程，对机器视觉研究人员来讲是非常具有启发性和吸引力的本章从人眼的基本构造出发，介绍视觉通路、视觉感受野及视觉信息的基本处理过程。本章的大部分内容取自文献寿1997。人眼所能看到的光谱范围，只是电磁辐射波范围的很小一部分，其波长范围从380纳米到780纳米，这段波长称为可见光谱，如图21所示在可见光范围内，不同波长的光给人以不同的色彩感觉，不同强度的光及不同强度分布的光刺激人眼，在人脑中将产生不同的光强，颜色，形状等视觉信息图21 电磁辐射波谱和可见波谱211 人眼的构造 人的眼睛是一个前后直径

2、大约23毫米的近似球状体，由眼球壁和眼球构成，如图22所示眼球壁的正前方，占整个眼球壁面积的1/6是一层弹性的透明组织，叫做角膜角膜具有屈光功能，光线经角膜发生屈折进入眼内眼球壁外层的其余5/6是白色的不透明膜，叫做巩膜，它主要起巩固、保护眼球的作用眼球壁的中层包括虹膜、睫状体和脉络膜脉络膜含有丰富的色素细胞，呈黑色，起着吸收外来散光的作用，消除光线在眼球内部的乱反射虹膜在角膜的后面，位于晶体的前面，虹膜中央的圆孔叫做瞳孔虹膜可以使瞳孔扩大和缩小，睫状体位于虹膜后面，其内部有睫状肌，起调节晶体的作用眼球壁内层是视网膜(retina)和视神经乳头视网膜是一种透明薄膜，是眼球的感光部分视网膜由锥体

3、细胞(cone cell)和杆体细胞(rod cell)两种感光细胞组成，其中，锥体细胞约有650万个，杆体细胞约有1亿个 视网膜可分为以视轴为中心直径约6毫米的中央区和周边区中央区有一直径约2毫米(折合6度视角)呈黄色区域，称为黄斑黄斑中央有一小凹，叫做中央凹(fovea)，面积约1平方毫米人类视觉的中央凹没有杆体细胞，只有锥体细胞，其密度高达每平方毫米150,000离开中央凹，锥体细胞急剧减少，而杆体细胞急剧增多，在离开中央凹20度的地方，杆体细胞最多中央凹的锥体细胞密度很高，是产生最清晰视觉的地方杆体细胞主要是在黑暗的条件下起作用，同时还负责察觉物体的运动因此，常将锥体细胞称为明视觉细胞

4、，将杆体细胞称为暗视觉细胞 眼球内包括晶体、房水及玻璃体，它们都是屈光介质晶体为一扁球形的弹性透明体，位于玻璃体与虹膜之间，睫状体的收缩可改变晶体的屈光力，使外界的对象能在视网上形成清楚的影像图22 眼睛（右眼）解剖图Wall 1942212 视觉通路视觉通路见图23到达视网膜的光线经杆体和锥体细胞转换为神经信号，并经视网膜中的神经节细胞(ganglion cell, GC)加工，传出视网膜经神经节细胞加工的神经信号，经过视交叉部分地交换神经纤维后，再形成视束，传到中枢的许多部位，其中包括丘脑的外膝体或外膝核(lateral geniculate nucleus, LGN)、四叠体上丘、顶盖前

5、区和皮层等上丘与眼动等视反射有关，顶盖前区与调节反射、瞳孔反射有关，外膝体和视皮层都直接与视觉知觉有关神经节细胞轴突在外膝体换神经元后，由外膝体神经元直接经放射到视皮层，这时视束的大部分纤维去向，称为视觉的第一视通路视束的一小部分纤维走向内方，经上丘臂，到达上丘和顶盖前区上丘浅层神经元再透射到丘脑枕换元后，再透射到视皮层，上丘还有纤维直接透射到视皮层由于这条通路不经过外膝体，故称为第二视通路人们普遍认为，视神经信号主要是通过视觉第一通路到达视皮层，因此，第一视觉通路在视觉过程中起着主要的作用，而第二视觉通路的作用及其微小，可以忽略不计，如图2.4所示。图23 人类视觉通路Nieuwenhuys

6、1979213视觉信息处理过程基本视觉信息包括：亮度，形状，运动，颜色，深度知觉等，其中亮度是最基本的视觉信息，因为没有亮度就谈不上什么形状、运动、颜色等视知觉亮度是一种外界辐射的物理量在我们视觉中反映出来的心理物理量物体的形状主要是由物体在视觉空间上的亮度分布，颜色分布或运动状态不同而显示出来的雪地上一张白纸，荒野中潜伏的狼，都比较难以觉察相反，雪地上一张彩纸，绿草地上等一朵红花，荒野中奔跑的狼，都比较容易发现，这是由于物体形状因亮度、颜色、运动等因素而突显出来，易于被人眼分辨出来视觉系统对运动目标十分敏感，特别是低等动物更是如此，如蛙类的视网膜对运动特别敏锐，而对静止的目标却视而不见颜色知

7、觉是一种主观感觉，目前只在感受器细胞水平和心理物理的宏观水平上得到了较深入的研究研究表明图2.4 视觉通路简化模型(Lindsay&Norman1972)Wald1964，猴和人的视网膜中，含有三种不同的锥体细胞，每一种锥体细胞对不同的光谱，其敏感性也是不同的三种锥体细胞对光谱的敏感峰值分别在430纳米，540纳米和570纳米这三个峰值段正对应着光谱中的红、绿、蓝区域实验进一步表明，当三种颜色按一定比例同时刺激人眼时，会产生各种颜色感觉其中有一种比例会使得颜色感觉完全消失，只有亮度感觉这就是所谓的色觉三变量性(tri-variance of color vision )，说明颜色只取决于三个基

8、本的输入量，这也是色觉三基色原理的基础图2.5 三种感受器的光谱敏感示意图Wald 1964人类的视觉不仅要识别物体的形状和颜色，而且要随时地作用于物体，例如，伸手拿一本书，躲开汽车或障碍物，把足球踢入球门等，这一切活动都需要判断我们与被作用物体的距离立体知觉就是指这种判断物体距离或深度的感觉正常的双眼视觉都可以提供高度的立体感外界目标在视网膜上的象是二维的，而且同一物体在左右眼的视网膜上的成像有着微小的差异，比如，用你的手轮流遮挡你的左、右眼，会发现同一个物体在左右眼中的位置是不同的实际上，这种不同为立体视觉提供了最基本的信息视差(disparity)Julesz 1960首次使用随机点立体

9、图对作为刺激研究了立体视知觉，如图2.4所示，这种刺激图形排除了所有单眼视觉引入的第二视觉线索，而只保留了视差信息。受试者在观察随机立体图对时，用左右眼分别观看其中一个图几秒钟，当两个图融合后，便会感受到有一个方形平面从背景中突显出来。除了双眼视差提供深度信息外，还有许多单眼的信息可以产生深度信息的估计，如物体的重叠、透视(近大远小，近清晰远模糊，近亮远暗)、明暗、纹理及运动当然这种深度估计在质量和感觉上仍无法与视差立体知觉的深度相比图2.6 立体视觉测试图Julesz 196022 感受野 在视觉通路上，视网膜上的光感受器(杆体细胞和锥体细胞)通过接受光并将它转换为输出神经信号而来影响许多神

10、经节细胞、外膝状体细胞以及视觉皮层中的神经细胞反过来，任何一种神经细胞(除起支持和营养作用的神经胶质细胞外)的输出都依赖于视网膜上的许多光感受器我们称直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野(receptive field) 1953年Kuffler首次阐明猫的视网膜神经节细胞(GC)的感受野在反应敏感性的空间分布是一个同心圆Kuffler 1953，即感受野一般是由中心的兴奋区域和周边的抑制区域构成的同心圆结构，称为On型感受野，还有一类感受野是由中心抑制和周边兴奋区域的同心圆构成，称为Off型感受野图25所示的是猫视网膜GC的感受野及其反应形式，其中(a)

11、为On型感受野，(f)为Off型感受野，(b)为小光点单独刺激On型感受野中心时，细胞发放频率增加，小光点单独刺激Off型感受野周边时，GC发放频率受到抑制而变低的示意图(c)表明当用面积正好覆盖On型感受野中心的光斑刺激感受野中心时，可以得到GC的最大兴奋型反应(d)表示当用面积正好覆盖On型感受野周边的光斑刺激周边时，得到GC的抑制型反应(e)表示当用大面的弥散光照射On型GC时，它们倾向于彼此抵消，得到较弱的兴奋型反应Rodieck于1965年提出了同心圆拮抗式(homocentric opponent)感受野的数学模型，如图26所示，它由一个兴奋作用强的中心机制和一个作用较弱但面积更大

12、的抑制性周边机制构成Rodieck 1965这两个具有相互拮抗作用的机制，都具有高斯分布的性质，但中心机制具有更高的峰敏感度，而且彼此方向相反，故称相减关系，又称高斯差模型(Difference of Gaussians，DOG) 神经节细胞对落入其感受野内的对比度有选择性的敏感性要比落入整个感受野上的总光强的信息更加敏感图27为一个对比边刺激物位于On型感受野不同位置时，其GC反应放电频率变化图2.7(b)表明，当刺激物从左移到感受野的中心区域边界且没有覆盖中心区域时，GC对这一位置的对比边缘反应要比同样光强的弥散光覆盖整个感受野(图2.7(a)所引起的反应更强GC感受野的这种对明暗对比边缘

13、特别敏感的性质，可以解释心理物理学中著名的马赫带效应(Mach Band)马赫是19世纪著名的奥地利物理学家，他在观察一个亮度渐变的边缘时，发现主观感觉在亮度的一端呈现一个特别亮的亮带，在暗的一端呈现一个特别暗的暗带，如图28所示，这就是马赫带图28 的上方给出了On型感受野的位置示意图，位置3的GC反应最为强烈，它对应于图27(b)的位置，位置4相当于图26(a)的位置，因此，强度仍然较强，但不是最强烈的反应，位置2对应于图27(c)的位置，反应最小，且是抑制性的，即低于黑暗中无刺激时的GC自发放电水平位置1整个GC感受野处于黑暗中，因此只有GC本身的自发放电水平，但比位置2的放电水平要强一

14、些 图 27 猫视网膜神经节细胞的感受野及其反应形式图 28 Rodieck 的视网膜感受野神经节细胞数学模型图 29 亮暗刺激物位于On型感受野不同位置时，其GC反应放电频率图Levine 1981图 210 马赫带现象及其生理基础 在视觉皮层中，除了同心圆状的感受野外，还有更复杂的感受野响应特性 ，它们对其感受野中的特定方向的线段敏感所有视觉通道上的神经细胞，按其感受野在一个视网膜或两个视网膜上，可分为单眼神经细胞和双眼神经细胞所有神经节细胞、外膝体细胞和简单细胞都是单眼的，复杂细胞约有半数为单眼，半数为双眼双眼细胞又可进一步分为右眼主导、左眼主导和双眼均衡的三种 23 视觉信息的多层次并

15、行处理 许多神经科学家对视觉信息的并行分块处理进行了深入的研究所谓的并行分块处理是指不同视觉性质的视觉信息成分按不同的神经通道预处理并输入视皮层，由不同性质的皮层细胞分别进行分析处理以英国科学家Zeki为代表的神经科学家认为，人类视觉系统使用更加精巧的策略或办法来统一不同性质的信息，即在几个不同水平上相互作用来多级地处理复杂的视觉信息，达到感知周围多彩生动的视觉世界Zeki 1993231视觉信息的多层串行处理机制 Hubel和Wiesel首先提出视觉信息是多级串行处理的Hubel 1959由视觉通路可以看到，视网膜、外膝体、视皮层构成对视觉信息处理的多级串行处理，特别是视皮层，表现出更为复杂

16、的多级分层 视网膜由三层细胞组成从最外到最内为感受器细胞层(receptor cell, RC)，双极细胞层(bipolar cell, BC)和神经节细胞层(GC)，GC的轴突形成视神经这三层的每一层均包含有不止一类细胞，各层之间以及一层之内的细胞形成广泛的联系这里需要指出的是光线传递方向与视网膜信息传递方向相反，即光线首先到达神经节细胞层，最后到达感受器细胞，称这种视网膜为倒转视网膜(inverse retina) 视网膜神经节细胞轴突形成视神经，经视交叉和视束到达外膝体外膝体属丘脑，是眼睛到视皮层通路的中继站猴的外膝体细胞在组织上分为六层，各层之间几乎没有任何细胞而来自两个视网膜的纤维分

17、别按照一定的规律投射到外膝体各层外膝体对信息的处理是并行的232 视觉信息的并行处理(1) X、Y和W通道 空间拮抗(spatial opponent)是感受野的一种基本作用性质，但感受野还有一些其它性质，其中最重要的是它的反应时间特性和线性特性比如，猫的神经节细胞可按其反应的空间时间总和性质而划分为两类，一类细胞反应的空间总和性质大体符合Rodieck 模型，即它们的感受野的兴奋和抑制作用可以线性相加，称为X细胞，另一类神经节细胞的空间和性质是非线性的，称为Y细胞外膝体的神经元也可按其空间总和性质划分为X和Y细胞，并且在传递信息过程中，X型神经节细胞总是与X型外膝体神经元发生联系，Y型神经节

18、细胞总是与Y型外膝体神经元发生联系，而X型外膝体神经元多数传至视皮层简单细胞和超级复杂细胞，而多数Y型神经元只传给视皮层复杂细胞由此可见，视觉系统内存在一个X和Y通道，它们在功能上表现出X细胞的感受野可能与空间信息的检测与传递有关，而Y细胞的感受野可能与时间信息的检测与传递有关除了X和Y细胞外，人们在猴、猫视网膜上还发现一种称为W型的神经节细胞，其感受野与Y细胞大小相仿，但轴突直径特别细，因而动作电位在其轴突上传导速度也最慢W细胞的轴突主要传至中脑上丘部，是控制眼球运动的(2) On型和Off型通道 在视网膜上，On型和Off型细胞是一种均匀镶嵌式的排列，其总数基本相等，而在LGN，它们开始呈

19、现一定程度的分离，实验充分证明，On型通道和Off型通道在LGN到视皮层是充分地平行分离的比如，在猴视网膜水平细胞、双极细胞处用药物选择性地阻断On型通路，可以取消神经节细胞，LGN和视皮层的On型反应，但对Off型细胞的反应和视皮层细胞方位、方向选择毫无影响(3) 左眼、右眼通道 在视网膜、外膝体及视皮层构成的视觉通道上，外膝体内的每一个细胞均只接受单眼输入，双眼信息并不相混视皮层中的细胞多为双眼输入细胞，但大多数细胞总是呈现对某眼输入刺激的反应占优势视皮层的左、右眼优势柱，与其对应的细胞产生连接双眼视差信息是立体视觉产生的基础实验证明，猫的不同视差信息处理是经X，Y，W通道分别处理的(4)

20、 空间频率通道 视网膜、外膝体的X和Y型细胞都分别对高、低空间频率反应有显著差异光栅适应性心理学实验有力地支持视觉信息是按空间频率强弱不同的多通道进行分析处理的现已经有充分的实验证据表明猫和猴的皮层17区均存在着空间频率功能柱，在同一柱内的细胞最优空间频率相同具有高空间频率的功能柱集中在17区中央皮层，具有较低空间频率的功能柱向17区中央的周边区域扩散分布(5) 颜色信息处理通道 在视网膜感受器细胞水平，颜色信息即被三种光谱敏感性不同的(红、绿、蓝)锥体细胞所分别处理，侏儒型和平底型双极细胞处理颜色信息，而杆体双极细胞无色觉在神经节细胞水平猴B型节细胞处理信息，故接受其平行投射的外膝体小细胞层

21、司色觉信息处理，而A型细胞无色觉，故平行地接受其输入的LGN大细胞层亦无色觉经外膝体小细胞层细胞所处理的颜色信息，被区(17区)的细胞色素氧化酶染斑点内皮层细胞进一步地加工处理(6) 空间方位信息通道自Hubel和Wiesel 20世纪50年代末开始的视皮层细胞研究工作以来，人们一直认为视觉方位敏感性是视皮层细胞的独有的功能20世纪80年代初，Levick 等证明神经节细胞也具有方位敏感性，不过其敏感性很弱Levick19?寿天德和Leventhal证明约80%的外膝体中继细胞具有弱但确实存在的方向敏感性，这些外膝体神经元具有与视网膜神经节细胞相似的、向心的最优方位分布规律，并且最优方位的细胞

22、在外膝体内部已经聚集在一起寿19因此，视网膜、外膝体和视皮层形成一个方位信息通道(7) 运动方向信息通道视网膜节细胞中的少数W型兴奋抑制中心细胞对运动刺激有方向敏感性寿天德等人认为猫视网膜22%的X型和34%的Y型节细胞具有显著的方向敏感性寿1995Thompson等人证明猫外膝体约有的X和Y细胞具有方向敏感性Thompson 1994这些方向敏感性X和Y细胞可能为强的皮层方向选择性形成作出贡献4 视觉信息的集成和反馈现在知道猴大脑皮层确定与视觉有关的区域约有35个以上，它们既平行又分级处理着各种不同的视觉信息解剖学证据说明35个视觉皮层区之间存在广泛的交互投射英国科学家Zeki 提出关于视觉

23、皮层信息传递集成的“多级同步集成”假说Zeki 1993，用于解释视皮层各特殊区域之间的相互作用机理，以及由此实现思想和行为的集成Zeki指出，视觉皮层信息的集成不是以部位上的会聚为主，而是一种多级集成，在几个不同水平上的相互作用来实现支持这种“多级同步集成”假说的证据很多 例如，色觉区与运动区均有投射到顶皮层的内顶沟；顶皮层区和颞皮层均有输出到额叶，但它们的输入在第三个区域内空间上很少重叠，而且各自有其自己的领地；和也都投射到颞叶皮层，但根本就不存在直接的重叠脑可能使用更加精巧的策略或办法来集成不同性质的信息，即在几个不同水平上相互作用来多级地处理复杂的视觉信息，达到感知周围多彩生动的视觉世

24、界Zeki认为，更高级视觉皮层向和区“再进入”反馈输入信息，对于某些概念的形成具有十分重要的作用正如前述，视觉皮层之间几乎毫无例外地存在着交互投射，甚至丘脑外膝体也接受大量的视皮层下行投射以区为例，区区是弥散于整个区（虽然在宽带部分最为密集），所以不但宽带而且窄带、亮度之间都有来自的投射纤维，因此区可以影响区窄带内细胞的颜色信息处理；颜色信息处理区对区内所有的带区均有弥散性投射，从而对区各带区内细胞投射到和区的信息处理产生影响这样，返回性的“再进入”信息通路不仅返回到原有视区的输入神经元所在的亚区，而且分布到整个前级视区，因此是非模块、不易定位的和多级弥散性的，从而将分工明确的高级视觉皮层内的形状、颜色和运动信息联系起来总之，脑内整个视知觉是由几个视皮层和通路同时活动的产物 以上是人类近40年来对高级生物视觉的研究成果，这些研究成果给我们研究和设计机器视觉系统提供了很好的模型或生物支持这里需要指出，对生物视觉信息处理过程的研究难度十分巨大，目前的研究成果仅仅是生物视觉信息处理机理的及其微小的一部分