光学成像系统讲义稿最终Word文件下载.docx

1、 眼球内包括晶体、房水及玻璃体，它们都是屈光介质晶体为一扁球形的弹性透明体，位于玻璃体与虹膜之间，睫状体的收缩可改变晶体的屈光力，使外界的对象能在视网上形成清楚的影像图2 眼睛（右眼）解剖图Wall 19421.2视觉通路视觉通路见图3到达视网膜的光线经杆体和锥体细胞转换为神经信号，并经视网膜中的神经节细胞（ganglion cell, GC）加工，传出视网膜经神经节细胞加工的神经信号，经过视交叉部分地交换神经纤维后，再形成视束，传到中枢的许多部位，其中包括丘脑的外膝体或外膝核（lateral geniculate nucleus, LGN）、四叠体上丘、顶盖前区和皮层等上丘与眼动等视反射有关

2、，顶盖前区与调节反射、瞳孔反射有关，外膝体和视皮层都直接与视觉知觉有关神经节细胞轴突在外膝体换神经元后，由外膝体神经元直接经放射到视皮层，这时视束的大部分纤维去向，称为视觉的第一视通路视束的一小部分纤维走向内方，经上丘臂，到达上丘和顶盖前区上丘浅层神经元再透射到丘脑枕换元后，再透射到视皮层，上丘还有纤维直接透射到视皮层由于这条通路不经过外膝体，故称为第二视通路人们普遍认为，视神经信号主要是通过视觉第一通路到达视皮层，因此，第一视觉通路在视觉过程中起着主要的作用，而第二视觉通路的作用及其微小，可以忽略不计，如图4所示。图3 人类视觉通路Nieuwenhuys19791.3视觉信息处理过程基本视觉

3、信息包括：亮度，形状，运动，颜色，深度知觉等，其中亮度是最基本的视觉信息，因为没有亮度就谈不上什么形状、运动、颜色等视知觉亮度是一种外界辐射的物理量在我们视觉中反映出来的心理物理量物体的形状主要是由物体在视觉空间上的亮度分布，颜色分布或运动状态不同而显示出来的雪地上一张白纸，荒野中潜伏的狼，都比较难以觉察相反，雪地上一张彩纸，绿草地上等一朵红花，荒野中奔跑的狼，都比较容易发现，这是由于物体形状因亮度、颜色、运动等因素而突显出来，易于被人眼分辨出来视觉系统对运动目标十分敏感，特别是低等动物更是如此，如蛙类的视网膜对运动特别敏锐，而对静止的目标却视而不见颜色知觉是一种主观感觉，目前只在感受器细胞水

4、平和心理物理的宏观水平上得到了较深入的研究研究表明图4 视觉通路简化模型（Lindsay&Norman1972）Wald1964，猴和人的视网膜中，含有三种不同的锥体细胞，每一种锥体细胞对不同的光谱，其敏感性也是不同的三种锥体细胞对光谱的敏感峰值分别在430纳米，540纳米和570纳米这三个峰值段正对应着光谱中的红、绿、蓝区域实验进一步表明，当三种颜色按一定比例同时刺激人眼时，会产生各种颜色感觉其中有一种比例会使得颜色感觉完全消失，只有亮度感觉这就是所谓的色觉三变量性（tri-variance of color vision ），说明颜色只取决于三个基本的输入量，这也是色觉三基色原理的基础图5

5、 三种感受器的光谱敏感示意图Wald 1964人类的视觉不仅要识别物体的形状和颜色，而且要随时地作用于物体，例如，伸手拿一本书，躲开汽车或障碍物，把足球踢入球门等，这一切活动都需要判断我们与被作用物体的距离立体知觉就是指这种判断物体距离或深度的感觉正常的双眼视觉都可以提供高度的立体感外界目标在视网膜上的象是二维的，而且同一物体在左右眼的视网膜上的成像有着微小的差异，比如，用你的手轮流遮挡你的左、右眼，会发现同一个物体在左右眼中的位置是不同的实际上，这种不同为立体视觉提供了最基本的信息视差（disparity）Julesz 1960首次使用随机点立体图对作为刺激研究了立体视知觉，如图4所示，这种

6、刺激图形排除了所有单眼视觉引入的第二视觉线索，而只保留了视差信息。受试者在观察随机立体图对时，用左右眼分别观看其中一个图几秒钟，当两个图融合后，便会感受到有一个方形平面从背景中突显出来。除了双眼视差提供深度信息外，还有许多单眼的信息可以产生深度信息的估计，如物体的重叠、透视（近大远小，近清晰远模糊，近亮远暗）、明暗、纹理及运动当然这种深度估计在质量和感觉上仍无法与视差立体知觉的深度相比图6 立体视觉测试图Julesz 19601.4感受野 在视觉通路上，视网膜上的光感受器（杆体细胞和锥体细胞）通过接受光并将它转换为输出神经信号而来影响许多神经节细胞、外膝状体细胞以及视觉皮层中的神经细胞反过来，

7、任何一种神经细胞（除起支持和营养作用的神经胶质细胞外）的输出都依赖于视网膜上的许多光感受器我们称直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野（receptive field） 1953年Kuffler首次阐明猫的视网膜神经节细胞（GC）的感受野在反应敏感性的空间分布是一个同心圆Kuffler 1953，即感受野一般是由中心的兴奋区域和周边的抑制区域构成的同心圆结构，称为On型感受野，还有一类感受野是由中心抑制和周边兴奋区域的同心圆构成，称为Off型感受野图5所示的是猫视网膜GC的感受野及其反应形式，其中（a）为On型感受野，（f）为Off型感受野，（b）为小光点单

8、独刺激On型感受野中心时，细胞发放频率增加，小光点单独刺激Off型感受野周边时，GC发放频率受到抑制而变低的示意图（c）表明当用面积正好覆盖On型感受野中心的光斑刺激感受野中心时，可以得到GC的最大兴奋型反应（d）表示当用面积正好覆盖On型感受野周边的光斑刺激周边时，得到GC的抑制型反应（e）表示当用大面的弥散光照射On型GC时，它们倾向于彼此抵消，得到较弱的兴奋型反应Rodieck于1965年提出了同心圆拮抗式（homocentric opponent）感受野的数学模型，如图6所示，它由一个兴奋作用强的中心机制和一个作用较弱但面积更大的抑制性周边机制构成Rodieck 1965这两个具有相互

9、拮抗作用的机制，都具有高斯分布的性质，但中心机制具有更高的峰敏感度，而且彼此方向相反，故称相减关系，又称高斯差模型（Difference of Gaussians，DOG） 神经节细胞对落入其感受野内的对比度有选择性的敏感性要比落入整个感受野上的总光强的信息更加敏感图7为一个对比边刺激物位于On型感受野不同位置时，其GC反应放电频率变化图7（b）表明，当刺激物从左移到感受野的中心区域边界且没有覆盖中心区域时，GC对这一位置的对比边缘反应要比同样光强的弥散光覆盖整个感受野（图7（a）所引起的反应更强GC感受野的这种对明暗对比边缘特别敏感的性质，可以解释心理物理学中著名的马赫带效应（Mach Ba

10、nd）马赫是19世纪著名的奥地利物理学家，他在观察一个亮度渐变的边缘时，发现主观感觉在亮度的一端呈现一个特别亮的亮带，在暗的一端呈现一个特别暗的暗带，如图8所示，这就是马赫带图8 的上方给出了On型感受野的位置示意图，位置3的GC反应最为强烈，它对应于图7（b）的位置，位置4相当于图6（a）的位置，因此，强度仍然较强，但不是最强烈的反应，位置2对应于图7（c）的位置，反应最小，且是抑制性的，即低于黑暗中无刺激时的GC自发放电水平位置1整个GC感受野处于黑暗中，因此只有GC本身的自发放电水平，但比位置2的放电水平要强一些图 7 猫视网膜神经节细胞的感受野及其反应形式图 8 Rodieck 的视网

11、膜感受野神经节细胞数学模型图 9 亮暗刺激物位于On型感受野不同位置时，其GC反应放电频率图Levine 1981图 10 马赫带现象及其生理基础在视觉皮层中，除了同心圆状的感受野外，还有更复杂的感受野响应特性 ，它们对其感受野中的特定方向的线段敏感所有视觉通道上的神经细胞，按其感受野在一个视网膜或两个视网膜上，可分为单眼神经细胞和双眼神经细胞所有神经节细胞、外膝体细胞和简单细胞都是单眼的，复杂细胞约有半数为单眼，半数为双眼双眼细胞又可进一步分为右眼主导、左眼主导和双眼均衡的三种 1.5视觉信息的多层次并行处理许多神经科学家对视觉信息的并行分块处理进行了深入的研究所谓的并行分块处理是指不同视觉

12、性质的视觉信息成分按不同的神经通道预处理并输入视皮层，由不同性质的皮层细胞分别进行分析处理以英国科学家Zeki为代表的神经科学家认为，人类视觉系统使用更加精巧的策略或办法来统一不同性质的信息，即在几个不同水平上相互作用来多级地处理复杂的视觉信息，达到感知周围多彩生动的视觉世界Zeki 19931.6视觉信息的多层串行处理机制 Hubel和Wiesel首先提出视觉信息是多级串行处理的Hubel 1959由视觉通路可以看到，视网膜、外膝体、视皮层构成对视觉信息处理的多级串行处理，特别是视皮层，表现出更为复杂的多级分层 视网膜由三层细胞组成从最外到最内为感受器细胞层（receptor cell, R

13、C），双极细胞层（bipolar cell, BC）和神经节细胞层（GC），GC的轴突形成视神经这三层的每一层均包含有不止一类细胞，各层之间以及一层之内的细胞形成广泛的联系这里需要指出的是光线传递方向与视网膜信息传递方向相反，即光线首先到达神经节细胞层，最后到达感受器细胞，称这种视网膜为倒转视网膜（inverse retina）视网膜神经节细胞轴突形成视神经，经视交叉和视束到达外膝体外膝体属丘脑，是眼睛到视皮层通路的中继站猴的外膝体细胞在组织上分为六层，各层之间几乎没有任何细胞而来自两个视网膜的纤维分别按照一定的规律投射到外膝体各层外膝体对信息的处理是并行的1.7视觉信息的并行处理（1） X、

14、Y和W通道 空间拮抗（spatial opponent）是感受野的一种基本作用性质，但感受野还有一些其它性质，其中最重要的是它的反应时间特性和线性特性比如，猫的神经节细胞可按其反应的空间时间总和性质而划分为两类，一类细胞反应的空间总和性质大体符合Rodieck 模型，即它们的感受野的兴奋和抑制作用可以线性相加，称为X细胞，另一类神经节细胞的空间和性质是非线性的，称为Y细胞外膝体的神经元也可按其空间总和性质划分为X和Y细胞，并且在传递信息过程中，X型神经节细胞总是与X型外膝体神经元发生联系，Y型神经节细胞总是与Y型外膝体神经元发生联系，而X型外膝体神经元多数传至视皮层简单细胞和超级复杂细胞，而多

15、数Y型神经元只传给视皮层复杂细胞由此可见，视觉系统内存在一个X和Y通道，它们在功能上表现出X细胞的感受野可能与空间信息的检测与传递有关，而Y细胞的感受野可能与时间信息的检测与传递有关除了X和Y细胞外，人们在猴、猫视网膜上还发现一种称为W型的神经节细胞，其感受野与Y细胞大小相仿，但轴突直径特别细，因而动作电位在其轴突上传导速度也最慢W细胞的轴突主要传至中脑上丘部，是控制眼球运动的（2） On型和Off型通道 在视网膜上，On型和Off型细胞是一种均匀镶嵌式的排列，其总数基本相等，而在LGN，它们开始呈现一定程度的分离，实验充分证明，On型通道和Off型通道在LGN到视皮层是充分地平行分离的比如，

16、在猴视网膜水平细胞、双极细胞处用药物选择性地阻断On型通路，可以取消神经节细胞，LGN和视皮层的On型反应，但对Off型细胞的反应和视皮层细胞方位、方向选择毫无影响（3） 左眼、右眼通道 在视网膜、外膝体及视皮层构成的视觉通道上，外膝体内的每一个细胞均只接受单眼输入，双眼信息并不相混视皮层中的细胞多为双眼输入细胞，但大多数细胞总是呈现对某眼输入刺激的反应占优势视皮层的左、右眼优势柱，与其对应的细胞产生连接双眼视差信息是立体视觉产生的基础实验证明，猫的不同视差信息处理是经X，Y，W通道分别处理的（4） 空间频率通道 视网膜、外膝体的X和Y型细胞都分别对高、低空间频率反应有显著差异光栅适应性心理学

17、实验有力地支持视觉信息是按空间频率强弱不同的多通道进行分析处理的现已经有充分的实验证据表明猫和猴的皮层17区均存在着空间频率功能柱，在同一柱内的细胞最优空间频率相同具有高空间频率的功能柱集中在17区中央皮层，具有较低空间频率的功能柱向17区中央的周边区域扩散分布（5） 颜色信息处理通道 在视网膜感受器细胞水平，颜色信息即被三种光谱敏感性不同的（红、绿、蓝）锥体细胞所分别处理，侏儒型和平底型双极细胞处理颜色信息，而杆体双极细胞无色觉在神经节细胞水平猴B型节细胞处理信息，故接受其平行投射的外膝体小细胞层司色觉信息处理，而A型细胞无色觉，故平行地接受其输入的LGN大细胞层亦无色觉经外膝体小细胞层细胞

18、所处理的颜色信息，被区（17区）的细胞色素氧化酶染斑点内皮层细胞进一步地加工处理（6） 空间方位信息通道自Hubel和Wiesel 20世纪50年代末开始的视皮层细胞研究工作以来，人们一直认为视觉方位敏感性是视皮层细胞的独有的功能20世纪80年代初，Levick 等证明神经节细胞也具有方位敏感性，不过其敏感性很弱Levick19?寿天德和Leventhal证明约80%的外膝体中继细胞具有弱但确实存在的方向敏感性，这些外膝体神经元具有与视网膜神经节细胞相似的、向心的最优方位分布规律，并且最优方位的细胞在外膝体内部已经聚集在一起寿19因此，视网膜、外膝体和视皮层形成一个方位信息通道（7） 运动方向

19、信息通道视网膜节细胞中的少数W型兴奋抑制中心细胞对运动刺激有方向敏感性寿天德等人认为猫视网膜22%的X型和34%的Y型节细胞具有显著的方向敏感性寿1995Thompson等人证明猫外膝体约有的X和Y细胞具有方向敏感性Thompson 1994这些方向敏感性X和Y细胞可能为强的皮层方向选择性形成作出贡献1.8视觉信息的集成和反馈现在知道猴大脑皮层确定与视觉有关的区域约有35个以上，它们既平行又分级处理着各种不同的视觉信息解剖学证据说明35个视觉皮层区之间存在广泛的交互投射英国科学家Zeki 提出关于视觉皮层信息传递集成的“多级同步集成”假说Zeki 1993，用于解释视皮层各特殊区域之间的相互作

20、用机理，以及由此实现思想和行为的集成Zeki指出，视觉皮层信息的集成不是以部位上的会聚为主，而是一种多级集成，在几个不同水平上的相互作用来实现支持这种“多级同步集成”假说的证据很多 例如，色觉区与运动区均有投射到顶皮层的内顶沟；顶皮层区和颞皮层均有输出到额叶，但它们的输入在第三个区域内空间上很少重叠，而且各自有其自己的领地；和也都投射到颞叶皮层，但根本就不存在直接的重叠脑可能使用更加精巧的策略或办法来集成不同性质的信息，即在几个不同水平上相互作用来多级地处理复杂的视觉信息，达到感知周围多彩生动的视觉世界Zeki认为，更高级视觉皮层向区“再进入”反馈输入信息，对于某些概念的形成具有十分重要的作用

21、正如前述，视觉皮层之间几乎毫无例外地存在着交互投射，甚至丘脑外膝体也接受大量的视皮层下行投射以区为例，区区是弥散于整个区（虽然在宽带部分最为密集），所以不但宽带而且窄带、亮度之间都有来自的投射纤维，因此区可以影响区窄带内细胞的颜色信息处理；颜色信息处理区对区内所有的带区均有弥散性投射，从而对区各带区内细胞投射到区的信息处理产生影响这样，返回性的“再进入”信息通路不仅返回到原有视区的输入神经元所在的亚区，而且分布到整个前级视区，因此是非模块、不易定位的和多级弥散性的，从而将分工明确的高级视觉皮层内的形状、颜色和运动信息联系起来总之，脑内整个视知觉是由几个视皮层和通路同时活动的产物。美国制造工程师

22、协会（SME Society of Manufacturing Engineers）机器视觉分会和美国机器人工业协会（RIA Robotic Industries Association）的自动化视觉分会对机器视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置”。在现代工业自动化生产中，涉及到各种各样的检验、生产监视及零件识别应用，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作，其它物理量传感器也难有

23、用武之地。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。机器视觉技术用计算机来分析一个图像，并根据分析得出结论。现今机器视觉有两种应用。机器视觉系统可以探测部件，在此光学器件允许处理器更精确的观察目标并对哪些部件可以通过哪些需要废弃做出有效的决定；机器视觉也可以用来创造一个部件，即运用复杂光学器件和软件相结合直接指导制造过程。尽管机器视觉应用各异，但都包括以下几个过程；

24、图像采集光学系统采集图像，图像转换成模拟格式并传入计算机存储器。 图像处理处理器运用不同的算法来提高对结论有重要影响的图像要素。 特性提取处理器识别并量化图像的关键特性，例如印刷电路板上洞的位置或者连接器上引脚的个数。然后这些数据传送到控制程序。 判决和控制处理器的控制程序根据收到的数据做出结论。例如：这些数据包括印刷电路板上的洞是否在要求规格以内或者一个自动机器如何必须移动去拾取某一部件。机器视觉系统解析典型的视觉系统一般包括：光源、光学系统，相机、图像处理单元（或图像采集卡）、图像分析处理软件、监视器、通讯/输入输出单元等。图像采集图像的获取实际上是将被测物体的可视化图像和内在特征转换成能

25、被计算机处理的数据，它直接影响到系统的稳定性及可靠性。一般利用光源、光学系统，相机、图像处理单元（或图像捕获卡）获取被测物体的图像。 光源 光源和影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。许多工业用的机器视觉系统用可见光作为光源，这主要是因为可见光容易获得，价格低，并且便于操作。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，

26、光能将不断下降。因此，如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一个方面，环境光将改变这些光源照射到物体上的总光能，使输出的图像数据存在噪声，一般采用加防护屏的方法，减少环境光的影响。由于存在上述问题，在现今的工业应用中，对于某些要求高的检测任务，常采用X射线、超声波等不可见光作为光源。由光源构成的照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和相机之间，它的优点是能获得高对比度的图像；前向照明是光源和相机位于被测物的同侧，这种方式便于安装；结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测

27、物的三维信息；频闪光照明是将高频率的光脉冲照射到物体上，要求相机的扫描速度与光源的频闪速度同步。 光学系统对于机器视觉系统来说,图像是唯一的信息来源，而图像的质量是由光学系统的恰当选择来决定。通常，由于图像质量差引起的误差不能用软件纠正。机器视觉技术把光学部件和成像电子结合在一起，并通过计算机控制系统来分辨、测量、分类和探测正在通过自动处理系统的部件。机器视觉系统通常能快到100%的探测所处理的产品而不会降低生产线的速度。由于越来越多的制造商正需要“6-sigma“（小于百万分之三的有效单位）结果，以便能够在当今质量意识很强的市场中更有竞争力，这种能力显得非常重要。另外，这些系统能够与满意过程

28、控制（SPC）非常理想的配合。光学系统的主要参数与图像传感器的光敏面的格式有关，一般包括：光圈、视场、焦距、F数等。 相机相机是实际上是一个光电转换装置，即将图像传感器所接收到的光学图像，转化为计算机所能处理的电信号。光电转换器件是构成相机的核心器件。目前，典型的光电转换器件为真空摄像管、CCD、CMOS图像传感器等。真空电视摄像管由密封在玻璃管罩内的摄像靶、电子枪两部分组成。摄像靶将输入光学图像的光照度分布转换为靶面相应象素电荷的二维空间分布，主要完成光电转换和电荷存贮任务；电子枪则完成图像信号的扫描拾取过程。电视摄像管型成像系统具有高清晰度、高灵敏度、宽光谱和高帧速成像等特点。但由于电视摄像管属于真空管器件，其重量、体积及功耗均较大。CCD是目前机器视觉最为常用的图像传感器。它集光电转换及电荷存贮、电荷转移、信号读取于一体，是典型的固体成像器件。CCD的突出特点是以电荷作为信号，而不同于其器件是以电流或者电压为信号。这类成像器件通过光电转换形成电荷包，而后在驱动脉冲的作用下转移、放大输出图像信号。典型的CCD相机由光学镜头、时序及同步信号发生器、垂直驱动器、模拟/数字信号处理电路组成。下图为CCD相机的原理框图。CCD作为一种功能器件，与真空管相比，具有无灼伤、无滞后、低电压工作、低功耗等优点。