第五章 机器视觉.docx

1、第五章 机器视觉第五章 机器视觉5.1 图像获取 15.1.1 图像传感器 15.1.2 TV 摄像机 25.1.3 图像输入装置及其处理装置 25.1.4 光源 25.2 背景分割 35.2.1 基于彩色信号的识别方法 35.2.2 基于光谱反射的识别方法 55.3 对象识别 85.3.1 从两值化图像中所获取的特征量 85.3.2 从灰度图像中所获取的特征 115.3.3 生物体识别算法 125.4 深度测量和立体视觉 145.1 图像获取5.1.1 图像传感器有许多成像装置可以用来获取TV(电视)图像:视像管、正析摄像管、固态成像传感器。今天固态成像传感器是机器视觉中最广泛应用得传感器。

2、固态成像传感器有以下优点：电能消耗量低、尺寸小、残留图像少、低的粘性、图像变形少和抗休克特征，这些特征对机器人视觉系统是十分适用的。 固态图像传感器有一组从光子中产生电荷的光电元件，该传感器根据它的扫描方法可以分为电荷耦合装置型和金属氧化物半导体型。光电耦合装置传感器有高的分辨率优点，而金属氧化物半导体型传感器对较少扫帚现象更为适用。成像传感器对可见光到近红外区域（400-1200nm）通常具有敏感性。成像传感器也可以分为2维排列的光电元件面传感器和一位排列的线传感器。5.1.2 TV 摄像机一个TV摄像机主要由一个或多个摄像传感器、镜头、一个扫描发生器、增幅（放大器）和信号处理器组成的外围电

3、路。一个彩色TV摄像机具有三个图像传感器，被分配对三原色（红（R）、绿（G）、蓝（B）或者其补色。机器人视觉系统中通常采用具有一个图像传感器的TV摄像机。具有单一图像传感器的彩色摄像机使用RGB或者互补滤波器来布置，就像在传感器的光敏面上镶嵌一个东西。在野外的情况下，光照依据环境而变化，光圈控制系统是必须的。由于环境影响色温，进而在摄像机中具备一个自动化的色温控制系统也是十分重要的。5.1.3 图像输入装置及其处理装置从TV摄像机的输出信号是一个模拟电波图像信号，这个模拟信号通过数模转换（A/D）器来完成。经过A/D转换后，输出信号就被转换位数字信号。图5.2显示一个计算机视觉系统的方框示意图

4、。当对图像处理速度要求不高时，计算机能通过读图像数据到内存中进行图像处理，如图5.2中上侧所示。可是，由于图像可能具有大量的信息，有时候也需要一个专用的图像处理器来进行图像的快速处理，如图5.2的图下侧所示。图5.2 计算机视觉系统框图在一个二值图像采集装置中，使用模拟电压比较器来代替A/D转换器。通过计算机模拟视频信号可转换为1或0的二值信号，然后将其存入存储器。5.1.4 光源一般来说，日光辐射的峰值在500nm和从紫外区域到近红外区域。为避免自然光照变化大的影响，可使用电子快门来缩短摄像机曝光时间，同时与快门同期使用发光闪光灯。根据曝光时间采用闪光灯源和电子快门使目标亮显。因为曝光时间短

5、，使用电子快门的摄像机的敏感性是小；因此摄像机对自然光不敏感。只有靠近摄像机的有限区域里，闪光灯光源发出的光亮度是高的。因此，仅仅接近闪光灯的物体出现在图像中。这也是该方法的一个值得注意的特征，因为机器人只能处理在所能达到道深度附近的图像。另外，在摄像机附近装闪光灯来输入果实图像时，利用果实中心部变亮的特点也可以确认果实的中心位置。例如，当用闪光灯照射时，反射水果图像在其中心位置图像更明亮。在室内，通常采用人工光源来进行图像获取。有很多种类灯可用来提供光能用于图像获取。常用的一些类型有卤素灯、荧光灯、汞灯、疝气灯和激光器，每种灯具有不同的辐射属性。基于生物对象的光学特性进行灯的选择是明智的。5

6、.2 背景分割5.2.1 基于彩色信号的识别方法彩色是一种光的视觉刺激。尽管很容易量化彩色，有几种不同方法可用来表示它（Kondo，1969）。图5.3显示了一个具有色相、明亮度和彩度的彩色立体。色相是色彩的相貌，如红、黄、绿、蓝和紫色；明亮度指色彩的明暗；而彩度指色彩的纯度。为了使人量化彩色简单化，由孟塞尔倡导提出了推荐的心理学系统或者称为孟塞尔彩色格式系统。在这种方法中，色相被分成10种彩色（红、黄红、黄、绿、蓝绿、蓝、紫蓝、紫和红紫），并且1到10种颜色值被依据颜色的差别给定。例如，通常绘画彩色用5R4/14，5GY7/10和5PB4/12等等表达。国际照明协会提出又一种方法：色度图。所

7、有的彩色能通过封闭曲线内等量被表达。图5.3 彩色立体彩色摄像机能提供三种基本颜色元素：红、绿和蓝。亮度信号Y可从三原色中推导而出（Okamoto et al.,1992）（5.1）Y，R，G和B分别代表当图像获取后的亮度、红、绿、蓝的A/D转换值。当当工作目标的颜色与它的背景不同时，通常用彩色摄像机来区别他们。一个方法是比较R-B或R/（R+G+B）和某个灰度值进行比较，另外一个方法由R，G，B计算出色相与彩度与灰度值进行比较。被识别的图像通常用二值数据进行表达以使处理时间缩短、存储空间更小。RGB模拟信号也能被计算或比较：计算和比较也可通过存储在图像内存中灰度值通过A/D变换后和比较信号被

8、做通过电路模拟信号（模拟电压比较器）以使二值化图像能获得。作为一个例子，图5.5显示了一个识别。图5.5 樱桃番茄二值图从背景看来据称一堆的15个樱桃番茄。在自然光情况下，因为照明和色温变化变化，RGB信号方法并不是总是有效的，尤其是区分绿色水果。在这种情况下，下面基于目标光谱反射方法可能是有效的。5.2.2 基于光谱反射的识别方法正如第二章所述，生物体都有特定的分光反射率，尤其在近红外区域。即使对那些在可见光看起来相似的物体，诸如叶和茎可能从他们在近红外区有不同的反射率来进行区分。可以使用最适合的波段的通光率滤光器。要设计这些滤光器能流要考虑，要考虑能流，正如图5.6所示。图5.6 光到传感

9、器输出的能量流动首先，从光传来的能E经对象物（反射率为R）后变为ER。该能量通过镜头（透光率位L）与过滤器（透光率为T）后变为ERTL。然后放入一个图像传感器。最后，相对于对象部位a，b的图像传感器输出、按具相对灵敏度S可分别由下式表示：推导公式如下： (i=1,2),（5.2） (i=1,2),（5.3） 其中， 对象部位的反射率对象部位的反射率过滤器的透过率镜头的透过率波长当两个光学滤光器用来进行识别时，其评价方式采用方程(5.4)表示。C值越大，对象部位a与b越易分辨。所以C达最大值时的两枚过滤器组合的透过率通常作为识别器官所必要的最佳波长带。（5.4） 几种以果实a与叶b为对象物时的最

10、佳波长带如表5.1所示，是用一组干涉过滤器的中心波长和半幅值来表示的。蕃茄的值是在叶绿素的吸收带670nrn附近及H2O的吸收带980nm附近，使用这些值可以区分西红柿果实核叶子。茄子和黄瓜的值在仍呈绿时时的550nrn附近及果实与时的反射率之差最大的800-880nm附近，柑桔与柿子在可视域内的520nrn及670nm附近。如果水果未熟或光照条件是变化得，使用这些波长带可以较容易识别水果和叶子。图5.7显示用于视觉感受器干涉滤光片和RGB滤光器的透光率。表5.1 最适合的波长带对象物中心波长（nm） 带宽（nm） C番茄980670850.850黄瓜5508001750.357茄子55088

11、01650.466柑桔520670950.999柿子5206801451.1121图5.7 多光谱传感器的光学滤波器5.3 对象识别即使在得到如图5.5所示的两值化图像后，机器人仍然并不知道数量、尺寸和每个水果位置。当生物生产机器人进行一些操作时，在许多场合还耍知道叶子形状、茎的方向、植物部分长度、种类、营养状态。这些信息被隐藏在图像中。因此知道什么类型的特征是需要的并且这些特征如何从图像中提取用来识别图像中的对象物，这是十分重要的。为了认识图像，使用阈值化图像或灰度图像。5.3.1 从两值化图像中所获取的特征量在识别之前，对两值图像进行一些处理，如平滑、压缩、膨胀、抽骨架、边缘提取以及边缘追

12、踪链码。这主要是在图像中不仅包括目标对象物，而且也包含噪声和一些不必要的东西。对象物中有许多特征，其中包括长度、宽度、面积、周长、费来长、重心、相交、方向、惯性质量、海伍德直径和分数次元。这里，用周长和面积得得到复杂度e，以及费来长比r可分别由下式获得。（5.5）（5.6）其中，-周长 -面积 -指用两条垂直线将图像夹起来时这两条线之间的距离。 -指用两条水平线将图像夹起来时这两条线之间的距离。在二值图像中，图形T的各像素均可认为具有质量为1的重量，所以与各种惯量有关的量可由下式求出。M(p, q) = （5.7）由此，表示图形T的面积，及表示绕轴和的惯量。如在=处设主茎轴和叶轴，则表达绕茎轴

13、或叶轴的惯量，标准化的可由由下式表示。（5.8）5.3.1.1 分数次元 一些植物的形状，如荷兰芹、菜花、日本扁柏、小的开花植物等呈规则分枝的构造。分数次元能用非整数维来表达复杂的物体。分数次元和对象物面积可以通过式5.9来确定,分数次元D可通过式5.10来确定。（5.9）（5.10）其中： 对象物周长 （） 对象物面积 （）5.3.1.2细线化处理 细线化处理对提取一些特征是十分有效的,由于它能把块状二值图像转化为骨架图像。在二值图像中，环绕像素的连接号可由下式表达：N= (),（5.11）其中 细线化过程就是通过当消除像素,一个一个删除一直循环到线幅为1为止。图5.8 邻域像素5.3.1.

14、3 链码 链码是用来确定对象物的方向和边界形状方法之一。当用数字指定边界像素的一个方向，形状分析如图5.11所示。通过使用8个方向数这种方法可以简练地告诉对象物的形状轮廓。图5.11 链码的确定5.3.2 从灰度图像中所获取的特征如前所述，从二值图像可以提取许多特征，但在阈值分割前灰度图像有更多的信息。其中有代表性的特征是纹理特征。对一个生物体的对象统计纹理分析是合适的。目前，有几种分析方法被推荐：共生矩阵法，灰度差分法，灰度游程长度法和能量谱法。下面对使用共生矩阵方法和纹理特征进行介绍。5.3.2.1共生矩阵 灰度共生矩阵用一个像素灰度值为与另外一个像素灰度值为的距离为角度为用概率来表示，图

15、5.12用图说明了不同角度和距离得共生矩阵。通过使用共生矩阵，1973年Haralick等提出14种纹理特征。下面是二阶矩、对比度、相关和逆差矩四个特征可由下列公式表达： （5.12）（5.13）（5.14） 其中，p(i,j)是归一化的灰度空间依赖矩阵； 图5.12 共生矩阵5.3.3 生物体识别算法植物的枝条、叶子尺寸、节点长度、茎径、叶柄和茎的夹角有一定得模式规律，在植物每个生长阶段积累的形态学数据能使形状识别更有效。当植物的投影模型在计算机内作为机器人知识时,如果对象物位置和视觉传感器位置、方向、和视觉传感器的视角，植物的种类和其它信息已知的，就可对获取得植物图像进行预测。另一方面，在

16、某种程度上，在对象物位置和视觉传感器关系可以使用从对象物具有模式规律性图像来进行估计。这就暗示在对象物已被检测后，可通过细查图像来估计叶子和水果的位置。图5.13 植物图像辨识算法框图5.13显示了辨识算法的框图。首先，与目标物以外的其他物体区分主要利用分光反射特性和深度信息。第二，主茎位置、尺寸以及对象物的顶端可通过矩（moment）、弗来特直径和其它两值化图像和灰度图像特征来检测。第三，确定视觉传感器与对象物之间位置关系。每个叶子的位置和方向最终可通过投影模型最终得到检测。图5.14给出了最后一部的详细算法。首先，从全长推测出茎叶数以后，从上到下计算茎叶的位置、方向、尺寸，确认各位置是否存

17、在茎叶。如存在，沿轮廓线寻找，通过复杂度、惯量等决定茎叶位置、方向及尺寸、如计算出来的茎叶不存在，则认为是有欠缺或视点方向不正确，需要重新验证视点方向。将这种判断一直反复迸行到茎叶的数量为上。象这样利用植物体的恃征进行图像扫描的顺序对于复杂而且形状不一的作物是有效的。图5.14 茎叶图像识别算法5.4 深度测量和立体视觉5.4.1 深度测量在生物生产中，经常需要机器人从场景中捕获深度数据。尽管获得2维图像有不同传感系统，我们目前仍然没有这样获取深度数据的标准系统。测量深度数据有两种基本不同的光学技术：主动法和被动法。前者又可细分为传播时间法和三角测量法。被动方法与双目视觉（即立体视觉）相似。5

18、.4.1.1 传播时间 光学传播时间测距仪通常由发射一个校准光束发射器，一个扫描机构，一个检测在对象物上反射光的接受装置组成。通过光从日发射器到对象物并返回的时间可以获得距离。当光束照射到一个物体上，光的一部分会反射回到扫描装置和偏转到接收器的光电倍增器。信号的相位相对于参考相位是与传播时间成比例的。5.4.1.2 主动三角测量 主动三角测量方法就是用透光器来代替双目视觉系统中一个眼睛，例如一平面光或聚光灯从一个方向投影在对象物上，同时一个摄像机从另外一个方向检测它的图像。主动的三角测量法不仅用于研究（Oshima 和Shirai, 1983）而且用来检查（Yoshimura 和Okamoto

19、, 1989）或工业焊接和人脸测量。主动方法的优点是:无需计算就能获得深度数据。尽管该方法只有在对象物是足够紧密的，反射光才可能被观察，但它仍可能对大多数机器人视觉系统是有用的。5.4.1.3 立体视觉 我们已经发现主动发现深度的方法只在有限的情况下工作（对象物曲面法线相对光的方向并不发生大的角度变化并且对象物是足够紧密的以使反射光可能被可靠的观察到）。另一方面，被动立体视觉在人双目视觉能能工作原则下的各种情况下也都工作。尽管立体视觉有潜力，但其还没有在工业上广泛应用。两个主要原因是：（1） 还没有开发出可靠的图像处理程序（2） 图像处理需要时间长这两个原因并不是独立的，也就是说如果开发出可靠

20、的图像处理程序，通过使用超级计算机或专用图像处理器，处理时间可能会减少。由于以下原因，人的双目视觉工作很好：（1） 人眼对亮度和颜色的轻微变化敏感（2） 人眼能获得高分辨率的图像（3） 观看一个对象物时，人眼能检测出轻微运动的运动视差（4） 人脑能通过双目视觉输出，同时具有运动视差、轮廓的连续性、关于对象物的知识线索等构造三维图像。因此，很难认识普通立体视觉系统和人类双目视觉。可是，我们能制作对限制类环境的简单立体视觉系统。立体视觉环境能分成以下两类:（1） 从两个图像中很容易检测到明显特征,因此发现相应特征信息并不难.（2） 在一个场景中有不同特征，在两个图像中，因而发现对应信息也是困难的。

21、立体视觉的主要问题时发现左图像和右图像中的对应的点。一旦对应点确定好，这些点的3-D位置很容易通过三角测量从差异计算出来。通常，沿着一个叫核线搜索对应点或对应区域（注：核线由立体摄像机配置确定，如果两摄像机轴是平行的，则核线是一水平线。）有许多算法可用来发现对应，这些算法可以分成下面两类：（1） 基于面积方法：通过左图像和右图像中点的邻域面积的相似性来确定对应点。（2） 基于特征的方法：通过左图像和右图像中特征的相似性来确定对应。下面部分描述这两种方法。要注意，为解决对应的含糊，建议使用下面的多摄像机方法：（1） 三目立体摄像机，使用三条核线（Yachida, 1986年）（2） 线性多摄像机

22、，充分利用冗余性（Yoshida 和Hirose, 1992）5.4.1.4 具有明显特征的立体视觉 如果从两幅图像中很容易检测出明显特征，立体匹配是相当容易。大多数实际系统都在这种情况下工作。例如，在生产线上用立体视觉来定位悬挂在机器上的一个柔软管。两个摄像机从不同方向（成90度夹角）来检测管的中心。管中心的3-D位置能通过两个摄像机中心位置计算出来。由于可设置环境使管可从每个图像背景中分离出来，这个检测是相当容易的。比较困难的情况是需要观测多种特征。这通常发生在箱挑选任务。5.4.2 基于面积的立体视觉大多数基于面积方法在一幅图像中选择特征点（一般来说指指左图像）并环绕特征点设置窗口。位于

23、左图像中的一个点，其对应点一定在被称为核线的线上。沿着核线再设置一个窗口，然后对两个窗口中的子图像的相似性进行计算。为发现对应，有两种重要的问题需要讨论：（1） 如何计算相似性（2） 如何从相似性中确定对应点（1） 对第一个问题，已经提出许多计算相似性的方法。一个经典的方法就是计算在两个区域（W 和W）两幅图像的相关性。对于第二个问题，因为有些图像没有对应点，因此发现对应点并不简单。这就是说不能根据差别的最大相似性或最小差别来确定对应点。图5.20 寻找对应点（a）成功（b）需再确定（c）失败一种方法是可以用三阈值来解决这个问题，阈值的大小取决于场景，如图5.20所示（Yasue 和Shira

24、i，1973）。在图中，f(x) 表示在窗口中左图像和窗口中右图像的在核线x上的差。依据下列步骤可确定对应点：（1） 如果仅仅有一个极小值a并且最小值a小于阈值（见图5.20（a），a处就是其对应点。（2） 如果有多个小于极小值或极小值是在和之间（如图5.20（b）,决策将延缓。通过增加窗口尺寸使用较大的图像重复整个程序。在随后的程序中，当f (x) (在b 和 c 之间) 就表明找到对应点。（3） 如果极小值在之上（如图5.20（c），可以确定没有对应点。这种方法的一个优点是大多数对应点可用最小窗口来确定，并且重复用较大窗口来进一步确定时有较少不确定对应点。应注意，由于该方法涉及到一个复杂的

25、顺序过程，该程序不适合专用设备。5.4.2.1基于面积的实时立体视觉 科学家一直在努力使立体视觉更快。最初，尽管SSD法币相关法效果次，SSD（差值的平方和）方法因与相关法比所需计算量少，SSD方法被建议使用。在计算过程中，如果中值变大则停止计算SSD，可以改善SSD方法使其更快。但对实时立体视觉来讲，计算量仍然很大。 Fujitsu开发一跟踪视觉系统，该系统能计算接近指定位置的SAD并返回具有相应分数的最好匹配窗口。这运算在一个16 x 16窗口100个点视频率和一个8x 8窗口180个点视频率下进行。如果搜索窗口被限定到允许邻域（16 x 16 点），可用跟踪视觉系统进行立体匹配。如果10

26、0和180个范围点是不够，我们只有等更快的芯片。通常，仅仅SAD方法并不是可靠的。5.4.2.2基于特征的立体视觉 在基于立体视觉的特征中，多种特征能被使用作匹配单位。那些特征可分为下面具有下述特性的两类：1. 全局特征，如长边缘部分 很难从两幅图像检测到同样特征 容易匹配2. 局部特征，如用局部算子提取的边缘 容易检测 很难对许多相似特征进行匹配据说，动物视觉系统通过检测局部特征获得立体视觉。我们也能使用局部特征来获取能再各种环境下工作的常规视觉系统。最常用的特征是用Gaussian-Laplacian滤波图像来进行边缘检测左零交叉。Gaussian-Laplacian滤波器可用下式来表达：

27、（5.26） 是 的标准差 =+.零交叉的平均间隔概率可由下式表达 P=（5.27）零交叉的对比度定义为高斯滤波器滤波图像的梯度值。图像用表示，对比度用下式表示：C(x, y)=|G(x, y) * I (x, y)|,（5.28）其中*表示卷积操作。图5.21表示一个立体对象对例子，图5.22显示低对比度零交叉点被移去以后显示的零交叉点。由于零交叉与轻微对比度的边缘相对应，因此它们就被从匹配后选种去粗。零交叉的方向就是高斯滤波梯度的方向。边缘方向差分必须在一个阈值下决定候选对。要唯一确定对应得约束，这种约束是不够的。如果物体表面是光滑的，采用分级匹配算法是有效的，即先从全局特征开始和利用先前

28、对应结果逐渐获取较高分辨率的对应（Marr，1982）。由于一个真实的场景由几个本地光滑表面组成，可使用松弛法（Barnard 和 Thompson, 1980）和差异直方图（Nishimoto 和 Shirai, 1986）在局部邻域发现相似范围数据。图5.21 立体图像对图5.22 低对比度零交叉点被移去后零交叉点5.4.2.3匹配性可靠的多阶段立体视觉 用基于立体视觉方法检测特征和相应的特征。如果使用阈值来确定特征和相关性，阈值决策是困难的。此外，也不容易立刻可靠地确定所有特征的相关性。建议使用多途径匹配方法来获取更多的匹配特征，要求属性相似（匹配边缘的方向差异）从一个阶段到另一个阶段是

29、逐渐放松（Olsen, 1990）。可是，方向本身并不是特征可靠性的测量指标。因此，如果边缘方向并不精确时，就可能发生误匹配。在每个阶段匹配过程除了阈值、对比度和其他特征外，匹配过程几乎都是相同的。这个过程被称为基本匹配操作。左图象可分成小的重叠面积（窗口），对每个窗口进行匹配候选。在一个窗口对零交叉，匹配候选零交叉一定要通过下面测试：（1） 对比度差要小于阈值D。（2） 方向差要小于阈值D。阈值根据ZC（几乎是线性的）对比度，如下所述。阈值是根据3-D空间的边缘位置、边缘方向、数字误差来确定。如果边缘接近摄像机系统和3-D空间边缘方向更接近光轴，那么在两幅图像中的方向差会更大。例如，如果距离摄像机2m并且在边缘和光轴的夹角为30时，方向差为10而阈值为20。一个窗口的差异由候选对的差异分布来确定。用LDH（局部差异直方图）表示在窗口中匹配候选对差异直方图。如果LDH有一个显著的顶峰，就可由取得顶峰值处来确定差异。否则，在这个阶段就不能确定差异。如果窗口包括足够的零交叉点，LDH有一个显著的顶峰，没有其他高峰，峰值是明显的。如果窗口差异确定后，就可对窗口中所有零交叉点相应匹配对进行搜索。对应零交叉位置可从窗口差异中预测出来。可实际上由于摄像机系通和数字精度，对应得零交叉可能不在预测的位置。这里，我们假定对应得