基于机器视觉的工件识别和定位文献综述Word格式.docx
《基于机器视觉的工件识别和定位文献综述Word格式.docx》由会员分享，可在线阅读，更多相关《基于机器视觉的工件识别和定位文献综述Word格式.docx（32页珍藏版）》请在冰豆网上搜索。
”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：
结构的模块化和可重构化；
控制技术的开放化、PC化和网络化；
伺服驱动技术的数字化和分散化；
多传感器融合技术的实用化；
工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。
1.2机器视觉在工业机器人中的应用
工业机器人是FMS（柔性加工）加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。
目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，不过这些应用都是基于先精确的示教后运行，而且工作环境都是预先安排好的，所以机器人能成功地抓取物体。
但是我们知道很多情况下特别是流水线的场合工件的位姿常常是不固定的，实际目标物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。
这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。
随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接近觉、触觉和力觉具有重大的作用。
其中机器人视觉被认为是机器人最重要的感觉能力，从智能机器人的研究实例中，也能清除地看到这一点。
视觉是人类观察世界和认知世界的重要手段。
据统计表明，人类从外部世界获得的信息约有80％的信息是通过视觉或视觉传感器而获取的，这既说明了视觉信息量大，也表明了人类对视觉信息有较高的利用率，同时也体现了人类视觉功能的重要性。
机器人视觉是模拟人类视觉在机器人上的体现。
采用视觉传感器比采用其他传感器来获取工作环境及工件信息还有以下几方面的优势：
首先，机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，在提高生产的柔性和自动化程度方面有着重要的作用；
其次，即使在丢失了绝大部分的信息后，其所提供的关于周围环境的信息仍然比激光雷达与超声波更多更准确；
最后，视觉的采样周期比超声波和激光雷达短，这也意味着视觉系统的实时性要好，所以更适合工件的在线检测、识别、定位等。
由于具有以上这些优点，基于视觉的智能机器人具有广阔的发展空间。
因而使用视觉来提高机器人的智能水平，具有重要的现实意义和研究价值。
1.3国外基于视觉的工业机器人发展历史
机器人视觉技术是20世纪80年代发展起来的新兴技术，它的产生和发展是与机器视
觉和机器人技术的发展密不可分的。
近年来，机器人视觉技术已成为高技术领域一个重要
的研究课题，它为可行走机器人、装配机器人、抓取机器人以及其他种类机器人解决视觉
问题提供了技术基础。
它将使传统的工业生产面貌发生巨大变化，对人类社会的生活和生
产产生深远的影响。
目前国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及
应用方面的研究工作。
机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机
科学的重要研究领域之一。
机器视觉是在50年代从统计模式识别开始的，当时的工作主
要集中在二维图像的分析和识别上，如光学字符识别、工件表面、纤维图片和航空图片的
分析和解释。
60年代，Roberts通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。
Roberts的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。
Roberts的创造性研究给人们以极大的启发，到了70年代，已经出现了一些视觉应用系统。
1954年，美国的GeorgeC.Devol设计并制作了世界上第一台机器人实验装置。
60年代机器人产品正式问世，机器人技术开始形成。
1961年MIT的Lincoln实验室开始把一个配有接触传感器的遥控操纵器的从动部分与一台计算机连接起来，这样形成的机器人可以凭触觉感知物体的状态。
随后，用电视摄像头作为输入，把计算机图像处理和物体识别技术也引入到机器人系统。
至此，视觉技术正式引入机器人系统。
70年代中期，麻省理工学院（MIT）人工智能（AI）实验室正式开设“机器视觉”课，同时，MIT的AI实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研究。
DavidMarr教授应邀于1973年到该实验室领导一个以博士生为主体的研究小组。
1977年提出了不同于“积木世界”分析方法的计算视觉理论，该理论在80年代成为机器视觉研究领域中的一个十分重要的理论框架，可以说对机器视觉的全球性研究热潮是从20世纪80年代开始的，到了80年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等。
由于国外对视觉技术的研究以及将其和机器人相结合都起步比较早，因此发展的较好，并且已经出现了一些商品化的计算机视觉系统。
美国在这方面开展的较早，在20世纪70年代，美国GM公司试制了能识别传送带上机械零件的视觉检查系统。
到了80年代，由于微处理器的普及，各行业对视觉系统都表现出了极大的兴趣。
80年代初在国际市场上作为商品出售的一个通用机器人系统PUMA/VC-100，具有识别物体，确定物体位置坐标的能力，其所使用的视觉算法允许在材料加工或装配系统中对工件进行检测。
视觉系统是通过示教训练得到的。
以美国国家科学基金委员会为中心的实用视觉系统的研究飞速发展。
在日本的国家产业政策中，也把大力发展实用视觉系统放在了首要地位，进入90年代以后，在电子、汽车、制药、食品等高效、劳动密集的生产线上，工业视觉系统已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保证了产品质量。
斯坦福研究所早期研制的机器人（Shkey）是一种典型的“眼－车”系统，它的主要功能是在视野范围内识别对象，依靠积累的经验求解行动规划，以及运用逻辑推理的问答能力。
它可以穿行房间，搜索、识别指定的对象，并进行“智能”的操作。
通用汽车公司开发出可以在噪声环境下工作的机器人视觉系统。
Adept公司是全球知名的工业机器人制造公司，它在研制第一代机器人的时候就考虑了加入视觉系统，因此在二十几年的发展过程中，获得了丰富的经验和比较成熟的技术，使得其成为美国最大的工业机器人制造公司。
经过多年的发展，美国的智能机器人研究已经走在了世界的前列。
日本在借鉴其他国家研究智能机器人方面的经验之后，现在在这方面的研究已经走在了世界的前列。
日立中央研究所研制的具有自主控制功能的智能机器人，可以用来完成按图装配产品的作业。
德国Siemens公司在工业图像处理方面拥有超过20年的经验积累，SIMATICVIDEOMAT是第一个高性能的单色和彩色图像处理系统，并成为SIMATIC自动化系统中极重要的产品。
而1999年推出的SIMATICVS710是业内第一个智能化的、一体化的、带PROFIBUS接口的、分布式的灰度级工业视觉系统，它将图像处理器、CCD、1/O集成在一个小型机箱内，提供PROFIBUS的联网方式（通讯速率达12Mbps）或集成的UO和RS232接口。
OMS视觉系统，是由原联邦德国制造生产的商业通用系统，它能够完成物体的识别及特征的检测等任务，操作模式可以是交互式的、主动的以及被动的三种，典型的应用是机械零件的分类、装配以及质量控制等。
此外，加拿大、比利时等国，在图像采集、图像处理等方面都具有丰富的经验。
1.4国外机器人制造商生产的视觉工业机器人产品
伴随着科技的进步和生产技术的发展，基于机器视觉技术的工业机器人的研究越来越得到广泛的关注，并且已经出现一大批科技成果，并在实际生产中得到了很好的应用。
国外在对基于机器视觉的工业机器人的研究上已经做了很多工作，并且已经有很多突破性成果。
日本学者S.Murakami等研究的弧焊机器人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，能有效地进行焊缝跟踪。
澳大利亚Western大学研制的Australia’sTelerobot，它是一个带有摄像机的具有六个自由度的工业机器人，用户可以控制拍摄静态图像并对图像进行处理，生成空间位置，通过不断拍摄和更新图像得到空间位置后，通过对位置信息的处理实现了基于空间坐标系的积木块的摆设。
欧宝、保时捷等知名品牌汽车的生产线，使用了12台摄像机进行模式识别和3D定位，可以对车身进行高精度的密封生产。
瑞士SIG公司研发的一种结合视觉系统，适用在高速输送机上取件的并联机器人XR22，可以通过2D定位，迅速将输送机上随机的货物抓取，并在包装盒中按顺序序摆放整齐。
图1.1为2007年日本机器人顶级荣誉获得者——Fanuc公司的超快双臂工业机器人系统。
该系统装配有两个M-430iA机器人手臂和可视跟踪功能的食品、药品操作系统，它的每只手臂每分钟可以精确的捡起120件物品且可以每天24小时不间断的工作。
瑞典ABB公司最新推出的“第二代”拾取机器人FlexPickerIRB360（图1.2所示），拥有有效载荷更大、操作速度更快、占地面积更小等优势，在简单有效的2D视觉的帮助下，可以以高达2次/秒的速度快速捡取传送带上的物品。
而芬兰RTS公司研制的机器人视觉系统则成功地用于舰船螺旋桨推进器的生产过程中，通过机器视觉的监控，可按照CAD模型对螺旋桨叶片进行精密的磨制。
图1.3所示的是工作在生产线上的码垛机器人和卸垛机器人，对环境的适应性很好，能够自主识别工作目标，进行任务操作。
图1.1Fanuc公司的超快双臂工业机器人系统
图1.2ABB公司展示的FlexPicker工业机器人
图1.3生产线上的码垛和卸垛工业机器人
1.5我国在基于机器视觉的工业机器人方面的研究状况
我国对计算机视觉的研究真正开始是在改革开放之后，并且在学术上迅速追赶国际水平，但作为工业视觉系统，必须有它的应用市场，才能得以发展。
改革开放后，视觉系统检查往往被忽略，这是造成产品不稳定的因素之一。
随着企业的深化改革，产品质量的竞争已关系到企业的生命，这就为工业视觉的应用创造了条件。
在这种形势下，视觉的研究才逐渐得到人们的重视。
我国的很多高校也相继开展了基于视觉的智能机器人的研究，华中科技大学的彭刚等人提出一种基于视觉引导和超声测距的手眼机器人系统对运动目标的跟踪和抓取方法。
北京航空航天大学孟偲等人提出一种基于手眼视觉的测量与定位方法，可以判断未知目标物体是否可抓持以及为进行抓持规划提供有效依据。
在重复定位任务中，该方法可以利用目标物体的先验信息快速定位，从而避免频繁移动手臂。
东南大学席文明等人介绍了一种通过视觉引导的机器人跟踪复杂焊接的应用。
利用双摄像机拍摄的图像求得焊缝上的空间点，然后根据焊接要求的速度对空间点进行直线插补。
华中理工大学刘延林研究了在零件设计信息指导下，利用CCD摄像机获取的工件毛坯图像识别工件毛坯及其安装状态，但其实验系统识别精度不够高，实验方案在实际自动加工中也欠实用。
华中科技大学王敏采用视觉与超声测量相结合的方法，将二维图像信息与超声波传感器获取的深度信息进行融合推断，对待装配工件进行自动识别与空间定位，但采用梯度算子直接提取工件边缘。
汕头大学的彭惠青等人利用分块二值化处理对图像进行边缘检测时，可获得较高质量图像，但需进行遍历式搜索，因此在线实时性不好。
清华大学毛德柱等人利用遗传算法进行匹配获取工件位姿，但未给出该匹配算法的实际效果。
这些新的理论和算法都为视觉系统在柔性制造系统中的应用打下了很好的基础。
尽管对三维计算机视觉技术的研究己有几十年的历史，人们确实已获得很大的进步。
也尽管机器视觉具有种种的优点，但迄今为止，能真正应用于实际的视觉系统还不多，过去几年来，计算机视觉系统是通过专门硬件、超级计算机及庞大的定制软件库来实现的，虽然成功实现了许多这样的计算机视觉系统，但它们无一例外都高度专门化并且成本昂贵。
尤其在国内这种现象更为明显，究其原因，一方面由于其产品价格很昂贵；
另一方面由于实际问题的复杂性以及相关学科的滞后，工件的定位、识别算法，视觉控制算法都有待进一步研究，具体实现过程中仍存在视觉信息处理瓶颈、适用范围窄等实际问题。
因此，研究机器视觉和机器人相结合的技术，无论从理论上看，还是从实际出发，都有其深入系统地研究的必要性。
2.工件图像预处理和边缘特征提取
视觉系统强调精度和速度，所以需要图像采集部分及时、准确地提供清晰的图像，只有这样，图像处理部分才能在比较短的时间内得出正确的结果。
由此可知图像采集部分的性能会直接影响整个机器视觉系统的性能。
图像采集部分一般由光源、镜头、数字摄像机、图像采集卡和计算机构成。
采集过程可简单描述为在光源提供照明的条件下，数字摄像机拍摄目标物体并将其转化为图像信号，最后通过图像采集卡传输给图像处理部分，如图2-1所示。
由于获取的图像是彩色图像，而后续的算法只需要灰度图像就能完成，因此要灰度化。
通常的图像都会受到各种噪声的影响，因此还要去除噪声，经过前面的预处理之后，得到更好质量的图像。
预处理之后就是对工件图像的边缘检测，提取工件的边缘特征。
整个处理过程如图2.2所示。
图2-1图像采集过程框图
图2-2图像预处理和边缘特征提取过程框图
2.1图像获取
图像获取也就是图像的数字化过程，即将图像采集到计算机中的过程。
主要涉及成像及模数转换（A/DConverter）技术。
随着计算机与微电子特别是固体成像设备（光电耦合器件CCD）的快速发展，图像获取设备的成本已显著降低。
在自然的形式下，图像并不能直接由计算机分析。
因为计算机只能处理数字而不是图片，所以一幅图像在用计算机进行处理前必须先转化为数字形式。
图像转化为数字形式的方法是将物理图像经过采样划分为称作图像像素的小区域。
最常见的划分方案是方形采样网格，图像被分割成由相邻像素组成的许多水平线。
经过采样后的图像还不是数字图像，因为这些像素上的灰度值仍是一个连续量，必须进行量化。
所谓量化就是将每个像素的亮暗程度用一个整数值来表示，即像素的灰度离散化。
完成上述转化后，图像被表示为一个整数矩阵。
每个像素具有两个属性：
位置和灰度，此数字矩阵就作为计算机处理的对象。
在采样和量化处理后，才能产生一张数字化的图像。
2.2图像的灰度化
由摄像机和采集卡获取的图像是彩色图像，而我们知道彩色图像色彩丰富，包含信息量大，图像处理速度较慢。
考虑到算法没有使用彩色和识别系统的实时性要求，对彩色图像灰度化是必须的。
灰度化就是使彩色的R、G、B分量值相等的过程，因此灰度图像中每一个像素的R、G、B分量的值是相等的，而彩色图像的每一个像素的R、G、B分量的值是不相等的，所以显示出红绿蓝等各种颜色，灰度图像则没有这种差异，有的只是亮度上的不同。
彩色图像中的各种颜色都是有R、G、B三种基色构成。
在数字化的图像中，若R、G、
B量化的程度越细，则图像的色彩越丰富，对图像的描述就越精确。
R、G、B三路色彩都
可称为灰度，即红色灰度、绿色灰度、蓝色灰度。
灰度化处理的方法主要有以下三种：
（1）最大值法：
使灰度图像中的灰度值Gray等于原真彩图中的RGB值中最大的一个即Gray=max（R，G，B），最大值法会形成亮度很高的灰度图像。
另外，还有一种变形，不一定采用最大值，而是直接采用R、G、B中的任意一个，这种方法对于R、G、B三种色彩在图像中所占比例基本相同的情况下，对获得图像的信息量不会有很大影响。
但是当图像的三基色比例相差较大时，此时从三路采集的灰度图像的信息量相差较大。
因此，此方法用的较少。
（2）平均值法：
使灰度图象中的Gray值等于原真彩图中的RGB值的平均值即:
Gray=（R+G+B）/3，平均值法会形成较柔和的灰度图像。
（3）加权值法：
根据重要性或其他指标给RGB赋予不同的权值并把RGB的值加权即
Gray=WR×
R＋WG×
G+WB×
B其中WR、WG、WB分别为R、G、B的不同权值。
由于人的视觉系统对彩色色度的感觉和亮度的敏感性是不同的，因此产生了不同的彩色空间表示。
可以选择YIQ彩色空间，YIQ为美国电视系统NTSC彩色制式的表色系，其优势是灰度信息和彩色信息是分离的。
其中Y表示亮度分量，描述灰度信息，I表示色调，Q表示饱和度，I和Q分量表示彩色信息。
YIQ色彩坐标系和RGB色彩坐标系之间的转换关系为：
=
用一个像素的R、G、B计算出Y的值，用亮度Y来代表此像素的灰度信息，从而
得到即将被处理的灰度级图像。
最简单的灰度图像是0-1灰度图像，即：
每一点的灰度值只有2级，0、1在视觉上就是黑和白，没有中间过渡颜色。
现在普遍应用的灰度图像量化级别是0-255，即：
每一点的灰度值用一个BYTE来表示。
灰度化前后的图像如下图2.3所示。
图2.3灰度化前后的图像
2.3灰度图像预处理
一般地，视觉系统获取的图像（即原始图像）由于受到种种条件限制和随机干扰，往往包含着各种各样的噪声和畸变，因而不能在视觉系统中直接使用，必须在进行图像分析和识别前进行灰度校正、噪声过滤等图像预处理，从而去掉这些使图像质量劣化的因素，并对信息微弱的图像进行增强，使图像变得更容易观看或使图像中的有用信息更容易提取。
对机器视觉系统来说，所用的图像预处理方法并不考虑图像降质原因，只将图像中感兴趣的特征有选择地突出，衰减其不需要的特征，图像预处理方法主要包括对比度增强、平滑和图像增强（锐化）。
2.3.1对比度增强
在图片中经常会出现对比度不够的情况，这可能是由于图片记录装置的动态范围大小所致，也可能是由于摄像过程中的原先曝光不足所造成的。
图像增强是指对图像的某些特征，如边缘、轮廓、对比度等进行强调或尖锐化，以便于显示、观察或进一步分析与处理。
对比度增强是增强技术中比较简便但又十分重要的一种方法。
这种处理只是逐点修改输入图像中的每一像素的灰度，图像中各像素的位置并不改变，是一种输入与输出像素间一对一的运算。
对比度增强又叫点运算，一般用来扩大图像的灰度范围。
设输入图像的灰度为f（x,y），输出图像的灰度为g（x,y），则对比度增强可表示为：
g（x,y）=T（f（x,y））。
图像输出与输入灰度之间的映射关系完全由函数T确定。
对比度增强常见有以下几种：
（1）直接对每个像素进行操作。
比较典型的是线性变换。
（2）借助直方图进行变换。
比较典型的是直方图均衡化。
（3）借助对一系列图像间的操作进行变换。
其中
（1）、
（2）比较常用。
a．线性变换
线性变换可使图像动态范围增大，图像对比度扩展，图像变清晰，特征明显，是图像增强的重要手段之一。
令原图像f（x,y）的灰度范围为[a,b]，线性变换后图像的灰度范围为[a'
b'
]，线性变换的原理示意图如图2.4所示，计算公式如式（2.1）所示。
G（x,y）=
（2.1）
图2.4线性变换
在曝光不足的或过度的情况下，图像灰度可能会局限在一个很小的范围内。
这时的图像将是一个没有灰度层次的图像。
采用线性变换对图像每个像素灰度作线性变换，将有效地改
善图像视觉效果。
图2.5为线性变换前后的图像对比。
2.4线性变换前后的图像对比
b．直方图均衡化
灰度直方图反映了数字图像中每一灰度级与其出现像素频率间的统计关系。
它能描述该图像的概貌，例如图像的灰度范围、每个灰度级出现的频率、灰度级的分布、整幅图像的平均明暗和对比度等，为对图像进一步处理提供了重要依据。
大多数自然图像由于其灰度分布集中在较窄的区间，引起图像细节不够清晰。
采用直方图均衡化可使图像的灰度间距拉开或使灰度分布均匀，从而增大反差，使图像细节清晰，达到增强的目的。
直方图均衡化是通过对原图像进行某种变换，使原图像的灰度直方图修正为均匀布
的直方图的一种方法。
其具体方法如下：
首先给出原始图像的所有灰度级sk（k=0,1,L−1）；
然后统计原始图像各灰度级的像素数nk；
利用式（2.2）计算原始图像的直方图后再用（2.3）式计算原始图像的累积直方图：
P（sk）=nk/nk=0,1,……,L-1（2.2）
其中，sk为图像f（x,y）的第k级灰度值，nk是f（x,y）中具有灰度值sk的像素的个数，n是图像像素总数。
（2.3）
由于数字图像的灰度值均为整数，所以还应对tk取整；
确定sk→tk的映射关系后统计新直方图各灰度级的像素数nk；
最后利用式（2.4）计算新的直方图：
p（tk）=nk/n（2.4）
直方图均衡化前后图像的对比如图2.5所示。
2.5直方图均衡化前后图像的对比
2.3.2
升级会员 