基于机器视觉的工件智能抓取技术研究.docx

1、基于机器视觉的工件智能抓取技术研究基于机器视觉的工业机器人工件搬运技术研究1.1研究背景自 19 世纪 60 年代问世以来，工业机器人不断发展和完善，现已得到广泛应用，机器人产业也逐渐成熟。目前，全世界已拥有 100 多万台工业机器人广泛应用在焊接、搬运、装配、喷涂、修边、拾料、包装、堆垛和上下料等单调或复杂的作业中，为企业节约了大量的劳动成本，大大提高了劳动生产率。工业机器人是面向工业领域的多关节机械手或多自由度的机器人，它在稳定产品品质、提高生产效率和改善劳动条件等方面有着十分重要的作用，它的应用能够使企业大大缩短新产品的换产周期和节约劳动成本，从而提高了产品的市场竞争力。随着当代工业革命

2、深入发展，工业生产日益趋向自动化，工业机器人技术也正朝着智能、柔性的方向发展。许多发达国家对于智能工业机器人的研究都较为重视，我国也早已将其纳入国家高科技发展规划。国家层面的重视也必将给工业机器人技术带来新的跨越式发展，机器人的发展也必将对社会经济和生产力的发产生更加深远的影响1.2 研究目的和意义对于工作在自动化生产线上或柔性制造系统中的工业机器人来说，其完成最多的一类操作是“抓取放置”动作，比如流水线上的工件搬运、装配以及各工位之间的工件转移和上下料。机器人要完成这类操作是经过复杂计算的：首先，机器人必须知道怎么抓，其次机器人应该知道怎么放；同时在这个过程还要伴随着机器人运动学分析的过程。

3、传统的工业机器人完成这类操作，必须经过精确的逐点示教后，才能一步一步的按照固定程序执行。在这个过程中，工件相对于机器人的初始位姿（位置和姿态）和终止位姿是事先规定的，但很多情况下，特别是流水线场合，工件的位姿常常是不固定的。这就导致实际目标工件的位姿与理想工件位姿总是有偏差的，这种偏差哪怕很小都会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极限制了机器人的实际应用。这就要求工业机器人具备一定的环境适应能力，即工业机器人智能化。智能工业机器人的智能特征在于它具有与外部世界、对象、环境和人相互协调的工作机能，具体表现在机器视觉、接近觉、触觉和力觉等方面。机器视觉

4、是用机器代替人眼来做测量和判断的，其本质是使计算机具有认知周围环境信息的能力。这种能力不仅使机器能感知周围物体的形状、位置、姿态、运动等等信息，而且能相应地对这些信息进行描述、理解和识别。将机器视觉与机器人结合到一起，也就产生了机器人视觉。机器人视觉技术是用来模拟人类视觉，使机器人通过获取视觉信息从而对操作环境进行判别，给机器人赋予更强大的应对能力，大大增强了机器人的柔性。因而基于视觉引导的机器人拥有着广阔的发展空间，具有重要的科研和应用价值。1.3 国外现状目前，机器视觉技术已经从最初的实验室阶段逐渐走向成熟，并且在工业生产线上已经有实际应用。德国、日本、美国和国处在智能工业机器人领域应用研

5、究的前沿。日本从最初的模仿到现在的独创，找到了自己的技术创新之路。德国西门子公司也紧跟着时代的步伐，将机器视觉渗透到各个领域，应用到汽车发动机装配，生产线工件分拣等领域。美国更是机器人技术的创新发源地，其机器视觉广泛应用在工业和军事上，机械手经销商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了“拣选”系统。如图 1.1 所示，日本川崎设计的工业机器人主要应用在基于视觉系统的大型物品装卸、树脂成形机械抓取和汽车车门的边角打磨工程等领域。这种机器人可以结合具体的实际应用和目标方法，配置不同的选装件和相关参数，能够适应各种应用场合。通过使用机器人部搭载标准的机器人语言，

6、它还可以实现高性能的动作控制和时序控制。图 1.1基于视觉系统的大型物品装卸图 1.2所示的是美国普渡大学研究的一种基于视觉控制的 Bin-picking 系统，该系统可以从多种零件中分拣出圆形零件，它是通过简单的圆弧边界特征来识别圆形零件的。图 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取机器人 FlexPicker IRB360，该机器人拥有有效载荷大、操作速度快、简单有效等优点，能够在 2D 视觉的帮助下，以高达 2 次/秒的速度捡取传送带上的物品。总的来说，美国、日本、欧洲一些发达国家在机器人视觉技术有着丰富的经验，已经开发出多款成熟产品，广泛应用在微装配、空间和军事领域。图

7、1.2 Bin-Picking机器人 图1.3 ABB Flex-Picker机器人我国对工业机器人的研究起步较晚，从 90 年代初期起，我国在工业机器人领域才取得一定的进展。随着近几年科技的进步，我国在这方面发展迅速，取得了不少科研成果，机器人的结构和控制理论不断得到创新，生产制造工艺也逐渐成熟，不断有自主知识产权的机器人产品相继问世，此外还相继建立了 20 多个机器人产业化基地，实施了 100 多项机器人应用工程，机器人产业不断壮大和发展。 新松机器人自动化股份研制机器人是拥有自主知识产权和核心技术的工业搬运机器人，它可用于锻造生产和铸件落砂等工作条件恶劣的场合，降低工人的劳动强度。航空航

8、天大学于 1994 年成功研制了七自由度机器人操作臂，并且研制出一系列改进型的冗余自由度机器人实验样机。方跃提出了采用灵活角来度量操作器灵活程度，将机器人的工作空间根据灵活程度的不同划分为相应的有限灵活工作空间，高同以梯度投影法为基础，采用线性加权法，研究冗余度机器人的多指标融合优化问题。冗余自由度机器人另一个研究重点是运动学逆解，如图 1.5所示，为众为兴技术股份生产的四自由度分拣机器人。该机器人在分类分拣的应用中具有视觉导引功能，重点介绍了众为兴 SCARA 机器人及视觉系统，并在现场用实物生动展示了具有视觉功能的众为兴机器人在分类分拣的应用。众为兴公司开发研制的 SCARA 机器人，可应

9、用在搬运、分拣一些较小的规则工件。图1.5众为兴展出的SCARA机器人1.4 本课题的研究容本文是针对基于视觉引导的工业机器人工件搬运技术进行的研究，简单的讲，就是在一台 6 轴的工业机器人的基础上引入机器视觉，利用机器人对视觉的理解，完成工业生产中工件的抓取和放置操作。在这个操作过程中，工件识别与定位和机器人运动学反解是两个关键环节。工件识别与定位是为机器人提供操作和如何操作的信息，而机器人运动学反解的准确性直接影响到操作能否完成和相应的操作精度。整个工件搬运的具体流程是：在机器人工作之前，先通过上方摄像机实时地采集工件图像，并送到图像处理系统，以便确定所感兴趣的工件以及该工件相对于机器人的

10、位姿，最后将位姿信息反解成工业机器人熟悉的关节角度和角度控制信息，从而实现利用视觉引导机器人准确地抓取工件。同时根据已抓取工件的放置要求，进一步引导机器人完成工件的定点放置，从而实现机器人搬运操作。本课题的研究容围绕物体识别这个中心展开，主要包括以下几个方面：1.如何获取图像 获取图像是进行本课题研究的前提，顺利的通过摄像头设备获取到原始图像是一切研究的根本2.如何对图像进行预处理视觉系统中直接使用的图像，必须在进行灰度校正、噪声过滤等图像预处理。将图像中感兴趣的特征有选择地突出，衰减其不需要的特征，预处理后的输出图像并不需要去逼近原图像。3.如何对预处理以后的图像进行特征识别和特征提取已经把

11、待测目标工件进行过图像预处理，接下来要针对静态工件的特征提取，最后要根据已经提取的目标工件的特征进行分类。特征提取的意义于要区分不同种类的工件就要把它们之间不同的信息提取出来，作为识别的前提条件。一般来说，提取普通特征包括周长、边缘、面积、曲率、角度和物体质心等4.如何根据提取的特征对目标进行分类和目标定位目标分类是指对得到的不同目标进行区分并将其归为某一已知类的过程。对于图像目标来说通常利用图像特征来对目标进行描述，然后对其分类。通过模版匹配计算目标上空间点和像素点之间的对应关系。然后创建模版，对后续的图像进行目标定位。5.如何跟踪目标对于运动的目标，通过跟踪能够得到目标的速度和加速度，并可

12、以对将来目标出现的位置进行预测6.如何将目标在图像中的位置转化到机器人基坐标系中并进行机器人运动学反解通过相机标定得到图像坐标与机器人基坐标之间的转换关系，将目标在图像中的位置信息转化为机器人基坐标系中的具体坐标，并通过该坐标进行机器人运动学逆解，得到关节运动信息7.如何规划路径并控制机器人进行目标抓取通过前面得到的运动学逆解，合理的设置机器人抓取运动规划，包括路径规划和手部抓取规划，路径规划是研究按照何种路径，将机器人手部坐标系的原点和目标抓取坐标系的原点重合的问题，抓取点规划是针对不同形状的物体，如何选择合适夹持点位置的问题。1.5本课题的研究方法1.5.1获取图像1)硬件介绍一个稳定的视

13、觉系统的构建需要根据任务的特点和现场环境的特点进行，例如精度，目标尺寸，检测速度，安装空间大小等要求，都将影响系统硬、软件的选择。典型的视觉系统包括的硬件很多，但最重要的最基本的三件设备是：光源、镜头和相机。本节主要给出本系统所用硬件的参数并对其进行简单介绍1.光源由于所有非发光物体都是通过反射光才能在传感器上留下影像，所以光源的正确选择是保证视觉系统正常工作的基础。在选择视觉系统光源时要注意，使用的光源要把感兴趣目标和背景区分开来，削减非关心目标或噪声的干扰，并且光源本身不会带来额外的干扰，2.镜头镜头与人眼的晶状体具有类似的功能，如果没有安装镜头进行拍摄，得到的图像将是花白色，不包含任何场

14、景信息。所以镜头的作用是汇聚目标反射回的光，在感光原件上产生细节丰富，锐利的图像。镜头的参数选择一般是根据配用的摄像机感光原件的大小来进行的，如果二者的参数不合适，将出现图像记录不完整，视场角不符合要求或者画面在焦点外的问题本文选择的是COMUPTAR公司的M0814-MP2型号的镜头，参数如表所示：性能指标参数靶面尺寸2/3焦距8最大成像尺寸8.8*6.6控制光圈手动聚焦手动变焦手动接口C-接口尺寸33.5*28.23.摄像机本系统使用的是Basler公司的acA2500-14gm型号的工业相机，如图所示，该相机的性能指标和参数如表所示：图3 Basler acA2500-14gm型号工业相

15、机性能指标参数传感器类型Aptina MT9P CMOS, rolling shutter有效图像元素2592*1944像素尺寸2.2 x 2.2数据位数12镜头接口C-mount, CS-mount传输方式Gigabit Ethernet帧率14供电要求Via Power over Ethernet (802.3af) or + 12VDC ( 10%) via the cameras 6-pin Hirose connector外形尺寸42 x 29 x 29表1 Basler acA2500-14gm型号工业相机参数5.拍摄参数设定为了提高图像处理速度并兼顾分辨率，选择的拍摄参数如下表：

16、图像尺寸待定色彩待定ISO速度待定帧频待定记录频率待定2）软件介绍OpenCV的全称是：Open Source Computer Vision Library。OpenCV是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效由一系列 C 函数和少量 C+ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，它可以完成以下工作：1.图像数据操作（存分配与释放，图像复制、设定和转换）2.图像/视频的输入输出（支持文件或摄像头的输入，图像/视频文件的输出）3.矩阵/向量

17、数据操作及线性代数运算（矩阵乘积、矩阵方程求解、特征值、奇异值分解）支持多种动态数据结构（链表、队列、数据集、树、图）4.基本图像处理（去噪、边缘检测、角点检测、采样与插值、色彩变换、形态学处理、直方图、图像金字塔结构）5.结构分析（连通域/分支、轮廓处理、距离转换、图像矩、模板匹配、霍夫变换、多项式逼近、曲线拟合、椭圆拟合、狄劳尼三角化）6.摄像头定标（寻找和跟踪定标模式、参数定标、基本矩阵估计、单应矩阵估计、立体视觉匹配）7.运动分析（光流、动作分割、目标跟踪）8.目标识别（特征方法、HMM模型）HALCON软件介绍HALCON是一款来自德国慕尼黑的世界顶级机器视觉编程环境，该软件以面向问

18、题为基础，涉及工业领域中光学工程、精密制造、包装、半导体、印刷、机械等行业。使用它可以迅速构建一个准确、稳定、高效率的视觉解决方案。该软件具有强大的函数库，能导出C+、C、VB等语言，缩短了代码编写时间，为构建独立的视觉系统提供了方便。利用HALCON软件构建一个独立视觉系统分为三个步骤：该软件最大特点是模化和模块化，所有的算子都具有同一的输入输出格式，下面是一个典型的算子结构：Operator(iconic input:iconic output:control input:control output)HALCON语言的数据有两种：一种是控制参数，包含数字、数组，字符串等；另一种是图形参数

19、，包含图像，区域和边缘数据等。从典型算子结构可以看出，图形参数首先输入的参数，然后是控制参数，并且顺序是输入数据和输出数据相间隔，也即是：Operator(输入图形参数：输出图形参数：输入控制参数：输出控制参数）。1.5.2图像预处理1）图像灰度化将RGB彩色图像转化为单通道图像，灰度围为0-255，可以很大程度上提高运算的速度Image cam_gray=cam.Convert();Cam是摄像机采集的彩色图像2）直方图均衡化对于工件和背景灰度相差不大的情况，可以通过直方图均衡化增加图像的对比度，使工件在背景中更突出cvEqualizeHist函数可以增大图像灰度的动态围，从而增加对比度3）

20、图像滤波消除噪声信息对于环境中的各种干扰，相机的成像噪声，可以通过预处理阶段消除或者削弱噪声的影响，具体可以使用各种滤波算子，如中值滤波，高斯平滑滤波，均值滤波，在OpenCV中都有对应的函数可以调用1.5.3图像识别模式识别应用与图像信号处理领域就成为了图像识别，它是一种利用计算机对图像进行描述和分类的技术，在机器视觉中具有广泛的应用，涉及文字，条码，车牌识别，目标分类等应用场合，识别的过程其实是一个分类的过程，将满足判断条件的对象归为一类，而不满足条件的划分为其他类，首先对目标图像进行特征提取，然后将它和已知的模式向量进行比较，比较的过程是函数计算的过程，通过计算得到相似程度值，根据该值判

21、断目标是否与已知库中的目标相似，从而得到相应的识别或者不识别信号，根据分类标准选择的不同，可以将识别方法分为：基于概率统计方法的识别，基于模版匹配方法的识别，基于多传感器信息融合方法的识别等。通常，图像识别有以下三步，如图所示图3 图像识别的步骤主要有三个任务：图像分割、目标分类、图像匹配1）图像分割要将图像分割为区域，就要有分割的标准，这个标准就叫做阈值，获取合适阈值的方法很多，通常可以分为手动获取和自动获取，当进行手动获取时，通常借鉴图像灰度直方图的分布来帮助选择，最简单的自动全局阈值的方法是：首先选择一个初始阈值估计值（然后利用该阈值对图像进行初始分割得到G1和G2区域。对G1和G2区域

22、中所有像素计算灰度平均值，计算得到的新阈值为T=，利用新阈值对图像进行重新分割，然后重复前面两步，直至前后两次T值之差小于设定值时停止。然后利用最终得到的最佳阈值将区域分割为两部分，从而得到二值图像：对于本系统，由于拍摄到的目标图像和背景灰度差别较大，可以直接确定阈值围，此方法进行分割的结果如图所示，从图中可以看出，目标区域和背景区域分割的较好，但是有许多非目标的区域也被划分为一类（主要是传送带的边缘），所以还需要后续的区域标记方法，利用区域的连通性将这些目标区域和非目标区域给分开来区域联通标记是建立在像素点邻接性的基础之上的，邻接性是一种相似性的度量方法，常用的类型有4-邻接、8-邻接、和对

23、角邻接XXPX X4-邻接 XXXXPXX XX8-邻接XXPX X对角邻接提取连通成分的过程实际上也是标记连通成分的过程，通常的做法是给图像中的每个连通区域分配一个唯一的编号，这样的图像成为标注图像。得到各个编号区域，就能计算区域的面积，中重心，圆度，外接/切圆半径等特征参数，以供所需区域的选择，本例采用面积特征进行选择，得到目标模版图像2.目标分类目标分类是对得到的不同目标进行区分并将其归为某一已知类的过程。对于图像目标来说通常利用图像特征来对目标进行描述，然后再对其分类，目标分类是目标识别过程中的重要步骤目前已经广泛应用于图像分割，目标识别，变化检测，字符识别等场合。根据待分类目标的外形

24、，可将分类任务分为两类。第一类是针对搜索目标外形固定，并且不同类型目标的特征区域明显，这种情况可以采用模版匹配的方法对其进行分类，第二类是针对目标外形不是特别明显，人工无法选择出合适的分类方法对其进行分类，这种情况下就需要利用已知类型信息的目标图像对分类器进行训练，让分类器对后续的图像进行分类。常用的分类器有三种，分别是基于多层感知分类器MLP，基于支持向量机分类器SVM，基于高斯混合模型分类器GMM，本文采用MLP分类器，具体步骤为：图X 目标分类的一般步骤首先创建某一类型的分类器，然后对一直目标进行分析，得到描述该类型目标的特征向量，然后利用特征向量对分类器进行训练，得到判别函数，这时分类

25、器就获得了分类的原则，然后对后续的未知目标进行分类，同样也需要对目标进行特征提取得到特征向量，然后利用分类器对向量进行计算，得到分类结果。这里使用的是OpenCV或者Halcon中提供的分类器3图像匹配 用创建模版图像的方法可以用于检测图像来确定目标的位置，但是通过图像分割的方法来得到一个稳定的目标识别系统是非常困难的。例如背景发生拜年话，目标被部分遮挡，目标与摄像机间距离变化，多个目标出现等都导致分割的困难，而图像匹配可以解决这些问题。图像匹配是指利用已知的目标模式，对不同时刻或视角下拍摄的两幅图像间寻找相同或相近的目标模式，使期望的目标建立起对应关系的过程，图像匹配算法按照特征选择层次的不

26、同分为两大类， 基于灰度值相关的匹配是利用图像的直接灰度值特征，其计算过程为：移动模版至待匹配图像的各个位置，计算每个位置时模版本身与所覆盖区域的相似性计算值，将得到的一系列计算值进行比较，极值处便是目标所在的位置。这种方法计算量大，达不到实时性要求，并且不能适应光照条件变化、尺度变化，遮挡等情况，为了解决实时性要求，采用基于图像特征的匹配方法，这种匹配方法有很好的鲁棒性，基于特征的匹配是指，对模版图像和匹配图像分别进行特征提取，用相似性度量函数计算对应特征之间的相似程度的匹配方法，特征的选择有很多，一般来说灰度变化大的地方是信息量最丰富的地方，比如，角点，轮廓，边缘，直线，纹理等。本文采用的

27、是基于形状匹配的方法，该方法是多种技术的综合，既用到了金字塔匹配模型，也用到了图像的轮廓特征，该方法的一般流程如图，匹配后得到目标在图像中的位置坐标如下表：序号目标个数坐标角度准确度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452.图X.基于形状匹配的步骤4.目标跟踪目标跟踪是一个对运动目标或者运动相机采集到的图像序列进行连续确定目标位置的过程，目标定位是目标跟踪的基础，通过跟踪能够得到目标的运动轨迹从而可以对将来目标出现的位置进行预测，通过轨迹能够得到目标的速度和加速度，从而可以为运动学研究提供一种测量手段。此

28、外，通过目标跟踪可以对预先设定好出现围和形状的目标进行监视，如果其出现围或者形状发生变化时，便发出相应的报警信号。目标跟踪可以分为两大方法：第一类是基于边缘特征的方法;第二类是基于目标部投影点信息的方法，如光流法，模版匹配法。本位采用第二类中的模版匹配方法，由于匹配计算量较大，可采用以下途径减少运算量：首先计算第一副图像中目标的位姿，由于目标运动的连续性，对得到的位姿进行限制，定义一个跟踪围圆（下一个目标可能出现的区域），然后在指定围对后续图像进行目标匹配。由于本文采用的传送带运动状态为匀速直线运动，因此只要计算出目标的速度和位置便能写出轨迹方程来。定义参考坐标系：在传送带上定义参考坐标系的目

29、的，是为了将目标位姿与机器人基坐标系联系起来。参考坐标系的X轴与传送带中线重合，方向指向目标运动方向，y轴指向机器人一侧，Z轴垂直于传送带平面向上。左侧方框区域代表相机的视野围，右侧外圆区域为机器人工作空间围，圆区域代表机器人工作空间与传送带在平面相交区域。工件从左侧进入，在计时起点处开始计时。相机对经过计时起点的目标进行连续拍照，估算出目标重心在参考坐标系中的坐标和速度。在进行实验之前通过离线测量的方法，得到参考坐标系与机器人基座之间的相对位姿，同样可以计算出参考坐标系在摄像机坐标系下的位姿由离线测量得到的位姿关系和，可以计算出机器人基座于摄像机之间的位姿矩阵。然后通过目标定位得到目标的位姿

30、，再计算出目标重心相对于参考坐标系的位姿，由可以得到目标重心的坐标（），过重心点做一条平行于参考坐标系x轴的直线，与机器人工作空间区域相交与两点：，。这两点便是目标进出工作空间的坐标点。由这两点结合运动速度就可以计算出目标何时进入和离开机器人的工作空间围，在这个时间段中选择任一时刻即可对目标进行抓取。目标速度V的计算，可以在摄像机视野，取间隔10的两幅图像，计算目标中心在运动方向的位移，除以拍摄这10图像所经历的时间，即可得到目标的速度。1.5.6IRB120型机器人控制工业机器人的控制方法分类：分类依据类型特点根据控制量所处空间关节空间运动规划和控制对象为各个关节角，是其他控制方法的基础笛卡

31、尔空间在关节空间控制的基础上实现通过给定路径上各点出的位姿，来保证运动的确定性根据控制量位置以末端执行器的位置为被控对象，在三维空间或者关节空间对机器人进行控制速度使任务动作以指定的速度进行，例如目标跟踪过程加速度考虑到机器人的惯性负载，对加速段和减速段之间的过度进行规划，使之运行平稳力（力矩）考虑到目标抓取时的握紧力或者使用工具时的力矩等因素根据控制算法PID控制由比例、积分和微分单元构成，理论成熟自适应控制系统的舒服发生变化或者收到干扰时，系统通过改变自身参数来自我调节，使输出仍满足性能要求神经网络控制属于黑箱控制，具有较好的学习能力本研究所完成的容属于较为简单的抓取任务，所以使用位置控制方法就能满足要求2.机器人抓取运动规划 机器人抓取运动规划包括路径规划和手部抓取方式规划。路径规划是研究按照何种路