基于立体视觉的水果采摘机器人系统调研报告汇总.docx

1、基于立体视觉的水果采摘机器人系统调研报告汇总基于立体视觉的水果采摘机器人系统调研报告摘要: 基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标；通过最小二乘法研究了采摘机器人手眼标定；分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。关键词: 采摘机器人立体视觉手眼标定识别Research Report of fruit picking robot sy

2、stem based on stereo visionAbstract： A fruit picking robot system based on stereo vision is established. In the image space by using Hough transform to detect target fruit, and the random sampling of multiple point reconstruction of 3D coordinate information fruit ball model are uniformly distribute

3、d target, and then obtain the spatial position coordinates of the target centroid; by the least squares method of picking robot hand eye calibration; analysis of the picking robot trajectory planning. The experimental results show that the design of the automatic picking system can effectively elimi

4、nate occlusion and the influence of the stereo vision matching failure and other factors, target location error is less than 8mm, significantly improve the accuracy and reliability of the crawl.Key words: picking robot；stereo vision；hand eye calibration；identification1 调研背景果蔬采摘作业一直是个亟待解决的问题1。德国、荷兰和日

5、本等发达国家研究开发了多种类型的果蔬自动采摘机器人,如苹果、黄瓜和樱桃等自动收获机器人24,但在果实识别率、采摘成功率等方面还存在尚待解决的问题。国内果蔬采摘机器人的研究工作也较多5,但大多局限在采摘机器人的视觉系统、机械手和末端执行器等单一的功能模块,其中视觉系统的研究大多是在单果无遮挡的理想条件下进行的。本文基于立体视觉构建一个水果采摘机器人系统,即利用视觉传感器获取环境图像,计算出果实目标相对于机器人坐标系的位置,然后驱动机器人到达目标位置并抓取。重点研究复杂环境下果实目标的可靠识别定位问题,并分析系统的手眼标定与轨迹规划等。2 关键技术2.1 果实识别定位果实目标的辨识和定位是果实收获

6、机器人的首要任务,是影响果实抓取成功率的关键因素。采摘过程中,机器人末端执行器的工作位置不仅由果实目标位置决定,也受采摘方式的影响。目前常见的果蔬采摘方式有手指抓取采摘6、纯气吸采摘2和气吸与手指相结合采摘4等。本文采用了先让电动夹持器夹持住果实,再结合拧断果柄的方式来实现采摘,这就要求末端执行器的工作中心与果实质心基本重合,因此,果实定位需要确定果实的质心位置。在双目立体视觉技术中,存在着多种因素影响果实定位的精度和可靠性。由于环境光照、果实形状等不可控因素,使得立体视觉匹配过程中难免会出现部分随机分布的无效匹配点,进而无法获得深度信息而导致采摘失效。运用的立体视觉模块将所有无法匹配的点的深

7、度值均设为0.376 926。果实不可避免地会存在被叶片等物体遮挡的情况,如果利用目标果实的形心来进行定位,那么该形心在图像平面上就有可能落在遮挡物上。结果立体视觉匹配后得到的空间位置就是遮挡物的位置而不是真正的采摘目标的空间位置,从而造成抓取可能失败。即使在无遮挡等相对理想条件下立体匹配过程不会出现前述情况,但由于图像噪声、图像处理误差以及标定误差等原因,立体信息的精度也同样难以保证,所以,如果单纯依靠形心等少数点来决定果实空间位置则可能存在较大误差。果实中球形类果实约占70%,为了克服上述立体视觉技术中存在的几个问题,将利用目标上多个点的三维位置信息重建出果实球模型,然后基于最小二乘法计算

8、果实质心位置。果实球模型为(-)2+(-)2+(-)2=2 (1)其中(,)为球心在相机坐标系中的坐标。式(1)也可以写成2+2+2+2-(2+2+2)=2+2+2 (2)对于n个点,式(2)可用矩阵的形式表达,即 （3） 式(3)可以简写成 Am=B （4）利用最小二乘法,可以解得 （5） 从而获得球心坐标。兼顾算法的精度和效率,利用了目标上8个点进行目标位置的求解。具体方法是:先以圆形来近似描述果实形状,由Hough变换可以得到各个果实在图像平面上的圆心坐标(,)和半径,这种方法计算简单,果实形心识别准确;然后可方便地得到该果实圆的外接矩形,该矩形左上点的坐标为(xmin,ymin),右下

9、点的坐标为(xmax,ymax);最后将在此矩形区域内随机找出一个点(,),坐标为 (6)其中,rand()是+标准函数库提供一个生成均匀分布随机数的函数,返回032 767间均匀分布的伪随机整数，%表示求余数。这样可以避免这些点过于集中,以提高最小二乘法的精度。当然,这些点(,)还必须在果实目标上,而不是遮挡物上,同时这些点处的立体匹配应该符合有效性检验。这样直到找到8个点为止,它们的三维坐标将用来拟合出一个球,进而求出目标的质心位置。整个果实识别程序流程如图1所示。图1 果实识别定位流程图在实验室中,使用3个橙子模型进行实验,如图2所示。用RB对原图进行处理后并二值化;然后对图像进行结构元

10、素大小为33的腐蚀与膨胀,结果如图2b所示；对图像基于Hough变换检测圆,得到准确的果实形心,把检测出的果实圆轮廓叠加到图2b上后得到图2c。同时,立体视觉模块提供的视差图如图2d所示,若已知图像上的点(i,j),可求出其在相机坐标系中对应的三维坐标(x,y,z)。由图2c可以看出,左边的果实被叶片遮挡,其在图像平面上的形心位于叶子上,使用通常的基于形心特征等匹配方法将无法得到准确的果实空间位置。应用提出的方法识别出目标位置,通过机器人示教数据,结合下面描述的坐标变换测量出深度信息，结果如表1所示。可见,该方法能够较为准确地获得目标果实的质心位置,有效地消除了遮挡以及匹配失效等对抓取成功率的

11、影响,提高了抓取的精度和可靠性。图2 果实识别定位()右眼校正图像()二值图()Hough变换图()深度图表1 果实定位实验结果2.2 手眼标定手眼标定就是找到相机坐标系与机器人坐标系之间的约束关系,以便实现果实目标在机器人坐标系中的定位。由于立体视觉模块可以给出果实在相机坐标系下的三维坐标,则该系统标定简化为求解相机坐标系与机器人基座坐标之间的映射矩阵。一般,坐标系A和B之间的映射矩阵为 （7）由式(7)又可以将机器人与相机坐标之间映射矩阵表示为 （8）系统标定中,通过将机器人示教到相机坐标系的原点处,记录机器人末端运动距离可得到某一配置下的平移矩阵为对于旋转矩阵，先在机器人的工作范围内随机

12、选取n个目标点，这些点在相机坐标系中的位置由立体视觉模块提供，在机器人坐标系中的坐标值可以测量获得，具体方法与前面测量相机坐标系原点的方法类似。然后把这些点代入式(8)，于是可以得到一个由3n个方程构成的方程组。实验中,选取了10个标定点，利用最小二乘法计算出的相机坐标系相对于机器人的映射矩阵为应用上述标定方法,通过将机械手的末端示教到每个目标点的位置而获得三维坐标的实测值,目标点在机器人坐标系中位置计算值与实测值之间的差值为标定误差。由实验结果可见,目标点在机器人坐标系中位置坐标的各个分量上最大标定误差小于10mm。实际上,此误差是一综合误差,它把立体视觉模块自身等环节的测量误差也包含其中。

13、根据本文的采摘方案,该精度能够满足自动采摘任务的需求。当然,在后续抓取研究中还将用眼在手上的视觉伺服控制技术进一步改善定位精度。总之,该标定算法操作简单、无需昂贵的实验设备,适合现场标定。2.3 采摘机器人的轨迹规划轨迹规划就是根据作业任务要求,确定轨迹参数并实时计算和生成运动轨迹,它是果实收获机器人运动控制的依据。对于果蔬收获机器人来说,一般只要求保证末端执行器到达目标点时满足规定的位姿要求,而如空间避障等问题可以结合果蔬的栽培模式调整,得到一定程度的简化,如文献2就提出通过修剪果树枝条的办法使得果实容易识别和采摘。针对设计的自动采摘机器人实验系统,考虑球形果实的采摘要求,这里给出了分段路径

14、规划实现机器人的运动控制,如图5所示。根据果实生长的姿态调整机器人末端执行器处于适当的采摘姿态,实验中暂时采用了水平姿态。利用计算出的果实目标在机器人坐标系xOy平面内的投影点,控制机器人的S关节使得末端执行器旋转到与轴夹角为处 =arctan（Y/X） (9)图5 采摘机器人轨迹规划示意图机器人将在直线OG与机器人z轴组成的平面内运动,从点到点通过点到点的圆弧插补方式运动,运动过程中末端姿态保持不变。B点的坐标为 （10）由B点直线插补到果实G位置,以水平姿态抓住果实,通过旋转末端执行器使得果实与果梗分离,完成一次采摘任务。在整个轨迹规划中,由于末端执行器的姿态保持不变,只是在GOz平面内作

15、平移运动,简化了机器人求运动学逆解的过程。同时，相应的果实采摘区所需空间小，末端执行器遇到障碍的可能性也会减小。2.4 系统构建整个果实采摘机器人实验平台主要由机械手、视觉系统、末端执行器和计算机组成,如图6所示。为了减少构建系统的时间,采用了日本安川6自由度通用工业机器人,在计算机的控制下,它既可执行点到点的运动,也可按关节角进行运动。视觉系统采用多摄像机视觉控制技术,应用了Bumbelee2立体视觉模块,可以在较大范围内进行采摘目标的搜索与定位,该模块也将用于后续移动式果蔬采摘机器人的视觉导航。同时,还添加了眼在手上(eye-in-hand)固定方式的单目摄像机,它跟随着机械手一起运动,以

16、实现小尺度精确伺服定位,进一步提高采摘成功率和可靠性。末端执行器采用了电动的二指夹持器,其抓取力与给定电流成比例,并可以保持夹持力恒定。图6 采摘机器人系统组成3 调研总结（1）构建了一个果实采摘机器人系统,在实验室条件下实现了球形果实的自主采摘。（2）运用果实球模型研究了多果有遮挡条件下的果实识别定位,有效地消除了遮挡以及匹配失效等因素的影响,提高了抓取的精度和可靠性。（3）使用了最小二乘法进行了采摘机器人手眼精确标定,各坐标分量的标定误差都在10以内,能够满足果实抓取的需要。（4）采用分段路径方法实现了采摘机器人的轨迹规划,所需采摘空间较小,可以减小遇到枝叶等障碍的概率。（5）农业机器人是

17、21世纪研究进展最快的机器人。我国作为农业大国,水果和蔬菜在人类的生活中占有很重要的地位,种植面积和产量逐年提高。而农产品的采摘是一项劳动强度大、消耗时间长,具有一定危险的作业,所以,对农业采摘机器人的研究就显得非常迫切。由于农业机器人作业对象是有机生物体,且不同地域有不同的自然气候、地形、地貌以及不同的种植制度,所以其应用的难度非常之大。尤其针对如此错综复杂的外部环境和形状各异的作业对象,即使是在同一种农业作业,其作业对象也是千差万别,这样一来,采用带视觉技术的农业采摘机器人将不失为一个非常理想的选择。参考文献1 宋健,张铁中,徐丽明,等.果蔬采摘机器人研究进展与展望J.农业机械学报,200

18、6,37(5):158162.2JeanJH,LaiJH,Designandimplementationofavisualservo systemforaerialsurveillanceapplicationsbasedonshapefeaturesA.IEEEInternationalConferenceonMechatronicsC.Taipei,2005.416-421. 3P.Castillo,A.Dzul,R.Lozano, Real-timestabilizationandtrack ingofafourrotorminirotorcraftJ.IEEETrans.Control

19、Syst.Technol.,2004,12(4):510-516.4 张铁中,陈利兵,宋健.草莓采摘机器人的研究: .基于图像的草莓重心位置和采摘点的确定.中国农业大学学报,2005,10(1):4851. 5宋健,孙学岩,张铁中,等.开放式茄子采摘机器人设计与试验.农业机械学报,2009,40(1):143147. 6 赵庆波,赵德安,姬伟,等.采摘机器人视觉伺服控制系统设计.农业机械学报,2009,40(1):152156. 7 张志勇,何东健,张建,等.苹果采摘机器人手臂控制研究.中国农业大学学报,2008,13(2):7882. 8王光辉,宁国鹏,王德成,等.一种牧草干燥与茎叶分离装置:中国,200810227636.4.200904 29.