基于立体视觉的水果采摘机器人系统调研报告.docx

基于立体视觉的水果采摘机器人系统调研报告.docx

《基于立体视觉的水果采摘机器人系统调研报告.docx》由会员分享，可在线阅读，更多相关《基于立体视觉的水果采摘机器人系统调研报告.docx（9页珍藏版）》请在冰豆网上搜索。

基于立体视觉的水果采摘机器人系统调研报告

基于立体视觉的水果采摘机器人系统调研报告

摘要:

基于立体视觉建立了水果采摘机器人系统。

在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标；通过最小二乘法研究了采摘机器人手眼标定；分析了采摘机器人的轨迹规划。

实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。

关键词:

采摘机器人　立体视觉　手眼标定　识别

ResearchReportoffruitpickingrobotsystembasedonstereovision

Abstract：

Afruitpickingrobotsystembasedonstereovisionisestablished.IntheimagespacebyusingHoughtransformtodetecttargetfruit,andtherandomsamplingofmultiplepointreconstructionof3Dcoordinateinformationfruitballmodelareuniformlydistributedtarget,andthenobtainthespatialpositioncoordinatesofthetargetcentroid;bytheleastsquaresmethodofpickingrobothandeyecalibration;analysisofthepickingrobottrajectoryplanning.Theexperimentalresultsshowthatthedesignoftheautomaticpickingsystemcaneffectivelyeliminateocclusionandtheinfluenceofthestereovisionmatchingfailureandotherfactors,targetlocationerrorislessthan8mm,significantlyimprovetheaccuracyandreliabilityofthecrawl.

Keywords:

pickingrobot；stereovision；handeyecalibration；identification

1调研背景

果蔬采摘作业一直是个亟待解决的问题[1]。

德国、荷兰和日本等发达国家研究开发了多种类型的果蔬自动采摘机器人,如苹果、黄瓜和樱桃等自动收获机器人[2～4],但在果实识别率、采摘成功率等方面还存在尚待解决的问题。

国内果蔬采摘机器人的研究工作也较多[5],但大多局限在采摘机器人的视觉系统、机械手和末端执行器等单一的功能模块,其中视觉系统的研究大多是在单果无遮挡的理想条件下进行的。

本文基于立体视觉构建一个水果采摘机器人系统,即利用视觉传感器获取环境图像,计算出果实目标相对于机器人坐标系的位置,然后驱动机器人到达目标位置并抓取。

重点研究复杂环境下果实目标的可靠识别定位问题,并分析系统的手眼标定与轨迹规划等。

2关键技术

2.1果实识别定位

果实目标的辨识和定位是果实收获机器人的首要任务,是影响果实抓取成功率的关键因素。

采摘过程中,机器人末端执行器的工作位置不仅由果实目标位置决定,也受采摘方式的影响。

目前常见的果蔬采摘方式有手指抓取采摘[6]、纯气吸采摘[2]和气吸与手指相结合采摘[4]等。

本文采用了先让电动夹持器夹持住果实,再结合拧断果柄的方式来实现采摘,这就要求末端执行器的工作中心与果实质心基本重合,因此,果实定位需要确定果实的质心位置。

在双目立体视觉技术中,存在着多种因素影响果实定位的精度和可靠性。

由于环境光照、果实形状等不可控因素,使得立体视觉匹配过程中难免会出现部分随机分布的无效匹配点,进而无法获得深度信息而导致采摘失效。

运用的立体视觉模块将所有无法匹配的点的深度值均设为0.376926ｍ。

果实不可避免地会存在被叶片等物体遮挡的情况,如果利用目标果实的形心来进行定位,那么该形心在图像平面上就有可能落在遮挡物上。

结果立体视觉匹配后得到的空间位置就是遮挡物的位置而不是真正的采摘目标的空间位置,从而造成抓取可能失败。

即使在无遮挡等相对理想条件下立体匹配过程不会出现前述情况,但由于图像噪声、图像处理误差以及标定误差等原因,立体信息的精度也同样难以保证,所以,如果单纯依靠形心等少数点来决定果实空间位置则可能存在较大误差。

果实中球形类果实约占70%,为了克服上述立体视觉技术中存在的几个问题,将利用目标上多个点的三维位置信息重建出果实球模型,然后基于最小二乘法计算果实质心位置。

果实球模型为

（ｘ-ａ）2+（ｙ-ｂ）2+（ｚ-ｃ）2=Ｒ2

（1）

其中（ａ,ｂ,ｃ）为球心在相机坐标系中的坐标。

式

（1）也可以写成

2ａｘ+2ｂｙ+2ｃｚ+Ｒ2-（ａ2+ｂ2+ｃ2）=ｘ2+ｙ2+ｚ2

（2）

对于n个点,式

（2）可用矩阵的形式表达,即

（3）

式（3）可以简写成

Am=B（4）

利用最小二乘法,可以解得

（5）

从而获得球心坐标。

兼顾算法的精度和效率,利用了目标上8个点进行目标位置的求解。

具体方法是:

先以圆形来近似描述果实形状,由Hough变换可以得到各个果实在图像平面上的圆心坐标（ｉ,ｊ）和半径Ｒ,这种方法计算简单,果实形心识别准确;然后可方便地得到该果实圆的外接矩形,该矩形左上点的坐标为（xmin,ymin）,右下点的坐标为（xmax,ymax）;最后将在

此矩形区域内随机找出一个点（ｘ,ｙ）,坐标为

（6）

其中,rand（）是Ｃ++标准函数库提供一个生成均匀分布随机数的函数,返回0～32767间均匀分布的伪随机整数，%表示求余数。

这样可以避免这些点过于集中,以提高最小二乘法的精度。

当然,这些点（ｘ,ｙ）还必须在果实目标上,而不是遮挡物上,同时这些点处的立体匹配应该符合有效性检验。

这样直到找到8个点为止,它们的三维坐标将用来拟合出一个球,进而求出目标的质心位置。

整个果实识别程序流程如图1所示。

图1果实识别定位流程图

在实验室中,使用3个橙子模型进行实验,如图2所示。

用R—B对原图进行处理后并二值化;然后对图像进行结构元素大小为3×3的腐蚀与膨胀,结果如图2b所示；对图像基于Hough变换检测圆,得到准确的果实形心,把检测出的果实圆轮廓叠加到图2b上后得到图2c。

同时,立体视觉模块提供的视差图如图2d所示,若已知图像上的点（i,j）,可求出其在相机坐标系中对应的三维坐标（x,y,z）。

由图2c可以看出,左边的果实被叶片遮挡,其在图像平面上的形心位于叶子上,使用通常的基于形心特征等匹配方法将无法得到准确的果实空间位置。

应用提出的方法识别出目标位置,通过机器人示教数据,结合下面描述的坐标变换测量出深度信息，结果如表1所示。

可见,该方法能够较为准确地获得目标果实的质心位置,有效地消除了遮挡以及匹配失效等对抓取成功率的影响,提高了抓取的精度和可靠性。

图2果实识别定位

（ａ）右眼校正图像　（ｂ）二值图　（ｃ）Hough变换图　（ｄ）深度图

表1果实定位实验结果

2.2手眼标定

手眼标定就是找到相机坐标系与机器人坐标系之间的约束关系,以便实现果实目标在机器人坐标系中的定位。

由于立体视觉模块可以给出果实在相机坐标系下的三维坐标,则该系统标定简化为求解相机坐标系与机器人基座坐标之间的映射矩阵。

一般,坐标系{A}和{B}之间的映射矩阵为

（7）

由式（7）又可以将机器人与相机坐标之间映射矩阵表示为

（8）

系统标定中,通过将机器人示教到相机坐标系的原点处,记录机器人末端运动距离可得到某一配置下的平移矩阵为

对于旋转矩阵，先在机器人的工作范围内随机选取n个目标点，这些点在相机坐标系中的位置由立体视觉模块提供，在机器人坐标系中的坐标值可以测量获得，具体方法与前面测量相机坐标系原点的方法类似。

然后把这些点代入式（8），于是可以得到一个由3n个方程构成的方程组。

实验中,选取了10个标定点，利用最小二乘法计算出的相机坐标系相对于机器人的映射矩阵Ｔ为

应用上述标定方法,通过将机械手的末端示教到每个目标点的位置而获得三维坐标的实测值,目标点在机器人坐标系中位置计算值与实测值之间的差值为标定误差。

由实验结果可见,目标点在机器人坐标系中位置坐标的各个分量上最大标定误差小于10mm。

实际上,此误差是一综合误差,它把立体视觉模块自身等环节的测量误差也包含其中。

根据本文的采摘方案,该精度能够满足自动采摘任务的需求。

当然,在后续抓取研究中还将用眼在手上的视觉伺服控制技术进一步改善定位精度。

总之,该标定算法操作简单、无需昂贵的实验设备,适合现场标定。

2.3采摘机器人的轨迹规划

轨迹规划就是根据作业任务要求,确定轨迹参数并实时计算和生成运动轨迹,它是果实收获机器人运动控制的依据。

对于果蔬收获机器人来说,一般只要求保证末端执行器到达目标点时满足规定的位姿要求,而如空间避障等问题可以结合果蔬的栽培模式调整,得到一定程度的简化,如文献[2]就提出通过修剪果树枝条的办法使得果实容易识别和采摘。

针对设计的自动采摘机器人实验系统,考虑球形果实的采摘要求,这里给出了分段路径规划实现机器人的运动控制,如图5所示。

根据果实生长的姿态调整机器人末端执行器处于适当的采摘姿态,实验中暂时采用了水平姿态。

利用计算出的果实目标Ｇ在机器人坐标系xOy平面内的投影点Ｇ′,控制机器人的S关节使得末端执行器旋转到与ｘ轴夹角为α处

α=arctan（Y/X）（9）

图5采摘机器人轨迹规划示意图

机器人将在直线OG′与机器人z轴组成的平面内运动,从Ａ点到Ｂ点通过点到点的圆弧插补方式运动,运动过程中末端姿态保持不变。

B点的坐标为

（10）

由B点直线插补到果实G位置,以水平姿态抓住果实,通过旋转末端执行器使得果实与果梗分离,完成一次采摘任务。

在整个轨迹规划中,由于末端执行器的姿态保持不变,只是在G′Oz平面内作平移运动,简化了机器人求运动学逆解的过程。

同时，相应的果实采摘区所需空间小，末端执行器遇到障碍的可能性也会减小。

2.4系统构建

整个果实采摘机器人实验平台主要由机械手、视觉系统、末端执行器和计算机组成,如图6所示。

为了减少构建系统的时间,采用了日本安川6自由度通用工业机器人,在计算机的控制下,它既可执行点到点的运动,也可按关节角进行运动。

视觉系统采用多摄像机视觉控制技术,应用了Bumbelee2立体视觉模块,可以在较大范围内进行采摘目标的搜索与定位,该模块也将用于后续移动式果蔬采摘机器人的视觉导航。

同时,还添加了眼在手上（eye-in-hand）固定方式的单目摄像机,它跟随着机械手一起运动,以实现小尺度精确伺服定位,进一步提高采摘成功率和可靠性。

末端执行器采用了电动的二指夹持器,其抓取力与给定电流成比例,并可以保持夹持力恒定。

图6采摘机器人系统组成

3调研总结

（1）构建了一个果实采摘机器人系统,在实验室条件下实现了球形果实的自主采摘。

（2）运用果实球模型研究了多果有遮挡条件下的果实识别定位,有效地消除了遮挡以及匹配失效等因素的影响,提高了抓取的精度和可靠性。

（3）使用了最小二乘法进行了采摘机器人手眼精确标定,各坐标分量的标定误差都在10ｍｍ以内,能够满足果实抓取的需要。

（4）采用分段路径方法实现了采摘机器人的轨迹规划,所需采摘空间较小,可以减小遇到枝叶等障碍的概率。

（5）农业机器人是 21世纪研究进展最快的机器人。

我国作为农业大国,水果和蔬菜在人类的生活中占有很重要的地位,种植面积和产量逐年提高。

而农产品的采摘是一项劳动强度大、消耗时间长,具有一定危险的作业,所以,对农业采摘机器人的研究就显得非常迫切。

由于农业机器人作业对象是有机生物体,且不同地域有不同的自然气候、 地形、 地貌以及不同的种植制度,所以其应用的难度非常之大。

尤其针对如此错综复杂的外部环境和形状各异的作业对象,即使是在同一种农业作业,其作业对象也是千差万别,这样一来,采用带视觉技术的农业采摘机器人将不失为一个非常理想的选择。

参考文献

[1]宋健,张铁中,徐丽明,等.果蔬采摘机器人研究进展与展望[J].农业机械学报,2006,37（5）:

158～162.

[2] Jean J H, Lai J H, Design and implementation of a visual servosystem for aerial surveillance applications based on shape features[A]. IEEE International Conference on Mechatronics[C]. Taipei, 2005. 416-421.

[3] P. Castillo, A. Dzul, R. Lozano,Real-time stabilization and tracking of a four rotor mini rotorcraft[J]. IEEE Trans. Control Syst. Technol., 2004, 12（4）:

 510-516.

[4]张铁中,陈利兵,宋健.草莓采摘机器人的研究:

Ⅱ.基于图像的草莓重心位置和采摘点的确定[Ｊ].中国农业大学学报,2005,10

（1）:

48～51.

[5］宋健,孙学岩,张铁中,等.开放式茄子采摘机器人设计与试验[Ｊ].农业机械学报,2009,40

（1）:

143～147.

[6]赵庆波,赵德安,姬伟,等.采摘机器人视觉伺服控制系统设计[Ｊ].农业机械学报,2009,40

（1）:

152～156.

[7]张志勇,何东健,张建,等.苹果采摘机器人手臂控制研究[Ｊ].中国农业大学学报,2008,13

（2）:

78～82.

[8]王光辉,宁国鹏,王德成,等.一种牧草干燥与茎叶分离装置:

中国,200810227636.4[Ｐ].20090429.