草莓收获机器人采摘执行机构设计与试验.docx

1、草莓收获机器人采摘执行机构设计与试验草莓收获机器人采摘执行机构设计与试验*张凯良1 杨 丽2 张铁中2【摘 要】【摘要】 设计了一套针对地垄栽培模式下草莓的无损伤自动采摘执行机构。该执行机构可在一定范围内对成熟草莓进行自主识别和精确定位，并以夹持、剪切果柄的方式摘取果实，从而实现草莓的无损伤采摘;所采用的控制方法对视觉传感器精度和机构重复定位精度依赖性较小，利于在进一步推广中控制成本。试验结果表明，该执行机构在实验室环境下对草莓的无损伤采摘成功率可达90%。【期刊名称】农业机械学报【年(卷),期】2011(042)009【总页数】7【关键词】关键词:草莓 收获机器人 执行器 无损伤采摘引言草莓

2、的人工收获作业量大、劳动强度高，随着我国城镇化进程和人口的老龄化，农村劳动力不足现象日趋明显，研究并推广草莓自动化收获技术，成为现阶段亟待解决的问题。从20世纪80年代起，世界各国开始了果蔬采摘自动化的研究116，日本冈山大学47、宫崎大学11、美国佛罗里达大学12、我国上海交通大学13和中国农业大学1416相继开展了草莓自动化收获的研究工作并取得了众多成果，但目前仍存在以下几点问题:收获方式易损伤果实表面。针对我国普遍采用的地垄栽培模式下的草莓自动化收获研究较少。常需气动设备和电动设备的联合作业才能完成采摘任务，动力源的多样性影响了系统的整体适应性和机动性。机器人执行机构对高精度传感、伺服设

3、备依赖较多，其视觉系统在试验中多将采摘目标置于暗室环境，采用专用光源照明，或加入多种滤光设备，成本较高，不利于设备的进一步推广。本文针对地垄栽培模式下草莓的生长特点，对草莓收获机器人的主要组成单元采摘执行机构(不含行走机构和收集机构)进行研究并设计样机，对一定范围内成熟草莓进行自动定位和无损伤采摘。1 工作环境和作业要求我国草莓种植以垄作栽培居多，地垄截面成等腰梯形，垄顶宽400 mm，垄底宽600 mm，高250 mm。草莓植株生长于垄顶部，果实长出后伏在垄侧面，成熟草莓果实上方一段果柄与垄侧壁有1020 mm间隙，相邻两垄间为宽度约500 mm的垄沟(图1)。本文要求草莓收获机器人采摘执行

4、机构能在现有农艺条件下，对一定范围内的垄面进行自动扫描，识别、定位成熟草莓并以夹持、剪切果柄的方式摘取果实，实现草莓的无损伤自动采摘。2 机械结构设计2.1 机身设计草莓收获机器人采摘执行机构总质量23 kg，空间最小尺寸800 mm450 mm360 mm。机身(不含末端执行器)共配置6个自由度，包括3个位移自由度和3个旋转自由度，用以调整末端执行器空间位姿，使末端执行器及其上的传感设备处于最佳工作位置，确保目标的可靠识别、定位和摘取(图2)。定义世界坐标系，各轴(X、Y、Z)方向如图2所示，X、Y轴位于垄侧面，Z轴与垄侧面垂直。末端执行器X向定位:导轨置于水平面内且与垄侧面平行，合页1与导

5、轨上的滑块固连，由X向电动机驱动在导轨上移动，其有效行程为800 mm，合页1在导轨上移动的距离由末端执行器在X方向的工作位置决定。末端执行器Y向定位:采摘执行机构工作时，Y向丝杠应与垄侧面(XOY平面)和垄截面(YOZ平面)均保持平行。前者通过U向电动机调节U向滑块在U向丝杠上的位置而改变Y向丝杠的倾角来实现;后者由导轨与垄侧面呈平行以及Y向丝杠架与合页1、2的联接来保证。Y向电动机驱动Y向丝杠而使Y向滑块在Y向丝杠上移动，其有效行程为320 mm，滑块的移动距离由末端执行器在Y向的工作位置决定。末端执行器Z向定位:采摘执行机构工作时，Z向丝杠始终与垄截面(YOZ平面)平行，与垄侧面(XOY

6、平面)垂直，这由Z向丝杠与Y向丝杠呈直角布置，且两丝杠的垂面均与垄侧面垂直而得以保证。末端执行器Z向的位置通过Z向电动机驱动Z向丝杠改变末端执行器与Z向滑块(即Y、Z向组合滑块)的位置来实现，末端执行器的有效行程为150 mm。腕部W向电动机可控制末端执行器沿垂直垄面的轴线旋转，使其与目标对准;腕部R向电动机可使末端执行器上下翻转，便于末端执行器上的图像传感设备快速扫描垄面。2.2 末端执行器设计末端执行器安装于Z向丝杠上，全长125 mm，集成两项功能:检测成熟草莓位姿、为执行机构提供导航信息。以适当力度夹持并剪切果柄，完成采摘动作。主要部件如图3所示。负责目标位姿信息获取的机器视觉单元包括

7、:2个摄像头和1个激光发生器。摄像头的图像分辨率均为320240(像素)，正面摄像头主要负责目标在XOY平面内的定位;侧面摄像头在正面摄像头和激光发生器的辅助下可获取目标Z向上的深度信息。负责目标采摘的夹持、剪切单元包括:压块、顶块、橡胶膜、切刀、切割架和机械触点，末端执行器到达采摘工位后，电动机G通过齿轮齿条机构带动爪钳平行闭合(图4)，目标果柄首先与压块接触并连同橡胶膜一起被压入槽型顶块中实现夹持预紧;电动机G进一步转动，果柄被更可靠夹持，同时切刀与果柄接触并依靠切割架的支撑将果柄切断，夹持剪切动作完成后，机械触点闭合发出开关信号，改变机械触点的位置可调节果柄被夹持力度。垄侧面探测传感器可

8、防止末端执行器在动作过程中与垄侧面碰撞。3 控制系统该草莓收获机器人采摘执行机构采用集中式控制，以IBM兼容机为控制核心，硬件组成分3部分:运动执行设备:2个交流伺服电动机，4个直流电动机和1个步进电动机。信息采集设备:2个摄像头和7对机械触点。辅助设备:1个激光发生器。各项控制任务、设备及其与控制机的接口方法如表1所示。该执行机构所采用的控制方法模仿人类抓取物体的机理，在接近目标过程中不对执行机构发送具体的位置控制命令，仅对其运动方向进行控制，并以提高效率为前提进行速度控制。整个采摘过程中视觉系统不断反馈控制结果，直至末端执行器进入允许的误差区间，目标的成功摘取对机构的重复定位精度和图像传感

9、器的成像精度依赖较小。控制策略如图5所示，“对正目标”环节的控制对象为X向电动机的转速nX和Y向电动机的转速nY，“接近目标”环节的控制对象为Z向电动机的转速nZ，具体控制量采用PID算法进行计算(本课题中仅考虑比例、微分环节);“闭合爪钳”环节调控对象为电动机G的转速nG，数值为定值，根据机械触点的反馈信息启动、停止或改变运动方向。4 导航信息获取采摘执行机构所采用的机器视觉系统以普通日光灯为光源，采摘目标表面照度在240260 lx之间，仅在侧面摄像头前加装0.02 mm的线偏振片(PL)以利于后期的图像处理，目标在两摄像头中的原始成像效果如图6所示(侧面摄像头倒置且感光度调至较低水平IS

10、O为20)。由摄像头采集得到的原始图像经过色彩空间变换、阈值处理、目标图像分割、目标几何特征筛选1517等预处理工作，将成熟草莓与未成熟草莓及其他背景环境区分(鉴于垄作草莓农艺特点，两颗草莓前后遮挡情况较少，本研究中暂未作考虑)，最终得到可用于导航信息计算的目标图像。该采摘执行机构运动所依据的主要导航信息包括:目标在垄侧面XOY平面内的位姿和目标在空间Z向上与末端执行器的距离。4.1 目标位姿信息获取正面摄像头中草莓果轴方向和上半轮廓与果轴交点分别标示目标的姿态和位置，根据目标位姿信息来调整末端执行器姿态，使其爪钳开口方向与草莓果轴一致;以目标位置信息调整末端执行器位置，使爪钳贴近草莓上边缘，

11、从而确保目标的可靠摘取。果轴位置是目标位姿获取的关键，其检测过程分3步(图7):(1)检测目标轮廓，计算目标区域重心位置。(2)过重心和轮廓点绘制贯穿目标区域的直线，对于每条贯穿直线，生成一个校验图像组，“校验图像a”由原图直线右侧部分生成，“校验图像b”由原图直线左侧部分图像沿直线镜像得到。(3)比较每个校验图像组中两幅校验图像的相似程度，将相似度最高的校验图像组所对应的贯穿直线作为目标果轴。相似程度RL计算式为其中，RL值越小则说明两幅图像相似程度越高，A(x，y)、B(x，y)分别表示校验图像 a、b中对应坐标处的像素值。4.2 目标深度信息获取获取目标深度信息工作开始时，末端执行器已经

12、在正面摄像头的引导下完成与目标的对正，即:目标果轴方向与爪钳开口缝隙方向一致，目标轮廓上沿位于爪钳下方。此时，激光发生器发出的扇形激光(扇角90，波长635 nm)，将在目标表面正中形成一条亮线(图6)，由于侧面摄像头曝光值被调节到较低水平，镜头前添加有PL偏振片，激光亮线的成像质量较高，仅通过亮度信息即可从图像中提取出来，作为目标距离的计算依据。经过机械校准，当草莓重心在正面摄像头中的横坐标值为1605，纵坐标值为120+10时即符合对正条件(图像坐标原点位于左上角，单位为像素)。侧面摄像头可抽象为一个凸透镜和一个平面感光器件的组合(图8)，S表示末端执行器前方一点，与草莓表面激光光斑的位置

13、相对应，S表示S点在侧面摄像头中的像点，d为S在感光器件平面上的水平坐标偏移量，M为机械爪轴线与凸透镜抽象平面的交点，O为透镜光心，l为M到O的距离，P为M与机械爪前端面的距离，G为主光轴上一点，距离透镜光心的距离等于透镜的焦距为f。透镜主光轴与爪身轴线成角(定值)。由几何光学原理可知，末端执行器前进的过程中，S在感光器件上的水平位置d随D的变化而变化，由二者的几何对应关系即可导出由d计算D的计算公式XL为S点在侧面摄像头中的水平方向图像坐标(图6)，单位为像素，取值范围在0320之间且与d存在一一对应关系。由于d不易直接得到，因此引入校正系数k，将式(2)变为由XL即可直接推导出D的值。由于

14、式(3)中的常数k、f、P以及的精确数值不易通过直接测量得到，本文采用试验样本标定和Gauss-Newton最小二乘数据拟合的方法间接计算式中所需参数，该方法的平均测距误差为0.5 mm，最大误差小于 1.6 mm18。5 试验将90颗成熟“童子一号”草莓分为9组，每组10颗，并在各组中随机夹杂23颗未成熟草莓，在实验室环境下对执行机构样机进行了采摘试验。试验结果如表2所示。其中无损伤采摘是:在导航系统发现目标、末端执行器接近目标、夹持剪切系统切断果柄并将目标带离垄侧面的整个过程中，果实表面未与末端执行器的任何部位发生接触。试验结果显示，该草莓收获机器人采摘执行机构在模拟高畦垄作栽培模式下的草

15、莓收获作业中，具备无损伤采摘多种姿态草莓的能力，能够区分成熟草莓与未成熟草莓，平均采摘速度为73.6颗/h，采摘成功率可达90%(90颗草莓中成功采摘83颗)。6 结束语针对地垄栽培模式下的草莓生长环境，设计了草莓收获机器人的采摘执行机构，并进行了样机采摘试验。该机构集成了视觉导航系统和机械采摘装置，能够自动识别、定位成熟草莓，并以夹持剪切果柄的方式摘取果实。采摘试验结果表明，执行机构能够识别成熟草莓，平均采摘速度为73.6颗/h，采摘成功率达90%。整套机构在导航、控制方法上依靠低成本设备实现较高的整体作业精度，能够满足地垄栽培模式下成熟草莓的无损伤收获要求，且利于后期推广。参考文献1 Ha

16、rrell R C，Slaughter D C，Adsit P D.A fruit-tracking system for robotic harvestingJ.Machine Vision and Applications，1989，2(2):6980.2 Tillett N D.Robotic manipulators in horticulture:a reviewJ.Journal of Agricultural Engineering Research，1993，55(2):89105.3 Kondo N，Nishitsuji Y，Ling P，et al.Visual feedb

17、ack guided robotic cherry tomato harvestingJ.Transactions of the ASAE，1996，39(6):2 3312 338.4 Kondo N，Monta M，Arima S.Strawberry harvesting robot on hydroponic systemC3rd IFAC/CIGR Workshop on Artificial Intelligence in Agriculture Makuhari.Chiba，Japan:IFAC，1998:24 26.5 Kondo N，Fujiura T，Ting K C，et

18、 al.Robots in bioproduction within controlled environmentsMKondo N，Ting K C.Robotics for bioproduction systems，MI，USA:ASAE，1998:173 229.6 Kondo N，Hisaeda K，Monta M.Development of strawberry harvesting robot handC1998 ASAE Annual International Meeting.MI，USA:ASAE，1998:No.983117.7 Kondo N，Monta M.Stra

19、wberry harvesting robotsC1999 ASAE Annual International Meeting.MI，USA:ASAE，1999:No.993071.8 Shigenhiko H，Katsunobu G，Yukitsugu I.Machine vision algorithm of eggplant recognition for robotic harvestingJ.Journal of Society of High Technology in Agriculture，2000，12(1):3846.9 Duke M，Takkashi K，Yoshinob

20、u O，et al.A color model for recognition of apples by a robotic harvesting system J.Journal of JSAM，2002，64(5):123133.10 Van Henten E J，Hemming J，Van Tuijl B A J，et al.An autonomous robot for harvesting cucumbers in greenhousesJ.Autonomous Robots，2002，13(3):241258.11 Masateru Nagata，Cui Yongjie.Study

21、 on cartesian-type harvesting robot for strawberryCBio-Robotics Preprints of 3rd IFAC International workshop on Bio-Robotics，Information Technology and Intelligent Control for Bioproduction Systems.Sapporo，Japan:IFAC:2006:266270.12 Tarrio P，Bernardos A M，Jose R，et al.A harvesting robot for small fru

22、it in bunches based on 3-D stereoscopic visionCComputers in Agriculture and Natural Resources，4th World Congress Conference.FL，USA:IEEE，2006:2426.13 Guo Feng，Cao Qixin，Masateru，et al.Fruit detachment and classification method for strawberry harvesting robotJ.International Journal of Advanced Robotic

23、 Systems，2008，5(1):41 48.14 张铁中，周天娟.草莓采摘机器人的研究:.基于BP神经网络的草莓图像分割J.中国农业大学学报，2004，9(4):6569.Zhang Tiezhong，Zhou Tianjuan.Strawberry harvesting robot:.segmentation of strawberry image by BP neural networkJ.Journal of China Agricultural University，2004，9(4):6568.(in Chinese)15 张铁中，陈利兵，宋健.草莓采摘机器人的研究:基于图像的

24、草莓重心位置和采摘点的确定J.中国农业大学学报，2005，10(1):48 51.Zhang Tiezhong，Chen Libing，Song Jian.Strawberry harvesting robot:.images based identifications of strawberry barycenter and plucking positionJ.Journal of China Agricultural University，2005，10(1):4851.(in Chinese)16 张铁中，林宝龙，高锐.水果采摘机器人视觉系统的目标提取J.中国农业大学学报，2004，9

25、(2):6872.Zhang Tiezhong，Lin Baolong，Gao Rui.Object extraction for the vision system of fruit picking robotJ.Journal of China Agricultural University，2004，9(2):6872.(in Chinese)17 张凯良.基于机器视觉的草莓采摘机器人关键技术研究D.北京:中国农业大学，2009.Zhang Kailiang.Study on the key technology of the strawberry picking robot based

26、 on machine visionD.Beijing:China Agricultural University，2009.(in Chinese)18 张凯良，杨丽，张铁中.草莓采摘位置机器视觉与激光辅助定位方法J.农业机械学报，2010，41(4):151156.Zhang Kailiang，Yang Li，Zhang Tiezhong.Object locating method of laser-assisted machine vision for strawberry harvestingJ.Transactions of the Chinese Society for Agricultural Machinery，2010，41(4):151156.(in Chinese)*国家自然科学基金资助项目(60375036)