水果采摘机器人视觉系统的发展现状研究论文.docx

水果采摘机器人视觉系统的发展现状研究论文.docx

《水果采摘机器人视觉系统的发展现状研究论文.docx》由会员分享，可在线阅读，更多相关《水果采摘机器人视觉系统的发展现状研究论文.docx（24页珍藏版）》请在冰豆网上搜索。

水果采摘机器人视觉系统的发展现状研究论文

水果采摘机器人视觉系统的发展现状研究

摘要：

水果采摘机器人的研究始于上世纪70年代末，国内外专家通过近三十年的研究发表了大量的研究论文和报告，同时也相应的开发了各种原型机。

视觉系统作为农业采摘机器人的核心部分之一，直接影响到采摘效率和成功率，所以它已经成为采摘机器人研究的一个重点和热点。

本文侧重对国外发展情况的研究，通过对国外的相关文献进行全面检索。

对国内外水果采摘机器人视觉系统的特点进行了分析和归类，并对研究的现状进行了综述。

按照水果采摘机器人视觉系统的硬件（采摘水果的不同）进行分类，介绍了几种典型水果采摘机器人视觉系统的组成器件和果实探测算法，讨论并比较了这些方法的效率和适用性。

分析水果采摘机器人视觉系统存在的问题和有待改进的方面，并初步提出笔者的设想和建议。

关键词：

采摘机器人；视觉系统；探测算法

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：

所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。

尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。

对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：

　　　　　日　期：

指导教师签名：

　　　　　日　　期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：

按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：

　　　　　日　期：

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

日期：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权　　　　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：

日期：

年月日

导师签名：

日期：

年月日

0引言

农业信息化是我国进入21世纪后建设现代农业的重大战略选择，是实现农业现代化的重要内容。

数字农业作为农业信息化的组成部分，其科技创新与应用实践，将引领我国现代农业的快速发展。

农业智能控制技术则是实现数字农业的标志。

农业机器人作为农业智能控制技术研究成果中新一代生产工具，在提高农业生产力、改变农业生产模式、解决劳动生产力不足问题等方面显示出极大的优越性。

近年来，农业机器人主要应用在移栽、嫁接、喷药、采摘、果实分级等领域，其中采摘是水果生产中最重要和最耗时费力的环节，采摘效果的好坏还会直接影响到后续的存储与加工过程。

在很多国家,由于劳动力的高龄化和人力资源的缺乏,使得人工采摘成本几乎占整个果蔬生产成本中的一半，并且有些果实采摘作业使用人工存在一定的危险性，因此实现果蔬收获的机械化变得越来越迫切。

对于一个农业采摘机器人，首要的任务就是利用视觉系统来确认水果的位置信息。

但是由于采摘环境的复杂性，比如：

水果及树叶的遮盖、光照对采摘的影响等等，使得识别定位水果的工作难度大大增加。

一个好的视觉系统不仅要求系统建设成本低廉，操作简单，并且具有较高的精确度及效率[1-3]。

1水果采摘机器人视觉系统研究现状

水果采摘机器人采摘水果时，首先要利用视觉系统获取水果的具体位置信息，然后将机械臂移动到采摘的最佳位置，最后再进行采摘。

因此准确的获取目标水果的三维位置信息是水果采摘机器人视觉系统的主要工作。

由于视觉系统的性能、效率以及图像处理算法都因为硬件系统的不同而有所区别，所以本文将近几年来一些典型的视觉系统，根据其硬件组成的不同来进行分类叙述[4-8]。

1.1单个相机

美国俄亥俄州立大学的PeterP.Ling等人于2004年研制了一西红柿采摘机器人[9]。

这个机器人的视觉系统主要元件是由一个换了广角镜头的彩色微型相机。

它被安装在机器臂末端。

基于RGB模型，通过获取红色分量和绿色分量的灰度图像来进行前景图像（果实）和背景图像（主要是树叶）的分割。

之所以采用红、绿两个颜色分量主要是为了增强果实和树叶的对比度。

之后获取前景图像的边缘图像，利用圆周霍夫变换或者弦重建原理来识别和定位成熟西红柿。

实验证明，圆周霍夫变换的定位精度高于弦重建方法，但是弦重建方法的速度是圆周霍夫变换的42倍，可见弦重建方法比较适用于实时收获系统。

通过在实验室和温室中操作，利用弦重建方法的视觉系统对西红柿的感知率和采摘率分别高于95％和85％。

美国AmyL.Tabb等人在2006年研制出一个根据背景模型来分割图像的苹果采摘机器人[10]。

所谓背景模型，是指将背景预先基于RGB空间模型化，因为这样可以减少背景的噪音。

然后通过基于高斯混合原理的全局高斯混合算法（GMOG）来进行果实定位。

对于每一个像素灰度值，如果它和自身RGB三者均值的差小于一个特定值，就将它归类为背景类；否则就是前景类。

这个苹果采摘机器人的视觉系统的主要部件是一个彩色摄像机，拍摄的速度大约是2帧/秒。

在拍摄之前，在苹果生长的地方放置一块黑色的幕布作为背景，拍摄背景并将其模型化；然后再将幕布置于苹果树后面，拍摄有背景的苹果；最后利用上述算法，进行分类，获取目标苹果的位置信息。

GMOG是一种速度快、精度高的图像分割算法，识别正确率在85.6％－95.6％之间。

红色苹果完全可以被识别到，黄色苹果的识别率大约在93.04%。

1.2多个相机

日本Hirosaki大学TeruoTakahashi等人2002年研制了一苹果采摘机器人[11]，其视觉系统主要采用了两个彩色相机组成的双目立体视觉系统。

当左、右两个相机同时获取了同一目标的图像后，通过将两幅图像进行中心合成来重建采摘目标的三维信息。

在减少识别误差方面，提出了三个方法：

（1）在进行目标中心合成时，设置一个较窄的范围搜索区域；

（2）在左、右图像共同的目标区域，比较同一目标、一定数量的颜色特征；（3）将左、右图像的左、右半边区域分别重合，可使图像的公共部分更加清晰。

通过上述改进，对于红色苹果的识别率大于90％，在红色苹果和黄色苹果混合的情况下，识别率在65％－70％之间。

上述方法中，第一种和第三种减少误差的方法较为有效，识别误差率在±5%左右。

日本的NaoshiKondo等人在2005年研制出一草莓采摘机器人[12]。

它的视觉系统是安装在其行走设备上的。

这个视觉系统由三个彩色摄像机和四个带有偏振滤光片的照明设备组成。

其中两个彩色摄像机组成双目视觉系统用于探测草莓颜色和距离。

第三个摄像机安装操作臂的末端，用来探测草莓的梗信息。

因为草莓的梗相对于果实来说体积太小，如果不使用一个摄像机专门拍摄就很难探测到。

偏振滤光片的作用是检测水果是否成熟。

试验表明，对于可见的草莓（包括位置紧靠的草莓），此机器人识别率较高，这部分草莓大概占草莓总数的60％，并且同时90％的果实梗部也能同时被识别出来；但是对于余下的40％的草莓，因为其可见率低于50％，识别率较低，还有待进一步改进。

1.3相机＋其他测距工具

2004年日本MitsujiMonta等人开发了一个用来识别西红柿的视觉系统[13]。

这个视觉系统是由一个彩色摄像机、一个激光测距仪和一个红外传感器组成。

激光测距仪被一个起重机在垂直方向上提升或下降，同时做一个扇形的扫描来获取果实目标的三维信息。

如果探测到的相邻两个像素之间的距离大于50mm就认为是两个目标水果，这样就可以感知到同一簇上紧靠在一起的水果。

彩色摄像机通过颜色来辨别西红柿是否成熟，因为在这个视觉系统中，激光测距仪用来探测到西红柿的形状、位置等信息。

同时使用红外传感器和激光测距仪来避障，激光测距仪用来探测物体，红外传感器用来探测人体，红外传感器的探测范围是5m。

美国佛罗里达大学的Murali等人在2005年研制了一柑橘识别视觉系统[14]。

主要器件是一个彩色摄像机和四个超声波传感器。

彩色相机用来识别目标水果，超声波传感器用来探测水果和相机之间的距离和水果大小（水果的最大直径）。

此视觉系统使用了HLS模型的色调值和饱和度值来分割柑橘水果和背景图像。

比较了三种分类方法：

贝叶斯分类法、神经网络分类法、fischer线性分类法。

实验结果表明，神经网络分类法正确率较高，错误率较低，比其他它两种方法要好。

误差的产生主要是由于超声波传感器的测量误差、水果和树叶的遮挡和紧靠以及不稳定的照明等原因。

1.4其他测距工具

樱桃西红柿是一种丛生水果，每一个茎上都有几个比较细的梗，因此，使用只有摄像机的视觉系统不易探测到叶子和梗信息，这样就会给水果定位造成障碍。

日本的IDewaMadeSUBRATA等人于1997年研制的一个采摘樱桃西红柿的机器人[15]，其视觉系统主要使用了激光传感器。

这个激光传感器发射由两个波段：

红色（685nm）和近红外（830nm）组成的激光束，经过一个常温滤波器之后，被分成3个小激光束。

分开后的激光束射向水果，然后用3个PSD接收反射回来的光线。

当光线变化的时候，PSD的两个阳极A、B的电流也发生改变。

经过预放大和解调后的输出信号：

红光输出信号AR和BR、近红外输出信号：

AIR和BIR。

通过AIR和（AR+BR）的比，可以计算出纵深距离；通过红光信号（AIR+BIR）和近红外信号（AIR+BIR）的比，可以得出分割图像的阈值。

然后再根据（AR+BR）值识别PCIF区域，因为如果两个PCIF区域之间的距离小于特定值n，就被识别成同一个水果。

所谓PCIF区域是通过确认果实中心点而得到一个特点区域。

算法识别速度大约是3秒/幅图像。

日本北海道大学的TakashiKATAOKA等人于2001年研制了一个自动探测成熟苹果系统[16]。

这个系统没有使用摄像机，而是使用了一个分光光度计，用来探测苹果是否成熟。

因为某些苹果品种成熟时颜色较红；而未成熟时则呈现出淡红色或者黄色。

所以根据苹果的颜色可以区分苹果是否成熟。

还有一种方法是利用SPAD值来估计苹果采摘季节。

研究表明，树叶中的叶绿素含量和SPAD值有很强的相关性，所以可以利用SPAD值来估计叶绿素的含量。

在果树生长的过程中，SPAD值会一直增加，直到苹果成熟的季节，SPAD值才会线性减少，所以通过SPAD值也可以判断苹果是否成熟。

2现有视觉系统分析

2.1系统硬件特点

对于水果采摘机器人的视觉系统来说，常用的目标水果探测工具是彩色相机。

一个彩色相机只能得到目标的二维位置信息和成熟度信息，而无法获取其三维位置信息。

没有纵深距离，机器人就不能进行采摘。

因此，对于纵深距离不固定的水果采摘环境，必须至少再增加一个测距工具才能获取其纵深距离。

目前常用的测距工具可以是彩色相机、激光测距仪、超声波传感器等。

对于两个相机构成的视觉系统可以采用双目立体视觉方法来获取其三维位置信息。

激光和超声波均可以采用渡越时间法来测量纵深距离，也都可以采用对物体反射光特征或声波特征进行分析的方法来获取其纵深距离。

激光的优势在于它的辨析度较高，可以发射点对点的激光束；而超声波的优势在于操作简单、价格便宜，但是声波的传播基本可以看作是一个圆锥形，不仅传输速度慢，而且如果距离较长，声波能量损失较大，准确性较差。

2.2采摘对象特点

目前视觉系统的采摘对象仍局限于颜色和背景差距较大的、形状规则的水果，如红色的苹果、柑桔、西红柿等。

因为前景和背景颜色差距大，可以通过颜色特征很好的对图像进行分割，将水果从复杂的背景中提取出来。

而形状规则的则可通过提取其边缘特征，通过模式识别等方法将水果从复杂的背景图像中提取出来。

表1是国外近年来一些典型的视觉系统的图像分析方法和处理对象及效率的对比。

3对目前视觉系统一些建议

采摘机器人要完成水果采摘的任务，首先得利用视觉系统确定目标水果的具体位置，然后机器人才能进行下一步的采摘工作。

因此，视觉系统性能的好坏，会直接影响到水果采摘效果。

视觉系统的性能从精度和速度两方面来评价。

影响视觉系统精度和速度的因素较多，比如不稳定的光照、风、水果和树叶的相互遮盖、水果自身生长程度不一等等。

美国的LeiF.Tian等人开发了一种环境适应分割算法，可以在不好的光照条件下得出相对较优的结果[21]。

对于风的振动问题，可以对采摘目标进行实时检测，把相机安装在机械臂末端，随着采摘动作深入到水果从中，这样可以尽可能避免因为水果的位置微动产生的识别精度下降问题，同时还有可能检测到被叶子遮挡的水果。

实时检测需要图像识别算法速度较快，如果算法处理速度过慢，就不能满足实时处理的需要。

笔者认为目前采摘机器人视觉系统的研发工作可重点考虑以下几方面：

（1）目前来讲，仅依靠机器视觉识别水果的方法还是未能达到商业化程度，要尽快提高机器识别率，改进算法。

采摘机器人的工作是模仿人类采摘动作进行的，识别算法可考虑仿生算法或者各种算法结合的方式，取各种算法优点，克服缺点。

在改进算法的基础上，同时可以考虑人机协作的方式，以便能尽快满足日益增长的实际需要；

（2）水果采摘视觉系统硬件方面，可考虑视觉传感与非视觉传感的结合。

一些精确测距工具或通过其他感知方式如嗅觉、听觉等可应用到整个系统中，开发多种识别方式。

4展望

水果采摘是一个季节性强且劳动密集型工作。

随着精准农业研究与示范工程的开展和农业机器人成本的下降，水果采摘机器人必将越来越广泛的应用到农业生产过程中，有着具有巨大的发展潜力。

这就对水果采摘机器人的视觉系统提出了更高的要求，它必将随着机器人的普及得到更快的发展。

表1近年来典型的视觉系统列表

Table1TypicalVisionSysteminDetails

工作组/

机器人名称

水果

视觉系统

传感器

图像分析方法

水果颜色

正确率//

误差率

美国（2004）[9]

西红柿

1CCamera

形状（CHT/弦重建）

红色

95%//N.R.

美国（2006）[10]

苹果

1CCamera

颜色（背景模型/

全局高斯混合）

红色黄色

93.04%//

1.2-5.3个/幅

日本（2004）[17]

草莓

1CCamera

颜色（差值法/

面积去除孔洞）

红色

100%//0%

日本（2001）[18]

苹果

1CCamera

颜色（LCD模型/

最优阈值法）

红色

N.R.

日本（2002）[19]

苹果

1CCamera

颜色（LCD模型/

最优阈值/决策论）

红色

88%//18%

日本（2004）[20]

苹果

2CCamera

颜色（ANN/决策论/双目立体视觉/

差分物体大小）

红色

80%//<7%

日本（2005）[12]

草莓

3CCamera＋

4DL＋4PL

双目立体视觉

红色

60%//N.R.

日本（2002）[11]

苹果

2CCamera

双目立体视觉

红色黄色

>90%（红色）65%-70%（黄色）//±5%

日本（2004）[13]

西红柿

1CCamera＋

1Laser＋

1Infrared

颜色＋形状（阈值分割/sobel微分）

红色

N.R.

美国（2005）[14]

柑橘

1CCamera＋

4Ultrasonic

颜色（HLS模型/Linear/ANN/Bayes）

黄色

N.R.

日本（1997）[15]

樱桃西红柿

Laser

红光（685nm）/

近红外光（830nm）

红色

N.R.

日本（2001）[16]

苹果

Spectro

颜色（树叶SPAD值/成熟果实颜色对比）

红色

N.R.

注：

CHT：

CircularHoughTransform圆周霍夫变换

N.R.：

notreported没有报导

DL：

LightingDevice照明设备

PF：

PolarizingFilter偏振滤光片

Bayes：

Bayesian贝叶斯分类

ANN：

ArtificialNeuralNetwork人工神经网络

Linear:

Lineardiscriminate线性分类法

CCamera:

ColorCamera彩色相机

Laser:

LaserSensor激光测距仪

Infrared：

InfraredSensor红外传感器

Ultrasonic：

Ultrasonicsensor超声波传感器

Spectro：

spectrophotometer分光光度计

[参考文献]

[1]方建军.移动式采摘机器人研究现状与进展[J],农业工程学报,2004,20

（2）:

273-278.

[2]宋健，张铁中，徐丽明.果蔬采摘机器人研究进展与展望[J].农业机械学报，2006，37（5）：

58-162.

[3]姜丽萍，陈树人.果实采摘机器人的研究综述[J].农业装备技术，2006，

（1）:

8-10.

[4]ARJimenez,AKJain,RCeres,JLPons.Automaticfruitrecognition:

AsurveyandnewresultsusingRange/Attenuationimages[J].PatternRecognition,1999,32（10）,1719-1736.

[5]ARJimenez,RCeres,JLPons.ASurveyofComputerVisionMethodsForLocatingFruitOnTrees[J].TransactionsoftheASAE,2000,43（6）,1911-1920.

[6]TadhgBrosnan,Da-WenSun.Improvingqualityinspectionoffoodproductsbycomputervision-areview[J].JournalofFoodEngineering,2004.61,3-16.

[7]JunQIAO,AkiraSASAO,SakaeSHIBUSAWA,NaoshiKONDO,EijiMORIMOTO.MobileFruitGradingRobot（Part1）DevelopmentofaRoboticSystemforGradingSweetPeppers[J].JournaloftheJapaneseSocietyofAgriculturalMachinery2004,66

（2）,113-122.

[8]JunQiao,AkiraSasao,SakaeShibusawa,NaoshiKondo,EijiMorimoto.MappingYieldandQualityusingtheMobileFruitGradingRobot[J].BiosystemsEngineering,2005,90

（2）,135-142.

[9]PeterPLing,RezaEhsani,KCTing,Yu-TsehChi,NagarajanRamalingam,MichaelH.Klingman,CraigDraper.SensingandEnd-EffectorforaRoboticTomatoHarvester[A].ASAE/CSAEMeeting[C],2004,PaperNo.043088.

[10]AmyLTabb,DonaldLPeterson,JohnnyPark.SegmentationofAppleFruitfromVideoviaBackgroundModeling[A].ASABEMeeting[C],2006,PaperNo.063060.

[11]TeruoTakahashi,ShuhuaiZhang,HiroshiFukuchi,Measurementof3-DLocationsofFruitbyBinocularStereoVisionforAppleHarvestinginanOrchard[A].ASAEMeeting[C]2002,PaperNo.021102.

[12]NaoshiKondo,KazunoriNinomiya,ShigehikoHayashi,TomohikoOta,KotaroKubota.ANewChallengeofRobotforHarvestingStrawberryGrownonTableTopCulture[A].ASAEMeeting[C],2005,PaperNo.053138.

[13]MitsujiMonta,KazuhikoNamba,NaoshiKondo.ThreeDimensionalSensingSystemUsingLaserScanner[A].ASAE/CSAEMeeting[C],2004,PaperNo.041158.

[14]MuraliRegunathan,WonSukLee.CitrusFruitIdentificationandSizeDeterminationUsingMachineVisionandUltrasonicSensors[A].ASAEMeeting[C],2005,PaperNo.053017.

[15]IDewaMadeSUBRATA,TateshiFUJIURA,seijiNAKAO,HisayaYAMADA,MasaruHIDA,TakujiYUKAWA.3-DVisionSensorforCherryTomatoHarvestingRobot[J].JARQ,1997,31,257-264.

[16]TakashiKATAOKA,HiroshiOKAMOTO,Shun-ichiHATA.Automaticdetectingsystemofappleharvestseasonforroboticappleharvesting[A].ASAEMeeting[C],2001,PaperNo.013132.

[17]SeiichiArima,NaoshiKondo,MitsujiMonta.StrawberryHarvestingRobotonTable-topCulture[A].ASAE/CSAEMeeting[C],2004,PaperNo.043089.