PRINTED三维视觉的西红柿采摘机器人技术研究Word文档格式.docx
《PRINTED三维视觉的西红柿采摘机器人技术研究Word文档格式.docx》由会员分享,可在线阅读,更多相关《PRINTED三维视觉的西红柿采摘机器人技术研究Word文档格式.docx(52页珍藏版)》请在冰豆网上搜索。
1.基于嵌入式技术搭建了机器人视馓系统的硬件平台和软件平台,井在此平台b奸发了机器入豹双目视觉系统,有效解决了采摘机器人智能承平与成本水平相互利约的闽题。
2t赞对辊器入毅窭撬堂系统嚣要经常交接位董,摄豫瓿参羧遣会琏之改变夔黪点,采滔了一种介于传统标定与自标定方法中间的单摄像机标定方法。
诧方法不需要昂贵精密的察验设备,操作简便,标窟辣法能多次稳定的使用鼠保证足够的精度。
在此基础上,提出一个新的约束等式,Hj以描述两台摄像机之间的位置关系。
3.针对直接对自然环境下采集的RGB模式韵彩色图像进行分割比较复杂,而对单通道图像进行分割可以缩短处理酵阅、提高效率这一特点,提出了基予色彩分通道弱果实强拣提取方法。
番l瘸该方法藩嚣数耪蚕缳在L+a宰b+联惫窆闽一F进行了试验,缝菜表疆:
魏方法莲攀茯速,褥到戆果实目标较清晰准确,可满足图像恁绥处理的需要;
该方法稍加修改便可以推广至数色辣椒、樱桃等红色农作物果实的提取,从而提商了机器人的使用率,降低了单位生产成本。
4.结合西级柿图像的实际情况,提出了基于重心并辅以搬线约束、唯一性约束和视著梯度约束的图像匹配方法。
采用该方法对20缎西红柿图像进行了试验,结果表明:
果实蠢遮挡或遮挡靖援不严重融疆鬻误差基本可控砖4在6个像素之内。
在圈豫嚣配静基箍上,对强红榜戆特征点进行了深度恢复,获取了摄像撬坐蠡系下特征点静三维坐标,势壤据采摘需要实瑗了摄像撬坐标系与机器人坐标系之闻的转换。
5.根据西救柿的生物学特性和栽培方式,遵循机械手选激原则.设计了5DOF荚诲式机器人,并针对作业任务的特点设计了新颖、嶷阁的手部机构:
对机器人的运动学、速度进行了分析,实现了运动学方程的芷、反解,求解了德度雅可比矩阵;
在关酋空间对机器人构运动鲁丸迹进行了援捌,绘出了矮动鞔迹戆实嚣生产方法;
莲子巍入式接零揍建了撬器夫运动控制豹嫒俘平台蟊软件平台,弗在魏平台上实现了辊器入的谴鬟控铡。
6.实验室环境下,对机器人系统谶行了整机性能测试,雅粱表明:
机器人视觉系统的定位精度经过BP神经网络修正以后绝对误麓研以控制在10mm之内,达到了机器人定位精度的要求;
简单情况下的机器人采摘作业试验中,机器人的抓取成功率为72%,工作性能不是{|jl理想,需要进一步提高机器人麴运动定位精度。
关键词;
西颤柿采摘,嵌入式系统,视觉系统,机器人,运动控制
Abstract
Thetaskoftomatopickingishard.Man'aMpickingmaydealwjtllhome-growth.Butitisdifficulttoadaptthenecessaryofmarketdevelopinggrowth.And
asthefarmlaborisagingandfewerpeopleareenteringtheagriculturalindustry,thereis
anincreasingtrendoffarmingcostandadecreasingmarketcompetition.Sothereisaveryneedtoresolvethepickingautomatization.Buttheroboticizedlevelofpickingisstillverylownowinhomelandbecauseofthecomplicatedobjectandnon-structuralworking
environment.Inordertoresolvethoseproblems,thekeytechnologiesfortomatopickingrobot
arestudied.Andtheresearchfindingsareasfc’llows:
1.Inordertoresolvetheproblemoftheconditionalitybetweenartificialintelligencelevelandcostofpickingrobot,thehardwareandsoftwareplatformsofroboticvisionsystem
aresetuDbasedontheembeddedsystemanddevelopedbinocularvisionsystemOlltheplatform.
2.Aimingatthecharacteristicthatrobot’sbinocularvisionsystemneedschangepositionfrequentlyandthecameraparametersalsochange,we
proposeacalibrationtechniqueintervenientthetraditionalcalibrationandself-calibration.Thetechniqueisflexibleandhasnouseforcostlyequipment.And
thecalibrationarithmetic
canensureenoughprecisionafterrepetitioususesteadily.Basedonit,weproposeanewrestrictionequationforubietybetweenthetwocameras.
3.Jngenerallyspeaking,itiscomplicatedtosegmentthecolorimageofROBmodeldirectly.While
segmentthesinglechannelimageCallreducetheprocessingtimeandimproveefficiency.According
tothesefeatures,anewmethodofrecognizingfruittargetbased
oncolor-divide-channelisputforward.AnexperimentisdoneusingthiswayintheL+a+b+colorspace.Theresultsshowthatthewayissimpleandquick,andthefruitobjectsarecleatandexact,andthey
callsatisfytherequirementofthefollowingimageprocessing.Andthiswaycangeneralizetherecognizingofredcroppersuchasred
pimiento,cherryetc.ifwemodifythewayinsomesort.Sothisapproachenhancestheusingfrequencyofrobotandreducesthecostperproduct.
4.Byanalyzingthetomatoimage,weproposeanimagematchingmethodbasedontheceuterofgravity.Andinordertoreducetheinaccuratematching,theepipolarconstraintanduniquenessconstraintanddisparitygradient
constrainta坞used.Anexperiment
isdoneusingthemethodandtheresultsshowthatmatchingerrorcancontrolwithinthesixpixelsifthereisnoorlittleshelterontheobject.Thenonthebaseofimagematching,weanalyzethethree—dimensionreconstructionoflatent
pointandcalculatethethree—dimensioncoordinateinthecamerareferenceframeandcarryouttheconversionbetweenthecamerareferenceframeandtherobotreferenceframe.
5.Designfivedegreeoffreedomrobotaccordingtothebiologycharacteristic
andmodeofgrowthandthechoiceprincipleofmanipulator,andalsodesignanoriginalandbanausicend.effectoI.
Kinematicalanalysisisprocessedtothepickingrobot,thekinematicalequationismade,and
thepositivesolutionandnegativesolutionofthekinematicsiscompleted.ThentheanalysisofvelocityisⅡ
madeandtheJacobianmatrixiscalculated.Accordingtothepickingrequest,themotiontrackoftherobotisprogrammedinthespaceof
joints.Andthereal—timecalculatingmethodformotiontrackisgiven.Basedoilthekinematicalanalysisandthemotiontrack,thehardwareandsoftwareplatformsof
thecontrolsystemaresetupbasedontheembeddedsystem.Andontheplatform,thepositioncontrol
oftherobotiscompleted,
6,Inthelaboratory,tests
abouttheobject-locatingaccuracyoftherobot’svisionsystemandtheratioofSUCCESSofrobot'spickingfruitsonthecompletemachineoftherobotsystemaredone+Thetestresultofobject_locatingaccuracyoftherobot'svisionsystemshowsthatintheobject-locatingaccuracy
oftherobot’Svisionsystem,theimplicitelTorcancontrolwithinlOmmaftertheBP
nervenetwork’samending,thustheacquiredaccuracyforrobottopickingfruitscanbemet.Inthetestofpicking,we
justdoneitinthesimplecircumsLanccsandthetestresultsshowthattheratioofsuccessofrobot's
pickingfruitsis72%andtheworkingperformanceisnotverygood.Andthemotion-locatingaccuracyneedstobefIlrtherimproved.
Keywords:
tomatopicking,embeddedsystem,visionsystem,robot,motioncontrol翔
独创性声明
本人声明所呈交的论文是我个人谯导师指导下进行的研究工作及取得的研究成巢。
尽我骚细,除了文中特麓鸯羹浚菰注褒致滚戆羹廷方乡},论文中不钰含荬德入已经蓑表或撰写过的研究成果,也不包含为获得中国农业大学或其它教育机构的学位或证书而使用过的材料。
与我一同工作的同惑对本研究所做的任何贡献均已在论文中作了明确静说唆势褒示了薅l意。
研究生艇寒:
。
麦。
金笑时间:
2印∥年∥月莎隧
关于论文使用授权的说明
本人究全了解中国农妊大学有关保留、使用学位论文的规定,即:
学校有权保留送交论文豹复锋薛手羹磁窳,完圣每论交被套溪窝蓿瓣,可鼗采恁影鼙l、缭窜或爨爨等复制手段保襻、汇编学位论文。
同意中圈农业大学可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容。
磺突生签名:
起金荚
踺添:
洳6零≤甓6殴导师签名:
砧续中时间:
2。
‘年f月护殴
中艟农业大学博上学位论文第一章绪论
第一章绪论
1.1弓f言
1.1。
l农韭根器人的秀发背景
目前世界上农业生产的情况是:
一方面由于农业生产环境艰苦,农产品价格低,农、韭收益小,造成农监入员的大量流失;
另一方面由于世界入口的增翔和耕地酌减少,又存在着农产龋不髓韵藏耪,这就要求农监上氍鋈藏少势动力,降低成本,叉要提供更多更好躲产品。
解决这个闫麓熬出路裁是农韭掇褫纯。
虽然现枝农业中已大量馊用农业机城,如水稻撼秧机、联合收割机等,但这些机械都是丽对整并均~的对象,进行统一的工作。
而农业中还有大量]二作并非艟完垒一致的,如蔬菜(水果)的育苗、种植、嫁接、采摘和分逸等劳动密集型的作业,这螋T作用~般的传统机械难以完成,要求机器必须具有“认知”、“判断”、“决策”、“动作”的功能,遮就是农业机器人的概念。
进入20世纪90年代,随着计算机技术、传糟器技术、信息采集与处理技术的发展,结合了农艺技术、梳褫技术、电子技术、信息技术和天上智麓技术髂农韭机器夫成为当前莓内,}表篮梳囊骄究镊蠛的研究热点之一。
特瘸楚一螯发达国家,鲡强本、敬美等,农业人羁鞍少,隧羲农_螅生产豹媲模佬、多样化、麟旗蚀,势动力不足的现象越来麟明鬟,对农业机器A的需求更为迫切。
农业机器人相对于传统农业机城能更好地道应生物技术的新发展,它的出现是现代高科技在农业上综合运用与发展的结粟,熙农业现代化发展到一定阶段的必然产物。
农业机器人的使用可以改善农业作业条件,降低劳动强度,提高劳动生产率和作业质髓,防止和减轻农药、化肥等对人体的危害,解决劳动力的不足等问题。
就我醋而言,魏于机械优、盘动忧程度眈较落菇,“面朝黄土背朝天,一年霞攀不褥闲”曾最我国农民静象征.农馥翊鼹氇就矗接关系到黧民经济静发震。
鼠技零角瘦谶,农姓静耨发曩,盛颁辕靠生秘技术、王程技术和僖惑化技术,嚣在土程技术秘售息化技术方亟,农业机器人技术可以发挥其不可替代的馋用。
特别是在蔬菜、水果等劳动密集型、作业要求精度高义费:
l:
、赞力的农业手上作业方卿。
目前,我国设施农业的栽培面积已经达到性界的第~位,蔬菜、水果的生产以前所束有的速度发展,这为农业机器人使用和推,“提供了广阔的舞台。
农业机器人的问付,有望改变传统的劳动方式,改善农民的生活劳动状态。
因此,研究开发以农业机器人为代表的新型农业机械,对我国农业的故远赦展脊着重要意义。
1.1.2农业机器人的技术特点
农鼗极器入是一}j边缘交叉学秘,是多矮域技术熬练台,其技术特点懿一1j:
(j)程序性。
只要改变程黪软l牛,裁能变更判断基准,变更动捧顺序,倒如可咀遴打果实麴收获,可以根据果实生长情况黩动变更收获果实的大小,形状锩,提高4了作业的选择性。
(2)适麻性。
能根据环境和机械本身的情况自动进行馈或质的变化,例如在耕耘作、Ik中,可以针对不同的土壤硬度、水分、十壤性廉等闲素,而达到统一的碎土要求,提高了作业的稳定性:
中国农业大学博士学位论文第…章绪论
(3)通用性。
只要改变部分软、硬件,即可勇佟他用,铡鲡西瓜收获枫,可茂作西缎柿、黄瓜的收获机,达到降低成本的效果。
具有上述功能的机器人,可以实现农田作业的自动指挥与控制.甄箍够按照存储在其内器麓僖纛,或裰攥终部嚣鬻搓供静一些弓l导接号,纛魏}b一条路经,劳能够沿潜该路径在没有人工干预的情况F,移动到指定的地方去,完成指定的作业,提高农产品的数量与质量。
1.1.3制约农业机器人实用化的因素
目前,在农业机器人的研究方面,日本居于懒拜各国之酋。
健悬由于农螗生产所鼹有的技术方殛和经济方斌的特殊性,还没商达到赛】}{j化。
农业机器人所具有的特殊性越口J:
(1)作业动作的复杂健
农业机器人一般是作业、移动同时进行,农业领域的行畿不是连接出发点和终点的最短距离,瑟是其有狭窄瓣蕊孺,较长的鼷离及遍及整拿墨潮表瑶等特点。
(2)作业环境的非结构性
魏于裹悖物麓羞时闫和空闻嚣变佬,王痒环境是变豫的、来熟豹,是开放性的。
俘物生长环境除驻地形条件的约束外,还赢接受季节、天气等自然条件的影响。
这就要求生物农娥机器人不仅要具有与生物体柔性胡对应孵处理功能,而且还要能够顺应变化蠢常的自然环境,旋视觉、知识嘏璎和判断等方面其有相当的智能。
(3)作业对象的娇嫩性和复杂性
篷耪具程软弱萎铬麓特性,崧矮缨心轻柔楚辩德帮娃理。
基其形状复杂,生交发弯程度不…,相互潍异很大。
(罐馨馋对象帮徐穆浆特臻性
农业机器人操作者是农民,不是具有机械电予知识的工程师,因此要求农业机器人必须具有高可靠性季u掇作简单的特点。
另外,工业机器人所需大量投资由工r一域1:
业集团支付,丽农业机器A以个体经营为主,如果不燕低价格,就很难普及。
l。
1。
4萤痰终农业毒晁爨人礤究瑗状
在农业机器人的研究方面,欧美等国家在20世纪70年代开始丁对果实采摘机器人的研究。
焉磊本在28避纪弱年锭,署魏了鼹农妲梳器大懿蓊究王撵,虽然超步耗致美爨晚,镶楚无论从,“度还是深度上,日本在农业机器人的拽术研究方面,都取得了领先水平。
图内在农业机器人方瑟的磅究始予∞世纪粥年枝中期,攘对于发达戮零起步较晚。
毽不少院校、研究所都在遵行农业机器人和智能农业机械相关的研究。
下面介绍几种典型农业机器人的研究成果。
1.L4.1行走系≯4农业机器人
行走系列农业机器人,主要在大面积农田中谶行作韭。
它的作渡效粟与硪理环境有越接的关系。
农业机器人在室外作业时存在路面不平、倾斜等问题时就难以达到自主行走,边行走边作业辩鹜}}孽。
耪决这个翔蹶的荧键怒螫;
l灭夭工棒经稠络、攘辍控稍、天£智鼗等控翻方法,对农渡机器人实时性非线性系统进行研究。
再糟要保持机器行走的速度与姿势,从而得到高质量作业,必缨对税嚣人本体接嚣秘行走方趣翁导靛系统进舒研究。
黢馊翅陀螺罗盘、黉这、激光寐等导航2
中国农业大学搏士学位论文第一章绪论设备之外,全球定位系统(GPs)也是近几年研究的热点。
(1)水田管理作业机器人
农田孛静作耪是育蕊曩唾酶栽种,霞戴也可敬避避测量稚秘方位避行祝器A式作韭。
嚣本农袜水产省农业研究中心开发的机器人式水田管理作业机能对水稻进行洒药与施肥等作业。
该机器人豹鑫主行走系绫采翅类觳獾戆胡须静接触转感嚣,沿羞歹l簿走,型媲头霹自旗箨壹,并转一个作业宽度至返回方问,再由操作者确认是否进入正确稻列进行作业,这是、卜自动作业方式。
在1996年薨国开发的园艺机器入,利髑CCD摄像机和左右两轮匏转速差避行导航寇彼,从蕊盎无作物处喷洒除草剂,在有傩物处喷洒农药和施肥等精确农业作般。
在一般情况下,机器人作业等于无人作般,但对…些较难的辅助性作业,借助操作者进行半自动化方式将是更实用化,像日本研制瓣东鞋管理作盘枫便戆这种情况。
嚣奉末芝公司磷稍的移栽采菌橇器A,冀乎臂前端采用软蕊受持器,控制灵敏,比手工操作高几倍。
翳外,美圈生产的秧苗栽植机,利用微机操纵与控制每个活动关节静羧A豫动掺,大大躐少揍筏攀。
美国黪易袈安辩媸表桩试验站蕊驳_I舔割了~砖会疆秧的机器人,该机器人的特点悬它只装了一只“手”,有蕊个自由度和专用把手,目前它的二【:
作质量较高,鼹工作效率较低,鸯特予专家翡进一步渡进。
(2)除草机器人
除草机器人是由电子计算机操作并用雷达控制的无人驾驶机械。
英国科技人员开发的菜田除草概耱入使用的是一台摄像梳与~台谖*《野草、蔬菜和±
壤强像的计算机i&合装置,剃用计冀褫扫描和图像分析,层层推进除草作业。
豳本“久僚田铁工”在割草机前端装肖摄像机,利用图像楚璎魏凝势害《嚣壤,囊瑗自动驾驶作韭。
德国农照专家采矮计算撬、全球定使系统(GPS)和藏巧的多用途拖拉机综合技术,研制出可准确施用除草剂除草的机器人。
另外。
美国密锹根大学开发了草坪穆夔钒爨入,剃瘸已修和未修孳坶的分舞线进行燹入驾驶攮痒割革佧韭。
(3)耕作机器人
辫耘机器人是在原有的拖拉机上加上~些磁方位传感器、电脑等自动调壤机构从惭能辨别、判断自身僚鬣和前进方向。
在1993~1997年,辩本生物系特定产渡技术研究推进机输的机电技术研究室开发~耕作机器人。
该机器人在耕作场内可进行包括能辨别、判断自身位置剩前进方向的秃A搡律,其耩箨效率与有大操作露稿淹。
法鬻骄潮出羹l徽掘控稍豹拖拉搬,董入哭要与诗箨机对话,按动键盘发出指令,就可以完成各种操作。
另外在车辆的定位和引替研究、拖拉机的自主舒走方嚣氇蠢一系列的发震。
1.1.4.2机械筝系列机器人
枧槭手系列枫器人,主要在温窒或植貔_T厂中进行各萃巾作业。
它的目标是对作业对像的识别,作她对象是聚实、家畜等离散个体。
由于作业对象的基本生理特征和力学特征等不同,开发该机器人的重点鹿放在检测数据的采集上,从而开发不同的传感器。
(1)嫁接瓿器入》’
嫁接技术在蔬菜、水果生产中得到广泛的应用,它一方面可以改良品种,另…方面可以防lL瘸虫密。
毽怒鑫予气壤等嚣素鸵影嫡,要求在短醚鞠肉竞成,因戴这绘终韭纛赘来7{拳力上与精神上的疲劳。
为了提高作业效率,开发了嫁接机器人。
日本农产省1989年成立了TGR技术嫁接研究所。
该研究所研制出了一种嫁接机器人,其嫁接过程分切断、合位和接惑三个环+执它为全自动式,若本苗或嫁荫宥缺苗时能自动判涮,并跳过缺苗毓。
该机器入的嫁接成功率遮97%,简3
中国农业大学博_:
学位论文第一章绪论鼍鼍曼曼曼曼曼曼曼皇麓■寰墨曼曼曼曼曼!
!
烹e删iii——iilln,,,,iII鼎擀筹舅皇笺
时也大大提高了作业速度。
1998年张铁中教授等人成功研制了2JSZ--600裂蔬菜自动嫁接桃,井获国家发疆专零l。
该鑫动嫁羧撬采瑁诗算极控裁,实凌了麓本秘穗本兹取蕊、切萤、绝会、圈定、排自等嫁接作业的自动化。
此嫁接机采用赡接法,主要完成黄瓜、西瓜、甜瓜等瓜菜苗的自动嫁接工作,其最商工作效率为600#k/4"时,其在嫁接速度、嫁接性能等方面均达到和超过了世界先进承平。
该机慰在2001年3月参加了“国家863计划15周年成就展”,引起了热烈反响,受到普遍磐评。
2002年5莠参鞠意夫零l国际瓿嚣入震,在农监祝撼领域里猿辩一援,受羁了戮舔入I:
的关注。
(2)果蔬采摘机器人
国外已缀拜发出了一大批蔬菜水果采摘机器人,如黄瓜收获机器人、藏箍采摘机器人、蕊瓜收获辊器天、楚萄采摘辊嚣入帮番藻采撼橇器入等。
下嚣皴黄瓜收获撬瓣人为铡说胡。
1996年,荷兰农业环域工程研究所(IMAG)开始研制出一种多功能黄瓜收获机器入14】。
该研究在荷兰2h舒的温室里进行,黄瓜按照标准的园艺技术种植并把它培养为高拉线缠绕方式吊挂生&;
该机器人枧槭手只单个收获,收获成熟黄瓜过程中不伤害其它来成熟的黄瓜。
采撼链通过末端执行器来宠成,它由极辘手乐