基于图像处理的番茄采摘机器人的设计毕业论文1 精品.docx

基于图像处理的番茄采摘机器人的设计毕业论文1 精品.docx

《基于图像处理的番茄采摘机器人的设计毕业论文1 精品.docx》由会员分享，可在线阅读，更多相关《基于图像处理的番茄采摘机器人的设计毕业论文1 精品.docx（143页珍藏版）》请在冰豆网上搜索。

基于图像处理的番茄采摘机器人的设计毕业论文1精品

青岛农业大学

毕业论文（设计）

题目:

基于图像处理的番茄采摘机器人的设计

姓名：

学院：

机电工程学院

专业：

电气工程及其自动化

班级：

2010.02

学号：

20******

******

2014年06月16日

基于图像处理的番茄采摘机器人的设计

摘要

目前的番茄采摘基本上都是依赖于人工作业而导致劳动力成本高、劳动强度大，而现有的采摘机器人的研究基本上都是停留在理论层面，而极个别物化的成果都是基于计算机，从而导致系统体积过大、功耗高和成本高。

为解决以上问题，本文提出并开发了一套基于DSP的番茄采摘机器人。

本文的主要设计内容包括基于DSP的采摘机器人系统的方案设计、各个硬件电路的设计、以及基于汇编语言、C语言和VC++三种编程语言的软件设计。

本文的主要贡献为：

（1）提出利用DSP代替计算机实现番茄图像的采集、处理和果实的空间三维定位，并进行了验证；

（2）提出一种采摘机械手降维的方法，解决了机器人建模复杂且实现困难的问题，并结合三维滑台实现并完成了对空间中番茄的准确抓取和采摘的功能。

试验表明，本文研发的系统能够实现对番茄果实的准确定位和采摘，具有操作简单、体积小巧、功耗低、性价比高等优点。

本系统的研发对于提高番茄的采摘效率，减少劳动力、降低农民的劳动强度和采摘成本具有重要的实际意义，也为精准农业的发展提供了一种新的思路和方法。

关键字：

番茄采摘；图像处理；DSP；双目立体视觉

DesignofTomatoPickingRobotBasedonImageProcessing

Abstract

Atpresent,thetomatoharvestworkmostlydependsontheartificialoperation,whichcausestheproblemsofhigh-cost,highlaborintensityetc.Butnow,theresearchofpickingrobotmainlyfocusesonthetheoreticalresearch.Fewmaterializedproductions,whichusethecomputerasthecontroller,havethecharacteristicsofbig-systemvolume,highpower-consumption,andhighcostetc.Tosolvetheaboveproblems,thispaperdesignsatomatopickingrobotbasedontheDSP.

ThemaindesigncontentsofthispaperincludetheschemedesignofrobotpickingrobotbasedonDSP,thehardwarecircuitdesignandsoftwaredesignbasedontheassemblerlanguage,ClanguageandVC++language.Themaincontributionsofthispaperincludetwoaspects:

（1）anovelschemeisproposesthatDSPisusedtotakeplaceofthecomputertocompletethetomatoimageacquisition,imageprocessandthree-dimensionlocalization.

（2）annovelapproachforreducingdimensionsisproposedtoreducethepickingmanipulatordimensions,whichsolvesthedifficultyinrobotmodelingandrealizationmethod.Combingwiththethree-dimensionslipway,thegraspingandpickingfortomatoesarefinishedinthespace.

Thisexperimenttestsindicatethatthedesignedsystemcanrealizetheaccuratepositioningandpickingfortomatoes,aswellasthesystemhasmanyadvantagesofthesimpleoperation,compactsize,lowpowerandhighcost-performanceratio.Thedevelopmentofthissystemnotonlyhastheimportantmeaningsinimprovingthetomatopickingefficiency,reducinghumanlabors,reducingthelaborintensityoffarmersandthepickingcost,butalsoprovidinganewideaandmethodforthedevelopmentofprecisionagriculture.

Keywords：

tomatopicking,imageprocess,DSP,binocularstereovision

1绪论

1.1研究的背景及意义

番茄（Tomato），又名西红柿、或者洋柿子。

其内部含有丰富的蛋白质、维生素，以及胡萝卜素等营养物质。

西红柿具有减肥瘦身、消除人们的疲劳等功效[1-3]。

据不完全统计，全世界番茄总产量约为5000万吨/年，而我国则占到了约700万吨/年[4]。

番茄采摘作业是当前果蔬生产过程中比较费时和费力的环节。

目前，番茄采摘主要依赖于人工作业，由果农直接将番茄从植株上采摘下来。

然而人工采摘作业存在成本偏高、劳动强度大、而且采摘很不及时等弊端。

同时，当前我国人口老龄化严重，农业劳动人口因为“进城”而骤减[5]。

而随着自动化技术的发展，自动采摘作业逐渐代替人类进行作业，可以大大减少采摘人员的劳动强度。

因此，进行番茄采摘作业自动化的研究对于社会具有重要的现实意义[6]。

然而，番茄的大小和颜色呈现非规则、非一致等特性，其生长环境的复杂性和农田环境的非结构化等特点共同决定了采摘设备的开发有一定的难度，而且由于番茄果实生长环境的背景复杂，加之番茄果实生长密集，果实之间的遮挡问题很严重，给图像处理带来许多困难。

虽然目前已有学者进行基于机器视觉方面的研究，但其目前的研究基本上是停留在某一方面理论层次的研究，如单纯的双目定位、机械手采摘路径优化等，而进行实际应用开发的研究特别少。

即使这样，当前极个别的物化的应用研究都是利用了基于PC上位机的OpenCV，即首先利用计算机视觉库进行图像处理，然后进一步通过控制采摘机械手对果实进行采摘，但是这样就使得采摘设备存在开发成本高、体积大和功耗高等缺点，给自动化采摘作业的推广应用带来新问题。

因此，开发一套基于DSP的低功耗、小体积、低成本的番茄采摘机器人，对提高番茄采摘劳动生产率、降低农民的劳动强度和采摘成本，提高我国精准农业设施的现代化和智能化水平、加快农业科学进步具有重要的现实意义。

1.2国外研究现状

采摘机器人要实现精确的采摘，最重要的就是确定果实在空间三维坐标中的精确位置，而果实三维空间中的位置需要利用机器视觉来完成。

机器视觉已有二三十年的发展历史，其功能及适用范围随着当今科技的快速发展而不断应用和完善。

采摘机器人是农业机器人中一种特别重要的机器人，很多发达国家现在已经在采摘机器人领域有了较大的发展。

比如美国、荷兰、以色列等西方国家在此领域有较为成熟的发展[7-15]。

20世纪80年代，美国麻省理工学院的D.Marr，从计算机科学的角度出发，将神经生理学、数学以及心理物理学融为一体，提出了视觉计算理论，该理论是双目视觉的前提条件，也为以后机器视觉采摘机器人的发展奠定了基础[16-18]。

1994年，英国Silsoe研究院的科学家从图像识别出发，研制出了蘑菇采摘机器人，该机器人可以通过图像处理自动测量并判断蘑菇的大小和空间三维坐标，进而选择性的进行采摘工作[19-20]。

1996年，日本冈山大学的KondoN通过图像识别，研发了基于图像处理的番茄采摘机器人。

该机器人使用摄像头采集图像，经过图像处理后，识别出成熟的番茄，使用采摘机械手实现对果实的准确采摘[21-22]。

2000年，以色列国家的科学家研发了世界上第一台甜瓜采摘机器人。

该机器人利用黑白图像处理的方法进行甜瓜的识别和空间定位。

同时，该机器人还能根据甜瓜的圆形和椭圆形等几何形状特征的特殊性来增加识别成功的概率。

经过实验验证，该采摘机器人可以自主完成大部分的甜瓜识别及采摘工作[23]。

1.3国内研究现状

从国内采摘机器人的发展趋势和成就来看，尽管我国在采摘机器人的研究领域起步较晚，较发达国家有不少差距，而且当前大部分的工作还主要集中在实验室的仿真和试验阶段，但不少研究人员也开始也取得了一定的成果[24-30]。

2004年，中国农业大学的张铁中等人通过色彩空间参照表，提出了适用于水果采摘机器人视觉系统果实目标提取的图像分割算法。

通过对比试验发现，采用该算法分别对草莓和西红柿等果实的图像在Lab、HSV、YCbCr色彩模型下进行实验，取得了理想的效果[31-32]。

2009年潍坊学院的宋键等人根据茄子生长的空间分布信息，采用了基于直方图的固定阈值法实现了对灰度图像进行小区域分割，完成了对茄子果实的轮廓、质心等参数的判断。

试验证明，该方法对茄子等作物的识别率较高，而且系统本身工作稳定，但是缺点是耗时过长[33-34]。

2010年河北农业大学的司永胜等人通过对不同光照情况下拍摄的苹果图像进行识别，利用归一化的红绿色差算法获得苹果了轮廓图像。

实验结果证明：

该识别算法的准确识别率可以达到90%以上。

同时，采用随机圆环法，实现了准确地提取果实的圆心和半径参数[35-36]。

2014年常州大学的吕继东等人为了缩短系统对图像识别的时间，提高苹果果实的识别率，利用动态阈值分割的方法，通过改进的去均值归一化积法实现了快速跟踪目标果实，并进行了不同阈值分割方法下果实识别的对比性试验。

试验结果证明，该方法大大减少了苹果采摘机器人采摘过程处理时间，而且识别率也较之前的方法有所改善[37-38]。

1.4主要研究内容

本文主要是通过利用DSP控制双目摄像机采集图像，并经过二值化、滤波处理、索贝尔边缘处理、形心确定、特征点匹配、三维重建等步骤实现对番茄的空间三维定位，然后将番茄果实的空间三维坐标等参数传送至下位机，下位机进而通过控制三维滑台和采摘机械手实现对番茄的抓取和采摘工作。

本设计的主要研究内容如下：

1、对采摘机器人的总体硬件方案进行选择和设计

系统硬件主要包括数字信号处理器型号的选择、摄像机型号的选取、控制器的选择以及其它硬件电路的选型和设计。

本设计还对三维滑台类型和长度进行选取并组装，选取合适的驱动器及配套的驱动电源，利用控制器实现对滑台的控制。

同时，需要选择合适的采摘机械手并对采摘手的采摘头进行改装设计，选择合适的舵机驱动器并利用下位机控制器实现对采摘机械手对果实的抓取和释放。

同时，本设计还需对滑台限位传感器和采摘机械手接触传感器进行选型和设计等。

2、获取双目摄像机的内参数和外参数

由于摄像机标定的结果是立体视觉的前提，它决定了后续番茄果实空间三维定位的精确度。

双目摄像机标定主要是通过两摄像机对外界的标定板进行拍摄若干幅图片后，通过利用C++编写的上位机标定程序计算出摄像机各自的内外参数的过程。

3、利用DSP控制双目摄像机进行图像采集并对采集的图像进行二值化处理、边缘处理、中值滤波等预处理操作

通过利用DSP实现对视频解码芯片和视频编码芯片的控制，从而实现对视频采集后的输入解码和编码输出控制，然后DSP可以对采集后图像进行预处理，包括图像的阈值分割、索贝尔边缘处理、中值滤波等操作，为后续的空间三维定位奠定基础。

4、利用DSP实现对特征点的匹配、三维重建，并能简单的进行三维坐标的计算并将计算结果输送至控制器

利用DSP对左右两个摄像机采集后的图像视频进行初步处理后确定番茄果实的特征点、形心等参数，找到相对应的匹配点，并根据上述步骤中摄像机标定得到的内外参数，利用双目定位数学模型，根据三维重建初步计算番茄的空间三维坐标，并能通过串行通讯将其传送到下位机控制器。

5、控制器能与DSP通讯并根据接收到的数据实现对三维滑台和采摘机械手的控制，从而实现对番茄果实的精确定位、抓取和采摘

下位机控制器MSP430F149能通过串口接收来自DSP的三维坐标信息及采摘信息，并能将番茄果实的空间三维坐标转化为采摘机械手的空间三维坐标。

同时，下位机控制器能根据接收的番茄果实空间三维坐标数据控制三维滑台工作，使得三维滑台移动到待采摘的番茄正前方，然后下位机控制器可以控制采摘机械手实现对番茄的抓取和采摘工作，最后将番茄送入集果箱。

2采摘机器人硬件系统设计

2.1系统整体方案设计

本设计中，基于图像处理的采摘机器人主要包括上位机模块和下位机模块。

上位机模块主要包括：

TMS320DM642图像处理模块、图像采集模块、视频解码模块、电源模块、视频编码模块、显示模块和串行通讯模块等。

下位机模块主要包括：

MSP430F149主控模块、电源模块、串行通讯模块、三维滑台、采摘机械手、传感器模块、滑台驱动器、舵机驱动器和灯光补偿模块等。

上位机和下位机主要通过RS232串行通讯模块进行数据的传输。

上位机中的图像采集模块采集待采摘区域的图像后，通过视频解码模块将视频的模拟信号转换为数字信号送入TMS320DM642图像处理模块，TMS320DM642图像处理模块一方面通过对数字信号进行处理和分析，实现对番茄果实进行提取轮廓、形心位置确定、立体匹配和计算番茄果实的三维空间坐标等处理和将计算后的数字信号传输至视频编码模块，视频编码模块将处理后的番茄果实的图像再次转换为模拟信号并送至显示器进行显示以便开发人员调试；另一方面，TMS320DM642图像处理模块将计算出的番茄果实的空间三维坐标的数据通过串行通讯发送至下位机MSP430F149主控模块。

在这个过程中，电源模块为上位机整个子模块提供电能。

下位机中的MSP430F149主控模块通过串行通讯口接收到来自TMS320DM642发送的番茄果实三维空间坐标数据后提取坐标的有效值，然后通过滑台驱动器驱动三维滑台运动至带采摘番茄果实的正前方位置，然后，MSP430F149主控模块控制舵机驱动器驱动采摘机械手对番茄果实进行准确抓取和采摘，最后将番茄果实送入集果箱中。

在整个下位机工作过程中，电源模块为下位机的整套系统提供电能，同时碰撞传感器和触碰传感器实时检测三维滑台是否到达端点，触碰传感器实时检测采摘机械手在对番茄果实进行抓取时，机械手的两个手掌是否已经接触到番茄果实。

灯光补偿模块能够使使TMS320DM642图像处理模块更好的对外界的图像进行处理，减少外界光源对系统的干扰。

本设计的番茄采摘机器人的整体结构框图如图2-1。

图2-1番茄采摘机器人的整体结构框图

基于图像处理的采摘机器人的设计流程图如图2-2所示。

主要步骤包括上下位机的硬件搭建、双目摄像机内外参数的标定等。

其中，硬件搭建还包括DSP与MSP430F149之间的串行通讯，数字图像采集中还包括将采集的模拟信号转换为数字信号送入DSP中等[39]。

图2-2基于图像处理的采摘机器人的设计流程图

2.2双目立体摄像机的选型

摄像机的参数决定了后续图像处理的精度，考虑到性能和价格两方面因素，本设计选用索尼生产的MJW短枪摄像机，该摄像机采用了最新的DSP数字处理技术，CCD尺寸为1/3英寸，有效像素PAL：

720×576（440K），NTSC：

769×494（380K），具有自动白平衡（AWB）和增益补偿控制（AGC）功能。

由于摄像机在生产时的工艺问题，很容易造成两个摄像机的参数不同，如基线长度、CMOS面积大小和畸变系数，因此需要在后续的软件设计中需要对其内外参数进行测定。

另外，由于该摄像机可以变焦，因此在进行图像处理前需要对摄像机的镜头进行测试，即将摄像机的焦距调整到合适的位置，使之采集的图像清晰，便于后续图像的处理工作。

2.3图像处理核心芯片的选型

在当前的图像处理领域，基于下位机硬件的器件主要有FPGA、ARM、DSP以及ARM与DSP组合的平台。

方案一：

FPGA（现场可编程门阵列），采用硬件逻辑描述作为开发语言，器件本身的运行速度较快，但是对开发人员的专业知识要求过高，而且程序移植较为困难。

方案二：

ARM（AdvancedRISCMachines），一般用在控制领域和嵌入式领域，比较擅长做时序控制类、嵌入式类的工作，不适合做大容量的数字计算工作。

方案三：

DSP（DigitalSignalProcessor），即：

数字信号处理器，它一般适用于做数字信号处理运算方面的工作，而且实时性较好。

另外数字信号处理器具有体积小、功能强、成本低等特点，并且有的具有专用的协处理器用于图像的处理工作。

DSP芯片内部采用的是哈弗结构，也就是程序和数据分开管理的方式，从而使得程序处理效率较高。

综合以上方案，我们采用TMS320DM642作为图像处理的核心芯片。

TMS320DM642是美国TI公司专门为视频处理领域设计的芯片，它具有强大的计算能力和丰富的片内设备，因此成为多种视频和图像处理应用的首选。

TMS320DM642芯片可以提供三种最高主频：

500M、600M和720M，其相应的指令周期为：

2ns、1.67ns和1.39ns。

而且，其本身就有8个处理单元，在满负荷运行时可以完成8个指令/周期。

因为使用的是C64x内核，因此其具备了128kbit的L1P高速程序缓存，128kbit的L1D高速数据缓存，2Mkbit的L2高速联合缓存的片内外设。

它具有64个独立的EDMA通道，可以很方便的实现与外界数据的快递交换。

图像处理核心芯片TMS320DM642主要包括时钟系统、电源供电电路、复位电路、视频解码电路、视频编码电路以及串口通讯电路等。

下面我们一一介绍：

时钟电路：

TMS320DM642有多个时钟源来满足不同的内核和外设的需求，它通过时钟芯片提供了六个不同频率的时钟源，分别是：

50M的TMS320DM642时钟，25M的以太网芯片时钟，100M的SDRAM时钟，20M的异步通讯芯片时钟，3.57M的看门狗时钟，4.31818M的视频解码芯片时钟，27M的视频编码芯片时钟。

TMS320DM642的内核可以工作在600MHz频率上，甚至超频后能在720MHz的频率上工作，但是DSP的外部频率只有50MHz。

因此，我们可以通过时钟锁相电路（PLL）来获得倍频，再通过分频获得多种不同频率的时钟供DSP的片内外设使用。

TMS320DM642时钟电路图如图2-3所示：

图2-3TMS320DM642时钟电路图

电源供电电路：

TMS320DM642要求系统必须为其提供1.4伏和3.3伏电压值的电源。

其中，CPU内核工作在1.4伏，而且，DSP内核对供电电源的稳定性和可靠性要求很高。

DSP在进行工作时，特别是图像处理时，主频可以达到最高的720MHz，此时CPU内核消耗的能量起伏非常大，而且随运算量变化的幅度变化急剧，很可能在短时间内达到安倍级。

因此，CPU内核对它的供电部分具有很高的要求和限制。

但是因为转换效率的问题，一般选择可以承受较大电流的开关电源。

开关电源具有最大的特点是：

即使外界的负载变化很大，其依旧能输出纹波系数较小的电压，一般情况下可以满足高速DSP这种对输入电压有较高要求的处理器。

TMS320DM642的外设工作在3.3V电压，这个电压的要求相对没有那么严格，因此可以通过开关电源或一般的稳压电路提供。

TMS320DM642对电源的具体要求如表2-1所示。

表2-1TMS320DM642对电源的具体要求

TMS320DM642电源供电电路图如图2-4所示：

图2-4TMS320DM642电源供电电路图

复位电路：

TMS320DM642不仅对电压和电流有一定要求，对复位信号也有要求。

它要求复位信号必须具备一定时间的低电平和跳变周期。

本设计中选用的是TPS3823-33，该芯片所搭建的复位电路较为简单：

系统上电后，该芯片首先检测电源的电压，如果正常，则给出复位信号，DSP开始正常启动。

TMS320DM642复位电路图如图2-5所示：

图2-5TMS320DM642复位电路图

视频解码电路设计：

TMS320DM642芯片最多能采集6路视频图像信号。

在本设计中，我们集成了四个视频解码芯片，这样可以实现4路视频的实时采集功能，即使试验中有一路或两路视频解码芯片坏掉我们依然可以使其正常工作。

本设计中视频解码芯片采用TI公司生产的TVP5150芯片，这是一款高性能、低功耗的视频解码芯片，支持两路复合视频的视频输入，其视频输出格式为通用的BT656，具有封装面积小、超低功率等优点。

TVP5150视频解码电路图如图2-6所示：

图2-6TVP5150视频解码电路图

在上述设计的电路中，一般视频电路的输入电路，为了降低功耗和噪声，需要控制输入到芯片的视频信号的电压调整到0-1V之间。

当然，TVP5150可以采集PAL或者NTSC视频，而且可以自动判断视频输入信号的制式，因此不需要我们自己去控制并转换。

视频编码输出电路设计：

本设计中，视频编码芯片我们采用的是菲利普公司的SAA7121，该芯片输入为标准的8位BT656数字视频数据流，输出为PAL制复合视频CVBS信号，该信号可以直接通过AV转接头接在显示器上。

与TVP5150一样，SAA7121也使用I2C总线来设置工作参数和反馈状态信息，且也只能作为从设备。

SAA7121视频解码输出电路图设计如图2-7所示：

图2-7SAA7121视频解码输出电路图

串口通讯电路：

TMS320DM642提供了一路RS232串行通讯口，考虑到MSP430F149也有串行通讯口，因为我们选择RS232作为DSP和MSP430F149之间的通讯方式。

尽管TMS320DM642上视频捕获口提供的McBSP功能可以作为串口通讯口，但是因为所有的视频捕获口已经被视频的两路输入和一路输出耗尽，因此我们只能通过其它方式扩展串行通讯接口。

在该功能的扩展中，我们使用了TI公司的TL16C752B异步通讯收发器，该芯片包含了两路独立的异步收发器，可以分别为接收和发送提供64个字节的FIFO（数据结构中的先进先出序列），而且支持DMA方式的数据传输，使得数据通讯非常方便。

TMS320DM642的串口通讯电路图如图2-8如下：

图2-8TMS320DM642的串口通讯电路图

2.4下位机控制器选型与电路设计

2.4.1下位机核心模块的选择

方案一：

采用STC89C52系列单片机。

该系列单片机价格便宜，性能稳定。

但是其主频偏低，功