基于计算机视觉的水果分级检测系统的设计.docx
《基于计算机视觉的水果分级检测系统的设计.docx》由会员分享，可在线阅读，更多相关《基于计算机视觉的水果分级检测系统的设计.docx（26页珍藏版）》请在冰豆网上搜索。
基于计算机视觉的水果分级检测系统的设计
基于计算机视觉的水果分级检测系统的设计
摘要
计算机视觉应用于水果的品质检测，带来了许多方便。
既可以提高检测的精度、准确度。
又节省了大量的劳动力，让人们从繁重的人工检测工作中解脱出来。
本文以苹果为研究对象，研究了计算机视觉技术应用于水果分级检测的基本理论和方法。
研究了苹果图像的预处理，包括平滑滤波、图像的灰度化以及图像的二值化。
研究了苹果的大小检测。
先把苹果图像与背景分离，再计算出苹果图像的像素点数，通过预先测定出的一个像素点与真是面积的比值，进而算出苹果的真是面积，最后通过直径的大小来确定苹果大小等级。
研究了苹果的颜色检测，通过HIS颜色模型中的H分量来判定出苹果的着色面积，通过着色面积与苹果的大小做比，得出苹果的着色比，通过着色比来判定苹果颜色等级。
研究了苹果的缺陷检测。
对苹果图像的灰度化，再通过用合适的阀值二值化图像确定出缺陷区域，在通过一些简单的运算得出缺陷的面积，通过缺陷的面积确定苹果的缺陷等级。
关键词：
计算机视觉，图像处理，水果分级
TheDesignofFruitGradingDetectionSystemBasedonComputerVision
ABSTRACT
Computervisionappliedtofruitqualityinspection,broughtalotofconvenience.Canenhancethedetectionaccuracy.Andsavealotofpeople'slaborfromtheheavymanualinspectionworkinearnest.SotodayIwillintroducethebasictheoryandmethodsofatechnologywhichcandetectfruit,thistechnologytakesappleastheresearchobject.
Appleimagepreprocessing,includingfiltering,thegrayscaleoftheimageandthebinarizationofimages.
Thesizeofthedetectionofapple.Departingapple'simageandbackgroundfirst,secondly,calculatethenumberoftheappleimage'spixels.Thirdly,calculatetheareaoftheappleinrealthroughthepredeterminedratioofapixelareaanditsrealarea.Finally,determinetheapple'ssizeclassthroughdiameter.
ThecolorofappledetectedbyitscolormodelHIS.WeusethecomponentHinHISmodeltodetermineapple'scoloredarea,throughtheratioofthecoloredarea'ssizeandtheapple'ssizeinrealwecanfindoutthecolorratio.Sowecandeterminetheclassofcolorthroughcolorratio.
Theappledefectdetection.Weshouldmakeoutthegrayscaleimageoftheappleatfirst,andthenbyusingtheappropriatethresholdofthebinaryimagetodeterminethedefectarea,sowecandrawouttheareaofthedetectionthroughsomesimpleoperations.Finallywecandeterminethedefectlevelofthisapplethroughtheareaofdetection.
Keywords:
Computervision,imageprocessing,fruitgrading
1绪论
1.1研究的目的与意义
自古以来我们国家就是一个农业大国，农业在国民收入中占据了很大的比重。
而在农业中水果的种植又十分广泛。
但一直以来我国水果出口情况一直不如国外，这不是说我国的水果质量比别国的差，而是我国的水果在后序的分级方面做的比不上外国。
现在随着人们的生活水平提高，对于质量的要求就高了，所以说水果的分级就显得十分的必要。
但是我国的水果分级工作大部分是靠人力完成，这就产生了很多的问题，比如说：
工作量十分大，要占用许多的劳动力来完成这件事，而且效率也不高；再者说人的疲劳和天生对色泽等方面的敏感度不高，同样对分级的质量产生影响。
虽然近些年我国在机器检测中取得了一些成就，使得在水果的大小、颜色方面的检测可以让机器代替人工去完成。
但由于检测方法比较简单，所以完全达不到市场的要求和人的期望。
随着计算机的迅速发展，计算机视觉技术被广泛应用于农产品检测中。
所以通过将计算机技术和图像处理等许多学科知识综合起来，先通过对水果大小、颜色、缺陷各个方面分别进行检测，再对各个检测结果进行综合分析。
这样得出的判断包含的方面比较全面，而且图像处理知识的应用使得检测更加精确。
这样水果的检测才达到真正意义上的智能化。
本课题就是介绍了基于计算机图像处理的水果分级检测。
1.2国内外研究的现状
1.2.1国外情况
国外在水果的计算机视觉检测方面发展比较早，并已经取得了很多成果。
同样在国外这方面的研究中，缺陷的检测同样也是一个难题。
YangQ[1]首先对水果的图像进行分割，因为水果表面各个地方的缺陷大小不同，程度也不一样。
这样分割后可以使得水果的图像，受光反射等方面的影响程度减小。
可以使得缺陷部分如斑块、擦伤等可以分开进行检测。
这样的分割不仅可以使得研究方面，同样也是十分必要的。
之后YangQ又进行了改进，他通过采用蛇形算法达到更精确的分割，具有更高的抗干扰能力，对于目标的局部模糊也不敏感。
使得初始的轮廓更靠近真实状态
Leemans[2]在缺陷检测中运用另外的方法，他把水果像素点逐个和水果的平均颜色值进行比较。
差别大的则认为是缺陷，反之则认为是正常的组织。
但这种方法存在明显的缺点，当缺陷与正常组织对比明显时十分有效，但如果对比不是很明显时，误差就比较大。
Shalin[3]等利用X射线的线扫描设备来检测水果的创伤，以空间边缘特征和离散余弦变换系数为特征，利用人工神经网络进行分类，这种方法对旧的创伤精确度挺高的，但对于新的创伤的精确度却比较低。
1.2.2国内情况
国内在水果检测方面的起步比较晚，但是发展十分迅速。
冯斌等[4]通过确定水果的形心、轴心等，再通过计算得出了水果的大小、尺寸，精确度十分高。
高华等[5]提出用傅里叶描述子，傅里叶系数等来确定水果的大体轮廓。
进而对水果的形状规则度做出判断。
林开颜[6]等和高华的方法有所不同，他们先用“基于梯度法的彩色图像边缘检测”确定水果的边界，然后通过对边界进行傅里叶变换，用傅里叶系数近似确定出水果的形状，再对形状的不规则度进行判别。
胡海晴等[7]对水果图像进行处理，将图像的RGB模型转换为HIS模型后，通过色度比较来确定水果的成熟度等级。
而度量器则使用Hamming网络结构作为人工神经网络的结构，运算速度高而且判定的精确度也很高。
李庆中等[8]通过双金字塔数据形式的盒维数快速计算，用得到的分形维数作为可疑缺陷区的参数，再通过BP形网络结构的人工神经网络，最终实现对梗、萼和缺陷的准确判断。
解决了梗萼与缺陷区判定这一难题。
1.3研究内容
本课题是基于计算机视觉的水果分级检测，以苹果为研究对象。
在总结了国内外的研究成果的基础上，选用了运行速度快、可靠性高的方法。
对苹果依次进行了图像采集、灰度化、二值化、图像分割、颜色模型转换。
再通过苹果的分级特征对苹果进行分级。
保证了分级结果的准确性和实用性。
主要的研究内容包括：
通过采集到的苹果图像，经过一些处理后。
提取出苹果大小的特征值建立分级模型。
根据苹果检测出的结果作出判断，来定出水果的大小等级。
对苹果的表面颜色进行分析，建立分级模型，提取出颜色特征值，进而判定出水果颜色的等级。
对苹果进行灰度化，并选择适当的阀值对灰度化后的图像进行二值化，确定缺陷的区域。
在通过计算缺陷面积得出缺陷的等级。
1.4技术路线
采用CCD摄像头和图像采集卡工具完成对图像的采集。
并传输到计算机上为后续的图像处理做准备。
对采集到得图像进行图像的预处理，使得后续的检测分级更加的精确。
确定图像的分级参数，从水果图像的大小、颜色和缺陷这三个方面来分别进行分级。
对各个方面的分级结果进行综合，得出水果的品质等级。
1.5本章小结
本章通过分析水果分级检测研究的意义，以及计算机视觉技术在水果分级中的应用。
确定了研究的方向为基于机器视觉技术进行苹果外观品质检测，研究目标是设计实时的水果分级系统。
根据研究目的及研究内容，确定了研究的技术路线。
2图像预处理方法研究
2.1引言
本课题研究内容是基于计算机图像处理的水果分级检测，而要保证分级结果的可靠性，那么在图像处理的每一个环节都要确保尽可能的准确。
那么就需要在处理前对图像进行预处理。
以此来消除图像的噪声、模糊等问题。
图像的预处理就是对图像进行加工，来满足人的视觉要求和应用要求。
图像的预处理有光学方法和数字方法。
光学处理的效果差、稳定性不够高，而与此同时数字处理技术飞速发展，其效果和稳定性相比光学方法来说都要好。
主要的数字处理方法如下：
点运算
图像的点运算主要是对一个个的像素点进行加、减、乘、除等运算，可以有效的改善图像的直方图、分辨率。
几何处理
图像的几何处理主要指图像的坐标运算，主要包括图像的旋转、放大、缩小、移动等。
另外还包括图像的扭曲矫正。
图像增强
目前的图像增强技术根据其处理的空间不同，可以分为两大类：
空域方法和频域方法。
前者直接在图像所在的像素空间进行处理；后者是通过对图像进行傅里叶变换后在频域上间接进行的。
在空域处理方法中，根据每次处理时针对单个像素还是小的子图像块，又可分为两种：
一种是基于像素的图像增强，也叫点处理；另一种是基于模板的图像增强，也叫空域滤波。
图像复原
图像的复原就是对退化的图像进行处理，尽可能恢复原图像的本来面目。
也就是针对图像退化的原因设法进行补偿，把图像的退化过程模型化，并且采用相反的过程来恢复出原来的图像。
2.2图像的平滑处理
在图像的拍摄过程中由于受拍摄和传输设备的影响，总会产生使人厌恶的噪声，同样在图像的处理过程中也会产生。
这些噪声会影响后续的处理工作和视觉效果。
所以必须对图像提前进行平滑处理以减少噪声。
噪声的消除有两种方法：
频域法和空域法。
频域法的原理是消除频域中高频成分，但是需要在处理过程中不断的在频域和时域之间转换，处理速度慢，不适合实际应用。
实际应用中一般采用空域法，空域法中常用的有中值法、快速中值法、邻域平均法等。
2.2.1中值滤波法
中值滤波是一种非线性平滑滤波，在一定的条件下可以克服线性滤波所带来的图像细节模糊问题，而且对过滤脉冲干扰及图像扫描噪声非常有效，但对某些细节多（点、线、尖等）的图像不宜采用中值滤波方法。
他的方法是用一个有奇数点的滑动窗口，将窗口中心点的值用窗口各点的中值代替。
其在matlab中用到的函数是medfilt2，其相应的语法是：
B=medfilt2（A,[m,n]）
[m,n]为指定滤波模板的大小，默认值是3*3大小
2.2.2快速中值滤波
快速中值滤波的方法稍微有点复杂，它要先求出原图像的直方图，然后通过直方图来求出中值。
假设窗口的大小为m*n，从一个窗口的中值滤波输出到下一个中值滤波的输出。
窗口将移动一列，新窗口的像素是原窗口的像素删去最左边的一列，然后再在他的右边加上另外一列。
其余所有的像素点保持不变。
然后对原来的直方图进行修正，利用直方图求新窗口的中值。
2.2.3邻域平均法
由于图像受照相机、传输设备影响所产生的噪声都是随机的。
可以把这些噪声看作是孤立的。
所以可以用一个模块中所有像素的平均值来代替模板中间点的像素值。
这样可以达到减少噪声的效果。
但是图像的边缘可能就会因此而变得模糊了。
因为图像的边缘本身变化就十分的剧烈。
处理时可能会使图像边缘的细节变模糊。
这也是邻域平均法的一个十分明显的缺点。
在本课题中，由于要考虑到图像处理的速度问题，实现的简易度，和图像处理的准确度等一些问题，所以我选择了中值滤波法。
图像滤波后如下图所示：
图2-1中值滤波后的苹果图像
2.3图像的灰度化变换
通过CCD采集到的图像是RGB的彩色图像，如果要进行后序的处理工作。
那么必须在前期先对其进行灰度化变换。
灰度化变换之后的图像就是我们平时所说的黑白图像。
图像的灰度化方法有三种：
最大值法
这种方法就是根据图像的RGB分量来确定图像的灰度值。
灰度化后的灰度值就是R,G,B三个分量中的最大的那一个分量。
平均值法
这种方法就是计算R,G,B三个分量的平均值，用这个值作为灰度化后的灰度值。
权重值法
这种方法就是用R,G,B分量分别乘以一个参数，这样得出的值作为灰度化后的值。
本课题中对于图像的灰度化处理是通过一个函数实现的，这个函数就是rgb2gray.经过灰度化后的图像如下所示：
图2-2灰度化后的苹果图像
2.4图像的二值化
图像的二值化就是把得到的灰度化图像，通过选定阀值，把其变成只有“0”和“1”两个值的图像。
把超过阀值的灰度值，统一处理成1，把低于阀值的灰度值统一处理成0.
本课题中对于阀值的选择，我选用了一个函数graythresh.通过graythresh函数选择出了阀值，然后用这个阀值作为参数进行如上所说的二值化。
最后得出的二值化后的图像如下所示:
图2-3二值化后的苹果图像
2.5本章小结
本章通过比较不同的图像平滑化处理方法，最后采用了中值滤波法，既处理了噪声，还不会使图像变模糊，最主要的是使用起来十分的方便。
另外还说明了图像预处理的其他方面内容，包括图像的灰度化和图像的二值化。
3苹果的大小检测
3.1引言
水果的大小是水果品质的一个十分重要的品质因素。
因而对于大小的分级检测在整个课题中占有十分重要的位置。
目前水果大小检测的方法很多，在这方面研究的也十分成熟了。
对于这方面的研究:
章文英[1].等通过先对图像预处理，确定水果的轮廓，再通过水果的最小外切矩形，近似确定水果的大小，精确度不是很高。
而冯斌[2].等先边缘检测，后通过确定水果的轴向、形心，进而得出水果的大小，精确度很高。
3.2大小检测分级研究
目前水果的大小识别方法主要有两个方面：
通过水果的外接矩形等方法确定水果的的果径大小，进而通过果径的大小来确定水果的大小等级；通过对水果的边缘进行傅里叶变换，通过傅里叶系数来确定水果的大小、形状等一些特征值，以此来判定水果的大小。
现有的水果大小识别方法有以下几种方式：
最小外接矩形法
其基本的方法是先确定水果的形心，然后将水果每绕形心旋转3度后就拍一照片，找出所有照片中苹果外接矩形最小的那一张。
那么这张图片的最长的那条边的长度就是苹果的果径长度。
进而通过果径的长度来判定水果的大小等级。
图3-1外接矩形法
最大果宽法
水果的大小可以通过水果的直径来表示，所以可以用果宽来对苹果的大小进行分级。
对于确定果宽大小，第一步要求出苹果的果轴，果轴就是花萼和花梗的连线。
果轴的确定对于静态的图像来说非常容易。
果宽就是垂直于果轴的直线与苹果边缘交线中最长的那一条长度。
图3-2最大果宽法
果径法
这种方法把苹果看成是球体，通过边缘提取和细节处理后，计算出水果的形心，果梗与形心的连线就是果径，通过形心与果径垂直的线就是果宽。
通过果宽的大小来确定出苹果的大小等级。
投影面积法
CCD摄像头拍摄的水果图像是二维的平面图，计算此投影面积S，根据大量试验找到一个合适系数K'使得K乘以S接近水果真实的表面积。
最后用这个近似的表面积来表示水果大小，并用于分级。
由于很难找到合适的K值使所有的苹果近似面积接近真实表面积，该方法稳定性差。
准确率低，不宜用在在线苹果大小检测上。
综上所述，最小外接矩形法计算量太大，不满足快速检测的要求．最大果宽法和果径法计算量小，但是根据得到的苹果图像不易找到果轴，因此算法难以实现。
投影面积法对于一个苹果只拍摄一个图像，稳定性差，准确率低。
本课题中每个苹果经过采集区域的过程中不停滚动，并被连续采集到3幅不同表面图像，覆盖整个果面的90％以上，可以较完整地反映苹果表面信息，且每幅图像中苹果的面积即苹果最大横截面面积。
由于苹果属于圆形果种类，可以把图像中苹果近似看作圆形，带入圆的面积公式计算半径R。
R为苹果最大横截面半径，对每个苹果的三幅图像求取三个R值，再求平均，即得到苹果的平均半径R。
大小用最大横切面积直径来
表示，因此使R乘以2得到苹果平均直径D，并把D作为大小特征值，这就是改进的投影面积法。
3.3苹果大小特征提取
用这种改进过的投影面积法，先找出三幅苹果不同侧面拍出来的照片，分别计算他们的面积s1,s2,s3，然后使用公式：
R=sqre（s/pi）
由于判定水果的大小等级一般都是使用水果的直径来判别，所以要计算出水果的直径大小。
D=2*R
然后通过计算出的三个直径D1,D2,D3.求出他们的平均值作为最后得出的直径大小
D=（d1+d2+d3）/3
三幅苹果图像如下：
图3-3苹果图像1
图3-4苹果图像2
图3-5苹果图像3
3.4苹果大小分级试验与结果
GB10654—89中对于大型果、中型果、小型果的果径大小要求如下。
本课题通过对水果的投影面积法，进而计算初水果的直径大小，再利用特定的阀值来对苹果的大小进行区分。
表3-1苹果等级划分标准
等级
优等
一等
二等
等外
大型果
>=70
>=65
>=60
<60
中型果
>=65
>=60
>=55
<55
小型果
>=60
>=55
>=50
<50
苹果的分级模型可以表示为:
IfD>=th1属于优等果
ElseifD>=th2属于一等果
ElseifD>=th3属于二等果
Else属于等外果
3.5本章小结
本章通过改进的投影面积法，来先计算出苹果三个侧面的面积，再计算相应的直径，求其平均值。
来作为果径的大小，对苹果的大小进行等级区分。
4水果的颜色检测
4.1引言
苹果的颜色反映了苹果的品质与口感等一系列方面。
品质好的苹果，其色泽、颜色的着色率都很好，而相反品质差的苹果其色泽、颜色的着色率一般都比较差。
同时，含糖量多、口感好的一般来说也是着色率比较高的。
这样来说，对于水果的颜色检测就显得十分的重要。
目前在水果检测中，国外的技术受到硬件和算法的局限，所以技术的成熟度不高，而在我们国内，水果的分级一般都是采用机械分类的方法，其对颜色这方面的检测基本上都无法实现。
4.2颜色模型
目前的颜色模型可以分为两种类型：
一种是面向硬件设备的，比如RGB模型，他是面向打印机、显示器等设备的。
另外一种是面向人的视觉感受的，不如HIS模型。
而本课题中对于水果颜色的分级是基于人的视觉的，所以选用HIS模型，这种模型更利于我们对水果的特征进行提取。
下面介绍几种颜色模型：
RGB模型
在多媒体计算机技术中，用得最多的是RGB模型。
其采用R、G、B相加混色的原理，通过发射出三种不同强度的电子束，使屏幕内侧覆盖的红，绿、篮磷光材料发光而产生颜色。
RGB是一个加色立方体模型，光源的亮度、色度、纯度混合在R、G、B三个参数中．RGB模型里面任意色光F都可以用R，G，B三色不同分量的相加混合而成：
F=R+G+B
RGB模型采用物理三基色表示，因而物理意义很清楚，适合彩色显象管工作，显示器和扫描仪都采用RGB模型。
然而这一体制并不适应人的视觉特点。
这种模型从感知来说是不均匀的，并依赖于硬件设备。
RGB模型的缺点有：
RGB模型用红、绿、蓝三原色的混合比例定义不同的色彩，使色彩难以用准确的数值来表示，并进行定量分析；
在RGB模型中，由于彩色合成图像通道之间相关性很高，使合成图像的饱和度偏低，色调变化不大，图像视觉效果差；
人眼不能直接感觉红、绿、蓝三色的比例，而只能通过感知颜色的亮度、色调以及饱和度来区分物体，而色调和饱和度与红、绿、蓝的关系是非线性的，因此，难以在RGB模型中对图像进行直接处理．
以下是实验中得出的R，G，B分量：
图4-1RGB模型中R分量的图像
图4-2RGB模型中G分量的图像
图4-3RGB模型中B分量的图像
YUV颜色模型
YUV颜色模型也是使用比较多的颜色模型，由于人眼对于亮度的敏感度远远大于对于色度的敏感度，所以YUV这个模型中，相邻的像素间使用同样的色度值。
这样的图像是用牺牲色度来达到压缩图像的目的。
这个模型一般用于图像传输中对图像进行压缩处理。
HIS颜色模型
这一模型是面向彩色处理的最常用的模型。
HIS模型是基于视觉原理的一个系统，定义了三个互不相关，容易预测的颜色属性，即色调（H），亮度（I）和饱和度（S）。
其中，H是表面呈现近似红、黄，绿、蓝等颜色的一种或几种的目视感知属性；I是物体表面相对明暗特性；S是颜色具有“白光”的程度．它有两个特点：
其一，I分量与图像的彩色信息无关，因此对彩色信息处理只需考虑两个分量。
其二，H和S分量与人感受颜色的方式非常相近。
这些特点使HIS模型适合于视觉系统感受彩色特性的图像处理算法。
由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于颜色处理和识别，人的视觉系统经常采用HIS颜色空间，它比RGB颜色空间更符合人的视觉特性。
RGB与HIS的相互关系分正反两种情况，这里只讨论从RGB转换到HIS的情况。
对任何3个在【0，1】范围内的R、G、B三基色，其对应HIS模型中的H、I、S分量可由下面给出的公式计算：
Temp1=0.5*（（r-g）+（r-b））（4-1）
temp2=sqrt（（r-g）.^2+（r-b）.*（g-b））（4-2）
theta=arccos（temp1./temp2）（4-3）
H=thetaG>=B（4-4）
H=360-thetaG<=B（4-5）
S=1-3*min（R,G,B）/（R+G+B）（4-6）
I=（R+G+B）/3（4-7）
以下是本课题实验中所得出的HIS三个分量的图像
图4-4H分量的图像
图4-5I分量的图像
图4-6S分量的图像
4.3苹果表面颜色特性分析
苹果的颜色等级划分包含的方面很多，但主要的方面有三个：
红区比例，色度，苹果的着色均匀度
红区的比例反映了苹果的红色区域的面积大小。
红色区域面积越大，则苹果的含
升级会员 