茶叶外形感官品质的计算机视觉分级研究.docx

1、茶叶外形感官品质的计算机视觉分级研究 茶叶外形感官品质的计算机视觉分级研究 童阳 艾施荣 吴瑞梅 何国泉 虞文俊 刘鹏 胡潇 裴刚摘要：为摒弃茶叶品质感官评审方法存在的主观性和经验性等缺陷，研究采用计算机视觉技术快速评价茶叶感官品质。依据碧螺春茶行业标准及茶叶评审师的评审结果，将20个不同品质碧螺春绿茶样本分成4个等级。采用小波变换和灰度共生矩阵提取茶叶图像的纹理特征，采用RGBR表示红色（red），G表示绿色（green），B表示蓝色（blue）和HISH表示色调（hue），I表示亮度（intensity），S表示色饱和度（saturation）颜色模型提取图像的颜色特征，利用遗传算法优化神

2、经网络参数，建立茶叶感官品质的BP（back propagation，逆向传播）神经网络分级模型，并与其他模型结果进行比较。结果表明，当选用前5个主成分时，所建立的模型识别精度最高，该模型总体识别率为938%，Kappa系数为0.933，较PCA-BP、GA-BP、BP识别精度分别提高10.0、6.3、18.8百分点，Kappa系数分别提高0.133、0.066、0.233，模型稳定性得到提高。关键词：计算机视觉;茶叶感官品质;小波变换;神经网络;遗传算法TS207.3;S126 文献标志码： A ：1002-1302（2019）05-0170-04收稿日期：2018-03-21基金项目：国家

3、自然科学基金（编号：31460315）;江西省重点研发计划（编号：20171ACF60004）。作者简介：童 阳（1993），男，江西高安人，硕士研究生，主要从事计算机视觉研究。E-mail：emailprotected。通信作者：艾施荣，硕士，副教授，硕士生导师，主要从事计算机视觉研究。E-mail：emailprotected。茶叶是一种深受消费者喜爱的保健饮料，但一直以来茶叶品质仍由品茶师评价，带有一定的主观性，易受品茶师经验、生理状况、外界环境等因素影响，难以监控茶叶市场，导致茶叶市场售价混乱、假冒伪劣等现象出现。计算机视觉技术已被广泛运用于茶叶品质快速检测。Laddi等建立了茶叶品质

4、的计算机视觉感官品质评价模型1;Dong等采用基于与专家感官评分极显著相关的特征变量，建立了茶叶外观品质的计算机视觉评估模型2;余洪等根据专家评审得分值，将72个茶叶样本分成4个分级，通过提取干茶叶的纹理和颜色特征，建立了茶叶品质的计算机视觉分级评价模型3;常春等运用计算机视觉技术提取茶样图像的纹理及几何特征，建立了不同种类茶叶的人工神经网络识别模型4。而目前的研究主要提取茶叶图像的时域特征或区域特征，当分辨率较低时，图像的纹理特征区别不明显，且少量特征无法较完整地刻画图像特征，识别率较低，如要追求高识别率，须增大特征维度，这样会增加模型的复杂度5。小波变换可实现多分辨率，在降低分辨率的情况下

5、不丢失图像的原始信息，已被成功应用于医学影像诊断6、农作物病虫害检测7等来提高识别率，也有报道将其用于提取茶叶图像纹理特征。Wang等利用小波变换提取干茶叶的纹理特征，结合颜色特征参数，建立了茶叶种类识别模型8。Borah等利用小波变换提取茶叶的纹理特征图像，建立茶叶种类识别模型，其识别准确率高于使用基于统计矩的纹理特征的结果9。目前已有的研究的主要方法是基于提取的茶叶纹理统计矩特征建立茶叶品质评价模型。而小波分析较统计矩具有多分辨率分析以及在时域和频域同时表征原始图像局部特征信息的优点，被广泛用于农业科技、生物信息等领域的模型建立。本研究根据茶叶评审师对茶样的评分结果，将茶样分为4个等级。利

6、用小波分析和灰度共生矩阵方法提取茶叶图像的纹理特征，应用遗传算法（genetic algorithm，简称GA）优化BP神经网络参数，建立茶叶外形感官品质的计算机视觉分级模型，为茶叶品质的仪器化快速評价奠定基础。1 材料与方法1.1 茶叶样本及感官品质评价试验选用20个不同品质的苏州洞庭山碧螺春茶叶样本，每个样本250 g。茶叶感官评价由安徽农业大学茶学系4位评茶师完成，根据碧螺春茶农业行业标准（NY/T 8632004碧螺春茶）和茶叶感官审评标准（GB/T 237762009茶叶感官评审方法）进行评定，位于9099分的为一级，位于 8089分的为二级，位于7079分的为三级，位于6069分的

7、为四级。1.2 茶叶图像采集茶叶可见光图像采集系统如图1所示，该装置由图像采集卡、CCD（电荷耦合器件）摄像头、采集暗箱、光源和计算机等组成。采集暗箱内部用黑色幕布密闭，采用飞利浦白炽灯为暗箱内部光源，其色温为2 800 K左右，光源安装在暗箱上部左右两侧，形成一个漫反射光照系统。分别从每个茶样中称取（100.5） g茶叶，将其均匀平铺在自制茶样盒中，茶样盒规格为60 mm60 mm10 mm，内部为黑色，以消除光线反射对图像采集的影响。从原始图像中心位置截取200200像素感兴趣的区域为特征提取的目标图像。以上图像采集过程于2017年7月在笔者所在实验室完成。1.3 图像特征提取1.3.1

8、基于小波分析的图像特征提取 小波分析是一种空间（时间）和频率上的局部变换，具有多分辨率分析以及在时域和频域同时表征原始图像局部特征信息等优点，原始图像经小波变换后，把低频信息保存在图像中，将原始图像的高频信息分水平、垂直和对角方向保存到另外3个独立的图像中，同时表征出图像的时域和频域特征信号。小波函数由1个小波基函数经过平移与尺寸伸缩得到，小波分析就是把信号分解成一系列小波函数的叠加。利用小波分析提取茶叶图像特征的具体步骤如下：首先将茶叶原始图像进行小波分解，得到原始图像的子图像，对子图像用小波继续分解成不同尺度的低频和高频子图像，然后分别求出各分解高频子图像的平均灰度、标准方差和三阶矩阵作为

9、茶叶图像的纹理特征信息。其中，纹理特征提取效果主要取决于小波基和分解层数选择10，参照文献7，本研究经多次分析，使用sym4和db4为小波基函数，两者结合能较全面地提取茶叶的纹理特征。小波分解层数并不是越多越好，经多次反复试验，第3层各分量能反映茶叶图像纹理的整体概貌，但不能表达图像的纹理特征。所以对原图像进行2层小波分解。图2是经过sym4和db4小波分解后的低频和高频分量，高频分量分别表现了水平（HL）、垂直（LH）、对角（HH）3个方向的纹理细节信息，低频分量表现图像的主要信息，提取了48个小波纹理特征。1.3.2 灰度共生矩阵纹理特征提取 灰度共生矩阵能很好地反映茶叶图像的纹理特性11

10、。参照文献3，采用灰度共生矩阵提取茶叶图像的16个纹理特征值：0惯性矩、45惯性矩、90惯性矩、135惯性矩、0相关性、45相关性、90相关性、135相关性、0能量、45能量、90能量、135能量、0同质性、45同质性、90同质性、135同质性。1.3.3 颜色特征提取 本研究选用RGBR表示红色（red），G表示绿色（green），B表示蓝色（blue）和HISH表示色调（hue），I表示亮度（intensity），S表示色饱和度（saturation）这2种颜色模型表征茶叶的色泽特征12，提取的颜色特征如下：基于RGB模型的红体标准差、红体均值、绿体标准差、绿体均值、蓝体标准差、蓝体均值以

11、及基于HIS模型的色调标准差、色调均值、亮度标准差、亮度均值、饱和度标准差以及饱和度均值，共12个颜色特征。1.4 算法原理BP（back propagation，逆向传播）神经网络具有自我学习能力、自适应和并行处理等优点，能很好地处理从输入到输出的非线性复杂问题。但该算法的初始化权值是随机的，容易陷入局部极小化13，当网络规模不断增加时，学习时间显著增加，且学习过程中隐藏层的节点数及其他参数凭经验或通过大量计算得出，收敛时间长，鲁棒性差。所以，模型建立前，对BP神经网络参数进行必要的优化。遗传算法是一种模仿自然进化算法，在进化过程中，其后生代种群更能适应环境，且末代种群中的最优个体通过解码后

12、，可作为所求解问题的近似最优解。本研究使用GA优化BP神经网络参数值（初始权值和阈值），使优化结果不仅朝着全局最优方向进行迭代，还能在接近权值时，得到最优的网络拓扑结构，如此往复，可跳出极值，加快收敛，达到最优解。茶叶图像特征共提取了76个特征，包括12个颜色特征和64个纹理特征（小波48个，灰度共生矩阵16个），这些特征相互之间存在冗余信息，在优化前，应用主成分分析法（PCA）对原始数据进行降维。用主成分分析法结合遗传算法优化BP神经网络算法，具体优化步骤如图3所示。2 结果与分析2.1 茶叶感官评价结果分析运用Pearson相关分析法对所有茶叶评审师的评审结果进行一致性分析。由表1可知，4

13、位专业茶叶评审师的评审得分结果具有极显著的线性相关性（P0.01），表明4位茶叶评审师对茶叶品質的评价结果具有显著的一致性。参照碧螺春茶农业行业标准（NY/T 8632004碧螺春茶），依据评审师的评分结果，将20个茶叶样本分为4个等级，如表2所示，其中1，2，20分别表示每个茶样的编号。将每个等级的茶样随机均分为6等份，其中4等份作为训练集，剩余2等份作为预测集，即训练集样本数为80，预测集样本数为40。2.2 遗传算法优化BP神经网络参数本研究采用输入层、隐含层和输出层3层BP网络结构，将主成分因子数作为网络的输入，而主成分数的多少对模型结果影响很大。研究采用不同主成分数作为BP神经网络的

14、输入，比较不同主成分数所建模型的识别结果，模型识别精度高的为最优模型。选用双极S型函数tansig（）为网络传递函数;双极S型函数logsig（）为输出层函数;训练函数选用trainlm（）;训练最大迭代数为2 000次;学习率为0.1，训练误差为0.001，遗传算法初始种群数为50个，最大遗传代数为80，变异概率设为0.05，交叉概率设为0.85。从图4可以看出，当主成分数为5个时，网络模型总体识别率最高。由图5可知，当遗传代数达到67代时，其权值和阈值不变，为最优值。2.3 模型识别结果利用优化结果建立茶叶等级的BP神经网络分级模型，模型对训练集样本和预测集样本的识别结果分别见表3和表4。

15、由表3、表4可知，模型对训练集的总体识别率为95%，对测试集的总体识别率为92.5%，在训练集中，1个一级茶样被误判为二级，2个二级茶样被误判为一级，1个二级茶样被误判为三级;测试集中1个一级茶样被误判为二级，1个二级茶样被误判为一级，1个二级被误判为三级。根据碧螺春茶感官评语，一级是纤细卷曲成螺、白毫披覆、匀整、银绿隐翠、匀净;二级是紧细卷曲成螺、白毫披露、匀整、银绿显翠、匀净;三级是紧细卷曲成螺、白毫显露、匀尚整、绿翠、匀尚净;四级是紧结卷曲成螺、白毫尚显、尚匀整、绿润、尚匀净。可以看出，一级与二级、二级与三级的评判术语相差甚微，且评茶师对茶样品质的评判结果带有一定主观性，导致不同级别之间

16、相互误判。2.4 模型性能比较识别率和Kappa系数常用于衡量模型的性能，Kappa系数用于一致性检验，是衡量模型分类器稳定性的重要指标，Kappa系数越大，分类精度越高，表示分类器越稳定14。表5是建立的不同模型识别结果，可以看出，PCA-GA-BP模型的识别率和Kappa系数最高，未经任何优化的BP神经网络的识别率和Kappa系数最低，效果最差。经主成分分析和遗传算法优化后的BP神经网络总体识别率达到93.8%，较其他3个模型分别高出10.0、6.3、18.8百分点。Kappa系数也位于0.811.00之间，分别高出其他3个模型0.133、0.066、0.233。由此可见，本研究所建立的P

17、CA-GA-BP神经网络模型具备较高的识别精度和稳定性。3 结论本研究运用小波变换和灰度共生矩阵提取茶叶图像纹理特征，建立茶叶感官品质的计算机视觉分级模型。在模型建立过程中，使用遗传算法优化BP神经网络的参数。采用前5个主成分建立的BP神经网络模型识别率和Kappa系数最佳，高于PCA-BP、GA-BP和BP神经网络模型的，表明该方法具有较高的稳定性。研究结果可为茶叶品质的快速检测仪器化研制提供参考。参考文献：1Laddi A，Sharma S，Kumar A，et al. Classification of tea grains based upon image texture featur

18、e analysis under different illumination conditionsJ. Journal of Food Engineering，2013，115（2）：226-231.2Dong C W，Zhu H K，Zhao J W，et al.Sensory quality evaluation for appearance of needle-shaped green tea based on computer vision and nonlinear toolsJ. Journal of Zhejiang University-Science B：Biomedici

19、ne & Biotechnology，2017，18（6）：544-548.3余 洪，吴瑞梅，艾施荣，等. 基于PCA-PSO-LSSVM的茶叶品质计算机视觉分级研究J. 激光杂志，2017，38（1）：51-54.4常 春，陈怡群，肖宏儒，等. 基于神经网络图像分析的智能鲜茶叶分选机J. 中国农机化学报，2013，34（1）：137-141.5肖志云，刘 洪. 小波域马铃薯典型虫害图像特征选择与识别J. 农业机械学报，2017，48（9）：24-31.6彭庆涛，吴水才，高宏建，等. 基于小波分析和灰度纹理特征的乳腺X线图像微钙化点区域的提取J. 北京生物医学工程，2015，34（5）：462

20、-467，488.7孔喜梅，木拉提哈米提，严传波，等. 基于小波变换的新疆地方性肝包虫CT图像分类研究J. 生物医学工程研究，2016，35（3）：162-167，174.8Wang S H，Phillips P，Liu A J，et al. Tea category identification using computer vision and generalized eigenvalue proximal SVMJ. Fundamenta Informaticae，2017，151（1/2/3/4）：325-339.9Borah S，Hines E L，Bhuyan M. Wavelet

21、 transform based image texture analysis for size estimation applied to the sorting of tea granulesJ. Journal of Food Engineering，2007，79（2）：629-639.10Lowe D G. Distinctive image features from scale-invariant keypointsJ. International Journal of Computer Vision，2004，60（2）：91-110.11Tang Z，Su Y C，Er M

22、J，et al. A local binary pattern based texture descriptors for classification of tea leavesJ. Neurocomputing，2015，168：1011-1023.12吳瑞梅，吴彦红，艾施荣，等. 茶叶外形品质的高光谱图像量化分析J. 江西农业大学学报，2013，35（2）：413-418.13孙 丽. 基于遗传算法BP神经网络的多目标优化方法J. 激光杂志，2016，37（8）：123-128.14徐树良，王俊红. 基于Kappa系数的数据流分类算法J. 计算机科学，2016，43（12）：173-178.陈玉梅，申允德，张成浩. 黄瓜自动化栽培系统研究进展J. 江苏农业科学，2019，47（5）：174-180.-全文完-