基于视觉的香蕉分级技术的研究*

基金项目：本项目由辽宁省大学生创新创业训练项目基金支持

新一代信息技术的发展加速了农业生产的数字化、智能化发展，同时智慧农业是中国“十四五”时期的重要发展方向。随着人们对高品质水果的需求越来越大，对于水果的分级也将成为水果产业中最重要的一环，而人工检测常常存在效率低下且结果不准确的现象，所以自动检测技术将得到大力发展。而无损检测技术即可在不破坏农产品本身的情况下对其质量实现高效快速的检测，因而无损检测技术发展前景极为可观^[1]。

本文基于RGB 彩色空间的图像分割技术对图像进行二值化，通过阈值分割，确定香蕉表面需要被提取的像素的阈值后得到处理后的图像，最后通过YOLOv5搭建模型计算出香蕉表面破损、发黑、腐烂的面积占比从而实现分级。

该技术可广泛应用于鲜果分级和水果加工中，将大大降低人力成本、提高生产效率，促进我国水果产业工业化的发展，并带动香蕉加工企业的共同发展。

1 现状分析

计算机视觉技术是近年高速发展的一种新型技术，其中包括图像采集、识别、分析等功能，因其处理信息的综合能力强和速度快，同时还能避免人为主观因素对检测结果产生偏差，所以目前在水果自动分级中已被广泛应用^[2]。目前国外的普遍方法为通过HIS 彩色模型来实现分类检测，成功率最高可达85.8%，目前我国水果的品质检测很大一部分依然是凭借分拣员直觉进行，导致部分劣质果流进市场，直接影响了卖家的收入和买家的满意度。虽然我国该技术起步较晚，但发展迅速，通过一种适当的颜色面积累积百分比进行分类，其准确度最高可达88%。

虽然国内外对该技术取得了一定的创新与进步，但是该技术距离实现广泛推广还需要大量的技术积累，目前部分投入生产的大多是通过边缘检测和一些重力传感器组成的系统，该系统大多只具备果实大小、质量的识别，该方法并不能有效地实现准确的分类。

2 系统设计

本文设计的识别方法基于香蕉表皮颜色特征，其核心为将新鲜区域与缺陷区域的颜色进行对比，根据阈值分割出新鲜区域，其步骤如图1 所示。

图1 图像分级步骤

2.1 图像降噪

在实际检测中，由于相机等硬件问题和环境因素常常导致拍摄到的香蕉图像包含大量的噪声。所以在图像分割前需要消除图像中的无关噪声，本文中采取均值滤波法，即将图像区域中的像素点求平均值以达到降噪的效果，其数学表达式如式(1)所示，M 为所选取的横坐标数，N 为所选取的纵坐标数，所选取的像素点必须包含于图像面积内，经测试当M 和N 选取3 时降噪效果最好，即选取3*3的滤波器。

   (1)

2.2 图像分割

香蕉会随着新鲜度的降低而导致颜色由黄色转为黑色，所以在香蕉图像中其新鲜区域与不新鲜区域颜色差别很大，所以可以通过提取香蕉图像的颜色特征来区分新鲜区域和不新鲜区域，本文所用到的颜色模型为RGB模型，模型如图2 所示。

图2 RGB模型图

图像的阈值分割即通过设定阈值划分不同的区域，设f (x, y)为图像中坐标为(x, y)的像素点的灰度级，阈值为j ，经分割后图像仅包含“0”和“1“两个灰度级，称为二值化图像，其数学表达式满足式（2）。

   (2)

常见的阈值分割方法中最小误差法和最大熵法常常出现错误的坐标点，而Otsu 法则没有^[3]，所以本文选用Otsu法。如图3 所示，预处理分别对背景、新鲜区域、缺陷区域进行了分割，二值化图像中香蕉新鲜区域表现为白色，背景区域和缺陷区域表现为黑色。

图3 图像处理后对照图

2.3 视觉分级系统设计

本文最终设计了视觉分级系统用来验证结果，该系统以Jetson Nano 为GPU，并搭载一个可支持Linux操作系统深度相机作为图像输入设备，经实际测试其彩色图分辨率可达到1 280×720@30FPS、精度为(±1− 3)mm/m，可以达到实验所需标准，最后将结果显示在显示屏上，本实验硬件配置如表1 所示。

表1 系统硬件配置图

YOLOv5是一种单阶段目标检测算法，其相对与YOLOv4增加了自适应锚框计算、自适应图片等缩放操作，从而使其速度和精度均得到了极大的提升。同时YOLOv5是·完全开源的，首先将系统的Python更新到3.8 版本以上后配置Anaconda、Pytorch 的环境后即可安装YOLOv5环境。视觉识别效果如图4所示。

图4 视觉识别效果图

通过视觉识别后即可计算香蕉的等级，本文的分级方法为通过新鲜区域面积占比来划分不同等级，即首先将图片缩放到512∗12来确定总面积 S，预处理后可计算出背景面积s1、新鲜面积s2、缺陷面积s3，二值化图像中取出更为准确的新鲜区域面积s′ ，其数学表达式如式（3）所示，分级标准如表2 所示。

             (3)

表2 香蕉分级标准

3 实验结果与分析

随机选取100份样品，每份样品为三根香蕉，由于样本获取时基本都是新鲜的，为了使实验结果更加准确将样本静置在常温室内不同天数后进行测试，分别在第1、5、9 d进行测试，总计测试300 次。测试时分别对样本进行人工分级和机器视觉分级并计算吻合度^[4]，其结果如表3所示。

表3 香蕉样本分级结果

吻合度计算公式为：

         (4)

根据实验结果分析误差主要来自于人工挑选可以在多位置进行观察并且手动调整遮盖区，而机器视觉分级时视角单一且无法检测到香蕉之间互相遮盖的部分，将双方视角统一且禁止人工触碰改变检测目标形态后重新测试，吻合度可达到97.35%。

4 结束语

本文提出了一种通过阈值分割对香蕉分级的方法，通过实验测试该方法与人工分级吻合度最高可达97.35%，且该系统效率远远高于人工，在成本方面同样具有优势。但是由于香蕉之间不可避免地存在互相遮挡的现象，其对实验效果将产生巨大影响，为了弥补该不足需要对系统增加遮挡目标检测算法，目前主要采取的方法就是将区域卷积神经网络应用到目标检测，但是当前的检测模型大多是针对特定场景或者特定目标进行训练，通用的目标遮挡检测研究还较少，但是通用目标的检测是真实环境中不可避免的，因此需要投入大量的研究^[5]。

基于视觉分级的系统具有识别速度快、精度高等优点，是未来水果无伤识别的发展趋势。该分级系统未来可广泛适用于水果产业，不同水果只需要改变其阈值即可实现识别与分级，如水果分拣系统，通过传送带运输水果后进行拍摄分级以此提高消费者满意度并实现水果价值最大化。

目前国内机器视觉的研究依然处于起步阶段，发展中的最大问题就是像CCD、CMOS 等核心硬件都依赖于发达国家研发，国内制造商处于代工环节。目前在已经实现使用机器视觉分类甜椒^[6]和彩色制图系统来评估西红柿和枣的品质^[7]，但大多仍处于实验室阶段而未能投入到实际生产中，相信随着中国电子工业的发展和人工智能算法的研究，未来在果实分级方面中国将实现重大突破。

参考文献：

[1] 罗印斌,蔡艳丽,兰菡,等.农产品无损检测方法应用现状[J].食品工业科技,2018,39(15):340-344.

[2] 杨再雄,吴恋,左建,等.基于人工智能的农产水果分级检测技术综述[J].科技创新与应用,2021,11(22):41-43.

[3] 邵志明,王怀彬,董志城,等.基于近红外相机成像和阈值分割的苹果早期损伤检测[J].农业机械学报,2021,52(S1):134-139.

[4] 安爱琴,余泽通,王宏强.基于机器视觉的苹果大小自动分级方法[J].农机化研究,2008,156(4):163-166.

[5] 孙方伟,李承阳,谢永强,等.深度学习应用于遮挡目标检测算法综述[J].计算机科学与探索,2022,16(6):1243-1259.

[6] S.A.SHEARER, F.A.PAYNE. Color and defect sorting of bell peppers using machine vision.Transactions of theASAE,1990,33(6):2045-2050.

[7] D.J.LEE, J.K.ARCHIBALD, XIONG G M[J].Rapid color grading for fruit quality evaluation using direct color mapping. IEEE Trans.Autom.Sci.Eng,2011,8(2):292-302.

（本文来源于《电子产品世界》杂志2023年7月期）