1. 引言
樱桃番茄因其高营养价值和良好风味,被联合国粮农组织列为优先推广的“四大水果”之一[1]。樱桃番茄因其果皮薄、质地脆、含汁量高,在运输过程中极易在机械振动作用下发生隐性损伤,而该类损伤通常不易察觉。严重的隐性损伤会破坏细胞壁和细胞膜的完整性,导致糖类、维生素等营养物质溢出。这不仅为微生物滋生创造条件,也加速细胞降解和果实腐烂[2]。现有的果蔬损伤检测方法大多依赖人工感官评估,但由于其局限性,无法有效发现早期的隐性损伤,也不能在物流环节中及时采取有效的干预措施[3]。因此,亟需发展一种高效的检测方法,不仅能够准确检测樱桃番茄在运输过程中的隐性损伤,还为后续宏观无损检测技术的提升提供有力支持。
长途运输过程中,受到静压、碰撞、振动等因素影响,常使樱桃番茄等一些汁水丰富、果皮较薄的水果发生损伤,这会导致其果肉损伤迅速软化,并发生局部褐变等表观特征变化[4]。表观品质的变化与水果损伤状态的变化存在复杂关联。已有研究通过机器视觉技术捕捉运输过程中损伤水果颜色等表观特征的变化,实现损伤状态的准确检测[5] [6]。然而,传统的机器视觉主要依赖水果表观特征进行宏观检测,对于早期出现的表面微裂、细胞结构变化等隐性损伤常发生于微观很难实现准确的评价。因此,如何在微观尺度上实现对樱桃番茄损伤状态的精准识别与分类,成为当前研究的关键方向。已有学者尝试采用光学显微镜、扫描电镜等微观成像技术对果实细胞结果变化进行观察与分析。然而,此类微观成像技术往往只能提供细胞形态信息,难以捕捉损伤组织化学成分的细微变化,且多依赖人工识别,存在识别效率低、分类准确率有限等问题。与微观成像技术只有空间图像信息不同,高光谱显微成像技术(HMI)不仅可以揭示微观结构变化,还能充分发掘樱桃番茄组织在损伤过程中可能出现的色素降解、细胞内容物渗出等化学成分变化特征,从而为千禧番茄不同损伤状态的精准识别与分类提供更全面的深层信息[7]。目前,已有研究使用HMI技术实现水果损伤的检测,如Diandian Liang等人利用HMI捕捉中华猕猴桃不同损伤状态中的水分含量,实现了kiwifruit的早期损伤检测[8]。然而,HMI数据作为一种三维数据立方体,具有维度高、信息量大的特点,若采用传统的人工分析方法难以充分发掘HMI数据的空谱信息与樱桃番茄损伤状态之间的联系。近年来,相应的计算机视觉算法已广泛应用于水果损伤检测。其中,多数方法以传统机器学习算法为核心,按照顺序将特征提取和分类模块叠加在一起,具有实现简单、计算量较小的特点。但在处理具有多维感知信息的HMI数据时,其关键特征提取能力和泛化能力仍存在一定局限性。
Figure 1. Main research flowchart
图1. 主要研究流程图
深度学习具有准确、高效、稳定的特点,在食品检测领域大量的图像分析和处理中显示出明显的优势[9]。其中卷积神经网络(CNN)作为典型的深度学习结构,因其能自动提取并识别样本细微变化的关键特征,已广泛应用于图像分类、目标识别、食品检测等多个领域。同时,研究者在传统CNN基础上提出了多种改进模型,如一维卷积神经网络(1DCNN)、残差网络(Resnet18)以及三维卷积神经网络(3DCNN)等,这些改进网络在处理不同维度结构的数据方面表现出更强的特征表达能力,显著提升了复杂样本的分类性能。为此,本文将分别构建1D-CNN、ResNet18和3D-CNN三种模型,探索其在樱桃番茄损伤识别任务中的适用性与优势。
本研究以运输过程中樱桃番茄的损伤为研究对象,开展基于HMI数据的樱桃番茄损伤状态检测研究,主要流程如图1所示,具体研究内容如下:(1) 利用高光谱显微成像系统采集损伤与正常樱桃番茄的HMI数据;(2) 针对HMI一维光谱数据,根据VGG16网络框架构建1DCNN网络进行相应的训练与分类;(3) 针对HMI二维图像数据,构建ResNet18网络,为充分发掘图像中纹理特征和细胞边界特征变化,通过引入特征金字塔网络对Resnet18网络进行改进;(4) 针对HMI三维图像特征,构建3DCNN网络,为提高复杂数据的处理能力,避免深层次的关键特征丢失,通过引入通道注意力机制和空间注意力机制进行改进;(5) 为探究HMI数据多维感知信息在樱桃番茄损伤检测中的可行性,对比上述构建的樱桃番茄损伤检测模型,并根据模型最终分类结果,选择最优模型。
2. 材料与方法
2.1. 样品制备
本研究选取大连生鲜超市销售的无隐性损伤且表面品质完好的成熟千禧番茄(樱桃番茄品种)作为实验样品。为模拟现实运输过程中的振动环境,将部分樱桃番茄置于自建的振动试验台(图2),并将振动频率设置为15 Hz,振动时间为2小时,以更真实地模拟运输过程中可能对樱桃番茄造成的损伤[10]。然后,将正常与损伤的樱桃番茄用手术刀切成5 × 5 × 3 mm3的待测样品,置于载玻片表面,准备进行高光谱显微成像系统的数据采集。
Figure 2. Vibration Test Bench
图2. 振动试验台
2.2. 显微高光谱数据采集与准备
HMI系统如图1所示,主要由高光谱相机(四川双利合谱科技有限公司,成都,中国)、生物光学显微镜(Nikon E100,日本尼康仪器有限公司,日本)以及显示器等关键组件组成。系统所采集的显微高光谱数据由360幅960 (宽) × 1101 (长)像素的单波段光谱图像构成,覆盖波长范围为380.2~1020.2 nm。数据采集前,系统需预热30分钟以确保运行稳定性。为获得清晰准确的显微高光谱图像,显微镜采用40倍物镜配合10倍目镜;曝光时间设定为10 ms,增益值固定为1,以保证图像质量一致性。
在数据采集过程中,受照明系统非均匀性及载玻片光学特性差异影响,图像中易出现多种干扰信号,进而影响后续图像分析效果。针对上述问题,采用符合标准的黑白矫正对初始显微高光谱图像进行校正。为确保样品光谱数据的完整性与准确性,使用ENVI软件选取样品的完整图像区域作为感兴趣区域(ROI),提取平均光谱曲线。同时,为构建高质量的显微高光谱二维图像数据,采用主成分分析法(PCA)从360张单波段图像中提取贡献率前三的主成分图像。
2.3. 分类模型的建立
为探究HMI数据多维感知信息在樱桃番茄损伤检测中的可行性,分别针对一维、二维与三维HMI数据构建相应深度学习模型:基于樱桃番茄一维光谱数据的1DCNN、基于樱桃番茄二维图像数据的Resnet18和基于樱桃番茄三维HMI数据的3DCNN。
2.3.1. 基于1DCNN的樱桃番茄隐性损伤分类建模
对于一维光谱数据,参考VGG16建立1DCNN结构,不仅可以有效提取樱桃番茄光谱数据中的深层特征信息,而且可以最大限度地降低模型的复杂度。图3显示了其具体网络框架结构,包括13个一维的Conv层(1-D Conv),5个最大池化层,2个全连接层以及在网络末端配置了包含5个神经元的Softmax层。
Figure 3. 1D-CNN network architecture
图3. 1D-CNN网络架构
2.3.2. 基于ResNet18的樱桃番茄隐性损伤分类建模
运输过程中产生的振动会对樱桃番茄造成宏观层面难以检测的隐性损伤[11]。然而,这类损伤可能破坏细胞壁与细胞膜的结构完整性,导致图像中呈现出纹理特征异常及细胞边界模糊等变化。因此,本研究基于显微高光谱二维图像数据,构建了改进的ResNet18模型(F-ResNet18),该模型能够有效提取复杂的图像特征并处理微小的结构损伤(图4)。相比于传统的卷积神经网络,ResNet18通过其深层残差结构能够缓解梯度消失问题,从而使得网络能够学习到更多的细节特征,尤其适用于处理樱桃番茄微观层次的细胞结构损伤[12]。而通过在Resnet18基础网络头部引入FPN网络,使得在处理显微高光谱二维图像时能够适应不同尺寸的樱桃番茄细胞,增强多尺度特征的学习能力,提高模型性能。
Figure 4. F-Resnet18 network architecture diagram
图4. F-Resnet18网络结构图
2.3.3. 基于3DCNN的樱桃番茄隐性损伤分类建模
不同于传统机器视觉技术,显微高光谱数据是包含光谱和空间图像特征的三维数据立方体,含有丰富的樱桃番茄细胞理化信息的同时,也带来了大量的冗余信息[13]。因此,面向樱桃番茄HMI数据采用三维卷积神经网络,能够更全面地发掘数据中的深层次关键特征,有效捕捉樱桃番茄损伤状态下的细胞结构变化以及内部化学成分变化特征。基于3DCNN基本框架,设计如图5所示改进的3DCNN模型(SC-3DCNN),包含两个3D卷积层,分别对应32和64个3D卷积核,大小为3 × 3 × 3,每个卷积层后连接一个最大池化层,用以进一步提取数据中更具代表性的关键特征。传统的卷积神经网络通常采用池化层降低特征图维度,虽然能够有效降低计算复杂度,但极易引发显著空间特征辨识度下降。因此,通过在第二个最大池化层后引入空间注意力机制(STN)与通道注意力机制(SENet)以有效增强关键特征的传递效率,同时抑制非必要特征流的干扰,进而增强整个网络模型的性能表现。
Figure 5. SC-3DCNN network architecture diagram
图5. SC-3DCNN网络结构图
2.4. 评价标准
样本按照训练集和测试集7:3的比例进行划分。总共选择700个样本作为训练集,其余300个样本作为测试集。为了更客观地评估每个模型,引入准确率、精确率、召回率以及F1分数作为樱桃番茄损伤检测的评估指标。准确率越高,精确率越高,召回率越高,F1分数越高,意味着该模型表现良好。相反,各项指标过低,则表明模型存在一定问题,无法应用。
3. 结果与讨论
3.1. 光谱特征分析
运输过程中常见的振动等因素影响可能对樱桃番茄造成隐性损伤,这类损伤往往只出现微观层面上细胞结构的变化,如细胞壁和细胞膜的局部破裂或变形。较为严重的隐性损伤会造成完整的细胞结构被破坏,进而导致细胞内的叶绿素、类胡萝卜素等酚类物质含量发生变化,这些变化会显著改变细胞的理化性质,从而影响果实对光的吸收与反射特性。如图6所示,正常和损伤区域的樱桃番茄平均光谱曲线整体变化趋势基本一致,但反射率大小有显著差异。其中,损伤樱桃番茄光谱曲线的反射率相较于正常樱桃番茄光谱曲线有所下降,这一现象主要归因于樱桃番茄受损后,细胞破裂导致细胞液流出并填充细胞间隙,原本完整的细胞结构被破坏,光在组织中的散射作用减弱,导致其光谱反射率下降。典型的光谱吸收峰主要出现在404、485、565和642 nm波段。约在404、565和642 nm附近的吸收带主要归因于叶绿素a和叶绿素b等成分的吸收;而在485 nm处的吸收带则对应着类胡萝卜素的吸收峰。为深入挖掘光谱中与损伤相关的关键化学信息,本研究采用布谷鸟搜索(CS)算法对全波段光谱进行特征波长选择。分析结果显示,算法自动筛选出的关键波长子集(图6中垂直虚线标示)与上述基于化学先验知识识别的吸收带高度重合。该结果从数据驱动角度客观地印证了叶绿素与类胡萝卜素的变化是表征隐性损伤的最敏感指标,同时表明即使轻微的损伤也足以引发这些色素产生可被算法稳定捕获的特异性光谱响应。综上所述,通过特征波长选择方法,本研究不仅确认了光谱特征的物理化学基础,更精准定位了反映损伤核心机理的特征信号,深化了对樱桃番茄隐性损伤光学响应机制的认识。
Figure 6. Average spectral reflectance curve of cherry tomato cells
图6. 樱桃番茄细胞的平均光谱反射率曲线
3.2. PCA合成图像分析
鉴于一维光谱主要反映樱桃番茄的理化特性,当样本出现轻微隐性损伤时,由于其组织结构尚未发生显著破坏,化学成分变化不明显,导致难以通过一维光谱数据有效区分正常与损伤样本[14]。为克服上述问题,本文基于HMI数据,采用主成分分析(PCA)进行降维处理,提取具有代表性的主成分图像,以增强对樱桃番茄空间结构与纹理特征的表征能力,从而获取与损伤相关的关键图像信息。为量化评估PCA降维的有效性,绘制了樱桃番茄细胞主成分特征值图并分析了特征值(图7,表1)。从图7可以清晰地观察到,前三个主成分(PC1-PC3)的特征值远高于后续成分,且特征值下降曲线在第三个主成分后出现明显的“肘部”拐点,表明其后的主成分所含信息量急剧减少。表1的数值精确地量化了这一趋势:PC1的特征值最高(0.1279),独自贡献了97.22%的信息,这主要代表了图像中最显著的背景与亮度差异。PC2 (0.1036)和PC3 (0.0815)的特征值虽依次降低,但三者累计贡献率已达97.98%。这一结果证明,选择前三个主成分能够在保留绝大部分有效信息(>97%)的前提下,实现数据的高效压缩。随后,基于上述分析,选取前三个累计贡献度最高的主成分图像进行假彩色图像合成,以增强损伤区域的视觉可分性,并作为后续模型训练的二维图像输入(图8)。如图8所示,与三个单通道主成分图像(图8(a)~(c))相比,假彩色图像中细胞结构与背景之间的色彩对比更加显著,有助于揭示如细胞内容物渗出等轻微损伤特征。结果表明,基于前三个主成分的假彩色图像在区分损伤与正常细胞结构方面具有更优表现,为提高模型的检测准确性提供了有效的图像支撑。
Figure 7. Principal component eigenvalues of cherry tomato cells
图7. 樱桃番茄细胞主成分特征值
Table 1. Characteristics of principal components of cherry tomato cells
表1. 樱桃番茄细胞主成分特征信息
主成分 |
特征值 |
累计贡献率 |
1 |
0.1279 |
97.22% |
2 |
0.1036 |
97.65% |
3 |
0.0815 |
97.98% |
4 |
0.0780 |
98.31% |
5 |
0.0601 |
98.56% |
Figure 8. Synthesis of pseudo-color images of cherry tomatoes: (a)~(c) Single-channel spectral images, (d) Pseudo-color image
图8. 樱桃番茄伪彩色图像的合成:(a)~(c) 单通道光谱图像,(d) 伪彩色图像
3.3. 樱桃番茄隐性损伤分类模型的性能评价
3.3.1. 1DCNN
对于一维光谱数据,本文建立了1DCNN模型用于樱桃番茄隐性损伤的分类识别任务。为进一步验证深度学习方法在水果损伤检测中的适用性与优势,同时增强建模方法的对比性,本文引入支持向量机(SVM)作为对照模型,对同一数据进行建模分析[15]。表2显示了1DCNN与SVM模型基于一维光谱数据的分类结果。如表所示,SVM模型在整体分类准确率上达到0.830,但在区分樱桃番茄正常与损伤样本时,其召回率与F1分数存在明显差异,其在类别识别上的准确率不均衡表明,尽管SVM具备一定的分类能力,但受到全波段数据中存在的冗余信息和噪声等影响,无法较好的捕捉到这两类细胞之间存在的光谱特征差异,进而限制了其性能的进一步提升。相比之下,1DCNN模型的Accuracy达到了0.917,两种类别样本的各项指标均有明显提升,其中樱桃番茄损伤样本的Precision、Recall和F1 Score均超过了0.93。由图9混淆矩阵可以看出,1DCNN模型在樱桃番茄隐性损伤检测任务中,可以较好的实现正常与损伤细胞的准确分类,其在损伤样本中相较于SVM模型正确分类样本由166个提升至186个,而在正常样本中错分样本数量由17个减少至11个。这一结果表明,1DCNN在面向一维全波段光谱数据中能够较好的发掘两类别之间存在的光谱特征差异,有效判断樱桃番茄的隐性损伤。
Table 2. Classification model results for latent damage in cherry tomatoes based on one-dimensional spectral data
表2. 基于一维光谱数据的樱桃番茄隐性损伤分类模型结果
模型 |
类型 |
精确率 |
召回率 |
F1分数 |
准确率 |
SVM |
损伤 |
0.830 |
0.907 |
0.866 |
0.830 |
正常 |
0.830 |
0.709 |
0.764 |
1DCNN |
损伤 |
0.930 |
0.944 |
0.937 |
0.917 |
正常 |
0.890 |
0.864 |
0.877 |
Figure 9. Confusion matrix of cherry tomato damage classification models based on one-dimensional spectral data: (a) SVM; (b) 1DCNN
图9. 基于一维光谱数据的樱桃番茄损害分类模型混淆矩阵:(a) SVM;(b) 1DCNN
3.3.2. F-ResNet18
尽管基于一维光谱数据的分类模型在一定程度上实现了对樱桃番茄隐性损伤的识别,但在应对由轻微损伤引起的细胞结构早期变化时,其光谱反射特征与正常样本之间差异较小,导致模型的判别能力受到一定限制。为充分发掘早期隐性损伤引起的樱桃番茄细胞结构变化,本文面向HMI二维图像数据,基于ResNet18基础模型,引入FPN特征提取网络,构建改进的ResNet18模型(F-ResNet18),同时以ResNet18模型与传统二维卷积神经网络模型(2DCNN)作为对照模型,对同一数据进行建模分析。表3显示了三个模型基于二维图像数据的分类结果。如表所示,基础2DCNN模型准确率达到了0.93,表明相较于一维光谱数据,二维图像中的细胞结构等表观特征变化能够有效判别早期的隐性损伤,但在区分樱桃番茄正常与损伤样本时,其召回率和F1分数同样存在明显差异。相较于2DCNN网络,ResNet18模型的准确率有所提升,同时各类别的具体指标均超过了0.90,这可能由于其网络中引入的残差连接机制,有效缓解了梯度消失问题,并辅助深层次信息在网络中跨层传递,从而表现出更优的性能与更强的泛化能力。值得注意的是,三个模型中,F-ResNet18模型的Accuracy提升最为明显,达到了0.960,同时各项指标均超过了0.92。由各模型的混淆矩阵同样可以看出F-ResNet18模型的明显优势(图10),其在正常与损伤样本上的错分样本数量相较于2DCNN模型与ResNet18模型有所下降,其中损伤类别中只有8个样本错分,而正常类别只有4个样本错分。这一结果表明,基于二维图像数据的改进的ResNet18模型(F-ResNet18)能够有效判别樱桃番茄的隐性损伤。
Table 3. Results of the cherry tomato latent damage classification model based on two-dimensional image data
表3. 基于二维图像数据的樱桃番茄隐性损伤分类模型结果
模型 |
类型 |
精确率 |
召回率 |
F1分数 |
准确率 |
2DCNN |
损伤 |
0.930 |
0.964 |
0.947 |
0.930 |
正常 |
0.930 |
0.869 |
0.899 |
ResNet18 |
损伤 |
0.950 |
0.974 |
0.962 |
0.950 |
正常 |
0.950 |
0.905 |
0.927 |
F-ResNet18 |
损伤 |
0.960 |
0.980 |
0.970 |
0.960 |
正常 |
0.960 |
0.923 |
0.941 |
Figure 10. Confusion matrix of cherry tomato damage classification models based on 2D image data: (a) 2DCNN; (b) ResNet18; (c) F-ResNet18
图10. 基于二维图像数据的樱桃番茄损伤分类模型混淆矩阵:(a) 2DCNN;(b) ResNet18;(c) F-ResNet18
3.3.3. SC-3DCNN
一维光谱数据提供了丰富的理化信息,二维图像则反映了样品细胞结构等表观特征。尽管基于一维和二维数据的模型在整体准确率上表现良好,但在区分樱桃番茄正常与损伤样本时,分类性能仍存在不均衡,尤其体现在精确率和召回率等关键指标上的差异。为进一步提升模型对各类样本的均衡识别能力,并充分挖掘空间与光谱维度中蕴含的互补信息,本文基于三维超光谱数据(HMI),构建了融合双重注意力机制的改进模型SC-3DCNN。在3DCNN基础结构上,分别引入空间注意力机制(构成S-3DCNN)与通道–空间联合注意力机制(构成SC-3DCNN),并与原始模型进行对比分析。每个模型的具体表现如表4所示,如表所示,未采用任何改进策略的3DCNN模型的Accuracy达到了0.963,其余各项指标均超过0.93,这表明HMI三维数据能够同时提供光谱与图像信息,打破了一维光谱与二维图像数据的局限性,使得3DCNNN模型可以充分利用空谱信息中与樱桃番茄损伤相关的关键特征。引入空间注意力机制的S-3DCNN模型准确率相较于3DCNN基础模型提高了0.007,这可能由于空间注意力通过动态加权特征图的空间位置,使模型聚焦于损伤区域,从而提高损伤细胞的识别率。而SC-3DCNN模型的准确率得到进一步提高,同时各项指标均超过0.96,双注意力机制协同作用加强了模型对损伤区域的关键特征捕捉能力,同时辅助深层次信息在网络中的传递。图11展示了各模型混淆矩阵结果,值得注意的是SC-3DCNN模型的错分样本数量显著降低,损伤样本的错分数量仅为4,正常样本的错分数量仅为2。这一结果,验证了融合空间–通道注意力机制时,模型形成了樱桃番茄细胞损伤特征的多维度聚焦能力,使得该模型能有效辨识早期隐性损伤的微病变区域,从而增强模型的整体判别能力。
Table 4. Classification model results for hidden damage in cherry tomatoes based on HMI 3D data
表4. 基于HMI三维数据的樱桃番茄隐性损伤分类模型结果
模型 |
类型 |
精确率 |
召回率 |
F1分数 |
准确率 |
3DCNN |
损伤 |
0.965 |
0.980 |
0.972 |
0.963 |
正常 |
0.960 |
0.932 |
0.946 |
S-3DCNN |
损伤 |
0.970 |
0.985 |
0.977 |
0.970 |
正常 |
0.970 |
0.942 |
0.956 |
SC-3DCNN |
损伤 |
0.980 |
0.990 |
0.985 |
0.980 |
正常 |
0.980 |
0.961 |
0.970 |
Figure 11. Confusion matrix of cherry tomato damage classification models based on HMI 3D data: (a) 3DCNN; (b) S-3DCNN; (c) SC-3DCNN
图11. 基于HMI三维数据的樱桃番茄损伤分类模型混淆矩阵:(a) 3DCNN;(b) S-3DCNN;(c) SC-3DCNNN
4. 结论
本研究针对樱桃番茄在运输过程中因机械振动引发的隐性损伤问题,提出了一种基于高光谱显微成像系统(HMI)与深度学习相结合的无损检测方法。通过自建振动试验台模拟实际运输环境,采集正常与损伤样本的HMI数据,构建了用于模型训练与性能评估的数据集。为探究HMI数据多维感知信息在樱桃番茄隐性损伤检测中的可行性,分别针对一维光谱数据、二维图像数据和三维空间数据构建单一数据分类模型。结果表明,基于三维空间数据构建的分类模型,在性能上明显优于基于一维和二维数据构建的模型。在此基础上,通过引入融合空间–通道注意力机制提高损伤特征的多维度聚焦能力,最终构建的SC-3DCNN模型表现最优(准确率 = 0.980,损伤样本:精确率 = 0.980,召回率 = 0.990,F1分数 = 0.985;正常样本:精确率 = 0.980,召回率 = 0.961,F1分数 = 0.970),能够有效区分正常与损伤樱桃番茄。综上所述,本研究证明了HMI数据的多维感知信息在樱桃番茄隐性损伤检测中的可行性,同时验证了多维数据和深度学习网络相结合的检测方法在水果损伤检测中的可行性与实用价值,为水果损伤的宏观无损检测技术的提升提供有力支持。
NOTES
*通讯作者。