基于荧光响应的罗非鱼去鳞质量视觉检测方法研究

Research on Visual Detection Method of Tilapia Descaling Quality Based on Fluorescence Response

摘要: 罗非鱼前处理过程中去鳞残留直接影响罗非鱼外观品质和商业价值，现有的检测方法具有线下分散性操作以及依赖人工经验的特点，无法满足大规模生产线作业要求。为实现快速、无损的罗非鱼去鳞质量检测，利用去鳞区域与未去鳞区域在360~370 nm波段紫外线下的不同荧光响应，通过罗非鱼加工质量在线监测系统采集图像信息，提取去鳞区域与未去鳞区域的颜色特征，采用主成分分析进行特征的降维与融合。将主成分值作为模型输入，选择卷积神经网络(CNN)，构建罗非鱼去鳞质量检测模型，模型准确度97.5%、精确率98.3%、灵敏度96.7%。该方法在罗非鱼去鳞质量检测应用中具有一定潜力，可为开发实时在线检测装备提供参考。

Abstract: The descaling residues in the pretreatment of tilapia directly affect the appearance quality and commercial value of tilapia. The existing detection methods have the characteristics of decentralized operation and relying on manual experience, which cannot meet the requirements of large-scale production lines. In order to achieve fast and nondestructive detection of tilapia descaling, the different fluorescence responses of descaling area and undescaled area under ultraviolet range of 360~370 nm band were used to collect image information through the online monitoring system of tilapia processing quality, and the color characteristics of descaled area and undescaled area were extracted. Principal component analysis was used for feature dimensionality redution and fusion. The principal component values were taken as the input of the model, and the convolutional neural network (CNN) was selected to construct the tilapia descaling detection model. The detection Accuracy can reach 97.5%, Precision is 98.3% and Sensitive is 96.7%. This method has certain potential in tilapia descaling detection application, and can provide a reference for the development of real-time online detection equipment.

1. 引言

罗非鱼富含蛋白质、维生素、多不饱和脂肪酸以及人体必需的矿物质和微量元素 [1] [2]。据联合国粮农组织(FAO)统计，2020年全球共有143个国家和地区养殖罗非鱼，其中，中国的罗非鱼养殖与加工主要集中在广东、广西地区 [3]。目前，罗非鱼前处理加工工序主要包括去鳞、去脏、清洗和切片等。去鳞工序是鱼前处理加工的首要环节，去鳞过程鱼鳞去除不完全导致的去鳞残留物会直接影响罗非鱼外观品质和商业价值 [4] [5]。水射流式去鳞和机械摩擦去鳞法效率高，适合应用于流水线作业，并且能通过控制水射流输出压力或刀具角度等实现不同偏好的去鳞作业 [6] [7]，在实际生产中被广泛应用。但上述去鳞方式在加工量大，处理速度较快时，会出现鱼体局部鱼鳞未能彻底去除的情况发生。现有去鳞检测方法采用硫酸纸检测，该方法具有线下分散性操作以及依赖人工经验的特点，无法满足大规模生产线作业要求，且检测时间长，受主观因素影响较大 [8]。因此亟需一种快速、非破坏性的检测方法实现去鳞质量的监测。

近年来，随着光学仪器和传感器技术的发展，机器视觉因其具有无损、非接触等特点，越来越多地被应用于食品快速、无损检测研究 [9]，在肉类表观品质鉴评、脂肪含量和适口性预测，水果自动分级等方面取得了较好的效果 [10]。在鱼类的检测中，基于机器视觉技术，Shi Ce等 [11] 开发了一种机器视觉系统，用于罗非鱼4℃贮存期间基于瞳孔和鳃颜色变化对挥发性盐基氮(total volatile basic nitrogen, TVB-N)含量、TBA值和菌落总数(total viable count, TVC)进行建模和预测。马商牟司等 [12] 利用机器视觉提出了一种抗畸变性强的鱼轮廓检测方法。Costa等 [13] 开发了一种先进的鱼类新鲜度颜色评定方法，通过采用形态叠加法进行图像分析，获得了新鲜度判别区域，结果量化了鲜鱼和非鲜鱼的显著比色差异。目前，基于机器视觉的罗非鱼去鳞质量检测研究未见报道。鱼鳞在可见光下呈现半透明状，人眼很难分辨，现有的检测技术大都在可见光下进行，并不适合鱼鳞的检测。由于鱼鳞、鱼皮和鱼肉的特殊生物性状差异，在荧光激发下图像特征差异明显，如能考虑从不同的荧光响应入手，结合机器视觉技术，可实现去鳞质量智能检测。荧光响应是一种短波紫外线照射荧光物质后，荧光物质在长波段发光的现象 [14]。通过荧光响应进行物质特性分析，具有灵敏度高、选择性强等特点，在食品品质鉴评方面中得到了广泛应用 [15]，例如刘凯琪等 [16] 分析不同种类淀粉荧光响应光谱，实现了淀粉种类的分类。He Yu等 [17] 基于荧光响应实现了梨和大白菜中有机磷农药残留检测。Huan Liu等 [18] 通过荧光光谱测定实现了牛肉的化学成分与新鲜度。在鱼类的检测研究中，殷勇等 [19] 利用荧光光谱鉴别不同冷藏时间的大黄鱼鲜度；孟璐等 [20] 采用荧光PCR定量检测鲐鱼贮藏过程中微生物及品质变化，为本研究方法的开发提供了思路和理论基础。

本研究的主要目的是探索荧光激发下基于机器视觉技术实现罗非鱼去鳞质量检测的方法和潜力，主要内容包括：提出适合荧光激发下罗非鱼去鳞质量检测的图像预处理算法；构建基于统计分析的颜色特征提取方法；采用主成分分析实现检测数据的降维与融合，在此基础上，建立基于卷积神经网络的罗非鱼去鳞质量检测模型，实现罗非鱼去鳞效果的快速、无损检测。

2. 材料与方法

2.1. 罗非鱼样品制备

实验用罗非鱼购置于中国茂名鸿业水产有限公司，重量范围500~600 g。将购买的罗非鱼在冰冻条件下迅速运回实验室，采用流水解冻法 [21]，解冻时间5 min。随机选择80条罗非鱼采用手握式电动去鳞器去鳞，调整去鳞刀片角度，随机对鱼体表面进行去鳞。用吸水纸吸干表面水分，放入密封袋保存。

2.2. 罗非鱼加工质量在线监测系统

采用罗非鱼加工质量在线监测系统获取罗非鱼图像信息，如图1所示，该系统采用模块化设计，利用360~370 nm的紫外波段激发鱼鳞中的小分子染料或结构色产生荧光，并以边沿触发模式自动采集图像。系统主要包括：传送台、伺服电机、条形荧光光源、滤光片、工业相机和控制模块。将样品置于传送台上送至图像采集区，条形荧光光源与水平线呈45˚角照射待测样品，通过工业相机进行图像采集。系统参数设置为：样品间距10 cm、图像位深24、物距350 mm、图像分辨率1280 × 720、帧频60 fps、光源波段范围360~370 nm、滤波片中心波长(CWL) 365 nm、传送台移动速度0.23 m/s。

Figure 1. On-line monitoring system for tilapia processing quality

图1. 罗非鱼加工质量在线监测系统

2.3. 图像预处理与ROI提取

为减少仪器噪音、实验环境等因素对采集图像的影响，将采集的图像进行预处理，预处理过程包括：去噪声、背景分割、干扰区剔除、二值化、形态学处理。采用中值滤波器消除图像中孤立的噪声点，滤波器窗口大小为3 × 3 pixel² [22]；由于图像数据量较大，且存在噪声、背景等信息的干扰，为保证精确提取与去鳞效果相关的图像特征，需对背景、干扰区进行分割与剔除。基于本文的研究目标，背景定义为蓝色传送台，干扰区定义为鱼头、鱼尾和鱼鳍(背鳍、臀鳍)。根据实验研究，选择颜色阈值T₁、T₂和T₃剔除背景、背鳍和臀鳍，掩模1、掩模2剔除鱼头和鱼尾，获得鱼体图像。T₁、T₂和T₃满足公式如下：

${\text{T}}_{\text{1}}=\text{B}-\text{G}\le \text{8}$ (1)

${\text{T}}_{\text{2}}=\text{R}\le \text{6}0\left|\right|\text{B}-\text{G}\le \text{15}$ (2)

${\text{T}}_{\text{3}}=\text{R}\le \text{75}\left|\right|\text{B}-\text{G}\le \text{1}0$ (3)

式中，R、G、B为图像红、绿、蓝三个通道的颜色值。

设采集的原始图像中罗非鱼面积大小为L pixel × M pixel，根据样本统计分析，掩模1选择以鱼嘴为圆心，半径R = 0.2 L的圆形掩模；掩模2选择以鱼尾为基准点，沿鱼头方向的矩形掩模，大小为0.25 L × M。选用Otsu实现图像的阈值分割 [23]，获得鱼体的二值图像；在此基础上，通过形态学处理平滑二值图像轮廓；本文利用膨胀与腐蚀算法，消除鱼体轮廓狭窄的缺口与空洞，填补轮廓上的空隙，其中，膨胀算法取半径为2 pixel的圆形结构元素，腐蚀算法取边长为1 pixel的方形结构元素 [24]；以二值图像轮廓为掩模，获得完整的鱼体区域。图像预处理后，选择样品表面去鳞区域(S₁)和未去鳞区域(S₂)为感兴趣区域(ROI)进行后续处理。本文利用Matlab 2020 (Matrix Laboratory, USA)进行图像预处理和ROI提取。

2.4. 颜色特征提取

颜色特征是图像固有特征之一，具有对图像(尺寸、方向、视角)依赖性小、鲁棒性高等特点，在图像检索方面应用广泛 [25] [26]。颜色特征主要包括亮度、色调和饱和度，为全面反映罗非鱼荧光图像的颜色信息，在真彩图像颜色空间下提取ROI区域的11种颜色特征，为使选取的区域具有一定代表性，选择鱼背、鱼腹、鱼尾处进行提取。其中，S₁选择200个图像块(1*1 piexl²)，S₂选择200个图像块(1*1 piexl²)，计算公式如下所示：

${\text{C}}_1=\text{R}$ (4)

${\text{C}}_2=\text{G}$ (5)

${\text{C}}_3=\text{B}$ (6)

${\text{C}}_4=\frac{\text{R}-\text{G}}{\text{R}+\text{G}}$ (7)

${\text{C}}_5=\frac{\text{G}-\text{B}}{\text{G}+\text{R}}$ (8)

${\text{C}}_6=\frac{\text{B}-\text{R}}{\text{B}+\text{R}}$ (9)

${\text{C}}_7=\frac{\text{R}}{\text{B}}$ (10)

${\text{C}}_8=\frac{\text{G}}{\text{B}}$ (11)

${\text{C}}_9=\frac{\text{B}}{\text{R}}$ (12)

${\text{C}}_{10}=\frac{2\text{R}-\text{G}-\text{B}}{4}$ (13)

${\text{C}}_{11}=\frac{\text{R}+\text{G}+\text{B}}{3}$ (14)

式中，R、G、B为图像红、绿、蓝三个通道的颜色值。

2.5. 特征降维与融合

上述11个颜色特征(C1-C11)之间存在一定的相关性，如果不做任何处理直接将以上颜色特征全部作为分类的参数，会存在一部分重叠和冗余的数据。本研究采用主成分分析进行特征降维，降低数据处理的计算量、复杂性和处理时间，同时实现颜色特征的融合。主成分分析是一种多元统计分析方法，通过正交变换用相关性较小的变量代替原来的变量，所得结果按投影方差大小顺序排列，方差越大包含的信息越多，少数主成分即可代表大部分原始数据信息 [27] [28]。当主成分的方差累积贡献率值达到99.99%以上，即可代替原多个变量 [29]。

2.6. 罗非鱼去鳞质量检测模型

近年来，机器学习在肉类表观品质鉴评、脂肪含量和适口性预测，水果自动分级、食品掺假识别等方面取得了较好的效果 [30]。卷积神经网络(CNN)是一种包含卷积计算且具有深度结构的前馈神经网络，能自动提取图像特征，并对图像的位移、缩放和扭曲等变形具有良好的适应性，是机器学习的代表性算法之一 [31] [32]。本文面向颜色特征，建立基于卷积神经网络的罗非鱼去鳞质量检测模型。如图2所示，原始图像特征降维融合后的主成分依次进入输入层、C1卷积层、P2池化层、C3卷积层、P4池化层，最后进入全连接层进行概率空间映射，输出每种图像块的置信度，从而给出分类结果。本研究CNN模型有2个卷积层，卷积层中的卷积核尺寸均为1 × 2，卷积核的移动步幅为2个像素，卷积后图像的尺寸变为一半，每个卷积层中的卷积核通道数不固定，C1卷积层中卷积核通道数为4，C3卷积层中卷积核通道数为8。池化层采用最大池化法，P2池化层的窗口大小1 × 2，步幅取2，P4池化层的窗口大小1 × 1，步幅取1。全连接层中进行概率空间映射，输出类别标签的概率，其中，S₁对应标签为1，S₂对应标签为2。由于识别的是多类别图像，故使用多类别交叉熵 [33] 作为损失函数，计算公式如下所示：

$l=-\frac{1}{N}{\displaystyle {\sum }_n^i{\displaystyle {\sum }_k^i{t}_{nk}lg{y}_{nk}}}$ (15)

式中，l为损失函数，N为样本数，本研究N = 280，t_nk为第n个样本的第k个属性的真实值，采用one-hot编码，y_nk为第n个样本的第k个属性的预测值。

Figure 2. Testing model of tilapia descaling quality

图2. 罗非鱼去鳞质量检测模型

CNN模型训练过程如图3所示，用于建立罗非鱼去鳞质量检测模型的图像块共400幅，其中，S₁区域为200幅，S₂区域为200幅。训练集和预测集比例为7:3，即选择280幅图像块用于建立模型的训练集(S₁ = 140，S₂ = 140)，120幅图像块用于建立模型预测集(S₁ = 60，S₂ = 60)。训练集采用随机生成器，通过数据流的形式，从训练样本中每次随机提取20个样本参与训练。模型初始化参数设置中初始学习率取0.0001，迭代次数取100，提取的样本参与一次梯度下降的参数更新。CNN通过前向传播训练神经元，最后采用动量梯度下降法(SGDM) [34] 优化损失函数，SGDM是一种利用动量参数(γ)构造指数加权平均数，加权平均后现有梯度代替原梯度进行参数更新的快速收敛算法。本研究采用“早停”技术 [35] 防止过拟合，即随着迭代轮数的增加，验证误差上升，则停止训练，将停止之后的权重作为模型的最终参数。

Figure 3. Model training process

图3. 模型训练过程

本文通过准确度(Accuracy)、精确率(Precision)、灵敏度(Sensitive)对模型进行评价。其中Accuracy表示模型对S₁、S₂整体判别正确的能力，Precision表示模型的判别正确的可信度，Sensitive表示图像块识别中实际和预测结果一致的比例。其中，Accuracy > 80%，说明该方法可以用于实际应用，Accuracy > 95%说明该方法具有优秀的去鳞质量检测能力，Precision和Sensitive大于95%，说明该方法预测准确且可信度高。评价参数计算过程如下式所示：

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$ (16)

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}$ (17)

$\text{Sensitive}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (18)

式中，TP表示正确检测出该图像块类别数量，TN表示未正确检测出图像块类别数量，FP表示去鳞图像块(S₁)被检测为未去鳞图像块(S₂)数量，FN表示未去鳞图像块(S₂)被检测为去鳞图像块(S₁)数量。本研究预测集的N = 120。

3. 结果与讨论

3.1. 图像处理过程与结果

ROI提取效果的好坏直接影响特征提取和目标识别的精度，是图像分析和判别中最重要的步骤之一。图4所示为图像处理过程和结果。原始图像(图4(a))经中值滤波后(图4(b))，消除了部分噪声，在一定程度上提高了图像质量；如图4(c)所示，颜色阈值T₁去除了大部分的背景信息干扰。掩模2、掩模1剔除干扰区中鱼尾(图4(d))与鱼头(图4(e))，但干扰区中背鳍和臀鳍面积较大，不利于后续去鳞检测，如图4(f)所示，采用颜色阈值T₂、T₃剔除背鳍和臀鳍。如图4(g)所示，Otsu法分割后的图像去除了大部分干扰，但鱼体轮廓出现凹坑和突刺，经膨胀腐蚀后在一定程度上平滑图像轮廓，消除了由于光照、采集设备等对轮廓造成的影响(图4(h))；最终，以二值图像轮廓为掩模，获得完整的鱼体区域(图4(i))。

Figure 4. Image processing process

图4. 图像处理过程

3.2. 特征的提取与分析

提取2.4所述11个颜色特征值进行主成分分析，颜色特征数据的主成分特征值和方差累计贡献率如表1所示，主成分PC1、PC2、PC3、PC4、PC5和PC6方差累积贡献率已达99.99%，说明上述六个主成分可以代替颜色特征数据的99.99%的变量信息，因此选取PC1~PC6六个主成分进行后续分析。

Table 1. Principal component figure PC1-PC6 cumulative contribution rate

表1. 主成分图PC1~PC6累积贡献率

3.3. 罗非鱼去鳞质量检测模型

图5为CNN模型训练结果。为避免过拟合和欠拟合，采用动量梯度下降法(SGDM)对神经网络的权重(W)和偏置(b)进行优化，通过5折交叉验证所得分类识别准确率构造模型准确度曲线(图5(a))，值越高表明模型识别越准确。图5(b)为损失函数曲线l，当预测值与真实值越接近，损失函数值越低 [36]。CNN模型经过100次迭代，准确率达到99.99%，损失降至1.2 × 10⁻³⁰。训练结果表明，模型性能优异，可用于后续预测集验证。基于颜色特征的罗非鱼去鳞质量检测模型预测集混淆矩阵如表2所示。模型显示，去鳞区域(S₁)中，59幅预测正确，1幅误判为未去鳞区域(S₂)；未去鳞区域(S₂)中，58幅预测正确，2幅误判为去鳞区域(S₁)，模型的准确度 >95%，说明该模型在进行去鳞判别时具有较优的判别效果。精确率和灵敏度均大于95%，说明该方法对有鳞图像块(S₁)、无鳞图像块(S₂)均具有较好的识别效果。

Figure 5. Model training results

图5. 模型训练结果

Table 2. Model confusion matrix for quality detection of tilapia descaling based on color feature

表2. 基于颜色特征的罗非鱼去鳞质量检测模型预测集混淆矩阵

4. 结论

为了实现快速、无损的罗非鱼去鳞质量检测，提取去鳞区域(S₁)、未去鳞区域(S₂)的11种颜色特征，经过主成分分析对颜色特征降维与融合，结合卷积神经网络(CNN)，建立罗非鱼去鳞质量检测模型，模型准确度97.5%、精确率98.3%、灵敏度96.7%、程序运行时间1.06 s，说明基于上述方法进行罗非鱼去鳞质量检测是具有一定潜力的。

基金项目

本项目受国家重点研发计划项目(2018YFD0700905)，辽宁省自然科学基金项目(2020-MS-273)资助。

NOTES

^*通讯作者。