基于改进YOLOv5s6的母胎外周血细胞检测

Maternal Fetal Peripheral Blood Cell Detection Based on Improved YOLOv5s6

摘要: 母胎外周血细胞的检测和计数为医务人员的产前诊断提供了高效、可靠的技术支持。本文提出了一种改进YOLOv5s6的目标检测模型REPYOLO-TS2，用于母胎外周血细胞的检测。首先，我们通过对HSV颜色空间中的色调(H)，饱和度(S)，亮度(V)三个通道添加扰动来丰富数据集的环境背景，以实现图像增强并通过马赛克数据增强方法以提高模型的泛化能力。其次，我们在主干网的尾部用C3TR模块代替原模型的C3模块并将主干网的前两个C3模块替换成Repvggblock模块，然后在模型的颈部添加了一种高效的空间转移注意力机制(S2Attention)以提高模型对不同环境背景细胞的检测精度。最后，我们将α-CIoU替换原模型的坐标损失函数CIoU，使检测器能够更快地学习高IoU目标。经过参数调试和实验验证，我们最终确定α值为0.15。最终的实验数据显示，REPYOLO-TS2模型对母体和胎儿外周血细胞的mAP值@0.5为94.2%。

Abstract: The detection and counting of maternal and fetal peripheral blood cells provide efficient and reliable technical support for prenatal diagnosis of medical personnel. In this paper, an improved YOLOv5s6 target detection model, REPYOLO-TS2, was proposed for the detection of maternal fetal peripheral blood cells. First, we added disturbance to hue (H), saturation (S) and brightness (V) in the HSV color space to enrich the environmental background of the dataset, so as to achieve image enhancement and improve the generalization ability of the model through Mosaic data enhancement method. Secondly, we replaced the C3 module of the original model with C3TR module at the tail of the backbone network and replaced the first two C3 modules of the backbone network with Repvggblock module. Then, an efficient S2Attention mechanism was added to the neck of the model to improve the detection accuracy of cells with different environmental backgrounds. Finally, we replace the coordinate loss function CIoU with alpha-CIoU, so that the detector can learn the high IoU target faster. After parameter debugging and experimental verification, the α value is finally determined to be 0.15. Final experimental data showed that the mAP@0.5 value of maternal and fetal peripheral blood cells induced by REPYOLO-TS2 model was 94.2%.

1. 引言

母胎外周血细胞(maternal peripheral blood cells, MPBC)是指孕妇外周血中存在的胎儿来源的细胞，包括滋养层细胞、白细胞、造血干细胞和有核红细胞。其中，有核红细胞是指含有核的红细胞，是一种成熟度较低的红细胞，在正常情况下，只存在于人类的早期发育阶段，在妊娠期间，有核红细胞可以从胎盘通过母体循环进入孕妇外周血中，分娩第5周开始可检出孕妇外周血中。母胎外周血中的胎儿有核红细胞(FNRBC)的平均含量是评估胎儿是否异常的有效手段。当胎儿正常，胎儿有核红细胞的平均数量在母胎外周血线性相关的妊娠周期，而当胎儿异常由于慢性胎儿组织缺氧，促红细胞生成素水平增加，刺激促红细胞生成，FNRBC的数量增加 [1] [2] 。因此，FNRBC的识别和计数是无创产前诊断的重要基础 [3] 。 图1显示了母胎外周血细胞，我们将这些细胞分为三种类型，即红细胞、胎儿有核红细胞和其他类型的细胞。可以看出，细胞分布的密度极高，而FNRBC的数量非常少。然而，上述三种细胞的分布都是随机的，为了获得胎儿有核红细胞在母胎外周血细胞中的比例，通常需要大量的劳动成本。因此，我们迫切需要一种自动检测方法来提高医务人员的计数效率和识别精度。

Figure 1. Three cell types in maternal fetal peripheral blood

图1. 母胎外周血中的三种细胞类型

目前，虽然传统的图像处理在细胞检测领域得到了广泛的应用 [4] [5] [6] ，但是很难确定一种有效的FNRBC筛选方案，这使得传统的图像处理方法难以在大量阴性细胞中识别FNRBC。幸运的是，随着深度学习的快速发展，卷积神经网络在图像二维结构中的自然优势已经得到充分利用，并应用于各个领域的目标检测 [7] [8] [9] ，其中不缺乏细胞检测领域 [10] [11] 。经过目标检测领域多年的发展，各种模型相继被提出，它们在准确性和速度方面都有自己的特点。 最近，Zhang等人将YOLOv3算法应用于细胞检测领域 [12] ，而YOLOv3算法由于其大量的模型参数，难以应用于嵌入式设备。为了平衡模型的复杂度和检测精度，Xu等人提出了一种改进的YOLOF轻量级模型，以平衡模型的精度和大小，极大地提高了模型的检测速度 [13] 。 本文为了提高细胞的检测精度，提出了一种基于REPYOLO-TS2的母胎外周血细胞的细胞检测模型。本文的主要工作可以总结如下：

1) 利用HSV图像增强和moasic数据增强方法来丰富数据集的上下文，提高模型的泛化能力。

2) 我们提出了一种基于YOLOv5s6的高精度细胞检测模型，结合Repvggblock模块、Transformer模块和空间转移的注意力机制。

3) 我们将原始YOLOv5s6的坐标损失CIoU替换成α-CIoU。增加IoU相对损失的权重，使得模型更加关注高IoU的目标，最终提高了模型的精度。

Figure 2. YOLO series target detection process

图2. YOLO系列目标检测过程

Figure 3. Schematic diagram of the original YOLOv5s6 network structure

图3. 原始YOLOv5s6网络结构示意图

2. 原始YOLOv5s6模型

YOLO系列算法作为一种经典的目标检测算法，受到大家的喜爱。最初的版本是由Redmon等人提出的 [14] 。图2显示了YOLO系列目标检测算法的流程，将图像划分为S × S网格，并按照网格中心的对象对物体的置信度和检测框进行预测。如图3所示，最新版本的YOLOv5s6主要包括三个部分，分别是主干网、颈部和头部。其中，主骨网部分由卷积模块、C3模块和SPPF模块组成。两种卷积模块都由卷积层(Conv)、批处理归一化层(BN)和(SiLU)激活函数组成。第一个卷积模块的卷积层的卷积核大小为6 × 6，步幅为2，填充数为2。通过对第一个Conv模块的输入图像512 × 512 × 3进行卷积处理，得到256 × 256 × 32大小的特征图。该Conv模块取代了原来的Focus模块，在不改变模型性能的情况下进一步提高了模型的运行速度。在新版本的YOLOv5s6中，作者将BottleneckCSP (瓶颈层)模块转换为C3模块。其结构功能与CSP结构基本相同，但校正单元的选择有所不同。它包括3个标准卷积层和多个瓶颈模块，C3相对于BottleneckCSP模块不同的是，经历过残差输出后的Conv模块被去掉了，Concat后的标准卷积模块中的激活函数也由LeakyRelu变为了SiLU，该模块是对残差特征进行学习的主要模块，其结构分为两支，一支使用了上述指定多个Bottleneck堆叠和3个标准卷积层，另一支仅经过一个基本卷积模块，最后将两个分支进行Concat操作。SPPF模块基于SPP模块进行了改进。在SPP模块中，使用k = (1 × 1, 5 × 5, 9 × 9, 13 × 13)，然后对不同尺度的特征图进行Concat操作 [15] 。 SPPF结构是将输入连续通过多个5 × 5 MaxPool层，用两个5 × 5卷积操作替换9 × 9卷积操作，用3个5 × 5卷积操作替换13 × 13卷积操作。当接受域保持不变时，SPPF模块使模型计算速度更快。YOLOv5s6的颈部继续使用FPN结构从上到下传递高级特征的语义特征 [16] ，结合PAN结构从下而上传递定位特征，提高了网络的特征聚合能力 [17] 。

Figure 4. Schematic diagram of the improved REPYOLO-TS2 network

图4. 改进后的REPYOLO-TS2网络结构示意图

3. 方法论

母胎外周血细胞的检测和计数对于新生儿缺陷的诊断具有重要意义，特别是在不同的检测环境下。其中，母胎外周血载玻片样品的制备过程会影响细胞的特性。在高分辨率显微镜下采集的母体外周血细胞样本数量较大，不同类别间的样本数量不平衡。强烈的结构相似性也很容易导致细胞的遗漏和重复检测。如图4所示，我们改进了YOLOv5s6模型，通过添加Repvggblock模块、C3TR模块和S2Attention通道注意力机制模块以提高母胎外周血细胞检测模型的检测精度。

3.1. 数据增强

由于胎儿有核红细胞在母胎外周血细胞中的比例非常小，我们制作的数据集数量有限。数据增强有助于我们有效地扩展了数据集的大小，并有效地提高了模型的泛化能力。由于相机内部的ISP模块不同，以及显微镜光源的亮度不同，不同类型的显微镜拍摄的图像会有很大的差异。如图5所示，我们调整了图像的HSV值，使模型对不同显微镜场景下拍摄的图像更具鲁棒性。此外，我们还使用马赛克数据增强技术缝合了4张细胞图像 [18] ，这极大地丰富了细胞检测的背景。

Figure 5. Data enhancement method. (a) (b) (c) Mosaic, (d) (e) (f) HSV

图5. 数据增强方法。(a) (b) (c)马赛克，(d) (e) (f) HSV

3.2. Transformer Block模块

随着计算机视觉的发展，Transformer逐渐应用到视觉领域 [19] [20] ，我们将YOLOv5s6中C3模块的Bottleneck block替换为Transformer Block，形成C3TR模块，C3TR模块的结构示意图如图6所示。由于网络末端的特征图大小最小，为了尽可能地减小模型的大小，我们只将主干网最后一层的C3模块替换为C3TR模块。Transformer Block模块如图所示，由两个子层组成，即多层注意层和MLP层。在每个子层之间使用残差连接。与Bottleneck block模块相比，Transformer Block模块不仅提高了捕获不同局部信息的能力，它还可以利用自注意力机制 [21] 来捕获全局信息并丰富了上下文，在高密度的细胞图像识别中也充分发挥了它的潜能。

Figure 6. Internal diagram of C3TR network structure

图6. C3TR网络结构内部示意图

3.3. Repvggblock模块

Repvggblock是一种新型的卷积结构，它由三个分支构成：一个3 × 3卷积分支，一个1 × 1卷积分支和一个同等映射分支。这三个分支的输出经过逐元素相加后再通过ReLU激活函数。本文将YOLOv5s6主干网的前两个C3模块替换成Repvggblock模块，Repvggblock模块可以在训练时使用多个卷积分支来增强特征提取能力，在推理时将多个卷积分支融合成一个等效卷积核来降低计算量，而C3模块在训练和推理时都使用相同的复杂多分支结构，这使得Repvggblock模块在推理时具有更高的速度和更低的内存消耗。Repvggblock模块可以在普通卷积网络上达到与残差网络相当甚至更高的精度，而C3模块仍然依赖于残差连接来保证网络深度和性能。这说明Repvggblock模块具有更强大和稳定的特征提取能力。图7展示了Repvggblock模块在训练阶段和推理阶段的结构：

Figure 7. Repvgg’s training and testing module

图7. Repvgg的训练和测试模块

3.4. 空间转移注意机制

为了在复杂的细胞背景下检测母胎外周血细胞，我们引入了一种有效的空间转移注意机制(S2Attention) [22] ，S2Attention是一种基于MLP的空间转移注意机制模块。 如图8所示，S2Attention首先使用MLP将特征图的维数展开3次，然后将展开的特征图分成三个部分，对分割的两个部分和另一部分进行不同方向的空间位移操作。同时，利用分离注意操作将这些分离的特征图进行融合，最后通过MLP层得到初始维度的特征图。我们发现，空间位移注意机制和自注意机制的结合，使模型不仅能够捕获空间中的全局信息，还能够学习不同通道之间变化引起的特征影响，大大提高了模型的性能。

Figure 8. Schematic diagram of spatial translation attention mechanism module

图8. 空间平移注意机制模块示意图

3.5. 损失函数

损失函数是评价网络预测结果的常用指标。YOLO系列的损失函数包括坐标损失、目标置信度损失和分类损失。目标置信度损失和分类损失采用二进制交叉熵损失。坐标损失采用交并比(IoU)损失，用IoU判断bbox是正样本还是负样本，对bbox尺度不变，有助于训练更好的检测器。 然而，当预测的盒子与真实值不重叠时，IoU值为零，IoU损失会出现梯度消失的问题，导致模型收敛速度较慢。为了解决这个问题，研究人员提出了几种改进的基于IoU的损失设计，包括GIoU [23] 、DIoU和CIoU [24] 。GIoU在IoU损失中引入了一个惩罚项来缓解梯度消失问题，而DIoU和CIoU在惩罚项中分别考虑了预测框与地面真实值之间的中心点距离和宽高比。与CIoU相比，DIoU只计算预测框与真实值中心点之间的距离，因此当中心点重叠且长宽比不同时，损失值保持不变。

${\mathcal{L}}_{\text{CIoU}}=1-\text{IoU}+\frac{{\rho }^2\left(b,b^{gt}\right)}{c^2}+\beta v$ (1)

${\mathcal{L}}_{\alpha \text{-CIoU}}=1-{\text{IoU}}^{\alpha }+\frac{{\rho }^{2\alpha }\left(b,b^{gt}\right)}{c^{2\alpha }}+{\left(\beta v\right)}^{\alpha }$ (2)

$v=\frac{4}{{\pi }^2}{\left(\arctan \frac{w^{gt}}{h^{gt}}-\arctan \frac{w}{h}\right)}^2$ (3)

$\beta =\frac{v}{\left(1-\text{IoU}\right)+v}$ (4)

本文将YOLOv5s6坐标损失CIoU替换为α-CIoU [25] ，其中ρ为欧氏距离，c为最小bbox的对角线长度。当α > 1时，α通过增加模型相对损失的权重，使模型更关注高IoU目标，有助于探测器更快地学习高IoU目标，为优化所有层次的目标创造了更多空间。

4. 实验准备

4.1. 数据集准备

本文用于制作数据集的显微镜为NE950直立显微镜，母胎外周血载玻片样本由上海长宁妇幼保健医院提供。CMOS相机在显微镜上的最大分辨率为5472 × 3648像素。我们的数据集样本是通过将母胎外周血细胞载玻片置于20倍放大的显微镜下，聚焦物镜，平移到细胞稀疏分布的空间获得的。由于FNRNC样本极其罕见，我们经过了几个月的收集和筛选了，将收集到的5472 × 3648图像切割成多个512 × 512图像，最后从数万张图像中筛选出1100张细胞图。我们根据7:3的比例将数据集分为训练集和验证集，其中训练集包含21,628个红细胞、570个胎儿有核红细胞和332个其他类型的细胞。

4.2. 评价指标

在细胞检测过程中，背景环境可能被识别为细胞或遗漏，因此精度(P)和召回率(R)被用作细胞检测的常用指标。

$P=\frac{T_P}{T_P+F_P}$ (5)

$R=\frac{T_P}{T_P+F_N}$ (6)

其中，T_P (True Positives)表示模型检测结果和标签都是细胞的情况，F_P (False Positives)表示模型检测结果是细胞但标签是背景的情况，T_N (True Negatives)表示模型检测结果为背景而标签为细胞的情况，F_N (False Negatives)表示模型检测结果为细胞而标签为背景的情况。

为了更好的评估模型的效果，结合precision (P)和recall (R)，用平均精度(mean average precision, mAP)评价模型的性能。mAP是所有细胞类型的平均精度(AP)的平均值。这里我们分三种类型的细胞，包括RBC、FNRNC和OTHERS (N = 3)，mAP表示为：

$\text{map}=\frac{{\displaystyle {\sum }_{k=1}^n{\displaystyle {\int }_0^1{P}_m\left(R_m\right)\text{d}{R}_m}}}{n}$ (7)

5. 实验和结果

5.1. α-CIoU

在本实验中，将原坐标损失CIoU替换为α-CIoU。我们取4个α值进行比较检验，4个α分别为(1.5、2、2.5、3)，得到的模型YOLOv5s6-α-CIoU与原始的YOLOv5s6模型作对比。如表1所示，当α为1.5时，模型效果最好，mAP值比原始值高0.5%。

5.2. 消融实验

在本节中，基于我们自制的母胎外周血细胞数据集训练，我们通过逐步添加我们提出的模块来展示每个方法或模块对模型的影响，如表2所示，其中√表示使用了该方法或模块。图9为切割后的下母胎外周血细胞的检测结果。

Table 1. Comparison results of α-YOLOv5s6

表1. α-YOLOv5s6的比较结果

Table 2. Ablation results

表2. 消融实验结果

Figure 9. Maternal fetal peripheral blood test results after cutting

图9. 切割后的母胎外周血检测结果

6. 结论

本研究提出一种基于YOLOv5s6的改进方法REPYOLO-TS2来解决显微镜场景下母胎外周血的检测问题。REPYOLO-TS2模型对样本数不平衡、重叠面积大、高密度、结构相似、随周期变化的细胞获得了较高的检测结果。实验和比较结果表明，REPYOLO-TS2比原YOLOv5s6模型有了很大的改进，改进后的模型识别准确率达到94.2%。在不同的显微镜场景下，从母胎外周血样本中获得的细胞特征并不完全相同，显微镜的放大倍数也会影响细胞特性。我们希望在未来的研究中改进和开发一个具有较高鲁棒性的模型，从而使该模型在母胎外周血细胞的不同识别场景下具有较高的识别精度。

基金项目

国家自然科学基金项目(No. 11874266和12174260)、上海市明日之星计划项目(No. 21QA1406400)和上海市科技发展基金项目(No. 21ZR1443500)资助。