1. 研究现状
我们提出了一种基于超声图像的恶性甲状腺结节分割方法。
传统的疾病诊断治疗过程大多是基于医生对任何特定疾病的经验。然而，这种诊断方法有很大的局限性，即其性能更依赖于医生的经验和个人知识 [1] [2] 。因此，诊断性能的变化和有限的。随着数字技术的发展，基于图像的诊断技术已被广泛用于帮助医生调查皮肤下和/或人体深处的器官问题。例如，医生使用x射线成像来捕获肺和/或骨骼图像，可以帮助表明这些器官中是否存在疾病/损伤。为了诊断人类大脑的问题，计算机断层扫描(CT)和/或磁共振成像(MRI)技术已被广泛使用。借助于成像技术，诊断性能可以大大提高 [3] 。然而，所捕获的图像的使用仍然依赖于医生的个人知识和经验。为了克服这一问题，计算机辅助诊断系统(CAD)已经被开发到机箱中用于现实应用，如诊断脑、乳房、肺和甲状腺疾病。甲状腺是位于人体颈部的一个重要器官，它产生和分泌两种重要的激素，即三碘甲状腺原氨酸和甲状腺素，它们负责调节人体的新陈代谢。由于其在人体中的重要作用，甲状腺疾病的诊断和治疗已成为重要的。如以往的研究报道，甲状腺区域常见的一个重要问题是引起甲状腺癌的结节的出现。甲状腺结节是一种出现在人体甲状腺区域的异常肿块。它们可能由多种因素引起，包括缺碘、正常甲状腺组织过度生长或甲状腺癌。甲状腺结节根据其特点，通常可分为良性(非癌性结节)和恶性(可导致甲状腺癌)两类。在良性和恶性的病例中，甲状腺结节的出现都会导致患者的健康问题。随着结节的出现，甲状腺区域可能会出现故障。虽然良性病例对患者的健康影响不大，但它会导致美学问题和/或使患者呼吸和/或吞咽困难。恶性病例可导致甲状腺癌 [4] 。幸运的是，根据之前的研究报道，大多数检测到的甲状腺结节是良性病例。然而，恶性病例的诊断和治疗仍然非常重要。
然而，这些方法都是代价十分昂贵的。作为一种替代基于图像的甲状腺结节诊断已被应用于各种应用。这种方法利用高频声波(超声波)来产生甲状腺区域的图像。因此，该方法提供了丰富的甲状腺结节的信息，如结节的形状和结构以及结节的状况 [5] 。
利用超声甲状腺结节图像，已有多项CAD对甲状腺结节检测和分类问题的研究。与上述传统的甲状腺诊断方法相比，甲状腺结节的CAD方法使用超声甲状腺结节图像作为输入，产生甲状腺结节区域和/或结节状态(良性或恶性)。与正常的图像处理系统类似，甲状腺结节的CAD系统使用多种图像处理技术从输入的图像中提取信息，用于检测/分类。
随着反向传播算法、神经网络、图形处理单元(GPU)等技术的发展，基于深度学习的技术近年来已被应用于解决医学图像处理系统中的许多问题 [6] 。对于甲状腺结节的检测/分类问题，基于深度学习的方法取得了很大的成功。正如其名称所示，基于深度学习的方法，如卷积神经网络(CNN)，可以自动学习有用的纹理特征的检测分类问题，而不是使用手工制作的(固定的)特征提取方法。因此，基于深度学习的方法比基于手工制作的方法可以产生更优越的结果。在Zhu等人的一项研究中，他们提出了一种使用CNN系统分类甲状腺结节的方法。在他们的研究中，他们对残差网络(基于resnet18的网络)进行了微调，并使用公共数据集获得了良好的分类结果 [5] 。与Zhu等人的工作相似，Chi等人的工作还利用CNN网络将超声甲状腺结节图像分类为良性结节和恶性结节 [7] 。然而，与Zhu等人的研究不同的是，Chi等人使用谷歌网络进行分类。此外，他们使用两个数据集训练CNN模型，以减少过拟合问题的影响和输入图像的变化。在其他一些研究中，如Song等人的研究表明，Song的检测和分类方法进行分类。在该研究中，Song等人使用了多尺度单镜头检测网络(多尺度SSD)或Yolo网络等检测网络来粗略检测胸腺的位置该方法的优点是，在执行分类步骤之前，可以去除噪声和非结节区域。然而，很难找到小结节，而且网络结构非常复杂 [8] 。在Sundar等人的一项研究中，作者提出了一个使用CNN网络进行甲状腺结节分类的一般框架，包括微调、从头开始训练和使用预先训练的网络进行图像特征提取。通过他们提出的方法，他们使用两种流行的CNN结构进行了各种实验，包括一个基于VGG16-Net结构的相对浅层网络，和一个基于初始的深度网络(GoogLeNet)结构 [9] [10] 。
2. 实验
2.1. 数据集介绍
[DDTI数据集下载地址]：https://drive.google.com/file/d/1wwlsEhwfSyvQsJBRjeDLhUjqZh8eaH2R/view。
网络上的有非常大的公共甲状腺结节数据集，超过4500例患者病例，分别来自不同的年龄，性别，并使用不同的超声设备所收集。每个超声图像提供其Ground Truth (良性或恶性)和结节的详细描述。该数据集来自。将为来自不同背景(例如学术界、工业界和政府等)的参与者比较他们的算法。数据集包括训练集图像和测试集图像，以灰度图和.png扩展名保存，分别采集于不同设备因此具有不同的尺寸大小。其中，训练集图像共包含由3644名患者所采集到的3644例超声结节甲状腺图像。结节的注释由经验丰富的医生标记。所有标注图像均为二值图像，其中前景像素是255，背景像素值为0。图像名统一保存为“xxx.png”。其中“XXX”呈现患者ID (从001到3644编号)。分类任务的注释保存在CSV文件中，具有ID的标题(患者ID的表示)，并且包含Cate属性，其中0代表良性，1代表恶性。
2.2. 数据预处理
由于采用不同的采集协议，部分甲状腺超声图像有不相关区域(背景环境噪声)。首先，我们采用阈值法去除这些可能带来冗余特征的区域。特别地，我们对像素值从0到255的原始图像进行沿x轴和y轴平均的操作，分别去除均值小于5的行和列。然后将处理后的图像大小调整为256 × 256分辨率作为第一个分割网络的输入。
2.3. 级联分割框架
作者使用了一个简单的级联框架来分割结节，它可以很容易地扩展到其他单目标分割任务。利用损失函数(Dice Loss)对两个具有相同编解码器结构的网络进行训练。事实上，我们选择DeeplabV3+ with efficientnet-B6的主干网络作为第一个网络和第二个网络的编码器。训练第一个分割网络(级联的I阶段)提供结节的粗定位，在粗定位的基础上，训练第二次分割网络(级联的II阶段)进行细分割。我们的初步实验表明，在第一个网络中提供的上下文信息可能不会对第二个网络的细化起到显著的辅助作用。因此，我们只使用真实值(Ground Truth, GT)获得的感兴趣区域(Region of Interest, ROI)内的图像来训练第二个网络(在训练这两个网络的过程中，输入数据是唯一的区别)。
当训练第二个网络时，我们将真实值得到的结节感兴趣区域展开，然后将扩大的ROI中的图像裁剪出来，并将其大小调整为512 × 512像素，以供第二个网络使用。我们观察到，在大多数病例中，大结节一般边界清楚，而且小结节的灰度值与周围正常的甲状腺组织的灰度值差异较大(如图1、图2所示)。因此，背景信息(结节周围组织)对于小结节的分割具有重要意义。如图3所示，在预处理后大小为256 × 256像素的图像中，首先得到结节感兴趣区域的最小外平方，然后若正方形边长n大于80，则外扩m为20，否则m为30。
Figure 1. Comparison of large and small nodules
图1. 大小结节对比
Figure 2. Pre-processing diagram of segmentation data
图2. 分割数据预处理示意图
Figure 3. Split training test procedure
图3. 分割训练测试过程
3. 数据增强和测试时间增强后处理
在这两个任务中，以下几种方法在数据增强中将进行执行：1) 水平翻转；2) 垂直翻转；3) 随机剪切；4) 随机仿射变换；5) 随机检尺；6) 随机翻译；7) 随机旋转；8) 随机剪切变换。此外，随机选择以下方法之一进行额外的增强：1) 锐磨；2) 局部辨析；3) 调整对比；4) 模糊(高斯，平均值，中值)；5) 高斯噪声的加法；6) 擦除。测试时间增强(TTA, Test Time Augmentation)通常提高分割模型的泛化能力。在我们的框架中，TTA包括用于分割任务的垂直翻转，水平翻转和180度旋转。
关于训练策略我们使用五折交叉验证来评估所提出的方法的性能。我们的观点是，有必要保持训练集和验证集中结节的大小和类别分布相似。实际上，结节的大小是将预处理后的图像统一为256 × 256像素。我们将尺度分为三个等级：1) 小于1722像素；2) 小于5666像素大于1722像素；3) 大于5666像素。这两个阈值，1722像素和5666像素，很接近三分位数，通过卡方独立检验，大小分层与良、恶性分类有统计学意义(p < 0.01)。我们将每个尺寸等级组的图像分为5个等级，并将不同等级的单次折叠合成新的单次折叠。这一策略确保了最后五次折叠具有类似的大小和种类分布。
具体分割结果如表1所示，经过去除不相干的区域的预处理，进一步使用实验级联框架–五折交叉验证的策略，平衡结节大小和种类分布然后使用测试时增强。由于在五折交叉验证中分别训练了两个网络，我们将任意一个第一个网络和一个第二个网络组合成一对，最后我们得到25对(或推理结果)并通过像素投票将25对结果合并成最终的模型整体结果的集合：
在训练集上测试了3644张图像或结节，恶性2003：良性1641。
Table 1. Fifty-fold cross-validation segmentation results based on “DeeplabV3+ with efficientnet-B6 encoder”
表1. 基于“DeeplabV3+ with efficientnet-B6 encoder”的五折交叉验证分割结果
4. 讨论总结
总的来说，整体思路可分为数据预处理+模型训练+分割后处理三部分。首先，对于数据预处理部分，通过阈值法及边界裁剪策略删除了无用的背景噪声干扰信息，使模型得以训练一批干净的数据。其次，对于模型训练，采用常规的分割网络框架Deeplab v3，并应用了提取能力较强的Efficient-Net B6作为主干网络进行特征提取，同时结合了五折交叉验证和丰富的数据增强等训练技巧很好的对模型继续训练并有效地避免过拟合的风险，增强了网络的泛化性能。需要注意的是，作者的分割网络框架采取了两阶段的形式，即粗分割–细分割，最后，再对分割后的结果采取了测试时增强策略来进一步的提分。这种级联结构也是非常常用的，值得借鉴。
基金项目
邵阳学院2022年校级研究生科研创新项目(CX2022SY062)。