基于改进残差网络和注意机制的生化分析仪异常取样压力分类
Classification of Abnormal Sampling Pressure Based on Improved Residual Network and Attention Mechanism in Biochemical Analyzers
DOI: 10.12677/hjbm.2025.153058, PDF, HTML, XML,   
作者: 张 祺, 聂立波:湖南工业大学生命科学与化学学院,湖南 株洲;肖伸平*:湖南工业大学电气与信息工程学院,湖南 株洲;彭远刚, 宋永波:深圳市亚辉龙生物科技股份有限公司,广东 深圳
关键词: 生化分析仪残差网络时间序列分类注意力机制Biochemical Analyzer Residual Network Time Series Classification Attention Mechanism
摘要: 取样系统在生化分析仪中一直起着至关重要的作用。如何有效识别取样过程中的异常信号,提高取样精度和准确性是生化分析仪领域面临的重大挑战。本文提出了一种结合改进残差网络和注意机制的分类模型,以准确识别异常取样压力。首先,利用基于改进残差结构的卷积神经网络提取信号的局部特征;其次,结合双向长短期记忆网络,增强网络对时间特征的捕捉能力;最后,引入高效的加法注意机制,为每个提取的特征分配区域判别权重,帮助模型在训练过程中更加重视重要特征,从而提高分类精度。实验是基于从多个全自动生化分析仪测得的不同浓度样品所建立的数据集进行的。该模型在数据集上的总体准确率为96.02%,有望应用于生化检测仪器领域。
Abstract: Sampling systems have always played a crucial role in biochemical analyzers. How to effectively identify abnormal signals in the sampling process and improve sampling precision and accuracy is a major challenge in the field of biochemical analyzers. In this paper, a classification model combining improved residual network and attention mechanism is proposed to accurately identify abnormal sampling pressure. Firstly, a convolutional neural network based on the improved residual structure is used to extract local features of the signal; secondly, a bidirectional long and short-term memory network is combined to enhance the network’s ability to capture temporal features; finally, an efficient additive attentional mechanism is introduced to assign regional discriminative weights to each extracted feature, which helps the model to pay more attention to the important features during the training process, thus improving the classification accuracy. The experiments are based on a dataset built from samples with different concentrations measured from several fully automated biochemical analyzers. The model has an overall accuracy of 96.02% on the dataset and is expected to be applied in the field of biochemical testing instruments.
文章引用:张祺, 肖伸平, 聂立波, 彭远刚, 宋永波. 基于改进残差网络和注意机制的生化分析仪异常取样压力分类[J]. 生物医学, 2025, 15(3): 502-513. https://doi.org/10.12677/hjbm.2025.153058

1. 引言

作为现代临床检验的关键设备,全自动生化分析仪通过高精度定量检测技术,为临床医学提供关键数据支撑。其可精准测定肝肾功能指标、血糖浓度等重要参数,有效辅助医师进行病理诊断与疗效评估。随着生化检测项目逐渐增多和检测精度不断提升,样品容量正逐步向微型化发展,这使得采样系统成为自动生化检测中的关键环节[1] [2]。若样品处理不当,仪器在吸取血液时,血清中纤维蛋白和血块极易引发取样针局部或完全堵塞,从而使样品结果的判断与处理变得更加复杂;特别是在吸取过程中若发生局部堵塞,则可能损害样品,导致试验结果出错[3] [4]。因此,取样系统须能及时检测出血凝块,准确而迅速地识别问题,并及时报警干预。

日立与罗氏公司长期以来一直采用Mahalanobis-Taguchi系统(MTS)对生化分析仪采集的吸入压力信号进行模式识别[5] [6]。该方法在多个指定时刻采集压力波形距离的均值以计算特征值,再将其与阈值比较以判断样品吸样是否异常[7]。但这种基于距离的检测手段难以识别数据中的微小异常,且对仪器整体测量精度要求较高。此外,还可以利用小波变换或离散小波变换从信号中提取特定时间点的频率成分、信号幅度和相位信息等特征,再将特征与机器学习模型相结合[8] [9]。然而,此方法在特征提取过程中,它们高度依赖于波形变换的参数选择,难以捕捉到信号固有的复杂时间依赖性。

与此同时,深度学习等新一代人工智能技术在医疗领域已取得显著进展,智能技术与医疗设备的深度融合为疾病的诊断、治疗及康复开辟了新途径。为此,本文提出了一种基于自动生化分析仪取样压力信号的分类模型,该模型结合了改进残差网络(EResnet)和双向长短期记忆网络(BiLSTM)。主要优势在于:首先,在残差模型中引入通道特征注意模块,构建了残差通道注意模型,从而更准确地捕捉压力信号序列的特征及其内在联系;其次,针对传统算法难以捕捉长期相关数据中的时序模式而导致压力信号特征学习受限的问题,本文采用BiLSTM网络对长期数据进行了深度分析;最后,利用线性注意力机制降低模型计算复杂度,实现了更高效的上下文信息捕获,从而显著提高了模型准确性。

2. 时间序列相关工作

近年来,深度学习在计算机视觉、自然语言处理等领域取得显著进展,其在时间序列分类中的应用也受到广泛关注。深度学习模型能够自动从原始数据中提取特征,从而减少对人工特征工程的依赖。这类模型通常具备良好的泛化能力,在未见数据上表现更优性能,并能处理复杂多样的数据模式[10] [11]。基于这些优势,一些研究尝试开发基于深度学习的时间序列分析模型。Ibrahim M等人[12]提出了一种结合一维卷积神经网络和双向长短期记忆网络的深度学习模型,用于单变量时间序列的异常检测。该混合模型为该任务提供了新的技术路径,有望在相关领域取得更优的检测性能。Khan M等人[13]提出了两种基于双向长短期记忆网络(BiLSTM)和全卷积网络(FCN)的混合深度学习框架,用于单变量时间序列分类任务。该模型通过BiLSTM捕获时序数据的前后依赖关系,利用FCN提取特征,并引入注意力机制以提升性能。Zhu H等人[14]提出了一种多元时间序列分类网络TCRAN,该网络通过时间校正残差通道注意块(TRCAB)和模块间自适应特征调整机制,有效提升了时序数据的时序依赖特征表示能力,从而提高了分类精度。从上述分析可知,单变量时间时序数据在众多应用场景中普遍存在。针对性挖掘这类数据的特征可更精准解决具体问题,进而提升异常检测的实用性与有效性。

深度学习在一维时序信号分析中的成功实践,为其在医疗健康领域的精准应用开辟了新的技术路径。Qiu X等人[15]提出了一种基于脑电图信号的ResNet-LSTM网络用于癫痫发作检测。该模型结合了卷积神经网络(ResNet)和循环神经网络(LSTM)的优势,通过差异分层自动挖掘额外的癫痫发作信息,显著提升了检测性能,证明了其临床应用潜力。Gan Y等人[16]提出了一种基于DenseNet-BiLSTM的并行心律失常分类模型,该模型通过并行结构同时捕获小尺度和大尺度心跳的波形特征。DenseNet用于增强局部特征提取能力,BiLSTM用于提升时间序列特征提取性能,最后采用加权交叉熵损失函数来缓解类别不平衡问题。Cheng J等人[17]提出了一种基于深度卷积神经网络和双向长短期记忆网络的心电信号分类方法。该方法结合小波变换和中值滤波进行数据预处理,利用24层DCNN和不同大小的卷积核提取心电信号的详细特征,从而提高了分类精度,有助于临床诊断和心房颤动的自我监测。

3. 数据与方法

3.1. 取样压力系统的结构

取样压力系统由取样针、多通道取样器、柱塞泵和液体管路等组成,其结构相对简单。连接图如图1所示。这些组成部分协同工作,确保生化分析仪的采样系统能够高效、准确地处理样品。为了防止样品中可能含有的纤维蛋白或其他固体物质堵塞样品探头,进而影响样品的准确吸入,系统在柱塞泵和电磁阀之间的液体管路上安装了压力传感器,用于监测管内压力。通过分析管内的压力变化,系统能够自动检测样品是否导致针头堵塞。此外,通过将管内异常压力波形与正常波形进行比较,系统可以进一步判断采样针内部的堵塞程度,尽管这些压力差通常很小且变化迅速。只有通过准确的监测和比对机制,才能确保全自动生化分析仪检测结果的可靠性。

3.2. 异常压力分类模型

所提出的分类模型如图2所示,主要由改进的ResNet网络、BiLSTM网络、自注意力机制和全连接

Figure 1. Connection diagram of the sampling pressure system

1. 采样压力系统连接图

Figure 2. EResNet-ABiLSTM network structure

2. EResNet-ABiLSTM网络结构

层组成。模型的输入数据以序列形式呈现,每个序列包含720个样本。在改进的ResNet网络中,通过构建深度卷积层有效缓解了深度网络中的梯度退化问题,同时提取了局部特征,并集成了高效通道注意力(ECA)模块,进一步提升了网络模型的性能。模型采用双层BiLSTM结构,逐步降低输出空间的维度,提取时间特征并确保有效收敛。BiLSTM网络充分考虑了信号中的时间相关性,提取全局特征,相比传统LSTM网络,节省了计算资源。此外,模型还引入了有效的加性注意力机制,动态地为特征信号分配权重,增强了对关键特征的关注,从而提升了分类性能。最后,全连接层对所有特征进行聚合和展开,将其转化为一维向量,并结合softmax函数完成异常压力信号识别任务的最终分类。

3.3. 改进的残差网络

卷积神经网络擅长从输入数据中提取复杂特征,其性能一般随着网络深度的增加而提高。然而,当网络深度达到一定程度时,在训练过程中会面临梯度消失或爆炸等挑战,这将导致训练精度随着深度的增加而下降。为了解决这些问题,残余网络[18]应运而生。与缺乏这种独特结构或深度的模型相比,ResNet通过引入残差连接,有效地缓解了梯度消失问题,增强了训练过程中的特征学习能力,从而进一步提升了特征提取的效果。

注意力机制是一种通过模拟人脑的注意机制来优化深度学习模型的方法[19],其核心思想是将更多的注意力资源集中在关键领域,筛选出重要的信息,同时有效抑制无用信息。通过引入轻量级的注意力模块ECA (Efficient Channel Attention),该模块虽然涉及的参数较少,但能显著提升网络模型的性能[20]。ECA是一种无需降维的局部跨通道交互策略,可通过快速一维卷积有效实现,并且能够很好地集成到现有的深度学习模型中。其结构如图3所示。

Figure 3. ECA attention mechanism module

3. ECA注意机制模块

本研究将ResNet与ECA通道注意机制模块相结合,提升了网络性能,增强了其对输入特征的提取能力。在ResNet的所有模块中,每个卷积神经网络(CNN)层后均进行了批归一化处理,并采用了线性整流激活函数(ReLU)。随后,特征信息被传递至ECA通道注意机制模块,该模块为相关信息分配更高的权重,从而提高识别精度。最终,ECA通道注意机制模块的输出被加入到原始输入中,实现了残差结构的跳跃连接效果。改进后的ResNet网络结构包括带有注意机制的残差块、平均池化层和ReLU激活函数。图4左展示了ECA-ResNet模型的整体结构,而图4右详细描述了每个带有注意机制的残差块(ECA-Residual Block)的内部结构。

Figure 4. ECA-ResNet model

4. ECA-ResNet模型

3.4. 双向长短期记忆网络

了它们执行异常检测[21]等任务的能力。与单向LSTM相比,BiLSTM在此类应用中表现出更优越的性能优势。图5中的原理图说明了BiLSTM网络结构,其中“WX”表示控制输入流向不同LSTM层的权值。

Figure 5. Structure of BiLSTM network

5. BiLSTM网络的结构

3.5. 加法注意力机制

加法注意力机制[22]引入了一种新的方法,通过用线性元素乘法取代传统的二次矩阵乘法,显著降低了计算复杂度,并增强了对上下文信息的捕获能力,如图6所示。具体来说,将特征矩阵X变换为query和key,然后将query矩阵Q乘以可学习参数向量Wa来学习查询的注意力权重,从而得到全局注意力query向量 α 为:

Figure 6. Structure of additive attention

6. 加法注意力的结构

α= Q W a / d (1)

然后,基于学习到的注意力权重 α ,对query加权求和,得到单个全局query向量q

q= i=1 n α i Q i (2)

最后,通过Key矩阵与全局query向量q的交互建立全局上下文,一个用于交互的线性转换层。有效加性注意力机制Y的输出可以描述为:

Y=norm( Q )+Linear( QK ) (3)

4. 结果和讨论

4.1. 数据集描述

生化分析仪分析的样品主要由不同粘度的液体组成,如血液和尿液。用黏度计在37℃下测定标准化全血和血清黏度[23]。当黏度计剪切速率为1 s1时,全血的平均黏度为(5.46 ± 0.84) mPa∙s,血清的平均黏度为1.27 ± 0.06 mPa∙s。本研究的重点是对取样过程中的异常压力进行分类和识别。为了实现这一点,我们使用不同粘度的PVA溶液来模拟真实样品中血细胞和纤维蛋白的堵塞。黏度设置为3、4、5、6 mPa∙s,其中6 mPa∙s与全血的黏度非常接近,用于模拟生化分析仪在真实条件下取样针的堵塞情况,并以浓度相对较低的液体作为对照进行区分。

本研究的数据集按照训练集和测试集4:1的比例原则构建,共3600个样本。样品取自10台YHLO IBC-900仪器,含有4种不同黏度的PVA溶液。由于四种溶液的采样比例不同,数据集不平衡,采样范围为1 uL~25 uL。采样系统中的压力传感器来自霍尼韦尔的26PC系列,采样频率为1000 Hz,每个数据点由前720个采样点组成。

4.2. 评价指标和实验设置

为了更好地评估网络模型的分类性能,本研究采用总体准确性、敏感性和特异性作为性能指标。各指标的计算过程如下:

在等式中,TP表示真实标签为正且模型预测其为正的实例。TN表示真实标签为负且模型预测为负的情况。FN表示真实标签为正,但模型预测为负的实例。FP表示真实标签为负,但模型预测其为正的实例。

Acc= TP+TN TP+TN+FP+FN ×100% (4)

Sen= TP TP+FN ×100% (5)

Spe= TN TN+FP ×100% (6)

所有实验均在相同的硬件和软件环境、数据集分割和参数配置下进行。该模型在一台配备AMD Ryzen 5 5600X@3.70 GHz处理器和Nvidia GeForce GTX 3060 GPU的电脑上进行训练,运行Windows 11操作系统和Python 3.8编程环境。该模型采用交叉熵最小化和L2正则化作为最终损失函数,并进行Adam优化。在训练过程中,学习率和批大小分别设置为0.0001和64,训练epoch为100。

4.3. 消融实验

本研究在已建立的数据集上进行了消融实验,通过依次去除每个模块并比较分类结果的性能,验证了模型中各模块的有效性。实验涉及的模型包括:基础的BiLSTM网络模型、结合长短期记忆网络的ResNet-BiLSTM模型、其增强版本EResNet-BiLSTM,以及包含注意力机制的变体EResNet-ABiLSTM。每个模型在测试集上的准确率如图7所示。从图中可以清楚地看出,在训练的初始阶段,所有四个模型都表现出不同程度的振荡。其中,BiLSTM模型振荡最明显,初始精度最低。这是因为模型在初始阶段未能有效地从信号中提取深度特征,导致特征提取不足,影响了网络的学习能力。相比之下,结合残差结构的ResNet-BiLSTM模型通过增强特征提取能力,在准确率上有了显著提高。此外,与EResNet-BiLSTM模型相比,注意机制的加入简化了并行计算,进一步提高了模型的分类精度和稳定性。

Figure 7. Accuracy curve of ablation experiments

7. 消融实验准确率曲线

Figure 8. Loss curves of ablation experiments

8. 消融实验损失曲线

图8显示了不同算法在训练过程中的损失曲线对比。可以直观地看到,在模型训练初期,这些损失迅速减小,并随着训练的进行逐渐收敛,模型对训练数据的拟合能力也越来越强。本研究方法实现了最小损失值,经过50次迭代后收敛到0.82左右。收敛速度和最终收敛值均优于其他算法,表明本方法对数据具有较好的拟合能力。

Figure 9. Confusion matrix of ablation experiments

9. 消融实验混淆矩阵

图9以混淆矩阵的形式显示了不同模型在数据集上的分类性能。从图中可以看出,在识别粘度为6 mPa∙s的PVA溶液引起的堵塞时,各模型的分类结果都在稳步提高。然而,对于低浓度液体的分类,由于模型的变化相对稳定,其性能存在一定的不足。表1给出了在数据集上实验得到的模型的准确性、灵敏度和特异性。由表可知,EResNet-ABiLSTM、EResNet-BiLSTM、ResNet-BiLSTM和BiLSTM的识别准确率分别为:96.02%、92.90%、90.20%、86.72%。通过在模型中加入注意力机制和ECA模块,模型的整体准确率分别提高了2.70%和3.12%。实验结果表明,本文提出的ERseNet-ABiLSTM网络模型在该数据集的实验中取得了良好的效果。

为了进一步说明本模型在不同类别中的分类性能,使用了接收者操作特征曲线(ROC)和曲线下面积(AUC)指标。ROC曲线如图所示,AUC值代表曲线下面积与分类性能质量的比例。同时,用宏观平均和微观平均来评价模型的分类效果。各模型ROC-AUC曲线及计算结果如图10所示。总体而言,在粘度为6 mPa∙s的PVA溶液分类任务中,模型的OC-ROC值从0.91提高到0.99。这表明对模型的改进增强了其正确分类正、负样本的能力,从而提高了模型的分类性能,也增强了模型的泛化和预测能力。

Table 1. Ablation experiment results

1. 消融实验结果

方法

准确率/%

灵敏度/%

特异性/%

BiLSTM

86.72%

86.79%

95.58%

ResNet-BiLSTM

90.20%

89.94%

96.72%

EResNet-BiLSTM

92.90%

92.65%

97.63%

EResNet-ABiLSTM

96.02%

95.99%

98.67%

Figure 10. ROC-AUC curve

10. ROC-AUC曲线

4.4. 对比实验

由于使用的数据集的独特性,将本研究的结果与其他方法的结果进行比较具有挑战性。本研究比较了现有方法中常用的模型,包括递归神经网络GRU [24]和改进的卷积网络MC-CNN [25]和FCN [26]。对比结果如表2所示。为了确保公平的比较,所有的实验设置都与我们提出的模型中使用的设置相同。与其他方法相比,可以看出本研究提出的方法对于采样压力分类任务更为有效,在生化分析仪器的应用中具有潜在的价值。

Table 2. Comparative experiment results

2. 对比实验结果

方法

准确率/%

灵敏度/%

特异性/%

GRU

91.76%

91.46%

97.24%

MC-CNN

81.82%

82.73%

94.00%

FCN

81.53%

82.53%

93.91%

Our model

96.02%

95.99%

98.67%

5. 结论

为了有效识别生化分析仪采样过程中的异常压力,本文提出了一种EResNet-ABiGRU压力信号分类模型。其中,EResNet用于从压力信号中提取更深层次的空间信息,而BiLSTM则从EResNet的输出中捕获时间依赖性。所引入的注意力机制能够为相关信息赋予更高的权重。通过实验验证,该模型在压力异常检测中表现出有效性和实用性。此外,与近期相关研究方法的比较表明,本研究提出的混合模型优于目前大多数现有算法。然而,由于本研究是基于生化分析仪的实验结果,模型在实际应用中的通用性仍需进一步研究。

NOTES

*通讯作者。

参考文献

[1] Bahinipati, J., Kumari, S., Pradhan, T. and Sahoo, D. (2020) Comparison of Test Performance of Biochemical Parameters in Semiautomatic Method and Fully Automatic Analyzer Method. Journal of Family Medicine and Primary Care, 9, 3994-4000.
https://doi.org/10.4103/jfmpc.jfmpc_94_20
[2] Yi, H., Shi, W., Zhang, Y., Zhu, X., Yu, Y., Wang, X., et al. (2020) Comparison of Electrolyte and Glucose Levels Measured by a Blood Gas Analyzer and an Automated Biochemistry Analyzer among Hospitalized Patients. Journal of Clinical Laboratory Analysis, 34, e23291.
https://doi.org/10.1002/jcla.23291
[3] Qian, J., Song, T., Zhang, Q., Cai, G. and Cai, M. (2024) Analysis and Diagnosis of Hemolytic Specimens by AU5800 Biochemical Analyzer Combined with AI Technology. Frontiers in Computing and Intelligent Systems, 6, 100-103.
https://doi.org/10.54097/qoseeq5n
[4] Zhu, Y., Meng, X., Chen, Y., Li, J., Shao, H., Lu, Y., et al. (2020) Self-Served and Fully Automated Biochemical Detection of Finger-Prick Blood at Home Using a Portable Microfluidic Analyzer. Sensors and Actuators B: Chemical, 303, Article ID: 127235.
https://doi.org/10.1016/j.snb.2019.127235
[5] Chang, Z.P., Li, Y.W. and Fatima, N. (2019) A Theoretical Survey on Mahalanobis-Taguchi System. Measurement, 136, 501-510.
https://doi.org/10.1016/j.measurement.2018.12.090
[6] El-Banna, M. (2017) Modified Mahalanobis Taguchi System for Imbalance Data Classification. Computational Intelligence and Neuroscience, 2017, Article ID: 5874896.
https://doi.org/10.1155/2017/5874896
[7] Woodall, W.H., Koudelik, R., Tsui, K., Kim, S.B., Stoumbos, Z.G. and Carvounis, C.P. (2003) A Review and Analysis of the Mahalanobis—Taguchi System. Technometrics, 45, 1-15.
https://doi.org/10.1198/004017002188618626
[8] Wong, D.F., Chao, L.S., Zeng, X., Vai, M. and Lam, H. (2014) Time Series for Blind Biosignal Classification Model. Computers in Biology and Medicine, 54, 32-36.
https://doi.org/10.1016/j.compbiomed.2014.08.007
[9] Arvanaghi, R., Danishvar, S. and Danishvar, M. (2022) Classification Cardiac Beats Using Arterial Blood Pressure Signal Based on Discrete Wavelet Transform and Deep Convolutional Neural Network. Biomedical Signal Processing and Control, 71, Article ID: 103131.
https://doi.org/10.1016/j.bspc.2021.103131
[10] Mahmud, M., Kaiser, M.S., McGinnity, T.M. and Hussain, A. (2021) Deep Learning in Mining Biological Data. Cognitive Computation, 13, 1-33.
https://doi.org/10.1007/s12559-020-09773-x
[11] Tang, B., Pan, Z., Yin, K. and Khateeb, A. (2019) Recent Advances of Deep Learning in Bioinformatics and Computational Biology. Frontiers in Genetics, 10, Article No. 214.
https://doi.org/10.3389/fgene.2019.00214
[12] Ibrahim, M., Badran, K.M. and Esmat Hussien, A. (2022) Artificial Intelligence-Based Approach for Univariate Time-Series Anomaly Detection Using Hybrid CNN-BiLSTM Model. 2022 13th International Conference on Electrical Engineering (ICEENG), Cairo, 29-31 March 2022, 129-133.
https://doi.org/10.1109/iceeng49683.2022.9781894
[13] Khan, M., Wang, H., Riaz, A., Elfatyany, A. and Karim, S. (2021) Bidirectional LSTM-RNN-Based Hybrid Deep Learning Frameworks for Univariate Time Series Classification. The Journal of Supercomputing, 77, 7021-7045.
https://doi.org/10.1007/s11227-020-03560-z
[14] Zhu, H., Zhang, J., Cui, H., Wang, K. and Tang, Q. (2022) TCRAN: Multivariate Time Series Classification Using Residual Channel Attention Networks with Time Correction. Applied Soft Computing, 114, Article ID: 108117.
https://doi.org/10.1016/j.asoc.2021.108117
[15] Qiu, X., Yan, F. and Liu, H. (2023) A Difference Attention Resnet-LSTM Network for Epileptic Seizure Detection Using EEG Signal. Biomedical Signal Processing and Control, 83, Article ID: 104652.
https://doi.org/10.1016/j.bspc.2023.104652
[16] Gan, Y., Shi, J., He, W. and Sun, F. (2021) Parallel Classification Model of Arrhythmia Based on DenseNet-BiLSTM. Biocybernetics and Biomedical Engineering, 41, 1548-1560.
https://doi.org/10.1016/j.bbe.2021.09.001
[17] Cheng, J., Zou, Q. and Zhao, Y. (2021) ECG Signal Classification Based on Deep CNN and BiLSTM. BMC Medical Informatics and Decision Making, 21, Article No. 365.
https://doi.org/10.1186/s12911-021-01736-y
[18] He, K., Zhang, X., Ren, S. and Sun, J. (2016) Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, 27-30 June 2016, 770-778.
https://doi.org/10.1109/cvpr.2016.90
[19] Niu, Z., Zhong, G. and Yu, H. (2021) A Review on the Attention Mechanism of Deep Learning. Neurocomputing, 452, 48-62.
https://doi.org/10.1016/j.neucom.2021.03.091
[20] Wang, Q., Wu, B., Zhu, P., Li, P., Zuo, W. and Hu, Q. (2020) ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, 14-19 June 2020, 11534-11542.
https://doi.org/10.1109/cvpr42600.2020.01155
[21] Aljbali, S. and Roy, K. (2020) Anomaly Detection Using Bidirectional LSTM. In: Arai, K., Kapoor, S. and Bhatia, R., Eds., Intelligent Systems and Applications, Springer International Publishing, 612-619.
https://doi.org/10.1007/978-3-030-55180-3_45
[22] Shaker, A., Maaz, M., Rasheed, H., Khan, S., Yang, M. and Khan, F.S. (2023) Swiftformer: Efficient Additive Attention for Transformer-Based Real-Time Mobile Vision Applications. 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, 2-3 October 2023, 17425-17436.
https://doi.org/10.1109/iccv51070.2023.01598
[23] Rosenson, R.S., McCormick, A. and Uretz, E.F. (1996) Distribution of Blood Viscosity Values and Biochemical Correlates in Healthy Adults. Clinical Chemistry, 42, 1189-1195.
https://doi.org/10.1093/clinchem/42.8.1189
[24] Elsayed, N., Maida, A.S. and Bayoumi, M. (2019) Gated Recurrent Neural Networks Empirical Utilization for Time Series Classification. 2019 International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData), Atlanta, 14-17 July 2019, 1207-1210.
https://doi.org/10.1109/ithings/greencom/cpscom/smartdata.2019.00202
[25] Wang, Z., Yan, W. and Oates, T. (2017) Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline. 2017 International Joint Conference on Neural Networks (IJCNN), Anchorage, 14-19 May 2017, 1578-1585.
https://doi.org/10.1109/ijcnn.2017.7966039
[26] Usmankhujaev, S., Ibrokhimov, B., Baydadaev, S. and Kwon, J. (2021) Time Series Classification with Inceptionfcn. Sensors, 22, Article No. 157.
https://doi.org/10.3390/s22010157