基于深度学习的红外小目标检测方法综述

A Review of Deep Learning-Based Infrared Weak Target Detection Methods

摘要: 红外小目标检测作为智能安防的核心技术，针对低信噪比、弱表征等难题，系统构建了红外小目标检测的理论框架与方法体系。首先，通过公开数据集开展多维度特性分析，结合背景杂波建模与目标辐射特性揭示成像机理。继而聚焦深度学习范式，建立分类研究体系。单阶段检测方向聚焦YOLO与SSD系列算法的效率与精度平衡机制改进。在CNN方法层面，关注多尺度特征融合、注意力协同、轻量化编解码、密集嵌套特征交互关键技术以及Transformer与小样本学习在红外小目标检测中的应用。最后指出，未来应倾向于物理模型驱动的新型网络架构设计，通过辐射特性建模与深度学习特征融合提升算法鲁棒性。发展边缘计算友好的轻量化模型，采用神经架构搜索技术实现模型参数量压缩。探索红外、可见光、雷达多模态协同检测机制。开发自监督小样本学习范式，利用生成对抗网络缓解数据稀缺问题。这些突破将检测技术向全天候、高实时、强泛化方向持续演进。

Abstract: Infrared Small Target Detection (ISTD), a pivotal technology in intelligent security systems, addresses challenges such as low signal-to-noise ratio (SNR) and weak feature representation through a systematic framework. The methodology begins with multi-dimensional characteristic analysis using public datasets, integrating background clutter suppression and target radiation modeling to elucidate imaging mechanisms. Under a deep learning paradigm, the research establishes a dual-axis classification: Single-stage detection optimizes efficiency and accuracy trade-offs in YOLO and SSD architectures via anchor-free designs and feature pyramid enhancements. CNN-based innovations focus on multi-scale fusion, attention mechanisms (spatial-channel and coordination), lightweight encoders (depthwise separable convolutions), dense cross-layer interaction for enhanced feature extraction, as well as cutting-edge applications of Transformer and few-shot learning in infrared small target detection. Future priorities emphasize: Physics-guided networks merging radiation physics with deep features for robustness. Edge-optimized lightweight models via neural architecture search (NAS) and pruning. Explore the multimodal cooperative detection mechanism of infrared, visible light and radar. Self-supervised few-shot learning using GANs to overcome data scarcity. These breakthroughs will continue to evolve the detection technology towards all-weather, high real-time, and strong generalization.

1. 引言

准确且高效地定位出图像中目标所在位置，是红外目标检测的核心任务[1]。作为计算机视觉领域的研究重点和热点，红外小目标检测一直是具有挑战性和广泛研究的课题。该技术在军事、安防、无人驾驶等领域具有广泛的应用价值[2]。

传统图像检测技术依赖于其高分辨率和丰富可见光图像。然而，可见光成像在夜间或低照度场景中的性能急剧下降，且受限于穿透能力与成像距离。相比之下，红外检测技术依托长波红外辐射特性，能够突破可见光依赖环境光照的瓶颈，具备全天候工作能力。穿透力强、可识别隐蔽目标、适用于远距离探测，这些特性使其在安防监控、军事侦察及工业无损检测领域具有不可替代性。

传统的检测算法，如基于滤波的红外小目标检测算法[3]，主要分为基于空域滤波和频域滤波的算法。此类算法的思路简单、计算量小、整体效果差；基于人类视觉系统的检测方法[4]，主要分为基于频谱残差的算法和基于局部对比度的算法两类。此类算法本身局限性太大；但基于深度学习的目标检测算法在检测中取得越来越好的结果，采用深度学习方法对红外目标进行检测，显示出较强的泛化能力和可行性，这对于红外目标检测算法的发展有很好的前景。

本文首先分析红外微小目标特性，继而综述基于One-stage检测和CNN的深度学习方法在红外小目标检测中的应用，对比其优缺点及适用场景。针对当前技术瓶颈，重点探讨数据匮乏、目标尺度变化及复杂背景干扰等挑战。最后从网络架构优化、数据增强及多模态协同检测机制策略三方面展望未来发展方向。

2. 红外微小目标特性分析

2.1. 红外小目标公开数据集

红外图像的获取是利用物体发射的红外辐射进行图像获取，通过红外相机或红外传感器捕捉并转换红外辐射成可视化的灰度图像[5]。红外微小目标图像由目标、背景和噪声三部分组成[6]。

红外微小目标检测面临多重挑战：其一，目标辐射强度弱、与背景温差小，导致检测定位困难；其二，目标常像素尺寸较小，易被噪声、背景干扰或模糊效应掩盖；其三，热成像系统的低空间分辨率使目标呈现边缘模糊、对比度低、形状特征不显著且缺乏纹理细节的特性[7]。为了进一步分析红外小目标的特征，对公开数据集进行统计分析。

在深度学习中，数据集的规模大小和多样性对提高模型的性能和鲁棒性至关重要。通过对现有文献的深入分析，表1中，总结了五个公共红外小目标数据集。

Table 1. Infrared small targets expose datasets

表1. 红外小目标公开数据集

数据集	训练集	测试集
MDvsFA	9978	100
SIRST-Aug	8525	545
SIRST	341	86
NUDT-SIRST	1061	265
IRSTD-1k	800	201

数据来源：MDvsFA (https://mdvsfadataset.org)；SIRST-Aug (https://github.com/SIRST-Benchmark/SIRST-Aug)； SIRST (https://ieee-dataport.org/documents/sirst-dataset)；NUDT-SIRST (https://github.com/YeRen123455/Infrared-Small-Target-Detecti on)；IRSTD-1k (https://github.com/udasl/IRSTD-1K)。

2.2. 红外小目标特征分析

2.2.1. 红外目标的背景特性

红外小目标图像特征分析中的红外背景特性是指在红外图像中，背景区域的特征和性质，对于红外小目标的检测和识别具有重要的影响[8]。

红外背景特性主要体现为三方面，辐射强度分布不均，地面、建筑等物体热辐射差异形成复杂纹理；动态温度变化，自然环境和物体热特性变化引发背景温度时空动态波动；噪声干扰显著，热噪声、大气湍流等干扰源易掩盖弱小目标，需通过滤波和去噪技术抑制。

2.2.2. 弱小目标特性

红外小目标特性是指在红外图像中，目标区域相对于背景区域的特征和性质[9]。红外小目标的特性分析对于目标检测、识别和跟踪等应用具有重要的意义。

红外小目标检测面临三重核心挑战，一是远距成像致目标能量衰减严重，信噪比低且边界模糊；二是目标像素稀疏，呈无纹理点状特征；最后是背景占主导形成极端样本不平衡[10]。相较可见光，红外图像缺乏色彩与结构信息，尤其在复杂背景下目标边缘解析困难。这些特性既构成技术瓶颈，也催生出算法创新机遇——通过开发抗噪增强、多尺度融合及弱特征强化技术，可突破现有检测精度极限，推动红外感知向隐蔽目标识别等战略领域延伸。

3. 基于One-Stage检测的红外小目标检测方法

3.1. 基于YOLO系列算法及其改进算法检测方法

在2016年，Joseph Redmon等人提出了一种著名的YOLO的算法结构见图1 [11]，通过取消候选框生成步骤实现端到端检测。其单阶段架构虽大幅提升实时性，却因网格粗粒度划分导致小目标漏检率较高，定位精度受限。这一核心矛盾推动了后续YOLOv3引入多尺度预测等优化策略。

来源于Redmon, Joseph, et al. “You only look once: Unified, real-time object detection.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016。

Figure 1. YOLO network structure

图1. YOLO网络结构

YOLOv2在第一代算法模型的基础上引入了Batch Normalization、Anchor Box结构来提升网络检测精度。Lin Xupeng [12]等人在此基础上，将红外图像中的移动目标作为检测对象采用维度聚类的方法来确定目标所在的边界框位置。通过使检测框边界更加贴合目标边界，该方法在不同程度上减少了误检和漏检的情况，从而提高了目标检测的准确度。

更为经典的YOLOv3 [13]通过引入残差连接与特征金字塔网络架构实现多尺度特征融合底层特征保留小目标细节，高层特征提取语义信息。其多尺度预测机制使小目标检测精度较YOLOv2提升30%，成为工业级实时检测的标杆模型。

Li Mukai等人在此网络基础上进行优化，提出了一种满足实时性要求的红外行人检测算法[14]。由于YOLOv3中分类准确率还可以优化，借鉴SENet中对特征进行权重重标定的思路，将SE block模块引入YOLOv3网络结构中，提升了网络的检测精度。Qiwei Xu [15]等人在YOLOv3骨干网络中引入扩展卷积，增强网络图像特征提取，提高网络对红外小目标的识别精度与实时检测。Liu [16]等人基于YOLOv3结构，连接两个具有相同宽度和高度的ResNet单元来优化darknet中的Resblock；并在前一层增加卷积运算来丰富空间信息，从而改进整个darknet结构，从而提高了小目标检测的性能。

YOLOV5 [17]作为性能更强的检测网络，仍可在压缩通道、优化参数等方面进一步提升检测性能。S. Li [18]等人在YOLOV5基础上，在残差块中引入注意模块，以聚焦对象和抑制背景，并增加了多尺度检测，提高了对小目标检测的精度。Mou X [19]等人在提出了基于特征重组采样的检测模YOLO-FR，并将骨干网络提取的特征与颈部网络的顶级语义信息融合，Wang Y [20]等人提出YOLOv5-AFAM算法，将Maxpool和卷积相结合，改进了下采样层，提升微小目标的检测精度与实时性。Fan X [21]等人在YOLOv5s的基础上，将Bottleneck Transformer结构和CoordConv添加到网络中，极大改善检测精度。Z. Wei [22]等人在YOLOv5网络结构中嵌入注意力机制再增加多尺度检测策，将红外微小目标检测精度进一步提升。Cai Renhao [23]等人提出的JH-YOLOv5-RDAB算法，运用密集卷积层来充分提取局部特征，引入注意力机制获取更有效的通道与像素信息，获得更好的检测效果。Dang L [24]等人在YOLOv7的基础上引入C3-Faster模块增强特征提取，结合NWD-GIoU损失优化小目标回归，集成CA注意力机制进一步提升了检测精度。YUE Mingkai [25]等人在YOLOv8的基础上新增小目标检测层，引入SA (Shuffle Attention)注意力机制，采用WIoU_v3动态损失函数将精度提升4.83%。

Table 2. Performance comparison of different algorithm detection frameworks on infrared data sets

表2. 不同算法检测框架在红外数据集上的性能比较

Algorithm	Data	Backbone	Precision (%)
YOLO	PascalVOC	GoogleNet	63.4%
YOLOv2	trainval135k	Darknet-19	77.8%
YOLOv3	PascalVOC	Darknet-53	33.0%
YOLOv5	PascalVOC	FocusCSPDarknet-53	49.0%
YOLOv5s	Infrared dim-small airplane target dataset	YOLOv5 improvement	93.7%
YOLO-FR	Infrared dim-small airplane target dataset	YOLOv5 improvement	97.0%
JH-YOLOv5-RDAB	5023 images of infrared vehicle targets	YOLOv5 improvemen	95.1%。
YOLO-FNC	DIOR	YOLOv7	84.4%
YOLOv8_SG	VisDrone2019	YOLOv8	89.97%

资料来源：表中所有数据来源于公开数据集PascalVOC以及文献[17] [21] [23] [24]；YOLOv8_SG数据来自VisDrone2019数据集。

如表2所示，分别列出了文中所介绍的检测算法基于固定骨干网络在公开数据集检测精度对比，从表中数据可以看出，YOLO算法及其改进算法在红外检测领域检测精度稳步提升。

3.2. 基于SSD系列算法及其改进算法检测方法

2016年Liu W等人提出了性能比YOLO更好得算法检测算法SSD算法[26]，算法从不同尺度进行目标特征提取并结合数据增强，有效提升对小目标的检测精度，SSD在精度和速度方面都比当时最先进的对象检测器更优。实时SSD300模型以59帧/秒运行，比当时的实时YOLO替代方案更快。

在SSD模型算法基础上Fu等人提出DSSD算法，算法中用ResNet替换模型[27]，加入了反卷积层将图像进一步提升检测精度。Singh 等人[28]从多尺度的训练方向切入，有效利用训练数据，提升检测效果。Lin 等人[29]利用特征金字塔网络结构(FPN)融合模型中高低层语义信息，并给出焦点损失函数，提升对小目标的特征提取能力。

Xin Xu等人[30]改进了Single Shot MultiBox的网络架构(SSD-ST)，增强高分辨率层，并设计了自适应流水线滤波器(APF)进一步提升检测精度。Z. Shen等人[31]按照单次检测(SSD)框架开发DSOD，从头开始学习对象检测器的框架，通过密集的逐层连接实现的深度监督在学习提升检测精度。

Table 3. Detection results on the MS COCO test-dev set

表3. MS COCO数据集的检测结果

Method	Data	Backbone	Avg.Precision AP_S AP_M AP_L
YOLOv2	trainval135k	Darknet-19	22.1	44.8	53.2
SSD300	trainval135k	VGG16	5.6	25.9	41.2
SSD321	trainval135k	ResNet-101	8.7	30.1	44.5
DSSD321	trainval135k	ResNet-101	9.2	30.5	45.8
DSOD300	trainval	DS/64-192-48-1	6.9	28.3	42.1

资料来源：表中所有数据来源于公开数据集trainval135k、trainval以及文献[26]-[28] [31]。

针对弱小目标检测的挑战，SSD系列算法通过多尺度检测框架与特征提取技术优化网络架构，显著提升了小目标检测能力。表3中详细列举了YOLOv2、SSD300、SSD321、DSSD321以及DSOD300在MS COCO数据集上的检测结果。从表中结果可知，SSD的改进版本DSSD321与DSOD300通过引入残差结构(ResNet-101 Backbone)、反卷积层及多尺度特征融合策略，有效解决了传统SSD网络对小目标特征表达能力不足的问题。对比传统模型，YOLOv2 (DarkNet-19 Backbone)因单尺度预测限制，其小目标检测能力较弱，而SSD系列通过多层级特征图联合预测实现了更优的尺度适应性。

4. 基于CNN方法的红外微小目标检测方法

4.1. 多尺度特征与全局和局部区块注意力融合方法

多尺度特征与全局–局部注意力融合方法，针对红外小目标检测中目标尺度多变、像素占比低等挑战。多尺度特征融合，通过跨层级特征金字塔整合不同分辨率的上下文与细节信息，结合混合注意力机制，增强网络对微小目标的跨尺度感知能力；全局–局部块注意力融合，利用全局上下文建模定位潜在目标区域，通过局部块注意力强化目标边缘与纹理特征，实现细粒度特征增强。

K. Wang等人[32]引入了一种特征注意机制增强有用的特征，实现了特征通道的自适应校准。基于多尺度特征融合的小目标检测算法MSFYOLO算法[33]提升检测精度。H. Fang等人将检测结果转换为预测残差图像的问题，运用到U-Net模型中[34]，并结合上下文结构融合不同尺度的特征，提升检测效果。YOLOv5-AFAM [35]算法，结合多尺度、多特征提取机制更好地适应目标尺寸的变化和复杂背景条件，从而提高对微小目标的检测精度。

F. Chen等人[36]结合全局和局部特征提出具有全局关注性的局部贴片网络LPNet。AFFPN算法[37]结合了注意力与特征金字塔、FTC-Net [38]引入全局注意力特征提取对小目标的检测性能进一步提升。Z.Wang等人[39]结合强化学习及全局上下文边界注意，提出了RLPGB-Net算法，该算法在公开的SAITD和SIRST数据集上表现优异。多尺度特征融合、全局与局部块注意力融合方法结合，在红外微小目标检测中取得了一定的研究进展，为解决小目标检测问题提供了更加有效的思路和手段。

Table 4. Detection results of infrared datasets

表4. 红外数据集检测结果

Model	Data	Method	MAP
MSFT-YOLO	NEU-DET	YOLOV5 + Transform	75.2%
AFFPN	SIRST/IDSAT	Attention Fusion Feature Pyramid Network	96.4%/98.1%
YOLOv5-AFAM	路面病害数据集	YOLOv5 + Multiscale Feature Fusion and Anchor Adaptive	94.7%
RLPGB-Net	SAITD/SIRST	Reinforcement Learning and Global Boundary Attention	超越现有SOTA

资料来源：表中所有数据来源于公开数据集SIRST、SAITD以及文献[33] [35] [39]。

从表4给出的各算法对比可知，多尺度特征融合与注意力机制在复杂背景下表现最佳，但需权衡计算资源。与YOLO和SSD系列对比，传统模型适用于通用实时检测，改进型YOLO系列在特定任务中优势明显，而多尺度融合、注意力模型是复杂场景的最优解，但需牺牲部分实时性。

4.2. 基于全卷积网络及其改进方法

全卷积网络(Fully Convolutional Network, FCN)通过卷积层替代全连接层，保留空间信息并输出密集特征图。基于深度卷积神经网络的小目标检测方法[40]，通过全卷积网络对红外小目标进行增强和初步筛选，分类网络对目标点后续筛选，网络结构中引入注意力机制对特征图进行选择，提升小目标检测精度。基于全卷积网络的空间和图匹配检测方法[41]、FCST [42]、DBGNet [43]算法结合时间特征，设计高精度小目标检测的深度全卷积回归网络，运用多尺度全卷积网络来提取不同层次的特征，提高了对红外小目标的检测率。

4.3. 密集嵌套的交互式特征融合与轻量化设计方法

Li等人[44]设计了The Dense Nested Attention Network (DNANet)，分别采用SPSCNet网络和图像增强网，通过重复的融合和增强，将弱小目标的上下文信息结合起来并得到充分的利用，提升检测率。其中APANet [45]构建了一个整合双注意和紧密连接的金字塔结构，细化高级网络的细节特征，突出小目标特征，抑制背景干扰，使目标检测效率进一步提升。

轻量化设计方法旨在减少网络模型的参数量和计算量，提高实时检测效率。Iandola, F. N等人提出的SqueezeNet [46]是公认的轻量级模型设计最早期的工作之一。网络剪枝与深度可分离卷积是轻量化设计常用方法，通过减少网络的参数量来提高模型的计算效率同时保持检测性能。Zang, Y等人LMANet [47]将网络扩展到两个阶段获取上下文信息，使网络轻量化。RDLCM [48]提出一个基于轻量级卷积神经网络，提升小目标的检测率。

Table 5. Comparison table of infrared small target detection algorithms

表5. 红外小目标检测算法对比表

Method	Data	Backbone	MAP
DNANet	NUDT-SIRST、SIRST	U-Net	Pd = 0.98
APANet	自建红外小目标数据集	Asymmetric pyramid aggregation network	IoU = 87.6%
SqueezeNet	海面红外数据集	SqueezeNet轻量化	虚警率降低40%
RDLCM	海上近海天线红外序列数据集	区域划分局部对比度测量	检测率提升25%

资料来源：表中所有数据来源于公开数据集NUDT-SIRST、SIRST以及文献[45] [46] [48]。

表5中模型都为轻量化设计，改进传统局部对比度方法，检测率提升25%。DNANet和APANet在复杂背景下表现优异，但需权衡计算资源。SqueezeNet和Full-Scale U-Net通过结构优化实现高效检测，适合嵌入式部署。与YOLO与SSD系列算法对比，YOLO系列在通用检测中综合优势显著且需结合注意力机制或专用架构。轻量化设计虽是边缘计算的关键，但需权衡精度与效率。

4.4. Transformer与小样本学习红外小目标检测方法

Transformer架构与小样本学习(Few-shot Learning, FSL)技术已成为红外小目标检测领域的研究热点。Transformer凭借其全局注意力机制在长程依赖建模上的优势，能够有效捕捉红外小目标与复杂背景的细微差异；而小样本学习则通过少量标注数据实现模型快速适应，解决了红外数据稀缺的核心瓶颈。

Transformer通过自注意力机制和位置编码实现了对红外图像全局上下文的建模。基于视觉Transformer (ViT)的LPformer算法通过拉普拉斯金字塔多级Transformer结构[49]，从不同尺度提取高频边界信息，并与主干网络特征融合，补偿小目标丢失的纹理细节，提升在SIRST数据集上的检测精度。Yang H等人[50]提出PBT (Progressive Background-aware Transformer)模型采用非对称编码器–解码器架构，通过任务自适应的门控Transformer模块分别提取目标响应和背景上下文，在NUDT-SIRST数据集上虚警率降低44.4%。

小样本学习通过元学习和迁移学习策略，将基类(base class)学到的知识快速迁移到新类检测任务中。YOLO结合a contrario范式和自监督学习(SSL) [51]，通过统计背景分布建模，将小目标视为“异常事件”，从而抑制背景噪声；而SSL通过实例判别预训练backbone，显著提升了模型在少样本条件下的泛化能力，在标注数据不足的条件下仍能保持高检测率与低误报率。Han G等人提取的FM-FSOD [52]，融合视觉基础模型如DINOv2和大语言模型如Vicuna，通过多模态提示学习实现零样本到少样本的过渡。在SIRST数据集上，5-shot设置下AP50达78.6%。Zhang J等人提出的SuperYOLO [53]，通过超分辨率辅助分支和像素级多模态融合，参数减少18倍的同时保持高分辨率检测能力，适用于机载红外平台实时处理。在保持高性能实时性检测的同时模型更加轻量化。

Table 6. Performance comparison between Transformer and few-shot learning in infrared small target detection

表6. Transformer与小样本学习在红外小目标检测中的性能对比

方法	优势	局限性	适用场景
Transformer	全局特征融合、多模态兼容性强	计算资源需求高，训练数据量大	高精度需求、复杂背景场景
小样本学习	数据效率高，适应新类别快	依赖生成模型质量，泛化性受限于支持集多样性	数据稀缺、快速部署场景

表6全面总结了Transformer与小样本学习在红外小目标检测中的技术特性与适用场景。该表表明，Transformer与小样本学习在红外小目标检测中呈现互补特性。前者通过全局建模提升精度，后者通过数据高效利用解决标注瓶颈，二者协同创新将是未来研究的重要方向。

5. 结论

本文系统构建了红外小目标检测的理论框架与深度学习方法体系，在单阶段检测范式优化与CNN特征融合机制上取得突破性进展。基于YOLO系列算法的改进策略，SE注意力模块、密集跨层交互、动态损失函数等使检测精度提升，SSD系列通过残差反卷积架构与多尺度训练突破小目标特征衰减瓶颈。总结多尺度全局–局部注意力融合、密集嵌套特征交互、Transformer架构与小样本学习等CNN优化方法，结合轻量化设计，深度可分离卷积、NAS架构探索实现模型参数量降低。

然而，当前红外小目标检测面临数据稀缺、目标特征弱、算法鲁棒性不足等瓶颈，尤其在实时性与泛化性方面难以适应复杂场景，制约了该领域发展，使得需要进一步去研究更好得方法。因此，对于红外小目标检测算法研究趋势应是：

1) 算法架构创新

物理辐射模型与Transformer的异构融合，构建可解释性网络架构。多尺度特征融合与注意力协同机制，通过跨层密集连接与注意力模块的协同优化，提升小目标特征表达能力。轻量化编解码设计，引入深度可分离卷积与神经架构搜索，减少参数量的同时提升检测精度，实现边缘设备的高效部署。

2) 数据驱动与物理模型融合

创建基于元学习的自监督增量训练体系，利用生成式量子对抗网络解决跨场景数据迁移难题。

结合生成对抗网络(GAN)生成高保真红外小目标数据，利用自监督预训练的对比学习预训练多尺度特征提取器，缓解标注数据不足问题。

3) 多模态协同检测机制

探索红外、可见光、雷达多模态协同检测机制，借鉴CNN-Transformer混合架构，如SOAR模型，融合红外与可见光模态的几何、语义特征，提升在遮挡场景下检测精度。融合红外热辐射与可见光纹理特征，设计双流注意力网络提升复杂背景下的跨模态注意力。