一种地对空红外弱小目标自主发现设备
A Ground-to-Air Infrared Small and Small Target Autonomous Detection Equipment
摘要: 在军事作战领域中,准确的目标识别是确保诸如预警系统、拦截导弹、侦察装备及远程打击武器等各类军事资产能够充分发挥其战术与战略效能的核心要素。然而,在复杂背景的干扰下,通过雷达侦测、光电侦测、电磁频谱侦测等常规侦测手段已经难以满足现代战场环境下对于导弹、无人机等小目标的预警监测需求。本文针对当前战场环境中无人机等弱小空中目标监测与识别的紧迫需求,设计了一种地对空红外弱小目标自主发现设备。设备由电源模块、图像采集模块、嵌入式算法处理模块、显示模块、嵌入式算法处理模块组成,成本低廉、小巧轻便、便携性强。同时,设备引入最新的DNA-Net模型来进行红外小目标识别。鉴于传统侦测手段如雷达、光电及电磁侦测在便携性、隐蔽性上的局限,以及难以满足复杂环境中的实时监测挑战,本研究聚焦于利用红外成像技术与深度学习算法的结合,以提高弱小目标的发现能力。
Abstract: In the field of military operations, accurate target identification is a core element to ensure that military assets such as early warning systems, interceptor missiles, reconnaissance equipment and long-range strike weapons can achieve their full tactical and strategic effectiveness. However, under the interference of complex background, conventional detection methods such as radar detection, photoelectric detection and electromagnetic spectrum detection have been difficult to meet the needs of early warning and monitoring of small targets such as missiles and UAVs in modern battlefield environment. Aiming at the urgent need of monitoring and recognition of small and small targets such as unmanned aerial vehicles (UAVs) in the current battlefield environment, this paper designs a surface-to-air infrared small and small targets autonomous detection equipment. The device is composed of power module, image acquisition module, embedded algorithm processing module, display module and embedded algorithm processing module, with low cost, compact and portable. At the same time, the device introduces the latest DNA-Net model for infrared small target recognition. In view of the limitations of traditional detection methods such as radar, photoelectric and electromagnetic detection in portability and concealability, as well as the difficulty in meeting the challenges of real-time monitoring in complex environments, this research focuses on the combination of infrared imaging technology and deep learning algorithm to improve the detection ability of dim targets.
文章引用:鲍舒扬, 吕冠苇, 王菲菲, 王家宝, 陈军. 一种地对空红外弱小目标自主发现设备[J]. 人工智能与机器人研究, 2024, 13(3): 571-581. https://doi.org/10.12677/airr.2024.133059

1. 引言

当前,全球军事领域正处于前所未有的动态变化之中,随着技术的飞速跃进,各国正竞相提升其国防实力,以应对日益复杂多变的安全挑战。新型的战争形态和战斗力不断演进,尤其体现在空对地打击能力和弹道导弹的突防技术上,这些高科技武器系统能够在任何时间、跨越广袤地域实施精确打击,重塑了战争规则。因此,现代防御体系的发展成为了必然,它旨在构建既能有效反击又能坚固防护的立体化防护网。近年来,特定战略区域频繁遭遇以“低空、低速、弱信号”特征出现的不明飞行物侵扰,加之边境地带频发的远方或跨界空中侦察与挑衅行为,凸显出传统探测手段在持续追踪、精准定位及快速识别威胁目标方面的局限性,这对提升监控和反应能力提出了更为紧迫的要求,给该地区的日常空中安全带来了挑战,防空反导总体防御和战时防御面临严峻挑战。近两年“俄乌冲突”中军民用无人机频繁用于战场,甚至于班组运用无人机都取得了显著的作战效果。无人机已经成为战场环境中装备、人员的巨大威胁[1]

为了提高人员在夜间或者低照度环境下的对红外弱小目标的探测能力,本项目主要通过改进红外影像中的弱小目标自主发现技术,基于红外相机与嵌入式开发板,研制一种地对空红外弱小目标自主发现设备,实现对空中弱小目标的自动检测和识别。该设备设计用于在复杂多变的战场环境中,尤其是夜间或有遮挡条件下,有效发现来自空中的微小热源,这些热源可能来自于低可观测性飞行器,如隐形飞机、无人机、导弹或其他空中威胁[2]

2. 相关工作

地对空红外弱小目标自主发现设备的核心在于目标检测与识别,是机器视觉领域的一个重要分支,在军事与民用领域占据重要位置,具有广泛的发展前景。针对红外弱小目标识别,常用的方法有:背景抑制法、基于滤波的方法、基于模型的方法、基于深度学习的方法。其中,背景抑制法通过建立背景模型来消除或降低背景噪声,突出目标信号。常用的背景抑制算法包括帧差分法、背景差分法和高阶统计法等。其优点在于简单易行,对硬件要求不高,适合实时处理,缺点在于对于变化剧烈的背景或光照条件敏感,容易产生虚假目标;基于滤波的方法包括空间域滤波和时间域滤波。空间域滤波如高通滤波、边缘增强滤波等,时间域滤波如卡尔曼滤波、粒子滤波等。其优点在于可以有效增强目标特征,去除部分背景干扰,缺点在于可能会导致目标信息的丢失,对于非平稳背景的处理效果有限;基于模型的方法通过建立目标的物理模型或者数学模型,进行目标检测,例如基于光流的目标检测、基于热辐射特性的目标检测等。其优点在于可以较好地处理复杂背景,提高检测的准确性,缺点在于模型建立较为复杂,需要大量的先验知识,实时性较差。基于深度学习的方法近年来主要以卷积神经网络(CNN)为主,在目标检测方面取得了显著进展,其优点在于具有强大的特征提取能力,对复杂背景和非理想条件的适应性强,检测精度高,缺点在于需要大量标注数据进行训练,计算资源消耗大,实时性取决于网络结构和硬件平台[3]

综上所述,要达到更好的检测效果,采用基于深度学习的方法是最理想的。虽然存在可用数据集较少、算力需求较高等困难,但在2022年由国防科技大学团队提出的密集嵌套注意力网络(DNA-Net)模型[4],通过重复的特征融合和增强,可以很好地融合和充分利用小目标的前后信息,极大提高了检测率,检测效果更加快速、灵活、鲁棒性强。同时该团队开发了一个红外小目标数据集,具有众多类别的目标形状,各种目标大小,不同的杂波背景和地面真值注释,解决了红外弱小目标检测数据集不足的问题。因此,设备引入了该模型进行红外弱小目标识别。

3. 系统设计与实现

3.1. 设备架构

本设备的设计思路主要包括硬件设计和算法模型设计两部分,硬件设计包括电源模块、图像采集模块、嵌入式算法处理模块、显示模块、嵌入式算法处理模块,如图1所示。

Figure 1. Equipment architecture diagram

1. 设备架构图

3.1.1. 电源模块

考虑到野外作业的特殊性与设备的便携性要求,电源模块采用了高容量、快充放电的锂离子电池组,整体容量达10万毫安,以及低功耗设计,确保设备在长时间无人值守或远离补给线的情况下仍能持续稳定运行。电源管理软件能够根据设备运行状态智能调节供电,延长作业时间,提升整体续航能力。

3.1.2. 图像采集模块

图像采集模块是整个系统的信息入口,选择高性能的红外相机作为核心组件,该相机具备高灵敏度、宽动态范围与高分辨率的特点,能够在极端光照条件下捕捉到微弱的热辐射信号。为适应不同的监视范围与应用场景,相机镜头支持变焦与广角切换,确保无论是近距离还是远距离的小型目标都能被清晰捕获。同时,图像采集模块还配备了三角固定架,减少因震动导致的图像模糊,提高图像质量。

3.1.3. 嵌入式算法处理模块

该模块是设备的“大脑”,选用高性能、低功耗的NVIDIA Jetson NX嵌入式开发板,内置强大的GPU加速能力,专为深度学习模型的实时推理优化。该模块搭载了经过训练的深度学习模型,如定制化的CNN与RNN,对采集的红外图像进行实时分析与处理。通过高度优化的算法流程,能够在短时间内完成目标检测、识别、跟踪等一系列复杂运算,确保对弱小目标的快速响应与精确判断。

3.1.4. 显示模块

显示模块作为人机交互的关键,提供了直观的操作界面与实时监控画面。采用高亮度、高分辨率的触摸屏,即使在强光环境下也能清晰展示图像处理结果与系统状态信息。通过图形化用户界面,操作人员可以轻松调整系统参数、查看目标信息与历史记录,极大地提高了系统的操作便捷性与实用性。

3.2. DNA-Net模型

3.2.1. 模型思想

Figure 2. (a) U-shaped network; (b) Representation of small and medium-sized targets in the deep CNN layer of DNA-Net network

2. (a) U形网络;(b) DNA-Net网络深层CNN层中小目标的表示

设备引入最新的DNA-Net模型来进行红外小目标识别,其是一种针对单帧红外小目标检测问题的解决方案,特别是针对红外图像中难以识别的微小尺寸目标。该模型设计的核心思想围绕解决现有深度学习方法在处理小目标时遇到的不足,尤其是由于网络中的池化操作可能导致小目标在深层丢失的问题。具体而言,该系统整合了一种三路密集嵌套交互模块与一个级联通道的空间注意力机制,旨在达成逐步的特征交互与自适应加强。密集嵌套交互模块的特色在于,它在编码器与解码器层级间布置了多点交叉节点,如图2(b)所示,这些节点构成了一张广泛互联的嵌套网,每一点都能从其所在层及紧邻的上下两层中汲取特征信息,实现了深层中的特征多层次复合作用。这一过程通过迭代累积和优化功能,增强了对深层目标的处理能力,同时,小目标的周遭环境信息得到高效整合与利用,避免了如传统U型网络(见图2(a))中,小目标在深层处理时易被忽略而引起的性能下降问题[4]

图3所示,DNA-Net模型主要由以下几个模块构成:

Figure 3. The DNA-Net model

3. DNA-Net模型

1) 密集嵌套交互模块(DNIM)

密集嵌套交互模块是DNA-Net的核心组件,旨在通过在不同尺度的特征之间实现渐进式的交互,以此来扩大感受野并保持精细尺度下的特征细节。该模块通过密集的嵌套跳连结构,允许信息在深度网络的不同层级间流动,从而在深层网络中维持小目标信息,对抗因池化操作可能引起的细节丢失,提高了模型对小目标的检测能力。

2) 级联通道和空间注意力模块(CSAM)

级联通道和空间注意力模块通过自适应地增强多层特征来提升模型的表征能力。它包含两个子模块:通道注意力和空间注意力。通道注意力机制帮助模型识别并强调对分类或检测任务更有意义的特征通道,而空间注意力则使网络聚焦于图像中目标所在的关键局部区域,共同优化了模型对目标区域的响应,提高了检测的准确度和定位精度。

3) 特征金字塔融合模块(FPFM)

特征金字塔融合模块用于融合不同层次的特征,将浅层富含空间细节的特征与深层富含语义信息的特征相结合。通过上采样和下采样操作,使得不同层级的特征具有相同的尺寸,然后通过元素级相加等方式进行融合。这一过程增强了模型对不同尺度目标的识别能力,特别是在复杂背景和目标大小变化多样的情况下。

总的来说,DNA-Net模型通过密集嵌套交互模块维护了深层网络中红外小目标的细节,级联通道和空间注意力模块通过自适应增强提高了特征的表征能力,密集嵌套交互模块和上采样确保了多尺度信息的有效整合,这些模块协同工作,使得DNA-Net模型能够高效准确地检测并分割出复杂场景中的红外小目标,展现出优于传统方法和其他深度学习模型的性能[5]

3.2.2. 模型训练

1) 特征提取模块(DNIM)

图4展示的模块通过堆叠多个U形结构,创造出一种密集的嵌套布局,旨在适应不同尺寸目标的特定识别需求。这种设计巧妙利用了U型子网络的不同深度来自然匹配不同大小目标的最佳识别范围[6]。在架构中,编码器与解码器部分之间插入了多个互连节点,这些节点不仅与其所在层级内部沟通,还与相邻层级紧密交流,构成了一个复杂的嵌套网络架构。这一设计促进了特征信息在多层间的反复融合,确保了即使是深层网络中的小目标特征也能得到充分保留和强化,进而提升了整体的识别精度和效果[7]

Figure 4. Densely nested structure diagrams

4. 密集嵌套结构图

Figure 5. Structure diagram of cascade path and spatial attention module

5. 级联通道和空间注意力模块结构图

这里设I为DNIM层。取ith (i = 0, 1, 2, …, I)。 L i,j 表示节点 L i1,j 的输出。其中i为沿编码器的第I个下采样层,j为沿平原跳跃路径的稠密块的第j个卷积层。

L i,j = P max ( F( L i1,j ) ) (1)

其中F (·)表示同一个卷积块的多个级联卷积层。Pmax (·)表示步长为2的最大池化。当j > 0时,每个节点接收到密集的普通跳跃连接和嵌套的双向交互式跳跃连接三个方向的输出,由 L i,j 表示的特征图的堆栈生成为:

L i,j =[ F [ L i,k ] k=0 j1 , P max ( F( L i+1,j1 ) ),u( F( L i1,j ) ) ] (2)

其中U (·)表示上采样层,[·, ·]表示拼接层

2) 级联通道和空间注意力模块(CSAM)

图5所示,特征提取模块的每一层特征融合后[8],使用级联通道和空间注意力模块 进行自适应特征增强,级联通道和空间注意力模块由两个级联注意单元组成。

特征映射 L i,j 从节点 L i,j ( i{ 0,1,2,,I }, j{ 0,1,2,,j } ) 由一维通道注意图McRCi × 1 × 1和二维空间注意图MsR1 × Hi × Wi 依次处理。i通道注意力过程可以总结如下:

M c ( L )=σ[ MLP( P max ( L ) )+MLP( P avg ( L ) ) ] (3)

L = M c ( L )L (4)

其中⊗表示元素相乘,σ表示Sigmoid函数,CiHiWi表示通道数量, L i,j 的高度和宽度Pavg (·)分别表示步幅为2的平均池化。共享网络由一个具有一个隐藏层的多层感知器(MLP)组成。在乘法之前,注意映射Mc (L)被拉伸Mc (L)∈RCi × Hi × Wi的大小。

与通道注意过程类似,空间注意过程可以总结如下:

M s ( L )=σ[ f 7×7 ( P max ( L ) ) , P avg ( L ) ] ] (5)

L = M s ( L ) L (6)

其中f7 × 7表示一个滤波器大小为7 × 7的卷积操作。注意图Ms (L)在乘法之前i也被拉伸到M c (L)∈RCi × Hi × Wi的大小。

3) 特征金字塔融合模块(FPFM)

在特征提取模块之后,该模型设计了一个特征金字塔融合模块来聚合得到的多层特征[9]。其首先将多层特征放大。然后,将具有丰富空间和轮廓信息的浅层特征和具有丰富语义信息的深层特征串联起来,生成全局鲁棒特征[10]

G={ L en_up 0,J , L en_up 1,J ,, L en_up I,J } (7)

4) 八连通邻域聚类模块

在特征金字塔融合模块之后,DNA-Net模型引入了一个八连通邻域聚类模块,将属于同一目标的像素聚类在一起,并计算每个目标的质心[11]。如果特征图G中的任意两个像素(m0, n0)、(m1, n1)在它们的八个邻域内有交集区域,即:

N 8( m 0 , n 0 ) N 8( m 1 , n 1 ) (8)

g ( m 0 , n 0 ) = g ( m 1 , n 1 ) , g ( m 0 , n 0 ) , g ( m 1 , n 1 ) G (9)

4. 实验结果与分析

为了验证设备性能和效果,实验对设备在不同环境下的红外弱小目标识别进行测试[12],包括:建筑物背景下的红外弱小目标识别,森林背景下的红外弱小目标识别,天空背景下的红外弱小目标识别[13]

测试1:建筑物背景下的红外弱小目标识别测试,测试效果如图4所示。图6(a)图6(b)主要是建筑物,通过观察预测结果可以发现,尽管建筑物本身的结构复杂且纹理丰富[14],但红外弱小目标仍然被有效地识别出来[15]图6(c)为信号塔,存在许多高亮边缘与棱角,但这些高亮部分并没有被错误识别成红外小目标,预测结果仍符合预期。

Figure 6. Comparison of infrared dim target recognition in building background

6. 建筑物背景下的红外弱小目标识别对比图

测试2:森林背景下的红外弱小目标识别[16],测试效果如图7所示。森林背景下的图片由于存在地面部分,在白天时由于吸收阳光热量,整体温度较高,红外影像图片白色较多,靠肉眼难以识别小目标,经过模型预测后,小目标都可以被有效且正确识别出来[1]

测试3:天空背景下的红外弱小目标识别[17],测试效果如图8所示。天空背景下的图片整体干扰较少,主要干扰为云朵产生的白色杂波,但由于天空遮挡物较少,红外成像距离相对较远,导致小目标像素点较少,部分小目标甚至只可能有几个像素点,但经过模型预测后,所有红外小目标均被正确识别出来。

Figure 7. Comparison of infrared dim target recognition in forest background

7. 森林背景下的红外弱小目标识别对比图

Figure 8. Comparison of infrared dim target recognition in sky background

8. 天空背景下的红外弱小目标识别对比图

5. 总结

本研究在分析红外弱小目标识别特性的基础上,结合了现有的机器学习算法与神经网络技术[18],创新优化应用了一种快速高效的红外弱小目标检测模型和学习算法,研制了一套地对空红外弱小目标自主发现设备。该模型在一定程度上提高了检测的精确度,并加快了数据处理速度,为多种场景下识别和追踪红外弱小目标信号提供了可行的技术手段。所研发的地对空红外弱小目标自主发现设备,是针对实际需求设计的。其体积适中,便于携带[19],适应单兵作战要求,能够在不对士兵造成过多负重的前提下,增强其观察与反应能力。该装置设计考虑了野外作业的实际情况,确保了基本的环境适应性和操作稳定性。总的来说,这项关于红外弱小目标检测模型及其应用设备的研究,向着提高战场监测与预警能力的方向迈进了一步,虽然还有改进空间,但已是向现代军事技术应用迈出的积极尝试。

基金项目

陆军工程大学学员科技创新基金项目。

NOTES

*通讯作者。

参考文献

[1] 林晓林. 基于机器学习的小目标检测与追踪的算法研究[D]: [硕士学位论文]. 无锡: 江南大学, 2018.
[2] Huang, J., Rathod, V., Sun, C., Zhu, M., Korattikara, A., Fathi, A., et al. (2017) Speed/Accuracy Trade-Offs for Modern Convolutional Object Detectors. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, 21-26 July 2017, 3296-3297.
https://doi.org/10.1109/cvpr.2017.351
[3] Liu, Y., Sun, P., Wergeles, N. and Shang, Y. (2021) A Survey and Performance Evaluation of Deep Learning Methods for Small Object Detection. Expert Systems with Applications, 172, Article 114602.
https://doi.org/10.1016/j.eswa.2021.114602
[4] Li, B., Xiao, C., Wang, L., Wang, Y., Lin, Z., Li, M., et al. (2022) Dense Nested Attention Network for Infrared Small Target Detection. IEEE Transactions on Image Processing, 32, 1745-1758.
https://doi.org/10.1109/TIP.2022.3199107
[5] 方路平, 何杭江, 周国民. 目标检测算法研究综述[J]. 计算机工程与应用, 2018, 54(13): 11-18, 33.
[6] Liu, L., Ouyang, W., Wang, X., Fieguth, P., Chen, J., Liu, X., et al. (2019) Deep Learning for Generic Object Detection: A Survey. International Journal of Computer Vision, 128, 261-318.
https://doi.org/10.1007/s11263-019-01247-4
[7] 张晓敏. 天空背景下红外小目标检测与跟踪算法研究[D]: [硕士学位论文]. 南京: 南京理工大学, 2018.
[8] Huang, L., Dai, S., Huang, T., Huang, X. and Wang, H. (2021) Infrared Small Target Segmentation with Multiscale Feature Representation. Infrared Physics & Technology, 116, Article 103755.
https://doi.org/10.1016/j.infrared.2021.103755
[9] Wang, H., Li, H., Zhou, H. and Chen, X. (2021) Low-Altitude Infrared Small Target Detection Based on Fully Convolutional Regression Network and Graph Matching. Infrared Physics & Technology, 115, Article 103738.
https://doi.org/10.1016/j.infrared.2021.103738
[10] 王宇翔, 韩振铎, 王宏敏. 基于多向差异度的红外弱小目标检测算法[J]. 红外技术, 2012, 34(6): 351-355.
[11] Xu, S., Zhang, H., He, X., Cao, X. and Hu, J. (2022) Oil Tank Detection with Improved EfficientDet Model. IEEE Geoscience and Remote Sensing Letters, 19, 1-5.
https://doi.org/10.1109/lgrs.2022.3183350
[12] Du, J., Lu, H., Zhang, L., Hu, M., Chen, S., Deng, Y., et al. (2022) A Spatial-Temporal Feature-Based Detection Framework for Infrared Dim Small Target. IEEE Transactions on Geoscience and Remote Sensing, 60, 1-12.
https://doi.org/10.1109/tgrs.2021.3117131
[13] Dai, Y., Wu, Y., Zhou, F. and Barnard, K. (2021) Attentional Local Contrast Networks for Infrared Small Target Detection. IEEE Transactions on Geoscience and Remote Sensing, 59, 9813-9824.
https://doi.org/10.1109/tgrs.2020.3044958
[14] 刘华凯. 复杂云层背景下的空中红外小目标检测算法研究[D]: [硕士学位论文]. 北京: 北京工业大学, 2018.
[15] Wang, C., Bochkovskiy, A. and Liao, H.M. (2021) Scaled-YOLOv4: Scaling Cross Stage Partial Network. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 20-25 June 2021, 13024-13033.
https://doi.org/10.1109/cvpr46437.2021.01283
[16] 杨慧, 张宝辉, 沙涛, 等. 地空背景下红外弱小运动目标检测[J]. 红外技术, 2018, 40(5): 462-467.
[17] Masood, A., Sheng, B., Yang, P., Li, P., Li, H., Kim, J., et al. (2020) Automated Decision Support System for Lung Cancer Detection and Classification via Enhanced RFCN with Multilayer Fusion RPN. IEEE Transactions on Industrial Informatics, 16, 7791-7801.
https://doi.org/10.1109/tii.2020.2972918
[18] Gao, Z., Dai, J. and Xie, C. (2019) Dim and Small Target Detection Based on Feature Mapping Neural Networks. Journal of Visual Communication and Image Representation, 62, 206-216.
https://doi.org/10.1016/j.jvcir.2019.05.013
[19] Shi, M. and Wang, H. (2019) Infrared Dim and Small Target Detection Based on Denoising Autoencoder Network. Mobile Networks and Applications, 25, 1469-1483.
https://doi.org/10.1007/s11036-019-01377-6