基于人工复眼的红外目标运动检测研究

Research on Infrared Target Motion Detection Based on Artificial Compound Eye

摘要: 红外光学成像应用于视觉目标运动检测具有可昼夜运用的特点。为了提升准确、可靠地检测物体(目标)运动方向的能力，提出一种红外目标运动方向检测的人工果蝇复眼模型(简称ACEM模型)。首先，对输入的红外视频进行帧差处理获取目标运动信息，模拟果蝇复眼视网膜层；其次，通过设计非线性自适应带通滤波器和仿生中心侧向抑制滤波器及算法，模拟果蝇复眼视叶结构的薄板神经节层初级视觉滤波功能；然后，模拟髓质神经节层跨层神经元T4和小叶神经节层跨层神经元T5对ON/OFF通道信号做出方向选择性响应；最后，模拟小叶板神经节层整合T4和T5对于方向的敏感响应，形成运动方向分量的检测输出。通过对杂乱视觉背景下拍摄的红外视频序列进行测试，验证了所提出的ACEM模型对于水平和垂直方向运动检测的有效性和鲁棒性。

Abstract: Infrared optical imaging can be used day and night in visual target motion detection. In order to improve the ability to accurately and reliably detect the movement direction of objects (targets), an artificial drosophila compound eye model (ACEM model for short) for infrared target movement direction detection was proposed. Firstly, the target movement information is obtained by frame difference processing of the infrared video input, and the retinula layer of drosophila compound eye is simulated. Secondly, In order to simulate the primary visual filtering function of the lamina ganglionic layer in drosophila compound eye, a nonlinear adaptive band pass filter and a bionic central lateral suppression filter and its algorithms were designed. Then, the trans lamellar neuronsT4 in medulla ganglion layer and the trans lamellar neurons T5 in lobula ganglion layer were simulated to respond directionally selectively to ON/OFF channel signals. Finally, by simulating the lobula plate ganglionic layer, to integrate the directional sensitive response of T4 and T5, form the detection output of motion direction component. By testing Infrared video sequences taken against a cluttered visual background, the effectiveness and robustness of the proposed ACEM model for horizontal and vertical directional motion detection are verified.

1. 引言

自然界昆虫及甲壳类等节肢动物的复眼，相对于单眼，对于移动物体的反应十分敏感。为阐明复眼视觉运动感知的神经计算过程，早在1956年，Hassenstein和Reichardt开创性地提出运动相关器(Hassenstein-Reichardtcorrelator)模型 [1] ，HR模型通过检测相邻感光细胞间亮度信号判断单向的目标运动方向，也称初级运动检测器EMD (elementary motion detector)模型。在之后的几十年里，许多学者陆续又提出了一些EMD的变体模型 [2] [3] 。包括：1989年Borst和Egelhaaf提出双向运动方向检测的EMD模型 [4] 。1992年Franceschini等提出一种速度调节(velocity-tuned)的EMD模型 [5] 。2000年Iida等提出集成多个成对EMD的宽视场(wide-field)运动检测器模型，用于视觉里程计(visual odometer)计算 [6] 。

随着生物学家对苍蝇运动视觉神经机制及特定神经元机理的进一步揭示和发现，例如，在10年前，对于果蝇的ON、OFF信号通道还是未知的，跨层神经元T4/T5的功能还只是推测性的，而现在，有关这些神经元的细节和连接功能、视觉信号传导与响应，以及有关视叶后端的小叶板LPTCs和他们的亚群，从上游髓质和小叶感知的局部特征信号获取输入，将局部信号整合产生宽视场的响应等机理已越来越清晰了，这为精细化阐明目标运动感知的视觉神经计算过程提供了基础。2011年Eichner等提出具有ON和OFF通道机制、且在数学上仍遵循经典EMD的一种二象限(2-Q)运动检测器 [7] ；Clark等提出一种六象限(6-Q)运动检测器 [8] 。2013年Wiederman等提出初级STMD (elementary small target motion detector, ESTMD)模型与经典的EMD级联的混合模型，通过ESTMD-EMD级联的方案封装STMD神经元的生物特性，可以同时表现出大小和方向的选择性 [9] 。2020年Fu等提出模拟苍蝇从视网膜到小叶板运动视觉路径的多层计算模型，对如何在高度变化背景下检测目标运动方向给出了解析 [10] 。2020年Borst等解析了飞行昆虫对于小目标运动方向检测的视神经计算机理 [11] 。Wang等提出一种具有方向选择性的DSTMD模型(STMD with direction selectivity)，实验结果验证了其在杂乱背景下对小目标的分辨和运动方向检测的有效性 [12] 。2021年沈克永等针对杂乱移动背景下微小目标的检测，建立了一种模拟复眼运动视觉通路分层神经激活机制的移动小目标检测模型 [13] 。2022年李柯等提出一种杂乱移动背景下暗色小目标运动检测与跟踪系统和相应的算法，实现对杂乱移动背景中小目标运动的解码 [14] 。

本文基于近10多年来在揭示果蝇光感受器超微结构的光强和频率分布自适应信号调节、基于生化机制的光子采样与神经信息编码、视叶中ON和OFF信号通道(亮色和暗色通道)、小叶板切向细胞(LPTC)对于方向的选择性敏感等机理方面的最新的生物学研究成果 [2] [15] [16] [17] [18] ，提出一种红外目标运动方向检测的人工复眼模型(Artificial compound eye model for infrared target motion direction detection)，简称ACEM模型。经分析和仿真实验验证，本文提出的ACEM模型能够模拟和解析生物性初级视觉滤波、ON和OFF通道的平行分解、T4和T5小视场(small-field)的方向敏感信号与LPTCs宽视场(wide-field)的水平敏感HS (horizontal-sensitive)和垂直敏感VS (vertical-sensitive)神经计算过程。

2. 红外目标运动方向检测建模

成年果蝇的复眼大约由800个晶状体的小眼组成，长柱状结构按六角形排列，每个眼孔在物理上与其相邻的眼孔分开，属神经重叠型复眼。每个小眼(ommatidium)都自成体系构成独立的感光成像单元，由角膜(comea)、晶锥(cone)/伪晶(pseudocone)、视网膜(retinula)、色素细胞(pigment cells)、感杆(rhabdomere)等组成。角膜和位于角膜之下的晶锥是复眼的最外层结构，类似光学凸透镜，晶锥开闭程度会随光线变化，以调节通光量，将光聚焦到视网膜细胞(retinula cells)上，每个眼孔中有8个(R1~R6, R7, R8)不同的视网膜细胞，视网膜细胞位于感杆。感杆(rhabdomere)由细胞膜向中腔伸出大量微绒毛(约30,000个微绒毛(microvillus))形成，环境光场被各小眼视网膜的不同感光细胞所感受，光线沿感杆传播，进行光–生物化学反应，产生各像点物像的光/电转换响应，完成从光信号到电信号的转换。轴突从视网膜向后伸出，穿过基膜汇合成视神经，而后汇聚到中央脑(central brain) [10] [12] [15] [18] 。果蝇复眼视觉过程顺序由光学过程、化学过程和神经计算过程所构成。视网膜细胞发送光感信号通向脑内两侧的薄板(lamina)，与下游髓质(medulla)、小叶(lobula)及小叶板(lobula plate)神经节层连续依次相连，而后汇聚到达中央脑的各个脑结构，形成视觉信息加工处理的神经回路。

Figure 1. ACEM model framework

图1. ACEM模型框架

构建的红外目标运动方向检测模型(ACEM模型)框架如图1示意。ACEM模型计算过程包括：视网膜层、薄板神经节层、髓质神经节层、小叶神经节层和小叶板神经节层的模拟与计算。

2.1. 视网膜层和薄板神经节层的计算

ACEM模型的输入为灰度视频(彩色视频/彩色图像序列需经灰度化处理)，模拟复眼感受光场亮度刺激，完成视网膜感光细胞光电转换响应，实现视网膜计算层对亮度变化信息的获取。

视叶(optic lobe)结构的第一层薄板神经节层，所包含的薄板单极细胞LMCs中L1~L5神经元对接受的小眼R1~R6感光细胞所捕捉到的光信号能够选择性地增强或衰减调节信号强度和频率分布，相近神经元彼此之间的侧抑制现象使对比的差异增强、突出边缘，且具有显著的光照亮度适应性和对图像的细微间断处进行拟合以及聚类效应。通过设计自适应局部降噪滤波器和仿生侧向抑制滤波器及算法，模拟薄板层初级视觉滤波 [2] [3] [15] 。初级视觉滤波计算过程如图2示意。

Figure 2. Primary visual filtering calculation process

图2. 初级视觉滤波计算过程

自适应局部降噪滤波器计算公式为：

$\hat{F}\left(x,y,t\right)=G\left(x,y,t\right)-\frac{{\sigma }_{\eta }^2}{{\sigma }_{S_{xy}}^2}\left[G\left(x,y,t\right)-{\bar{Z}}_{S_{xy}}\right]$ (1)

式中， $\left(x,y\right)$ 表示像素点坐标， $G\left(x,y,t\right)$ 代表t时刻像素值， ${\sigma }_{\eta }^2$ 为计算噪声图像的方差， ${\bar{Z}}_{S_{xy}}$ 为波器窗口内像素的均值， ${\sigma }_{S_{xy}}^2$ 为局部方差。

考虑到昆虫视觉侧抑制神经机制，每个感受器(细胞)的输出是接受外界光刺激与周围感受器的抑制性影响相互作用的结果。相关研究表明 [19] [20] ，侧向抑制滤波器模型可表示为：

$M\left(x,y,t\right)=F\left(x,y,t\right)-\frac{{\sigma }_{\eta }^2}{{\sigma }_{S_{xy}}^2}\left[F\left(x,y,t\right)-{\bar{Z}}_{S_{xy}}\right]+D\left(x,y,t\right)$ (2)

式中， $F\left(x,y,t\right)$ 为输入图像， $D\left(x,y,t\right)$ 为侧向抑制滤波器输出图像。

2.2. 髓质神经节层的计算

视叶结构的第二层髓质神经节层将视觉信号分解成两条平行的ON信号通道和OFF信号通道，并基于FDSR (fast-depolarising-slow-repolarising)快速去极化和慢速重极化的神经计算机制，模拟跨层神经元T4 (方向选择神经元)对ON/OFF通道信号做出方向选择性响应，并向下游小叶板投射 [2] [10] [11] 。

通过计算跨层神经元T4在向上up、向下down、向左left、向右right四个基本方向的响应，即： $T{4}_{\text{up}}\left(x,y,t\right)、T{4}_{\text{down}}\left(x,y,t\right)、T{4}_{\text{left}}\left(x,y,t\right)、T{4}_{\text{right}}\left(x,y,t\right)$ 四个基本方向的响应，进而得到髓质层向下游层投射传递的运动信息，其ON通道信号 $S^{ON}$ 和OFF通道信号 $S^{OF}$ 分别表示为；

$S^{ON}\left(x,y,t\right)=P^{ON}\left(x,y,t\right)-{\left[P^{ON}\left(x,y,t\right)\right]}^{\prime }$ (3)

$S^{OF}\left(x,y,t\right)=P^{OF}\left(x,y,t\right)-{\left[P^{OF}\left(x,y,t\right)\right]}^{\prime }$ (4)

向下游层投射传递的运动信息 $S^{ON}\left(x,y,t\right)$ 、 $S^{OF}\left(x,y,t\right)$ ，是薄板层输入至髓质层的原始信号减去经过延迟后和FDSR处理计算结果得到的。

2.3. 小叶神经节层和小叶板神经节层的计算

小叶神经节层和小叶板神经节层是髓质的正下游层。小叶柱神经元LCs、跨层神经元T5 (方向选择神经元)及位于上游髓质神经节层的T4神经元等对于边缘、纹理、光谱及偏振、二维运动和方向等具有敏感视觉特征。模拟小叶层的跨层神经元T5对ON/OFF通道信号做出方向选择性响应，并投射到下游小叶板层 [3] [10] [11] [18] 。在小叶板神经节层，切向细胞LPTCs是小叶板中主要的细胞类型，LPTCs分4个亚群(LP1~LP4)，小叶板层对方向选择性协同增强或抑制作用同样存在。

分别依据 $HS\left(t\right)=L{P}_{\text{right}}\left(t\right)-L{P}_{\text{left}}\left(t\right)$ 和 $VS\left(t\right)=L{P}_{\text{downr}}\left(t\right)-L{P}_{\text{up}}\left(t\right)$ 公式，计算水平敏感(HS)分量，以及垂直敏感(VS)分量。LPTCs从上游髓质和小叶感知的局部特征信号获取输入，并将局部特征信号整合产生宽域场或对局部感兴趣区域(感受野兴奋区)的精确响应信号。

3. 实验及结果分析

测试场景选取地面皮球滚动、杂乱背景下户外人行走动场景的红外图像序列作为模型输入展开实验仿真。实验仿真是在Microsoft Windows 10操作系统、Matlab数学软件运行环境中进行的。

3.1. 实验A. 杂乱背景下人向左行走的运动方向检测

使用红外摄像机拍摄灌木丛中人向左行走作为测试视频，视频帧速率：30帧/s，测试视频中截取的4帧代表图像示意于图3。利用该测试视频对本文所提出的新模型(ACEM模型)和六象限(6-Q)运动检测器模型 [8] 进行对比实验，表1列出了新模型ACEM模型和六象限运动检测器模型的归一化输出值。表中，在水平方向HS响应是以人向左行走为正(值 > 0)，垂直方向VS响应是以向下运动为正值，向上运动为负值。相比较，本文提出的新模型(ACEM模型)的检测性能更优于六象限运动检测器模型。

ACEM模型和六象限运动检测器模型对水平方向HS响应，从第10帧始，归一化输出值大于0，表示目标向左运动，这与测试视频中人左行方向相符。如在第22、94帧处，ACEM的水平方向HS响应值为+0.77、+0.70，六象限运动检测器模型的响应值为+0.74、+0.61，相比较，ACEM的响应输出更接近理想值+1。由于人行走时手臂摆动和地面坑凹使人体上下晃动，也导致了人行走时在垂直方向VS的不规则响应(向下运动为正值，向上运动为负值)，但垂直方向VS响应输出值相对较小，ACEM和六象限运动检测器模型响应的绝对值均在0.2以内，这也与人行走的实际情况相符。

Figure 3. Infrared video frames with people going left on a cluttered background

图3. 杂乱背景下人左行的红外视频帧

对比分析六象限运动检测器模型和新模型ACEM在杂乱背景下运动方向检测的鲁棒性能，六象限运动检测器模型的方向选择性响应值在人向左行时(在46, 58, 82帧处)出现多次负值(人向左行走正值，人向右行走为负值)，这与视频中人向左运动方向不符，说明杂乱背景中其抗噪声干扰(人体局部被树丛遮挡、人行走时的晃动等)能力较差，或者说，方向检测的鲁棒性差，而新模型ACEM则能够稳定地检测目标运动方向。

Table 1. Normalized output values of ACEM model and six-quadrant motion detector model

表1. ACEM模型和六象限运动检测器模型的归一化输出值

3.2. 实验B. 皮球滚动的运动方向检测

使用红外摄像机拍摄草地上皮球滚动作为测试视频，视频帧速率：30帧/s。图4是测试视频中截取的4帧代表图像，图中红色圆圈指示的是草地上向右方滚动的皮球。表2列出了新模型ACEM和六象限运动检测器模型 [8] 的归一化输出值。表中，水平方向HS响应是以向右水平滚动为负(值 < 0)，垂直方向VS响应是以向下运动响应值 > 0，向上运动响应值 < 0。对于皮球滚动方向的检测性能，比较表中的实验值，本文提出的新模型(ACEM模型)的水平方向HS响应输出更接近理想值−1。

新模型ACEM和六象限运动检测器模型对水平方向HS响应，从第10帧始，归一化输出值 < 0，表示向右水平滚动，这与测试视频中的皮球滚动方向相符。由于皮球在草地是跳跃滚动，也导致了在垂直方向VS的响应。皮球在滚动中有上下跳跃过程，如在第40帧处，皮球向上翻滚，新模型ACEM和六象限运动检测器模型的垂直方向VS响应值分别为：−0.50和−0.45。

Figure 4. Infrared video frames of ball rolling

图4. 皮球滚动的红外视频帧

Table 2. Normalized output value of ball rolling direction detection model

表2. 皮球滚动方向检测模型的归一化输出值

3.3. 实验C. Vision Egg生成的水面成像测试视频实验

借助Vision Egg (一款用于视觉研究与实验的应用软件)生成视频序列，作为实验和测试样本。拍摄的水面可见光成像视频和红外成像视频的代表帧如图5所示。岸边长有水生植物，水面有漂浮物(杂草)，视频的帧率为60 fps。从图中可以看出，波长约0.75~2.0 μm的近–短波红外成像背景(水面)和目标的差异区分度明显优于波长约0.40~0.75 nm的常规可见光成像，这有利于目标跟踪识别。

Figure 5. The represents frame of water surface imaging video

图5. 水面成像视频代表帧

以红外成像的水面作为背景，经Vision Egg生成暗色小目标(红色圆圈指示)模拟暗色小目标在水面上向左漂浮移动。小目标运动速度设为 $V_T$ ，背景移动速度设为 $V_B$ ，小目标和背景的移动方向分别为水平向左和水平向右，速度均设为−27 degrees/s，时间 $t\in \left[0,3500\right]$ ms。

对本文提出的新模型(ACEM模型)、六象限运动检测器模型和文献 [13] 提出的移动小目标检测模型分别进行实验测试，在水面小目标漂浮移动的测试中，三种模型的方向检测归一化输出值如表3所示。相比较，本文提出的新模型(ACEM模型)的响应输出更接近理想值。如在第50帧，ACEM模型、六象限运动检测器模型和文献 [13] 模型的归一化输出分别为0.88、0.86和0.79。

Table 3. Normalized output value of dark small target moving direction detection model

表3. 暗色小目标移动方向检测模型的归一化输出值

4. 结论

本文所提出的红外目标运动方向检测的人工复眼模型(新模型ACEM)，模拟和解析了果蝇从视网膜向下游薄板投射感光信号，经髓质、小叶及小叶板通路的运动视觉系统神经计算过程。新模型ACEM对输入的视觉信号，经生物性初级视觉滤波，抑制光学噪声、提高视觉杂乱背景下目标–背景分辨的动态视敏度，然后经模拟的髓质和小叶跨层神经元T4、T5和小叶板LPTCs神经元检测计算小视场和宽视场上的目标运动方向，并输出HS水平方向和VS垂直水平方向分量。经对比仿真实验，验证了其运动方向检测的有效性和鲁棒性。

基金项目

本文得到江苏省自然科学基金(BK20221399)的资助。

NOTES

^*通讯作者。