模拟飞虫复眼视觉的小目标运动检测与跟踪系统研究

Research on Moving Small Target Detection and Tracking System of Simulated Flying Insect Compound Eye Vision

摘要: 如何准确可靠地辨别嵌入在杂乱移动背景中暗色小物体(小目标)的运动，对于计算机视觉研究领域来说是一个巨大的挑战。自然界中，苍蝇、蜻蜓等一类飞行昆虫在快速飞行过程中准确追踪目标，完成捕食、求偶等却是一种自然特性，受飞虫复眼高适应性和高可靠性地辨别小目标运动的功能优势的启发，本文基于诸如视叶神经纤维网中ON和OFF信号通道、小叶中一类特定小目标运动检测器(STMD)神经元LC11对运动做出精细地选择性响应等昆虫生理学研究的新发现，通过模拟复眼运动视觉信号通路及处理机制，提出一种杂乱移动背景下暗色小目标运动检测与跟踪系统(简称SDC-STMD系统)和相应的算法，实现对杂乱移动背景中小目标运动的解码。多组实验测试表明，所提出的SDC-STMD系统和算法不仅符合当前的昆虫生理学发现，表现了对小目标的运动响应偏好，而且对于在杂乱移动背景下暗色小目标运动检测和跟踪也表现了较高的鲁棒性。

Abstract: It is a huge challenge to accurately and reliably distinguish the movement of darker small objects (i.e., small targets) embedded in cluttered moving backgrounds for computer vision research. In nature, flies, dragonflies and other types of flying insects accurately track targets during fast flight and it is a natural characteristic to complete predation and courtship. Inspired by the advantages of the function of flying insects’ compound eyes to distinguish the movement of small targets with high adaptability and high reliability, this article was based on the new findings of insect physiology, that is, based on the new research findings of the ON and OFF signaling channels in the optic lobe neuropile layers, and a specific type of small target motion detector neurons LC11 in the lobules that make exquisite and selective responses to the movement of small targets, et al. By simulating compound eye’s motion visual signal pathways and processing mechanism, a darker small target motion detection and tracking system (for short SDC-STMD system) and the corresponding algorithm was proposed to decode the motion of translating darker target against cluttered moving backgrounds. Extensive experiment tests showed that the proposed SDC-STMD system and algorithm were not only in accord with current insect physiology findings, i.e., showing its size and motion responsive preferences, but also worked high reliably in detecting the darker small targets against cluttered moving backgrounds.

1. 引言

昆虫眼睛大多属于复眼结构，由许多个小眼在三维曲面上嵌套密排而成，其本质上集成了光学和信号处理过程，能够以极小的体积和极短的处理时间，在快速飞行过程中仅凭借有限的复眼分辨力和神经计算资源，却能够准确辨别嵌入在杂乱背景中的感兴趣目标，完成盯飞、追踪捕食或逃逸任务。模拟自然界飞行昆虫视觉系统特殊的复眼结构，以及独特的生物机制和动目标检测高灵敏度的性能，为探索解决移动无人系统、自动车辆驾驶等工程应用领域的视觉感知问题提供了一种有效解决方案 [1] [2] [3] [4] [5]。

我们知道，视觉世界是一个包含着颜色，明暗对比，运动和图案等极其复杂的组合，复眼的结构如何捕获这些视觉信息、并向大脑传递？通常，理解昆虫的真实视觉，目前仍坚持沿用将运动视觉、彩色视觉、模式视觉三种不同机制分开单独研究的传统，遵循于这种“支解”处理复杂视觉问题的简化方式 [6]。对于平移运动视觉的解析，普遍接受的模型是所谓的初级运动检测器(elementary motion detector, EMD)模型 [6] [7]，最初是1956年Hassenstein和Reichardt通过观察甲虫对物体移动的响应而率先提出的 [8]。在之后的几十年里，许多学者陆续又提出了一些EMD模型的变体 [7]。特别是近十多年来，随着诸如昆虫光感受器超微结构的光强和频率分布自适应信号调节、视叶神经纤维网中ON和OFF信号通道(亮色和暗色通道)、小叶板切向细胞(LPTCs)中一类小目标运动检测器STMD神经元等机理的进一步揭示和发现，为精细化解析小目标运动检测提供了新的生物学基础 [6] [9] - [14]。Wiederman等主要依据食蚜蝇视神经节中对小目标运动具有精细选择性的机理，提出了初级STMD (elementary small target motion detector, ESTMD)模型来解释小叶板切向细胞LPTCs中STMD对于小目标运动及尺寸大小的反应 [15]。Eichner等根据双翅目果蝇视叶ON和OFF通道机制，提出了一种四象限(4-Q)运动检测器模型 [16]。Clark等提出了模拟ON和OFF信号通道的六象限(6-Q)运动检测器模型 [17]。Fu和Yue等基于昆虫生理学新近的研究成果，提出了一种模拟果蝇运动视觉过程和小叶板切向细胞对于宽视场水平方向敏感(HS)和垂直方向敏感(VS)响应的目标运动方向检测器模型 [2]。施建强和徐扬等提出了一种用于检测目标运动方向的人工苍蝇视觉神经网络模型 [18]。

目前，建立更有效的仿生复眼模型来处理杂乱的运动背景和鲁棒性地检测目标运动方向，仍然是一个具有挑战性的问题。本文基于视叶神经纤维网中ON和OFF信号通道、小叶中LC11神经元对运动做出精细选择性响应等昆虫生理学研究新的发现，通过模拟和解析视网膜–薄板–髓质–小叶视神经节层对于小目标运动感知的神经活动过程，提出一种模拟果蝇复眼视觉的小目标运动检测与跟踪系统解决方案，简称SDC-STMD系统。本文构建的新系统经多组实验验证，对嵌入在杂乱移动背景中小目标运动进行检测跟踪，实验结果表明，相比常规的ESTMD模型有更高的灵敏度和鲁棒性。

2. SDC-STMD系统构建

2.1. 自然界果蝇视觉系统

蝇类昆虫果蝇(drosophilid)属昆虫纲双翅目果蝇科，由于其清晰的遗传背景以及简便的实验操作，作为经典模式动物，一个多世纪以来，生物学领域已取得了包括基因和分子水平的神经解剖学和生理学、视觉感知与脑抉择行为等一系列的系统性成果。成年果蝇的复眼大约由800个晶状体的小眼组成，长柱状结构按六角形排列，每个眼孔在物理上与其相邻的眼孔分开，属神经重叠型复眼。每个小眼都能单独摄像，小眼之间有不透光的色素细胞分隔，只能够检测来自一个极小空间区域内的光线，在小眼视网膜上形成一个像点，整个复眼成像是由众多基本的感光成像单元(小眼)形成的点状影像拼合而成的一幅镶嵌图像，相当于800个像素的果蝇视野。复眼视觉过程顺序由光学过程、生物化学过程和神经处理过程所构成。各小眼点类似于照片中的像元，与脊椎动物眼睛相比，果蝇的分辨率较低，对颜色的敏感性也不同，但每个像素都包含了有助于理解整体图像的特定信息，这些单个像素信息本身可能并没有启发性，经对每个像素进行过滤，采样、加工和整合到整个复眼的过程，以唤起果蝇的视觉行为 [6]。

果蝇视神经运动感知回路是由薄板(lamina)、髓质(medulla)、小叶(lobula)和小叶板(lobula plate)组成的多层神经纤维网结构。复眼视网膜细胞发送光感信号通向脑内两侧的薄板(位于视叶的最外层)。薄板单极细胞(LMCs)将运动视觉信息分解成两条平行的ON和OFF通道，然后分别向下游层髓质传递 [11] [12] [13]。小叶和小叶板是髓质的正下游层，小叶中小叶柱神经元(LCNs) (包括LCN1~LCN26等)覆盖了绝大部分的小叶，大多数LCNs投射到后腹外侧原脑(PVLP)和后外侧原脑(PLP)区。小叶柱神经元LCN11、跨层神经元T5及上游髓质层中的T4等对于目标的二维运动及边缘、纹理等具有敏感视觉特征。在小叶板中，小叶板切向细胞(LPTCs)接收上游的投射。进一步地，LPTCs轴突大多数投射到原脑区或与颈及足、翅运动有关的神经元 [9] - [14]。

2.2. SDC-STMD系统和计算层级

SDC-STMD系统框架如图1示意。SDC-STMD系统分为四个计算层级：1) 视网膜计算层、2) 薄板计算层、3) 髓质计算层、4) 小叶计算层 [19] [20]。其中，视网膜计算层：模拟昆虫复眼成像，从图像像素到小眼光感受器的映射和光–电传导神经计算。薄板计算层：模拟接收和处理来自复眼视网膜细胞发送的光感信号。髓质计算层：模拟接收和处理来自上游薄板的信号投射。小叶计算层：模拟接收和处理来自正上游髓质的信号投射，通过模拟小叶中小叶柱神经元((lobula columnarneurons))中一类LCN11神经元(即，LCN11小目标运动检测器)，模拟自然界果蝇对于小目标运动具有显著性响应的生物视觉功能。

Figure 1. SDC-STMD system framework

图1. SDC-STMD系统框架

1) 视网膜计算层

彩色视频或彩色图像序列经灰度化处理，作为DSTMD-CMB模型第一层的输入，模拟复眼感受光场亮度刺激，从图像像素到光感受器的映射和光–电传导神经计算，视网膜计算层完成对亮度变化信息的获取 [19] [20]。为模拟复眼视网膜的低分辨率成像及对亮度信息的获取，使用双边滤波方式对输入的灰度视频或图像序列进行平滑处理，来近似一个小眼的输出 $\left(x,y,t\right)$，其中x，y，t分别代表像素点坐标和t时刻的像素灰度值O。设 $L_{mc}\left(x,y,t\right)$ 表示坐标 $\left(x,y\right)$ 处所对应的神经元在t时刻的输出，它由小眼的输出 $O\left(x,y,t\right)$ 和时间域带通滤波器 $H\left(t\right)$ 卷积得到，即：

$L_{mc}\left(x,y,t\right)={\displaystyle \int O\left(x,y,t\right)H\left(t\right)\text{d}t}$ (1)

$H\left(t\right)$ 如下表示：

$H\left(t\right)=\left(\frac{n_2!t^{n_1}-n_1!t^{n_2}}{n_1!n_2!}\right)\exp \left(-t\right)$ (2)

其中， $n_1$ 和 $n_2$ 均为常数， $n_1\ne n_2$。

2) 薄板计算层

a) 初级视觉滤波。初级视觉滤波包括模拟薄板层LMCs时间域带通滤波和侧抑制功能。模拟LMCs接收来自小眼视觉信号并对亮度变化敏感(即对亮度的增减表现出显著性反应)的带通滤波；模拟LMCs之间发生的互相抑制作用，将图像中的像素作为中心感受器，该像素周围的像素作为邻近感受器，根据侧抑制原理对其进行加工处理，以实现增强图像反差、突出边缘的效果。

b) 半波整流。通过半波整流形式将经过薄板LMCs侧抑制后的信号分解成两条平行的ON、OFF信号通道。

c) ON是亮色通道(对亮色增强做出响应、对有光边缘敏感)，OFF是暗色通道(对亮色衰减做出响应、对无光边缘敏感)。在ON或OFF通道上各神经元对信号的处理存在时间差异，其中固有神经元Mi1反应慢于跨髓神经元Tm3，Tm1反应慢于Tm2，这种信号延迟会对下游小叶层分割目标亮色(或暗色边缘)以及检测目标运动产生作用。

3) 髓质计算层

跨髓神经元Tm、固有神经元Mi等，对接收上游薄板的ON、OFF通道信号分别再进行二次侧抑制(ON-SI、OFF-SI)，即二次视觉滤波，然后再向下游小叶层传递。根据半波整流Half-wave rectifying原理，可将经过侧抑制作用后的信号 $L_{Imc}\left(x,y,t\right)$ 分解为ON和OFF通道信号 [19] [20]，即，

$\text{ON}\left(x,y,t\right)=\frac{L_{Imc}\left(x,y,t\right)+\left|L_{Imc}\left(x,y,t\right)\right|}{2}$ (3)

$\text{OFF}\left(x,y,t\right)=\frac{L_{Imc}\left(x,y,t\right)-\left|L_{Imc}\left(x,y,t\right)\right|}{2}$ (4)

其中， $\text{ON}\left(x,y,t\right)$ 和 $\text{OFF}\left(x,y,t\right)$ 分别表示亮色的增强/增加和衰减/减少。

4) 小叶计算层

最新的昆虫生理学研究发现，在果蝇的小叶中小叶柱状神经元LCN11已被证实对小目标运动具有显著性响应，对静止的小目标或尺寸较大的运动目标几乎没有反应 [13] [14]。基于这个发现，设计模拟LCN11的小目标运动检测器 [2] [19] [20]。ON、OFF通道信号及其延时τ分别经过各自的乘法器M后，再经减法器运算、输出运动响应偏好。

OFF通道：位于髓质层的Tm1、Tm2，分别接受薄板层单极细胞L2、L3的投射，Tm1经τ延迟、与Tm2信号相乘后，传向下游层。ON通道：位于髓质层的Mi1、Tm3，接受薄板层单极细胞L1的投射，Mi1经τ延迟、与Tm3信号相乘后，传向下游层。乘法器M输出信号分别为 $S_1\left(x,y,t\right)$ 、 $S_2\left(x,y,t\right)$，即，

$S_1\left(x,y,t\right)=M^{Tm1}\left(x,y,t\right)\times M^{Tm3}\left(x,y,t\right)$ (5)

$S_2\left(x,y,t\right)=M^{Tm2}\left(x,y,t\right)\times M^{Mi1}\left(x,y,t\right)$ (6)

最后，将左右边路径的信号相减得到小叶计算层模型的输出，即，

$S\left(x,y,t\right)=S_1\left(x,y,t\right)-S_2\left(x,y,t\right)$ (7)

$S\left(x,y,t\right)$ 经归一化处理后，模型响应值为 $\left[-1,1\right]$ 区间。

3. 仿真实验测试与分析

仿真实验测试是在CPU/2.30GHz、内存16G、Microsoft Windows 10操作系统和MTATLB商业数学软件运行环境下进行的。为测试SDC-STMD系统对嵌入在杂乱移动背景中小目标(特别是暗色小物体)运动的检测和跟踪性能，设计多组实验进行测试。

1) Vision Egg生成的“丘陵”、“乡野”视频

借助Vision Egg (一款用于视觉研究与实验的应用软件)生成视频序列，作为实验和测试样本。丘陵、乡野视频(RGB彩色图像序列)的代表帧如图2所示，视频的帧率为60 fps，帧图像尺寸为500 × 250 pixels (像素)，“丘陵”中红色标注圈内的灰色矩形块(灰度值设为120)和“乡野”中的黑色矩形块代表暗色小物体。小目标和背景的移动方向分别为水平向右和水平向左，小目标运动速度设为 $V_S$，背景移动速度设为 $V_F$。对于输入的帧图像 $B\left(x,y,t\right)$，宽度 $x\in \left[0,500\right]$ pixels，高度 $y\in \left[0,250\right]$ pixels，时间 $t\in \left[0,2000\right]$ ms。

(a) “丘陵”视频代表帧 (b) “乡野”视频代表帧

Figure 2. Representative frame of “hills” video and “countryside” video

图2. “丘陵”和“乡野视频”的代表帧

2) 对运动速度的响应偏好测试

“丘陵”视频中浅灰色矩形块目标宽 × 高尺寸大小设为6 × 10像素，灰度值设为120。“乡野”视频中黑矩形块目标宽 × 高尺寸大小设为16 × 16像素。目标和背景分别为水平向左、向右移动，移动速度分别为50、100、150、200 pixels/s (目标和背景移动速度相同)。利用Vision Egg各生成一组“丘陵”、“乡野”视频序列，每组共4个视频序列。对本文所提出的SDC-STMD系统与ESTMD模型 [15] 进行比较实验测试。从表1可以看出，新系统和ESTMD都对小目标运动速度具有响应偏好。考虑到模型响应值为 $\left[-1,1\right]$ 区间，响应偏好值越接近1，说明响应越敏感，或者说，响应值等于1时为理想值。在相同速度下，新系统归一化输出值大于ESTMD的值，说明新系统具有更好的检测效果。另外，当速度增大时，ESTMD的输出值明显小于新系统的输出值，这说明即使在快速移动条件下，新系统仍具有较稳健的目标检测性能。

3) 对目标大小的响应偏好测试(“乡野”视频的实验测试结果见表2)

黑矩形块目标的亮度值仍设为0，目标宽度固定为16像素，改变高度。一共设20个高度值，利用Vision Egg生成一组“乡野”视频序列，共20个视频序列，目标、背景的运动方向分别水平向左、向右，速度均为250像素/秒pixels/s。本文所提出的SDC-STMD系统和ESTMD模型的归一化输出值与目标高度的实验测试结果见表2所示。可以看出，二种检测系统对不同的小目标高度的响应偏好整体规律相似，但是新系统对高度更小的目标具有更敏感的响应，即在小目标宽 × 高为16 × 6像素时达到峰值响应(此时的新系统归一化输出值 = 1)，而ESTMD则在小目标16 × 8像素时达到峰值响应(此时ESTMD的归一化输出值 = 0.96)。当小目标高度在8~20像素区间时，ESTMD的输出值会随着高度的增加略微变大。相比较，新模型的输出值则逐渐变小，更加吻合昆虫生理学发现 [13] [14] [21]，即STMD神经元对某个尺寸的运动目标取得相应的响应峰值之后，随着目标尺寸的增加，响应会随之减弱。

Table 1. Normalized output value of SDC-STMD system and experimental test results of moving speed

表1. SDC-STMD系统的归一化输出值与移动速度实验测试结果

Table 2. Normalized output values of SDC-STMD system and experimental test results of target height

表2. SDC-STMD系统的归一化输出值与目标高度实验测试结果

5) 对真实视频小球滚动的响应偏好测试

使用摄像机拍摄路边草地上滚动的小球视频代表帧如图3所示，帧速率为23 fps，图像尺寸为960 × 544 pixels，视频序列长度/大小为60 frames。小球滚动方向分别为向右和向左。实验测试结果列于表3。

(a) 小球向右滚动 (b) 小球向左滚动

Figure 3. Video of a rolling ball

图3. 小球滚动的视频

Table 3. Test results of the ball rolling

表3. 小球滚动的测试结果

4. 结论

本文模拟和解析了昆虫视网膜–薄板–髓质–小叶视神经纤维堆层对小目标运动感知的神经计算过程，设计了模拟小叶柱神经元中LCN11机理的小目标运动检测器，构建了SDC-STMD系统和计算层级及相应算法。所提出的模拟果蝇复眼视觉的小目标运动检测与跟踪系统(SDC-STMD)，经多组实验测试结果表明，SDC-STMD对嵌入在杂乱移动背景中暗色小物体运动辨别和跟踪具有一定的优势，相比ESTMD模型，本文所提出的SDC-STMD对小目标尺寸大小及移动速度具有更加精细的响应偏好和更高的鲁棒性。

基金项目

本文得到江西省教育厅科学技术研究项目(编号：GJJ212101，GJJ219310)、南昌市重点实验室建设项目(编号：2020-NCZDSY-005)的资助。