基于全天空视频数据的雷击方位角自动识别方法

Lightning Azimuth Image Recognition Based on the All-Sky Deep Video Data

摘要: 光学雷电探测是一种常用的手段，但通常是通过人为值守的方式进行，因此，如何实现闪电光学图像及其方位角的自动识别是非常重要的，因为这样可以大大降低人为值守的工作量。本文收集了大量的闪电图像数据，建立了包含超过三万个带标签样本的数据集。同时，根据闪电具有显著时变特征的性质提出了一个时序合成的预处理方法，结果表明时序合成的预处理方法大幅提高了模型分类准确率。训练出的模型实现了“是闪电”和“非闪电”的分类，在测试集上能达到98.6%的正确率。另外，本文发现，对有些闪电图像，基于边缘检测算法可以提取其闪电通道边缘，获得比较精确的角度信息。而对边缘检测算法失效的图像，可以采取垂直亮度累加法获得其大致角度范围。

Abstract: Lightning optical detection is an important method, however, it is often used to observe the lightning discharge based on the manual duty. Therefore, how to realize the automation lightning optical detection is very important, which can remarkably reduce our workload. In this paper, we have built a lightning image dataset, which contains more than 30,000 labeled samples, including two categories of “lightning” and “non-lightning”. At the same time, the data is preprocessed according to the characteristics of the lightning image recognition task, so that the model can obtain the time-varying characteristics of lightning, and the classification accuracy of the model is greatly improved. Through experimental verification, using DenseNet161 as the backbone network can achieve 86.5% recall rate and 0.2% false detection rate on the test set. Also, it is found that the edge detection method is well used for the image recognition of the lightning channel and its strike point, and for the lightning images that the edge detection method cannot identify, the vertical brightness accumulation method is used for the approximate azimuth range recognition.

1. 引言

闪电光学探测是非常重要的探测手段。20世纪30年代，Schonland和Malan的研究团队[1]发明了条纹相机并对闪电进行了观测，揭示了雷电放电过程，极大地促进了雷电研究的发展。1990年Yokoyama [2]设计了高速摄像闪电观测系统，为闪电放电精细结构的解读奠定了基础。如Jiang和Qie等[3]基于高速摄像系统完整地观测了一次闪电放电的双向传播现象等[4]-[7]；Kong等[8]采用高速摄像观测到闪电正极性先导的阶梯状延伸特征；李宗祥等人[9]使用高速摄像结合其他仪器记录了12次人工引发闪电上行负先导的发展传输特征；Lu等人[10]-[17]建立了广州高建筑物闪电观测系统(TOLOG)，在广州市进行了多年的观测实验，揭示了雷击高层建筑的很多物理现象；Wang等人[18]通过高速摄像和快天线记录了5种类型的人工触发闪电；Cai等人[19]利用高速摄像等设备分析了一次具有多个分支的人工触发闪电。除此以外，也有学者采用高感光度设备观测雷暴上空瞬态发光事件(Winckler等，1989；Pasko等，2002；Van der Velde等，2009) [20]-[22]。如Yang等人[23]观测并分析了一次中尺度对流系统产生的单个精灵。此外，部分学者观测了闪电通道光谱，定量计算通道内电子温度、密度、电导率等物理参数，由此得到通道内部以及周围的微观物理信息[24] [25]。

不过，值得注意的是，上述文献中介绍的所有闪电光学观测都是通过手动或者电磁触发的方式来记录视频图像，在野外观测时需要科技人员的参与，闪电图像是通过人的眼睛一帧帧分辨的，获取数据比较艰辛。而且由于野外观测需要大量的人力物力财力，要依靠人工的方式获取更多的观测数据是非常不易的。因此，很有必要开展闪电光学的自动、无人值守的观测，因为这涉及到闪电光学观测的智能化发展的问题。为了能够实现闪电光学的自动识别，必须借助神经网络技术进行闪电图像的自动识别，这样就可以非常简单地在不同地区实时观测，能大幅度地节省人力物力成本。

神经网络技术在近年来取得了极大的进展，并广泛应用于很多领域的图像识别问题。1998年Yann LeCun [26]提出的LeNet-5被广泛应用于手写数字识别；2012年Alex Krizhevsky等人[27]提出的AlexNet在当年的大规模的视觉识别挑战赛(ImageNet large scale visual recognition challenge, ILSVRC)中大获全胜，其前五位错误率为17%，而第二名有26%的错误率。2014年Google研究院的Christain等人[28]开发了GoogleNet，比起AlexNet使用了更少的参数获得了更高的性能，在ILSVRC中以7%以下的错误率赢下冠军。2016年He等人[29]提出的ResNet引入了ResBlock解决了模型层数加深后模型退化的问题，模型的深度可达了152层。在此之后大量出现对模型结构的完善，如2016年Zagoruyko等人[30]试图使用一种更浅，但是宽度更宽的模型来提升模型的性能，最终得到了Wide-ResNet，相比ResNet有着更快的训练速度。2016年Xie等人[31]提出ResNeXt，通过增加一个Block中的路径数量，能够在增加模型宽度和深度带来的收益递减时继续提升网络的精度，也简化了网络的设计难度。2017年Huang等[32]提出DenseNet，其核心结构DenseBlock相对于ResBlock区别在于特征图的复用，和前面所有层与后面层的密集连接，这使得其相对ResNet拥有更少的参数量和更高的性能。许多气象相关的图像识别任务都使用了深度神经网络，如Zhao等[33]通过CNN-RNN网络结构实现了静态图像的多标签天气识别，Lv等[34]提出一种基于对比自监督学习的云图分类方法。

基于此现状，本文构建了首个闪电图像数据集，基于最新分类技术设计了实验，开展了基于神经网络技术的闪电图像识别工作，实现了闪电光学的自动观测与图像识别。同时，考虑到全天空摄像和定向摄像的数据仅仅能提供闪电发生的大概范围角(如定向摄像机给出的是60度范围的闪电活动；而全天空相机给出的是360度范围的闪电活动)。因此，为了准确识别闪电的发生方位，在上述闪电图像自动识别的基础上，本文也提出了基于全天空视频数据的一种雷击方位角的自动识别方法。

2. 数据来源

数据来源于广东徐闻和江苏南京，采集时间段为2022年4~8月和2023年6~7月，闪电光学的自动观测包括闪电视频文件的实时拍摄存储和图像的自动识别两部分。徐闻站安装了2个定向相机；南京站安装了2个定向相机和1个全天空相机。定向相机的视场角约60˚，全天空相机的水平视场角为360˚，垂直视场角为90˚。数据采集的视频文件分辨率为1280 × 1024，帧率为50 fps，视频格式为AVI，单个视频文件长度为30秒，5个相机一天能产生共14,400个视频文件。

Figure 1. Polar coordinate inverse transform for all-sky camera images. (a) Original image data from the all-sky camera; (b) Image after inverse transformation

图1. 针对全天空相机画面的极坐标逆变换。(a) 全天空相机的原始图像数据；(b) 逆变换后的图像

为了实现对闪电发生方位角的准确识别，定向相机的数据直接用于图像识别和方位角的判断。但针对全天空相机拍摄的图像数据，则首先需要进行极坐标逆变换，将全天空相机视场复原为与定向相机相似的视场，如图1所示。可以看到图1(a)中红色虚线框区域的闪电，经过极坐标逆变换后出现在图1(b)的中间位置。逆变换后图像的宽度为原先的2倍，高度为原先的1/2。至于全天空图像方位角的标定，本文在测站观测之前，在其正东方向(或者其他方向)放置了一个标识物作为参考，然后沿着顺时针旋转360˚，得到了相应的直角坐标，从而得到了闪电方位角。

3. 闪电图像的自动识别

由于外场环境的干扰以及闪电形态的复杂多变，闪电图像识别存在很多难点：1) 闪电不像通常的物体那样具有固定的形态，其发生发展的位置和通道延伸都具有高度随机性；2) 雷暴天气条件复杂多变，大风、强降雨等导致镜头晃动和图像扭曲现象，且由于云层和雨水的遮挡，云内闪电通道不清晰且呈现不规则亮斑，与太阳透出云缝的形态极其相似，影响闪电形态特征量的提取；3) 测站采集的画面容易受到飞鸟和汽车灯光等随机因素的影响，等等。总之，由于闪电形态的随机性以及周围复杂环境的影响等，想单纯依靠闪电形态进行识别是不现实的。

因此，本文通过分析大量的闪电视频数据发现，和其他自然干扰源相比，闪电图像的显著特点是亮暗的瞬态变化。因此，在我们的图像识别算法中主要关注的是利用闪电图像亮度的瞬变特征来识别。具体实施步骤如下：

第一步，针对闪电图像的瞬变特征，提出一种时序合成的预处理方法，使闪电的时序变化特征能够输入模型，大幅提升模型分类效果。

如图2所示，基于闪电图像瞬态变化的显著特点，采用时序合成的预处理方法，将明显看到是闪电的这一帧(被标记帧)前后各1帧，总共3帧图像，分别作为R、G、B通道，合成为一张新的图片。将合成的新图片输入模型，就可以通过识别新图片中的时变信息来判断是否是闪电。

第二步，基于卷积神经网络模型的闪电图像自动识别。

分别采用ResNet152，ResNeXt101 (64 × 4d)、Wide-ResNet101-2、DenseNet161作为主干网络在训练集上进行训练，模型的权重使用He初始化方法。共训练225轮次，每25个轮次记录一次模型权重值。在开始训练前固定了随机数种子，使得两次训练抽取样本的顺序完全相同。在四个主干网络上得到的损失曲线图3所示，其中横轴为训练轮次数(epoch)，纵轴为损失值(loss)。从图中可以看出，无论使用什么模型，输入的样本经过时序合成后损失值能在约175轮次后收敛到接近0，而没有时序合成的情况下损失值在100个轮次后分别稳定在0.025、0.004、0.012、0.022附近。可以从loss曲线看出，使用时序合成后模型的分类效果有了明显提升，在训练集上模型能够将所有的样本正确分类，若不使用时序合成，则模型甚至无法将训练集的所有样本正确分类。

另外，通过对比发现，四个模型在此训练集上训练时的loss下降速度有所差距，其中ResNet152最慢，ResNeXt101 (64 × 4d)和Wide-ResNet101-2中等，DenseNet161最快；但是在接近175轮次时，四个模型均能将loss降低到接近0。

由于使用DenseNet161模型对数据集中的闪电进行初次识别时，模型容易将具有相同特性(如高亮度等)的图像误判为闪电，因此引入了一个简单的卷积神经网络(CNN)对初次识别的结果进行进一步分类和识别，以提高整体的准确性。CNN网络模型使用三层结构，将闪电图像转换为三维矩阵输入，通过各矩阵之间的差异来表现图像帧之间的瞬变差异。CNN模型最后一层网络输出单个浮点数，作为该图像包含闪电的概率值。该模型共训练25轮次，在训练过程中使用了学习率调整器，帮助模型跳出局部最优，继续优化，从而提高模型的整体性能。如图4所示，10轮次之后，训练集和验证集都维持在低损失值、高准确率的水平，准确率达到了98%。

Figure 2. Diagram of the preprocessing method

图2. 预处理方法示意图

(a) ResNet152 (b) ResNeXt101 (64 × 4 d)

(c) WideResNet101-2 (b) DenseNet161

Figure 3. Comparison of loss curve convergence with and without temporal synthesis

图3. 采用时序合成和不采用时的损失曲线收敛对比图

Figure 4. Comparison of loss and accuracy with convolutional neural networks

图4. 采用卷积神经网络时的损失和准确率对比图

Figure 5. ROC comparison on the test set using different models

图5. 使用不同模型在测试集上得到的ROC对比图

在两阶段的识别与分类之后，使用保存的模型对数据进行测试。首先，分别提取四个主干网络训练至175轮次的模型对数据集中所有数据进行分类测试，得到的ROC如图5所示，其中线条加粗的表示效果最好的DenseNet161。结果显示，DenseNet161在所有主干模型中拥有最快的loss下降速度，在测试集上能有最好的表现。

以上的结果证明了使用He初始化的DenseNet161为主干网络进行训练能够得到最好的分类器。在训练过程中每25个轮次保存一次模型权重值，分别对测试集进行分类，得到了图6所示的ROC，其中线条加粗的是效果最好的第175轮次权重。结果显示，第175轮次权重在阈值为0.38时，可以同时保证仅有16的误检个数和86.5%的召回率。

Figure 6. ROC comparison on the test set for models saved at different rounds

图6. 不同轮次保存的模型在测试集上分类的ROC对比图

Figure 7. Comparison of classification results at different thresholds

图7. 不同阈值下分类结果的对比图

在得到初次分类的结果后，使用初次分类得到的4000张标签为“闪电”的图像，通过CNN模型去除其中的虚假闪电图像。在测试过程中设置范围0.1~0.9的阈值参数，来查看不同阈值对分类结果的影响。若CNN模型输出概率值小于阈值，则认为是“非闪电”；否则认为是“闪电”。另外，由于4000张“闪电”图像中的虚假数据占少数，除正确率和准确率外，再引入F1分数对CNN模型效果进行评估。F1分数对于不平衡数据集具有良好的适应性。如图7所示，当阈值为0.9时，模型对于数据集图像的整体正确率达到了98.6%，对于真实闪电的识别准确率达到了92%，F1分数达到了0.92。由此可得，使用CNN模型进行二次识别分类，能够降低闪电集中出现虚假数据的概率。

4. 闪电发生方位角的识别

基于上述闪电图像的识别结果，进一步对闪电发生的方位角进行识别。首先，基于边缘检测算法提取闪电通道边缘，获得闪电发生的精确角度信息。然后，针对无法获取通道信息的闪电图像，进一步计算亮度变化的垂直累加值，获得闪电发生的大致方位角信息。所谓的“垂直亮度累计值”方法，就是沿着垂直方向，将每一个像素点的亮度直接相加，从而得到随角度变化的一维亮度值，并以亮度最大的位置作为闪电的方位角。

Figure 8. Comparison of three edge detection algorithms. (a) A single clear and complete lightning instance; (b) A relatively faint lightning instance; (c) A fainter lightning instance where the Canny algorithm fails; (d) An even fainter lightning instance where only the Scharr algorithm is effective

图8. 三种边缘检测算法的对比。(a) 一次清晰且完整的闪电个例；(b) 较为微弱的闪电个例；(c) 更微弱的闪电个例，Canny算法失效；(d) 更微弱的闪电个例，仅Scharr算法有效

边缘检测算法是图像处理领域的一个重要的算法，其作用是检测图像中颜色或亮度出现明显变化的区域，这变化通常表现为颜色值、亮度等在方向上的不连续。该算法通过检查闪电通道的边缘来提取闪电发生的方位信息。边缘检测算法的基本原理是使用一个算子(卷积核)对图像进行卷积运算，该算法的根本问题在于使用何种算子处理图像。本文选取了常用的几个算子用于闪电通道的边缘检测算子，分别是Sobel算子、Scharr算子和Canny算子[35]-[37]。图8为四个个例的预处理光学图像以及三种算法的结果对比。其中，图8(a)是在夜晚拍摄的一次清晰且具有完整通道信息的闪电个例，三种边缘检测算法均能很好地检测闪电通道的边界；图8(b)是在白天拍摄的一次较为微弱的闪电个例，Sobel算子检测出的边缘信息很模糊，边缘断裂明显；图8(c)是一次更微弱的闪电个例，背景为夜晚，Canny算子失效，而Scharr算子检测出的边缘比Sobel算子更完整；图8(d)是一次更微弱的闪电个例，背景为白天，且闪电周围的云层受闪电光照影响更大，此时只有Scharr算子检测到了边缘存在。综上可以看出：相比较而言，Scharr算子能更好地提取闪电通道的边缘，故本文采用Scharr算子来提取闪电通道的边缘。

如图9所示，图中红色线为利用边缘检测法[38] [39]得到的亮度随方位角的变化，橙色线为“垂直亮度累计值”随方位角的变化。可以看出，图(a)具有明显的闪电通道，利用边缘检测法也可以获得其比较精确的闪击点位置(图(b)中的红色线)；但图(b)中，由于闪电通道很弱，且由于周围云层的反射导致无法利用边缘检测法得到比较确切的方位角(图(d)中的红色线)。因此，当利用边缘检测法没有获得闪电的方位时，可以采取“垂直亮度累计值”的方法，只能获得闪电的方位角信息。如图9(b)中，由于闪电通道没有分叉且通道亮度最大，所以利用“垂直亮度累计值”方法得到的位置和边缘检测法得到的位置是基本一致的。如图9(d)中，利用边缘检测法没有得到任何角度信息，但是利用“垂直亮度累计值”方法可以大致识别闪电的方位，与原始映像的位置是比较吻合的。

Figure 9. Lightning orientation detected using edge detection methods. (a) Preprocessed optical image of a daytime lightning instance; (b) Comparison of edge detection (red line) and “vertical brightness accumulation” methods, with azimuth as the horizontal axis; (c) Preprocessed optical image of a nighttime lightning instance; (d) Comparison of edge detection (red line) and “vertical brightness accumulation” methods, with azimuth as the horizontal axis

图9. 利用边缘检测方法识别的闪电方位。(a) 一次发生在白天的闪电个例的预处理光学图像；(b) 利用边缘检测法(红色线)和“垂直亮度累计值”方法的对比，水平轴为方位角；(c) 一次发生在晚上的闪电个例的预处理光学图像；(d) 利用边缘检测法(红色线)和“垂直亮度累计值”方法的对比，水平轴为方位角，水平轴为方位角

图10~11进一步给出了R、G和B三个通道“垂直亮度累计值”对比，分别选择了白天和晚上的四次个例。可以看出，在连续三帧图像中，只有其中一帧的图像的垂直累计值具有明显的变化，这与我们光学探测设备的拍摄帧数是直接关联的。由于拍摄帧数是50 fps，从本文拍摄到的几万个闪电视频图像来看，所有闪电连续图片的亮度存在很大突变。当其中一帧亮时，前一帧和后一帧的闪电通道亮度就显著变暗。因此，当我们利用“垂直亮度累计值”对任意合成的三帧闪电图像的亮度分别进行识别时，至少有一个通道的亮度明显优于其他两个。因此，就根据任意一帧的亮度峰值可以确定闪电的大致方位角。

不过，有的时候，由于能见度、相机拍摄像素以及云层反射等很多因素的影响，导致闪电形成的亮斑是一大片，从而导致R、G和B三通道的垂直亮度累加值可能没有明显的突变，如图12(a)和(b)，因此无法识别出闪电的方位角信息。另外，也可能如图12(d)和(e)所示，由于云层的遮挡，出现了几个不同的亮斑，从而形成了多个极值，极值所对应的角度范围就是这次云闪所跨越的角度范围。值得注意的是，实际上，地闪通常具有明显的通道，雷击点是确定的一个位置和一个方位角。但云闪对应的是一个范围，用角度范围来描绘是更科学的。

Figure 10. Comparison of “vertical brightness accumulation” in the R, G, and B channels. (a) Original image of a nighttime lightning instance; (b) Comparison of vertical brightness accumulation in the R, G, and B channels for this nighttime lightning instance; (d) Original image of a daytime lightning instance; (e) Comparison of vertical brightness accumulation in the R, G, and B channels for this daytime lightning instance

图10. R、G和B三个通道“垂直亮度累计值”对比。(a) 晚上的一次闪电个例的原始图像；(b) 晚上的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比；(d) 白天的一次闪电个例的原始图像；(e) 白天的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比

Figure 11. Comparison of “vertical brightness accumulation” in the R, G, and B channels. (a) Original image of a nighttime lightning instance; (b) Comparison of vertical brightness accumulation in the R, G, and B channels for this nighttime lightning instance; (d) Original image of a daytime lightning instance; (e) Comparison of vertical brightness accumulation in the R, G, and B channels for this daytime lightning instance

图11. R、G和B三个通道“垂直亮度累计值”对比。(a) 晚上的一次闪电个例的原始图像；(b) 晚上的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比；(d) 白天的一次闪电个例的原始图像；(e) 白天的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比

Figure 12. Comparison of “vertical brightness accumulation” in the R, G, and B channels. (a) Preprocessed image of a nighttime lightning instance; (b) Comparison of vertical brightness accumulation in the R, G, and B channels for this nighttime lightning instance; (d) Preprocessed image of a daytime lightning instance; (e) Comparison of vertical brightness accumulation in the R, G, and B channels for this daytime lightning instance

图12. R、G和B三个通道“垂直亮度累计值”对比。(a) 晚上的一次闪电个例的预处理图像；(b) 晚上的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比；(d) 白天的一次闪电个例的预处理图像；(e) 白天的这次闪电个例的R、G和B三通道的垂直亮度累加值的对比

5. 结论与讨论

为实现闪电图像的自动识别，本文通过两个光学测站收集了大量的闪电图像数据，建立了包含超过三万个带标签样本的数据集。同时，根据闪电具有显著时变特征的性质提出了一个时序合成的预处理方法，使得闪电的时变特征能够输入到模型中。在不同的模型上测试时序合成的效果，结果显示时序合成的预处理方法大幅提高了模型分类准确率。训练出的模型实现了“是闪电”和“非闪电”的分类，在测试集上能达到98.6%的正确率。最后研究了闪电光学资料在闪电探测网中的初步应用，提出了闪电光学资料与闪电定位网定位点数据之间的匹配方法。主要成果如下：

1) 根据闪电具有的时变特征，提出了时序合成的预处理方法，通过将视频中连续三帧合成为一张图片作为模型的输入，提升了模型对于闪电图像的分类能力。2) 设计了两阶段闪电图像分类实验，对应不同的闪电分类任务，验证预处理方法的有效性，实现了闪电图像识别。实验结果显示能够达到98.6%的正确率。3) 基于上述闪电图像的识别结果，进一步对闪电发生的方位角进行识别。首先，基于边缘检测算法提取闪电通道边缘，获得闪电发生的精确角度信息。然后，针对无法获取通道信息的闪电图像，进一步计算亮度变化的垂直累加值，获得闪电发生的大致方位角信息。通过大量数据的识别结果来看，利用边缘检测和“垂直亮度累计值”法可以对95%上的闪电图像的方位角进行识别。