基于自注意力对抗网络的VLA稀疏阵列效应消除技术

VLA Sparse Array Effect Elimination Technology Based on Self-Attention Adversarial Network

摘要: 稀疏阵列具有许多的优点，例如其拥有较低的成本效益，较低的相互干扰性，以及很强的灵活性等。但是天线的稀疏化也同时带来一系列问题：分辨率限制、视场失真、较大的旁瓣等，这些问题都能使得观测的同时带来一系列效应。为了最大程度的消除这些效应对观测带来的影响，本文选择深度学习的方法对带有效应的脏图进行重建。本文在CycleGAN网络的生成器当中加入自注意力机制来对效应进行消除。改进后的SACGAN由带有自注意力模块的ResNet与判别器PatchGAN组成，前者用于提取原始图像中的细节特征来生成以假乱真的图片，后者的主要任务是分辨图片是不是生成的图片。实验使用250份天空模型图像，使用3份用VLA.A配置修改的、仅有6根天线的阵列配置来模拟观测。总共750张图像，使用600张进行训练，150张进行测试。测试结果显示，重建图像的PSNR与SSIM分别达到了48.091与0.881。结果表明，本文所使用的深度学习网络能够很好地还原了使用随机模型观测的脏图，在对脏图当中效应的消除起到了良好的作用，能够更好地还原原始天体图像。

Abstract: Sparse arrays have many advantages, such as lower cost-effectiveness, lower mutual interference, and strong flexibility. However, the sparseness of antennas also brings about a series of problems: resolution limitations, field of view distortion, large side lobes, etc. These problems can cause a se-ries of effects during observation. In order to eliminate the impact of these effects on observations to the greatest extent, this paper chooses the deep learning method to reconstruct dirty images with effects. This article adds a self-attention mechanism to the generator of the CycleGAN network to eliminate the effect. The improved SACGAN consists of ResNet with a self-attention module and the discriminator PatchGAN. The former is used to extract detailed features in the original image to generate fake pictures. The main task of the latter is to distinguish whether the picture is a gener-ated picture or not. The experiment used 250 sky model images, with 3 images using VLA.A modi-fied array configuration and with only 6 antennas being used to simulate observation. There are 750 images in total. 600 are used for training and 150 for testing. The test results show that the PSNR and SSIM of the reconstructed image reached 36.6636 and 0.472 respectively. The results show that the deep learning network used in this article can restore well dirty images observed us-ing random models, plays a good role in eliminating the effects of dirty images, and can better re-store original celestial body images.

1. 引言

稀疏阵列由于其成本对较低、强灵活性、低互扰等优点，在射电天文领域中受到了广泛应用。然而也是因为其稀疏的特性，同时也带来了一些负面效应，例如波束效应、数据伪影、波束交叠、定位偏移等。这些效应降低了观测的准确度，同时还影响了有些精确观测的可分析性。过去很长一段时间里也开发了一系列传统的算法来降低效应所带来的影响，在1979年，最开始的CLEAN算法 [1] 通过搜索图像中最亮的天体源，并模拟这些源，随后从图像中减去它们，以此来提升图像质量。后续又出现了许多CLEAN算法的变体，根据参数化方法，分为无尺度，多尺度 [2] ，自适应尺度 [3] [4] [5] 。也有些算法跳出了CLEAN算法的限制，以新方法来实现了混合噪声的反卷积计算 [6] 。然而，迄今为止，将深度学习方法应用到稀疏阵列负面效应消除的例子少之又少。

在深度学习的图像恢复方面，GAN网络的出现使得图像恢复任务进入了新的里程碑。最开始的GAN网络 [7] 基于博弈论原理，让网络中的生成器与判别器两部分相互博弈并提高自身性能。之后GAN网络也衍生出了其他性能优秀的网络 [8] ，并且在很多风格转化任务以及图像重建任务都表现良好 [9] [10] ，并且在医疗图像领域的应用也有许多优良的结果 [11] [12] 。本文的主要任务是利用深度学习网络，来对稀疏VLA阵列模拟观测中附带的负面效应进行消除。深度学习网络能够很好地学习各种效应的特征值，并有效校准和修复脏图，以此提高图像的质量。并且深度学习网络还能够在大规模数据测量中实现高效自动化，不需要很多的人工干预，以此提高了工作效率。因此，本文设计了一种自注意力对抗网络来进行VLA稀疏阵列负面效应的消除工作，在图像域上完成脏图到原始图像的转化重建。

2. 相关研究

2.1. Cycle-Consistent Adversarial Networks

2017年，Jun-Yan Zhu等人提出了一种GAN网络，称为Cycle-Consistent Adversarial Networks，简称CycleGAN。该网络解决了传统GAN网络在没有图像配对时无法训练的情况。该网络训练不需要图像配对，只需要两个不同图像域的图像数据集，同时也不需要一一对应。CycleGAN的生成器可以是Unet以及Resnet两种网络相互替换，判别器则采用了他们所提出的一种PatchGAN结构：该结构分类不同于普通网络，它是对图像中的一小部分或“补丁”(Patch)进行分类。通常来说，这一块小区域是一个固定的正方形区域，并对这一块区域进行二进制分类，判别出该部分是否属于真实图像。由于其对于图像关注的区域特性，它通常能够以高分辨输出，更好的捕捉到图像中的细节。并且PatchGAN的工作方式使得其在判别方面能够进行像素级别的判断，是一种高效的判别器。CycleGAN网络的主要思想时对两种图像域的不同图像进行双向映射，也就是将域A的图像风格转换到域B的风格，同时还能将图像域B风格的图像转换回域A。优化过程其实就是对生成图像与真实图像差异以及判别器误差的最小化。

2.2. Self-Attention

2017年，Vaswani等人首次提出了一种网络架构Transformer [13] ，该网络架构使用了Vaswani等人所提出的一种自注意力机制(Self-Attention)。该机制的核心内容，就是允许模型动态学习序列或者图像中的不同位置之间的关联性。其通过计算每个元素与其他元素的关联性权重，从而对对象中的每个元素分配不同权重。该机制允许模型在处理输入的数据时将更多的注意力集中在相关信息当中，以此来提高模型性能。自注意力机制在NLP与CV领域的应用十分广泛。在NLP中，它被应用于构建强大的语言模型，例如BERT与ChatGPT等许多优秀语言类模型。而在计算机视觉中，自注意力机制被应用在图像分类、对象检测、图像生成以及图像分割等任务当中。自注意力机制的应用不仅限于单一模态数据，还可用于多模态数据融合：例如文本与图像信息融合来进行跨模态任务。

3. 相关方法

为了使得稀疏阵列观测所带来的负面效应最小化，本文提出了一种新型网络SACGAN。该网络将自注意力机制(Self-Attention)融合到CycleGAN网络的生成器当中。CycleGAN网络的生成器旨在学习真实图片的数据分布并根据分布来生成虚假图片。自注意力机制可以将图像中的元素与其余元素权重进行关联，在消除效应影响还原图像的同时能更加精确的找到原始图像中每个源的位置，并实现了Self-Attention与CycleGAN的融合。SACGAN网络架构整体如图 [1] 所示。SACGAN是基于CycleGAN改进的图像恢复网络，该模型对图像细节的恢复适用于天体脏图的高清重建。

3.1. SACGAN结构

SACGAN是一种博弈网络，对图像的高清重建有着良好的学习。该网络生成器有两个部分：一是将图像域A转换到图像域B风格的生成器A2B (Generator A2B)，另一个是将图像域B转换回到图像域A风格的生成器B2A (Generator B2A)，两个生成器相互工作以提高性能。生成器方面，我们对原有的标准Resnet网络结构进行改进，并将其称为SARnet，其结构如图1所示。该网络由两个下采样层、9个残差块、两个上采样层，自注意力(Self-Attention)层以及输出层构成。该网络在传统的ResNet [14] 网络基础上引入了自注意力机制，这一改进能够使网络更好的捕捉图像当中的关联性和全局特征。并且本次整体网络是基于一个GAN网络的基础，更好的捕捉图像特征之间的关联性以及全局性能够大幅度提高生成器所生成图像的质量，更好的提高了网络的性能。

相比原始的ResNet，SARnet在每个残差块之间加入了自注意力层，提升网络深度的同时，还可以使网络更好理解图像中不同像素之间的关联性。比起原始网络对卷积操作的依赖，SARnet主要依靠捕捉输入图像的全局图像特征，并且对于卷积窗口大小没有限制，这使得SARnet相比原始ResNET更能处理次要源的恢复。该网络对于图像的全局关系有着更好的建立，并且对于更加复杂的图像恢复任务更具有表现力，能够生成更加高质量、逼真的图像，这些对于稀疏阵列的负面效应消除有着明显的优势。

SACGAN整体网络结构如图2所示。在图2中，Input_A为使用天空模型进行模拟观测之后的脏图，脏图Input_A进入生成器后，生成器以此来生成虚假图像Fake_A。生成器在训练的过程中的损失函数有两种，为均方误差损失和像素差损失。本次实验使用像素差损失作为生成器的损失函数，其数学式由式(1)所示：

$L_{pixel}\left(G,F\right)={\mathbb{E}}_{x~P_{data}\left(A\right)}\left[{\Vert F\left(G\left(A\right)\right)-A\Vert }_2^2\right]$ (1)

式中，G为生成器，F则为生成方向相反的反向生成器。A为输入的脏图， $P_{data}\left(A\right)$ 为输入脏图的数据分布， $\mathbb{E}$ 为期望。激活函数方面，考虑到本文数据集的复杂性，我们使用了LeakyRELU函数作为网络的激活函数。LeakyRELU函数跟RELU函数相比，其会在输入小于0的时候提供一个斜率非常小的输出，解决了负输入下0梯度的问题。鉴于该函数的非线性特性以及训练高效性，能够很好的匹配本文数据集的高复杂度，故使用LeakyRELU函数作为网络的激活函数。

Figure 1. SARnet network structure

图1. SARnet网络结构

Figure 2. SACGAN structure diagram

图2. SACGAN结构图

网络的损失函数(Loss function)方面使用了GAN网络独特的对抗损失(Adversarial Loss)。该损失函数用于生成器与判别器之间的对抗训练。损失函数旨在鼓励生成器生成逼真的图像以欺骗判别器。对于生成器G的对抗损失，具体数学表达为式(2)所示：

${\mathcal{L}}_G\left(D,G\right)=-{\mathbb{E}}_{y~P_{data}\left(y\right)}\left[\log D\left(G\left(y\right)\right)\right]$ (2)

其中， ${\mathbb{E}}_{y~P_{data}\left(y\right)}$ 为生成图像的数据分布，G(.)表示生成器网络，D(.)表示判别器。

网络。对于判别器D的对抗损失，具体数学表达为式(3)所示：

${\mathcal{L}}_D\left(D,G\right)=-{\mathbb{E}}_{x~P_{data}\left(x\right)}\left[\log D\left(x\right)\right]-{\mathbb{E}}_{y~P_{data}\left(y\right)}\left[\log \left(1-D\left(G\left(y\right)\right)\right)\right]$ (3)

其中， ${\mathbb{E}}_{x~P_{data}\left(x\right)}$ 表示真实图像的数据分布， ${\mathbb{E}}_{y~P_{data}\left(y\right)}$ 为生成图像的数据分布，G(.)表示生成器网络，D(.)表示判别器网络。通过对抗损失，GAN网络可以训练出能够生成逼真数据的生成器，这对于生成各种类型的数据有一定的帮助，从而能够使网络更能够完成复杂的图像任务。

3.2. Self-Attention

本节详细描述自注意力模块并解释使用的原因。引入自注意力机制旨在相比原有网络的基础上增强网络的建模能力，能够使其更好地处理复杂数据以及数据中的依赖关系。本文中使用的天空模型中，除了主要观测的主要源外，还有很多离散分布的次要源。由于稀疏阵列观测带来的负面影响，次要源的观测通常会受到更大的挑战。自注意力机制的引入能够将网络能够动态捕捉图像中不同位置的依赖关系，无论位置相隔多远，都能够对应不同大小的潜在依赖。并且，自注意力机制能够有助于网络更好理解图像内容，增强恢复图像内容的一致性。

本身来说，自注意力机制就是一种模仿人类视觉以及认知系统的方法，能够使网络输入数据的时候集中于注意力相关的部分。而天空图像中各种源的分布是随机的，如果使用一般网络进行恢复，很难对这种随机分布的恢复起到良好的作用。如果引入注意力机制的话，在图像恢复的过程中，网络不仅能够对主要源进行恢复，还能够对脏图中次要源的恢复起到一个重要的作用。自注意力机制在处理输入数据的时候不仅是依赖相邻位置的元素，而是计算其他元素的相似度，并归一化为注意力权重，然后对元素进行加权求和。

Figure 3. Picture of self-attention structure

图3. Self-Attention结构图

对于Self-Attention，如图3所示，其首先对输入的featuremapx进行线性映射，分别得到一个f，g，h，其中 $f\left(x\right)=W_f\ast x$ ， $g\left(x\right)=W_g\ast x$ ，这两个值用来计算attention ${\beta }_{j,i}=\text{softmax}\left(f{\left(x_i\right)}^{\text{T}}g\left(x_i\right)\right)$ ，如式(4)所示：

${\beta }_{j,i}=\frac{\exp \left(s_{i,j}\right)}{{\displaystyle {\sum }_{i=1}^N\exp \left(s_{i,j}\right)}},\text{where}{s}_{i,j}=f{\left(x_i\right)}^{\text{T}}g\left(x_i\right)$ (4)

${\beta }_j^i$ 为在i位置对生成j区域的关系权重，N为特征位置数，将h于attention作点乘就得到了注意力层的输出结果 $o=\left(o_1,o_2,\cdots ,o_j,\cdots ,o_n\right)$ 。式(5)给出了 $o_j$ ：

$o_j=v\left({\displaystyle {\sum }_{i=1}^N{\beta }_{j,i}h\left(x_i\right)}\right),h\left(x_i\right)=W_h{x}_i,v\left(x_i\right)=W_v{x}_i$ (5)

以上W_f、W_g、W_h都是1 x 1的卷积，最后将自注意力层的结果乘以一个系数就可以得到最终输出的结果。对于本文任务来说，该模块很好的满足重建任务中复杂源的恢复，有利于负面效应消除，对图像重建任务有着很大的帮助。

4. 实验部分

4.1. 实验数据与环境

源的种类有很多种，既可以按空间分布分为点源与扩展源，也可以按照天文类型来分类，例如星系、脉冲星、太阳系天体等。一般来说，在观测的时候，我们并不会仅观测一种单一的源，而是每一种类型的源都会去观测。本文所使用的实验工具为CASA天文软件包(Common Astronomy Software Applications)，使用了250个不同的天空模型作为模拟观测的初始源。在天线配置上，我们使用了VLA.A配置并对其修改，将其天线削减为6根，以此来模拟稀疏阵列的观测情况。实验总共设置了3中配置，每张源对应3张模拟观测的脏图，总共750张脏图。将所得数据切分为两个部分：使用600张脏图作为训练集图像对，使用150张脏图作为测试集图像对。本次所做实验均在同一台服务器上完成，服务器配置为Xeon(R) Platinum 8255C处理器以及一块NVIDIA GeForce RTX 2080ti显卡，在python3.8环境下使用1.11.0Pytorch框架与CUDA 11.3完成。

深度学习网络的训练需要依靠合适的超参数，并在训练过程中逐步对超参数进行优化和调试，最终找出最适合训练的一组参数。生成器在训练的过程中都会对其进行dropout，主要作用是提高训练的速度以及防止过拟合。所有bias设置为0，并且训练批次大小batch仅设置为1，这是为了更好的使网络学习到天空模型的深度细节。训练迭代次数epoch设置为150次，优化器使用Adam优化器进行参数优化，学习率全局设置为0.0002。

4.2. 图像质量评价

对于图像恢复任务，其任务目的就是要将原始的低质量图像，恢复到良好的、高质量图像。对于图像质量的评价指标，有以下常用的三种评价指标：

1) PSNR

峰值信噪比(PSNR)是一个常用于评价图像质量的传统指标，该指标的主要关注点在于图像中存在的噪声和失真。其通过计算两张图像之间的均方误差，结果越高表示恢复图像的质量越好，单位为dB。数学式如式(6)所示。

$\text{PSNR}=10\cdot {\log }_{10}\left(\frac{{\text{MAX}}^2}{\text{MSE}}\right)$ (6)

2) SSIM

结构相似度(SSIM)是一种综合考虑图像之间亮度、对比度和结构信息的图像质量度量方法。如上所述，它通过计算两张图像之间的亮度、对比度、结构相似度来判断图片质量的好坏。SSIM的值介于−1与1之间，越接近1表示图像质量越好。该方法能够成为度量图像质量的经典指标，也是因为该方法更能捕捉到人眼对图像质量的主观感受。数学式如式(7)所示。

$\text{SSIM}\left(x,y\right)=\frac{\left(2{\mu }_x{\mu }_y+C_1\right)\left(2{\sigma }_{xy}+C_2\right)}{\left({\mu }_x^2+{\mu }_y^2+C_1\right)\left({\sigma }_x^2+{\sigma }_y^2+C_2\right)}$ (7)

3) MS-SSIM

考虑到本次数据的复杂程度，本文引入了多尺度结构相似度(MS-SSIM)作为度量图像质量的方法。该方法是对结构相似度(SSIM)的扩展，考虑了多尺度下的结构相似性。其首先将图像分解为多个尺度的子图像，然后分别计算每个图像的SSIM，最后将这些值综合起来，得到MS-SSIM分数。MS-SSIM更加灵活，能够更好的反映图像在不同尺度下的结构相似度。

5. 实验结果

负面效应的有效消除取决于网络的性能强度。本文使用了不同网络与SACGAN进行实验对比：CycleGAN网络、Pix2pix网络以及传统的CLEAN算法。表1给出了以上几种网络的分析结果。从表中数据可以看出，本文所提出的SACGAN用有最高的PSNR值38.09以及最高的结构相似度0.57，达到了良好的效果。在其他方面，SACGAN的网络训练时间要慢与其余网络，本文的训练样本总共花费6小时48分钟，评价高出其余网络训练速度的26.64%。不过对于图像恢复性能的提升，训练时间的增加完全可以接受。

Table 1. Comparison of results of different algorithms for test objects

表1. 不同算法对于测试对象的结果比较

Figure 4. Visualization of different network results

图4. 不同网络结果可视化

我们将上表所示的各个网络的性能测试可视化为图4并进行分析对比。图的横坐标为所使用的网络名称。从图中可以清晰看见，本文所使用的SACGAN在图像恢复上的性能均优于其他几个网络，对于观测中所带来的综合负面效应的消除起到了良好的作用。本文所用网络不仅在数据上呈现优势，从人眼的角度也是有着良好的作用。图5展示了SACGAN对于含有负面效应的脏图进行恢复后的图像对比。

Figure 5. Comparison between SACGAN restored image and original image. The left side shows the SACGAN restored image, and the right side shows the original sky image

图5. SACGAN恢复图像与原图像对比。左边为SACGAN恢复图像，右边为原始天空图像

从图5中可以发现，SACGAN对于主要源的恢复有着良好的效果，在对次要源的恢复中，可以发现在对亮度等级稍高的次要源也起到了很好的恢复效果从此方面可以看出本文所提出得到SACGAN符合射电天文学观测的任务需求。而且相比于传统的HogbomCLEAN以及MS-CLEAN等算法，本文所提出的网络也体现出了更加优良的性能。

6. 结语

对于稀疏阵列观测带来的负面效应的消除在天文观测领域有很重要的科学价值，其目的是为了在探索宇宙空间时获得更加清晰的图像。在今天依然在使用以CLEAN算法为代表的传统型算法，但由于其相对复杂的迭代过程，使得在某些情况下处理脏图费时费力。本文基于GAN网络提出了一种新型网络SACGAN，并将其应用于负面效应的消除。网络采用自注意力机制，使得其对细节恢复有着良好的性能。实验结果表明，相比较于传统算法和其他深度学习网络，本文所提出的SACGAN在图像结构恢复方面和恢复后图像的质量方面有着出色的表现，能够更好的实现对观测中带来的负面效应的消除。

基金项目

国家自然科学基金(12273007, 11963003, 12242303)，贵州省优秀青年科技人才计划项目(黔科合平台人才-YQK [2023] 006)，贵州省基础研究(自然科学)项目(黔科合基础-ZK [2022]一般143)，贵州大学培育项目(贵大培育[2020] 76号)。

参考文献

NOTES

^*通讯作者。