基于深度学习的星系图重建方法研究

Research on Galaxy Map Reconstruction Method Based on Deep Learning

摘要: 为了帮助分析早期宇宙中的星系，需要对图像精确建模，由于在观测成像过程中傅里叶域的稀疏采样,导致传统反卷积算法重建成像数据特征的能力有限，并且早先将神经网络模型探索性地应用于天体物理对象重建，其模型的适配性和优化不足，导致重建性能较差。在此，我们利用斯隆数字巡天的数据进行模拟观测成像，并提出了基于特征融合的生成模型对其观测数据进行重建。通过定性定量测试，也证明该模型很好地从脏图中恢复了成像数据特征，其性能远超传统重建算法，从而可以进一步帮助分析早期宇宙中的星系以及未来应用于不同物理性质的望远镜系统中。

Abstract: To help analyze galaxies in the early universe, images need to be accurately modeled, due to the sparse sampling of the Fourier domain in the process of observation and imaging, the ability of traditional deconvolution algorithms to reconstruct the features of imaging data is limited, and applies neural network model of the exploratory earlier astrophysical object reconstruction, the suitability of its model and optimize the shortage, poor performance in reconstruction. Here, we train the generative model based on feature fusion to reconstruct the galaxy map through the data of the Sloan Digital Sky Survey. Qualitative and quantitative tests also prove that the model is good at recovering the image data features from the dirty map, and its performance is far better than the traditional reconstruction algorithm which could further aid in the analysis of galaxies in the early universe and future applications to telescope systems with different physical properties.

1. 引言

任何天体物理对象的望远镜观测都受到噪声的干扰，这些噪声来自所使用的观测仪器和天空背景 [1]。同时，望远镜的观测也受到望远镜分辨能力(R∼λ/D)和未校正大气条件的限制，这一限制所引入的模糊可以利用点扩展函数(PSF)来描述 [2] [3]。因此，天文望远镜在经过观测–成像后的观测图像(脏图)可以认为是真实的光分布和点扩展函数的卷积，并添加来自各种噪声源的干扰。

由于傅里叶域的稀疏采样，反卷积消除由点扩展函数产生的效应的能力受到了限制，尤其是在有噪声的情况下 [4] [5] [6]。传统的反卷积算法对成像场中只有几个分离良好的点源(如恒星物体)重建效果良好，但对于星系图等延展源并不能很好地重建图像，重建图像中引入了多余的尺度结构和伪影信息。在存在噪声的情况下，可以使用Richardson-Lucy反卷积算法对观测图像进行重建，该算法由Richardson (1972)和Lucy (1974)提出，但是该算法的复杂性较高，从而重建观测图像花费时间过长，虽然重建后的图像质量有了一些提升，但是不足以满足后续的研究需要。Bell和Sejnowski提出一种无监督学习的反卷积算法 [7]，可以最大限度在网络中传递信息，减少了输出层单元之间的冗余，此系统中没有考虑噪声模型，是因为网络中的信息容量不是受噪声影响，而是受压缩函数的饱和限制。

处理这样的反问题的另一种思路是向模型中整合领域的先验知识。通过在模型中整合已知的先验知识，使得模型估计的分布信息更符合原始数据的分布。在本文中，我们采用深度学习技术来突破传统反卷积算法在星系图(延展源)重建上的限制，利用大量原始的高质量图像对网络模型进行训练，深度学习系统可以构建先验分布，从低质量的图像中恢复信息。同时，我们提出了一种新的基于生成对抗网络的反卷积优化方法，实现星系观测图像的反卷积。

2. 相关工作

星系图像重建本质上是通过去除点扩展函数的方法引起的图像模糊影响 [8]，而图像去模糊问题也是图像重建研究的热点问题，为研究工作者提供了各种途径并获得了良好的重建结果。常规的去模糊方法主要包括两种：一是非盲去模糊，即已知模糊核函数，可以利用对模糊图像的退化模型直接进行反卷积，而获得重构的图像；另一类方法是盲去模糊，即图像被影响的实际情况下无法利用具体的模糊核函数建模，但可以在具体模糊核函数未知的实际情况下直接实现图像重建。在典型的非盲反卷积方法中，早在上世纪六十年代，逆滤波 [9] 就被应用于对卫星得到的图像进行处理，但该算法对噪声相当敏感导致在噪声存在的情况下难以恢复出理想的图像 [10] [11] [12]。之后，Helstron所提供的最小均方误差滤波(维纳滤波)的方法，在信号与噪声都满足广义平稳随机过程的情况下，保证重建的图像和原始图像之间的均方误差最小来获得最优的复原图像，在图像重建问题中，当点扩展函数已知，那么使用维纳滤波就可以得到较好的效果，但实际求解过程中，噪声和原始的图像信息通常是未知的。Richardson和Lucy (1974)提出了以贝叶斯理论为基础的反卷积方法(RL算法)，该算法假定模糊图像服从泊松分布并以最大似然估计方法通过迭代求解重建图像，RL算法的优势在于效率高，而且即便未知噪声的先验信息也可以获得较好的重建效果。

在真实环境下，只能获得模糊的图像数据，而图像的模糊过程不得而知，因此，图像重建任务只能在模糊核函数未知的条件下进行 [13] [14]。盲去模糊有两种常见方式：一种是首先估计模糊核函数，然后再通过非盲去模糊方法重建图像；另一种是对模糊核函数和图像进行联合求解，最终得到估计的模糊核函数和去模糊后的清晰图像。Joshi和Cho等人 [15] [16] 使用高斯先验模型对模糊图像进行清晰边缘的预测，通过多次迭代估计出模糊核函数，但该方法受制于图像噪声的影响。Li等人基于L0范数先验约束建立正则化模型，对模糊核函数和潜在清晰图像同时估计，借此来避免核函数估计问题中对滤波器的过度依赖。从信息理论的最大熵角度出发，盲信号分离是以分离系统最大熵为标准，利用自适应算法，通过非线性函数来间接获得高阶累积量的过程，而Bell和Sejnowski据此提出了将信息传输最大化理论，推广到非线性单元来处理任意分布的输入信号 [17]。

在过去的几十年，随着计算能力的提升，人工智能和深度学习技术蓬勃发展。通常，根据数据集是否被标注可以分为监督和无监督学习。监督学习花费的成本较高，因此，针对无监督学习的研究得到了足够的重视，其中，以生成模型为代表的无监督学习被广泛应用于图像风格转换 [18] [19]，图像处理 [20] [21]，自然语言处理，分类 [22] [23] 等领域，但是早期的生成模型受限于泛化性，模型的性能并不理想。

相比早期的生成模型，Goodfellow等人 [24] 2014年提出的生成对抗网络(GAN)模型具有不需要使用马尔可夫链和变分界线对生成数据进行采样 [25]、只使用反向传播来获取梯度、可以很容易地将多种因素和相互作用纳入模型等优点，因此，GAN在多种应用场景中得到了广泛的研究，尤其是图像重建，如图像合成、超分辨率等。生成对抗网络由两个相互作用的神经网络模块组成——判别器D和生成器G，实际上，判别器和生成器都是隐式函数表达式，网络结构通常由不同的深度神经网络实现 [26]。如图1所示。在图1中，真实样本数据和随机噪声都输入到GAN中，生成器模块的目标是估计出接近真实样本的数据；同时，判别器模块尝试将生成器的模拟输出与真实样本数据区分出来。

Figure 1. Generative adversarial network structure

图1. 生成对抗网络结构

GAN的原理源自零和博弈理论，通过相互对抗学习，生成器可以从训练样本集中学习到数据的分布，从而产生新的样本；判别器则可以很好地区分输入的真伪。从数学角度生成器G和判别器D的优化过程可以由以下目标函数描述：

${\min }_G{\max }_{D}V\left(D,G\right)=E_{x~p_{data}\left(x\right)}\left[\log D\left(x\right)\right]+E_{z~p_z\left(z\right)}\left[\log \left(1-D\left(G\left(z\right)\right)\right)\right]$ (1)

其中，D为判别器，G为生成器， $p_{data}\left(x\right)$ 表示真实数据的分布， $p_z\left(z\right)$ 表示先验噪声分布。生成器G为了学习数据x的分布 $p_g$，构建了一个从先验噪声分布 $p_z\left(z\right)$ 到数据空间 $G\left(z;{\theta }_g\right)$ 的映射函数；判别器D输出一个标量来描述数据属于训练数据而不是生成数据的概率。由公式(1)可知，生成对抗网络是从生成器的输入中采样一次就生成一个模拟样本，并不是马尔可夫链形式以串行方式生成样本，并且不需要计算变分下限即可直接生成，这就使得生成器生成的样本质量比其它生成模型的好。

原始的GAN仅判别了输出的真或假，并且生成器的输入仅仅是随机噪声，但对于大多数的图像处理任务需要解决输入图像到输出图像的映射问题，针对此问题提出了一个用于图像域到图像域转换(pix2pix)的CGAN模型 [27]。基础的CGAN是一种带有条件约束的生成对抗网络，网络结构如图2所示。这也是GalaxyGAN中使用的网络模型。

Figure 2. Conditional adversarial network

图2. 带有条件约束的对抗网络

3. 我们的方法

本文设计的生成器的主干网络是U型结构，但与经典U型网络结构不同的是，我们并没有引入跳跃连接(Skip Connection)以拼接的方式进行特征图的融合，而是使用残差的形式来进行特征融合以增强模型的表达能力，网络更易于优化，模型性能也得到显著提升。

3.1. 生成器和判别器

接下来简单，简单回顾下与之相关的两个结构(方法)：

U型网络：该网络在2015年首次提出，其结构分为三个主要部分：编码器、解码器、跳跃连接 [28]。编码器遵循卷积网络的经典架构实现下采样来进行特征提取，之后特征图通过解码器进行上采样来恢复原始分辨率。随着网络深度的加深，学习到的抽象信息更丰富，但随着模型的结构越深，网络可能会出现退化问题，例如：由于非线性激活函数ReLu的存在，输入和输出的过程几乎是不可逆的，这造成了许多不可逆的信息损失。U型网络通过跳跃连接将相同维度的层次特征信息进行拼接，从而可以解决网络的退化问题。2017年，Kevin等人探索性地提出使用GalaxyGAN进行天文图像重建，其生成器的骨干网络就是改进后的U型网络结构，如图3所示。

Figure 3. The generator module of GalaxyGAN

图3. GalaxyGAN的生成器模块

残差结构：该结构的提出是为了解决深度网络的层数加深而导致的性能退化问题。残差网络(ResNet)利用残差学习策略通过堆叠若干残差块(Residual Block)可以轻松训练出层数很深的深度网络，提高了图像分类和目标检测的准确率 [29]。我们提出的基于U型结构作为生成器的骨干网络和常规的U型网络使用跳跃连接不同，我们在U型结构的编码器部分使用残差映射的形式来学习编码器最后一层的残差，即假设目标映射为 $\text{H}\left(x\right)$，拟合函数为 $\text{F}\left(x\right)$，最初 $\text{F}\left(x\right)$ 直接学习目标映射 $\text{H}\left(x\right)$，现在我们将网络修改为使 $\text{F}\left(x\right)$ 学习残差 $\text{H}\left(x\right)-x$。这种修改使得网络更易优化，相比于 $\text{F}\left(x\right)$ 学习恒等映射 $\text{F}\left(x\right)\to \text{H}\left(x\right)$，让 $\text{F}\left(x\right)$ 学习 $\text{F}\left(x\right)\to 0$ 的映射关系更为容易。

通过对上述两个模块的结合，我们设计了适用于星系图重建的生成器模块，其中，在编码过程，我们先通过卷积层进行下采样提取更多的星系图像特征信息，当到达特征图的尺寸到达某一值后，我们通过堆叠若干残差块来进行特征融合用于提升模型的训练性能；在解码阶段，我们不再使用跳跃连接，仅通过反卷积来进行上采样恢复星系图像尺寸。我们设计的生成器模块如图4所示。

判别器模块是优化生成对抗网络参数的基础，该模块我们采用卷积层进行下采样并不断累积特征图的数量，最终通过全连接层得到输入来自正确分布的概率。网络结构如图5所示。

Figure 4. Optimized generator module

图4. 优化后的生成器模块

Figure 5. Our discriminator module

图5. 我们的判别器模块

3.2. 激活函数

这项工作的核心是为了解决点扩展函数(PSF)的影响，为了避免神经网络值作为一种深度线性分类器，所以需要引入激活函数使网络拥有非线性拟合能力。早期神经元使用sigmoid激活函数对二元决策进行平滑，从而具有较快的解码速度。但随着神经网络深度的增加，使用sigmoid激活函数来训练已经被证实没有tanh、ReLU等激活函数更稳定。为了避免激活函数的过拟合，需要加入正则化来提高其泛化能力，其中，常见的Dropout就是一种主流的正则化方式。因此，非线性和正则化决定了神经元的输出。在我们网络设计中采用一种高性能的神经网络激活函数——GELU (高斯误差线性单元)。GELU与随机正则化有关，并且研究者在针对ReLU和ELU激活进行实证评估后，表明在计算机视觉、自然语言处理和语音任务中，性能都得到了改善 [30]。

3.3. 损失函数

CGAN通过额外的输入信息对模型增加条件约束，来指导数据生成的过程，目标函数为：

${\min }_G{\max }_{D}V\left(D,G\right)=E_{x,y~p_{data}\left(x,y\right)}\left[\log D\left(x,y\right)\right]+E_{y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[\log \left(1-D\left(y,G\left(y,z\right)\right)\right)\right]$ (2)

在生成器中，先验输入噪声 $p_z\left(z\right)$ 和额外的信息y组合成联合隐性表达的形式；在判别器中，真实数据x和额外的信息y作为其输入。整体来看，CGAN模块通过添加额外的信息条件为后续图像域到图像域的转换奠定了基础，如生成器不仅仅是单一的随机噪声输入，可以将观测图像(脏图)也作为输入，从而学习 $\left\{y,z\right\}\to x$ 的映射。

对CGAN的研究表明：GAN添加上传统的正则项可以提升网络的性能，如L2距离 [31]。所以针对于图像域到图像域转换问题，改进的CGAN模型添加上了L1正则项，这也就是GalaxyGAN中使用的目标函数，如公式(3)所示：

$\begin{array}{c}{\min }_G{\max }_{D}V\left(D,G\right)=E_{x,y~p_{data}\left(x,y\right)}\left[\log D\left(x,y\right)\right]+E_{y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[\log \left(1-D\left(y,G\left(y,z\right)\right)\right)\right]\\ +\lambda E_{x,y~p_{data}\left(x,y\right),z~p_z\left(z\right)}\left[{\Vert x-G\left(y,z\right)\Vert }_1\right]\end{array}$ (3)

我们针对星系图重建设计的网络中并没有给输入信息添加额外的条件约束，但是使用L1正则化来提升网络的性能，目标函数如公式(4)所示：

$\begin{array}{c}{\min }_G{\max }_{D}V\left(D,G\right)=E_{x~p_{data}\left(x\right)}\left[\log D\left(x\right)\right]+E_{y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[\log \left(1-D\left(G\left(y,z\right)\right)\right)\right]\\ +\lambda E_{x~p_{data}\left(x\right),y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[{\Vert x-G\left(y,z\right)\Vert }_1\right]\end{array}$ (4)

从数学角度我们使用的损失函数可以表述为使用传统的GAN损失 $L_{GAN}\left(G,D\right)$ 和L1的正则项：

$L_{GAN}\left(G,D\right)=E_{x~p_{data}\left(x\right)}\left[\log D\left(x\right)\right]+E_{y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[\log \left(1-D\left(G\left(y,z\right)\right)\right)\right]$ (5)

$L_{L1}\left(G,D\right)=E_{x~p_{data}\left(x\right),y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[{\Vert x-G\left(y,z\right)\Vert }_1\right]$ (6)

$L\left(G,D\right)=L_{GAN}\left(G,D\right)+\lambda L_{L1}\left(G,D\right)$ (7)

由公式(5)、公式(6)和公式(7)可得我们最终的损失函数为：

$\begin{array}{c}L\left(G,D\right)=E_{x~p_{data}\left(x\right)}\left[\log D\left(x\right)\right]+E_{y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[\log \left(1-D\left(G\left(y,z\right)\right)\right)\right]\\ +\lambda E_{x~p_{data}\left(x\right),y~p_{data}\left(y\right),z~p_z\left(z\right)}\left[{\Vert x-G\left(y,z\right)\Vert }_1\right]\end{array}$ (8)

4. 实验

4.1. 数据集

我们选择斯隆数字巡天项目(SDSS)发布的第12期数据中的4550个星系样本(红移范围 $0.01<z<0.02$ )作为数据集，通过获取这些样本的g，r和i波段数据信息得到RGB三通道图像，并将三通道图像经过asinh操作拉伸得到最终的数据集。使用asinh操作拉伸图像内容信息可以在应用程序上训练得更快 [32]，但该过程裁剪了一些极端的像素值，可能导致无法完全恢复通量校准。我们将4000个数据用于模型的训练阶段，550个数据用于模型的验证和测试阶段。

为了测试我们模型的性能，我们将测试集中的星系图像与半峰全宽(FWHM)为[1.4”, 2.5”]的高斯点扩展函数进行卷积。在用高斯滤波器进行卷积模拟望远镜观测–成像中的所引入的模糊后，我们又调整了噪声水平，先恢复到原始图像的噪声水平，再增加噪声水平使 ${\sigma }_{new}=\left[1.0,5.0,10.0\right]{\sigma }_{original}$ 模拟各种噪声源的干扰。

4.2. 参数设置和网络训练

我们模型的训练和测试在Unbuntu16.04中运行，使用Tensorflow完成，通过8张英伟达显卡进行并行训练提高整体效率。我们设置的初始学习率为2e⁻⁴，设置损失函数中L1正则项的权重 $\lambda$ 为100。我们使用目前最常用的Adam优化器来调整学习率从而更好的进行参数的更新，其中，指数衰减率 ${\beta }_1$ 设置为0.5。我们将模型一共训练50轮，保证最终结果趋于拟合。

4.3. 结果与评价

我们对我们的模型以及对比模型(GalaxyGAN)、传统反卷积算法(盲反卷积、Lucy-Richardson反卷积 [33] [34])和上文提到的对我们模型添加额外的条件后的模型进行了定量和定性的评估。在量化角度，我们使用图像的峰值信噪比(PSNR) [35] 和结构相似性(SSIM) [36] 作为评价重建星系图质量的客观分析指标。

表1和表2分别比较了我们的模型进行反卷积、经典的反卷积方法的峰值信噪比和结构相似性。虽然当模糊星系图中包含大量噪声时，这对基于反卷积的方法带来了一定限制，但是从表中我们可以得出，我们的模型可以平均达到38.06 dB的PSNR和SSIM大小为0.878，GalaxyGAN的PSNR为35.29 dB，SSIM为0.8，盲反卷积的PSNR为20.37 dB，SSIM为0.126，Lucy-Richardson反卷积的PSNR为22.96 dB，SSIM为0.265。

Table 1. Comparison of test results peak signal to noise ratio

表1. 峰值信噪比的测试结果比较

(a) 噪声水平 ${\sigma }_{new}=1.0{\sigma }_{original}$

(b) 噪声水平 ${\sigma }_{new}=5.0{\sigma }_{original}$

(c) 噪声水平 ${\sigma }_{new}=10.0{\sigma }_{original}$

Table 2. Comparison of test results of structural similarity

表2. 结构相似性的测试结果比较

(a) 噪声水平 ${\sigma }_{new}=1.0{\sigma }_{original}$

(b) 噪声水平 ${\sigma }_{new}=5.0{\sigma }_{original}$

(c) 噪声水平 ${\sigma }_{new}=10.0{\sigma }_{original}$

我们也通过视觉角度展示了我们的模型重建星系图效果和对比算法重建图像的效果。如图6所示，我们展示了原始星系图像、带有加性噪声和较大PSF的退化图像、恢复图像以及对比模型和算法恢复的图像之间的差异。

如图6所示，我们以该星系为例，展示了 ${\sigma }_{new}=10{\sigma }_{original}$ 以及 $\text{PSF}=2.5\text{arcsec}$ 下的重建结果。从左向右图像分别为：原始SDSS图像、PSF较差噪声水平较高的脏图、我们的模型重建后的图像、GalaxyGAN重建的图像、传统反卷积重建的图像。这幅图像直观地说明了，我们模型恢复了之前的生成网络和传统的反卷积算法无法恢复的微弱细节，并且重建效果更好。

Figure 6. Comparison of reconstruction effect between algorithms

图6. 算法之间的重建效果比较

如图7所示，我们进一步展示了不同星系类型和不同退化程度的代表性结果。在每一行中，我们使用与图6相同的布局显示，其中，每块图像的第一行表示退化程度为 ${\sigma }_{new}={\sigma }_{original}$ 以及 $\text{PSF}=2.5\text{arcsec}$，第二行表示 ${\sigma }_{new}=5{\sigma }_{original}$ 以及 $\text{PSF}=2.5\text{arcsec}$，第三行表示 ${\sigma }_{new}=10{\sigma }_{original}$ 以及 $\text{PSF}=1.4\text{arcsec}$ 下。因为GAN通过训练已经学习到可以生成类似性质的星系图像，因此，它能够恢复反卷积无法恢复的细节，比如恒星形成区域、尘埃带和旋臂的形状，并且我们提出的模型通过像素通道上特征融合加强了深层的细节信息，避免了更微弱信息的丢失，从而重建效果相较于典型的生成器结构更好。上面的两个图是螺旋星系的例子，左下角展示的是早期的星系(包括一个密集的星系团)，右下角的图像集合展示的是多星系共存。

Figure 7. Comparison of reconstruction results for spiral galaxies, early galaxies, and multi-galaxy coexisting samples

图7. 螺旋星系、早期的星系和多星系共存的样本的重建效果比较

虽然生成对抗网络对绝大多数形态的星系图重建效果和原始星系的分布相差无几，但由于个别星系的罕见性导致数据样本不足，从而之前的模型学习效果不足以准确恢复这些星系图像，而我们提出的模型通过学习残差以及特征融合尽可能地恢复出了这些星系。另外，由于某些星系的外臂数据值湮没在噪声中，导致和噪声相差无几的数据难以重建，这也是未来我们将要解决的难题之一。我们通过图8展示了三个在某种程度上相较于大多数样本GAN重建图像效果不太理想的例子。这三个中的两个可以解释为，所观测的对象是罕见的，因此，训练集中没有足够的样本使用GAN训练它们。最上面一排图像是一个罕见的运动学结构 [37]；中间这一排是一个螺旋架构，它的外臂远低于噪声，因此，无法重建；最下面的一排是一个被潮汐扭曲的面朝上的圆盘，这类星系非常罕见，以至于之前的训练没有让GAN准备好识别它，但是依旧可以看出，我们的模型相较于其它对比模型已经最大可能地重建出星系分布。

Figure 8. Sample data features that still have room for improvement

图8. 仍有提升空间的样本数据特征

5. 总结与讨论

我们的方法通过深层特征融合，解决了类似方法在重建星系形态上的一些问题，例如当样本不足时，数据集限制了模型对特征信息的恢复能力。不过对于一些特殊星系，因为其少见的运动学结构，限制了模型对该分布下的学习结果。在一般的数据样本不足的情况下，我们的模型可以利用生成器中间层的残差结构进行特征融合，从而从形态类似的星系中估计这些样本，突破点扩展函数的限制，重建星系形态。我们模型的局限性是，如果星系中具有复杂的细节，如弱透镜剪切，或者弱信号完全湮没在噪声信号中，这些都将导致星系图不可恢复。这是我们未来工作中研究的方向之一。总之，我们通过优化神经网络各组件，提高了重建星系特征质量，从而可以进一步帮助分析早期宇宙中的星系以及未来应用于不同物理原理的望远镜系统中。

基金项目

国家自然科学基金(11963003，12273007)；

SKA专项资助(2020SKA0110300)；

贵州省科技厅(黔科合基础-ZK [2022]一般143)；

国家重点研发计划(2018YFA0404602，2018YFA0404603)；

贵州省教育厅青年科技人才成长项目(黔教合KY字[2018] 119)；

贵州大学引进人才科研基金(贵大人基合字[2018] 60号)；

贵州大学培育项目(贵大培育[2020] 76号)。

NOTES

^*通讯作者。