基于增强特征对齐循环结构的视频超分辨

Video Super-Resolution Based on Enhanced Feature Alignment with Recurrent Structure

摘要: 不同于单张图像超分辨，视频超分辨需要时空联合考虑以处理连续的低分辨视频从而获取清晰的高分辨连续帧序列。当前，随着深度学习在视频超分辨领域的广泛应用，深度视频超分辨虽已取得显著效果，但仍然存在视频特征信息挖掘不足的问题。特别是，从时间维度看，充分提取连续的视频时空特征并有效融合这些特征来实现帧内细腻、帧间稳定的视频超分辨，仍然是当前视频超分辨率研究的主要问题。在这项工作中，本文提出了一个基于增强特征对齐循环结构的视频超分辨网络。首先，我们通过多分支的特征提取模块从不同的深度对输入的特征进行信息提取。其次，在增强特征对齐循环结构中，本文提出从当前帧的多个方向上同时融合相邻帧的信息，并使用相应方向上的光流信息进行辅助对齐。最后，本文提出在多个上采样尺度上对超分结果进行增强。实验结果表明，所提出的方法能获得细节清晰、帧序列稳定的视频超分辨效果，在定量的评估指标和定性的可视化结果等方面都超越了近些年的其他先进方法。

Abstract: Unlike single image super-resolution (SISR), video super-resolution (VSR) needs to be considered spatially and temporally to process continuous low-resolution video to obtain clear high-resolution continuous frames. At present, with the extensive application of deep learning in the field of video super-resolution, deep video super-resolution has achieved remarkable results, but there is still a problem of insufficient video feature information mining. In particular, from the perspective of time dimension, it is still the main problem of current video super-resolution research to fully extract continuous video spatio-temporal features and effectively integrate these features to achieve video super-resolution that is exquisite within frames and stable between frames. In this work, an enhanced feature alignment recurrent structure for video super-resolution network is proposed. Firstly, the network extracts information from the input features from different depths through a multi-branch feature extraction module. Secondly, in the enhanced deformable feature alignment recurrent structure, we propose to fuse the information of adjacent frames from multiple directions of the current frame at the same time, and use the optical flow information in the corresponding directions to assist alignment. Finally, we propose to enhance the SR results on multiple upsampling scales. The experimental results show that the proposed method can achieve video super-resolution effect with clear details and stable frame sequence, which surpasses other advanced methods in recent years in terms of quantitative evaluation and qualitative visualization results.

1. 引言

视频超分辨是指从输入的低分辨视频中恢复出带有细节清晰和帧内连续的高分辨率图像帧序列，是计算机视觉中的一项基本任务。视频超分技术在我们的日常生活中具有重要价值，该技术被广泛应用于高清视频播放、视频监督和刑侦 [1] 等领域。由于连续的图像帧之间具有高度的相关性，解决不同帧的时空特征的充分融合仍然是当前视频超分辨的主要挑战。

在早期的基于传统方法的视频超分辨算法中，Schultz等人 [2] 通过仿射模型去简单地估计帧间的运动信息。Liu等人 [3] 提出了一种贝叶斯方法，用于同时估计潜在的运动、模糊核和噪声水平，并重建高分辨率帧。Ma等人 [4] 采用了期望最大化方法估计模糊核，指导高分辨率帧的重建。然而，这些不能够适应视频中的各种场景，没有很好的泛化性。

近年来，随着深度学习的快速发展，基于卷积神经网络的视频超分辨算法能够在庞大的数据集上学习低分辨率视频和高分辨率视频之间复杂的映射关系。与传统方法相比，这些方法显著提高了性能。当前，这些基于深度学习去实现视频超分算法的框架大体可以分成两类：一类是基于滑动窗口的方法，另一类是基于循环神经网络的方法。基于滑动窗口的方法，如基于时空相关性的视频超分辨率重建算法 [5] 、VESPCN [6] 、TDAN [7] 、EDVR [8] 等方法，通常先在滑动窗口中通过空间卷绕的方式将所有的输入帧显式或隐式地对齐到中间帧上，然后进行信息融合，最后输出中间帧的超分辨率结果。这种方法的优势是能够比较充分地利用所有的输入帧的信息，并将其增强到中间帧上，达到局部最好的效果。但是由于可以利用的视频帧的数量有限，当在中间帧附近发生遮挡等特殊情况，由于不能借鉴到有用信息，则会导致生成的效果较差。

与上述方法不同的是，基于递归的方法 [9] 一般输入比较长，并且能够一次输出所有的输入帧的超分结果。在处理时，模型会递归地处理每一帧图像，并将本次的输出应用到下一次的迭代过程中。为了使局部信息能够整个时间序列上进行传递，后续的算法 [10] 中又提出了双向递归的架构——首先从后向前地进行一次循环，再从前向后进行处理。该方法可以实现在输入数量较多具有更好的性能。但是由于在每次的迭代过程中只利用了来自单方向的上一帧的输出结果，在输入帧数较少时效果反而不如基于滑动窗口的方法。

当然，除了使用的框架会影响视频超分辨的生成结果外，在框架之内，如何更加有效的利用周边帧的信息也是决定视频超分结果好坏的一个重要因素。常见的一种做法是将相邻帧对齐到当前要处理的帧上。早期的算法中使用光流来实现帧之间的对齐。Kappeler等人在VSRNet [11] 中第一次使用光流来实现运动补偿然后使用卷积神经网络来重建高分辨率帧。此后，Caballero等人在VESPCN [6] 提出了一个端到端的方案来完成视频超分辨任务，即将帧对齐和重建视为超分网络的一个组件。Xue等人在TOFlow [12] 中指出，在网络中同时学习光流模块的参数来适应一个特定的任务的做法比先学习光流网络，然后将学习好的光流网络直接应用到超分辨网络中这种做法的性能要好。吴等人 [13] 提出对高分辨率的视频帧与预测的高分辨率光流进行运动补偿，并将补偿结果输入到超分辨率融合网络来得到更好的效果。储等人 [14] 创新地将注意力机制和光流结合在一起，提出双阶段特征对齐思路，分别处理微小运动信息和幅度较大的运动信息。但是如果运动过程中发生了遮挡或者运动较快，这时候就很难估计出准确的光流，进而影响到超分辨输出结果。

另一种对齐的做法是通过可变形卷积去实现。Tian等人在TDAN [7] 中第一次提出了在特征层面通过可变形卷积来实现帧对齐。之后，在此基础之上，Wang等人在EDVR [8] 提出了多级的可变形卷积对齐并设计了时空注意力模块来融合这些对齐的特征同时通过注意力机制减少错误的对齐情况。

其他的做法是做隐式的对齐或者不进行对齐直接处理。Zhu等人 [15] 设计了一个轻量的残差可逆块并提出了一个稀疏的特征融合机制去结合时空特征，然后重建出最后的视频帧。Li等人在MuCAN [16] 中提出了一种时间多重对应聚合策略去利用跨帧的相似补丁，并设计了跨尺度非局部对应聚合方案，以探索帧内不同尺度的自相似性。刘等人 [17] 提出了一个双分支网络，通过引入梯度信息来避免超分辨率图像出现结构失真等问题。

Chan等人在BasicVSR [18] 中将递归神经网络和光流对齐相结合，并提出了一种轻量级的基准模型，在输入帧数较多时实现了优异的性能。但是当输入帧数较少时，比如说以5帧作为输入进行训练，则其模型的性能将会下降很多。Cao等人在VSR-T [19] 中提出了时空卷积自注意力层去探索局部信息并通过双向光流前馈层对齐图像帧，实现了在滑动窗口方法中性能最优。但是其庞大的参数量，也导致它很难以更多的帧数进行训练。针对以上这些问题，本文提出了一个基于增强特征对齐循环结构的视频超分辨网络。对于视频超分辨中空间信息丢失和不同帧的时空特征难以充分地利用的问题，所提出的增强特征对齐循环结构可以有效地将相邻帧的信息对齐当前帧上，其次，该结构可以让帧间信息在时序上进行长距离传播。同时，所提出的多尺度上采样模块，分别从两个超分尺度上对融合特征进行了特征增强，提升了重建视频的结果。

综上，本文提出了一个可以应用于视频超分辨任务的新算法，提出了一个增强特征对齐循环结构，结合光流和可变形卷积，可以更好地聚合相邻帧的信息；其次提出了一个多尺度的上采样模块，可以进一步提升输入的超分辨率帧的质量。实验结果证明了所提出的方法的可行性，与现有的方法在两种不同的训练帧数下训练的模型的结果比较都证明了所提方法的有效性。

2. 网络模型架构

2.1. 模型架构

本节将描述所提出的基于增强特征对齐循环结构的视频超分辨网络的结构细节。如图1所示，网络的主要模块包括特征提取模块、增强特征对齐循环模块和多尺度上采样模块。将输入网络的低分辨率视频序列记为I_LR，输出的高分辨率视频序列记为I_SR。首先，网络会在特征提取模块对输入的视频序列进行特征提取，该过程可用(1)表示：

$F=f_{extract}\left(I_{LR}\right)$ (1)

其中，f_extract表示特征提取操作，F表示提取的中间特征，被提取的连续序列特征F接下来将被送到增强的增强特征对齐循环模块中。该模块将递归的对每一帧特征进行对齐和融合，并将融合后的结果应用到下一次的递归过程中。最后在多尺度上采样模块中，之前输出的融合结果将会与输入图像进行不同尺度的特征融合，最终通过一层卷积在4倍的尺度上输出每一帧的超分结果。

Figure 1. Overall architecture of the network

图1. 整体网络架构图

Figure 2. The structure of extractor module

图2. 特征提取模块结构图

2.2. 特征提取模块

所提出的特征提取模块如图2所示，该模块通过5个分支从不同的深度对特征进行信息提取。输入的图像帧序列首先会通过一个3 × 3的卷积层，通过卷积操作从图像层面转换到特征层面，通道数由3通道变成64通道。之后，特征序列将会依次经过所提出的特征提取模块。以第t帧特征为例，该输入特征将会从四个分支同时进行卷积，这里使用了四个分支是考虑了通过不同尺度的感受野来提升特征的多样性。结构中最后会将不同膨胀率的卷积层输出进行通道连接，以达到融合不同特征的目的。进行通道连接后的特征会经过1 × 1卷积进行特征融合，之后参考残差网络的结构，与输入特征经过1 × 1后的结果进行短连接，相加之后经过LReLU激活层，得到最后的输出特征。

2.3. 增强特征对齐循环模块

所提出的增强特征对齐循环模块可分为反向传播块和正向传播块。其操作一致，只是在信息的传播方向上相反。这里以反向传播块为例，如图1所示。假设当前处理的是第t帧特征，其首先会与上一次的递归输出特征t + 1以及其相邻特征t − 1做可变形卷积，以实现输出的t + 1帧特征和相邻的t − 1帧特征对齐到当前特征t上。

对齐的过程如图3所示，具体细节为：记当前帧特征为F_ref，要对齐的相邻特征为F_nbr，F_nbr到F_ref的光流记为flow，该光流是通过SpyNet [20] 网络进行估计的，则首先模型会通过一个3 × 3的卷积对特征F_ref进行卷积偏移，得到输出记为out，然后在通道维度将out等分成3份，分别记为O₁、O₂和mask。其中，所提方法会对O₁和O₂进行通道连接，并将连接结果与光流相加，得到偏移量offset。而mask则会先经过Sigmoid函数，其结果会与F_nbr和offset一起送到基本的可变形卷积 [21] 中，最后得到对齐的输出特征F_aligned。

Figure 3. The enhanced feature alignment module

图3. 增强特征对齐模块

在分别得到输出的t + 1帧特征和相邻的t − 1帧特征对齐到当前特征t上的对齐特征之后，该方法会将图像I_t，特征F_t，以及得到的2个对齐特征进行通道连接，再通过一个3 × 3的卷积和ReLU非线性层进行特征融合后，送到30层的残差块中，得到当前第t帧的传播输出Prop_t，并将该输出应用到下一次的递归过程中。

2.4. 多尺度上采样模块

所提出的多尺度上采样模块如图4所示，可分为2倍和4倍两个上采样尺度。对当前的输入特征F_t，所提出的方法首先会对其进行2倍的pixelshuffle [22] 上采样，此时得到的中间特征M_t的大小将是输入特征F_t的2倍。同时，网络会对输入的图像I_t进行2倍的线性上采样，并将上采样的结果与中间特征M_t进行通道连接，然后通过1 × 1卷积进行融合。在第二层尺度上，该方法会将融合后的结果进行2倍的pixelshuffle [22] 上采样得到输出特征，此时得到的特征图大小变成输入特征F_t的4倍，然后通过卷积层将所得到的输出特征由64通道变成3通道，转换到RGB图像层面,得到输出结果O_t。最后对图像$I_t$进行4倍的线性上采样，并将上采样的结果与输出结果O_t相加，得到最后的超分结果S_t。

Figure 4. The mutil-scale upsample module

图4. 多尺度上采样模块

2.5. 损失函数

实验中所使用的重建损失为Charbonnier [23] 损失，定义如下：

$l_{rec}=\sqrt{{\Vert GT-SR\Vert }^2+{\epsilon }^2}$ (2)

其中，GT表示高分辨视频帧，SR表示网络模型输出的超分辨率视频帧，设为1 × 10⁻⁸。

3. 实验结果与分析

本节将首先介绍所使用的数据集。在3.2节，将介绍本文所提出的视频超分网络模型的实验细节。在3.3节，将展示所提出的方法与当前其他的先进方法的定性和定量对比。

3.1. 数据集

REDS [24] 是2019年NTIRE比赛中提出的并在此后被广泛应用的数据集。它包含了240个训练序列、30个验证序列和30个测试序列，其中每个序列中包含100个连续的图像帧。与EDVR相同，在训练中本文使用REDS4 [24] 数据集作为测试集，即选择训练集中的第000、011、015和020四个序列作为测试集，其余的序列都用来训练。

3.2. 实施细节

训练中，本文分别使用了15帧和5帧连续的图像帧作为网络模型的输入来训练模型参数。输入的图像序列大小均为64 × 64，经过4倍的超分之后，对应的输出序列的图像大小为256 × 256。图像的输入通道均为3通道，经过特征提取模块之后，特征通道将变成64。所使用的SpyNet [20] 的方式同BasicVSR [18] 。本文采用Adam优化器 [25] 和余弦退火机制(Cosine Annealing scheme) [26] 来优化网络参数。网络的初始学习率设置为4 × 10⁻⁴。训练中设置的批处理大小是根据所使用的GPU内存而设置的，因为所使用的显卡为2张显存大小为12G的RTX 1080Ti，所以这里每张卡上的批处理大小分别设置为4，所使用的深度模型框架为Pytorch。至于损失函数，和先前的模型一样，因为Charbonnier [23] 损失比损失和损失具有更好的效果，因此本文选择其作为训练过程的损失函数。关于评价指标，本文选择峰值信噪比(PSNR)和结构相似性指数SSIM [27] 来衡量超分结果和真实的图像序列之间的差异。

3.3. 对比实验

在这一部分，本文首先展示了在测试集REDS4 [24] 上的定量比较结果。为了体现所提出的方法的优越性，本文与以下的先进方法进行了比较：TOFlow [12] 、DUF [28] 、EDVR [8] 、PFNL [29] 、MuCAN [16] 、BasicVSR [18] 、IconVSR [18] 和VSR-T [19] 。表中所示的参数量的单位为百万(M)，“-”表示该值无法获得；PSNR和SSIM指标越高代表模型的性能越好，其中最好的结果和第二好的分别用红色和蓝色表示。本文首先是用15帧连续图像进行训练并比较，从表1中可以看出，所提出的方法在PSNR和SSIM [27] 指标上基本上都是最优的。为了进一步验证所提出的方法在低帧输入场景下的性能，本文也用5帧图像作为输入进行了训练。定量对比如表2所示，从表中可以看出，即使以5帧作为输入进行训练，本文的方法依旧拥有良好的性能。与此相比，BasicVSR [18] 和IconVSR [18] 的性能就下降了很多，甚至都没有EDVR [8] 和VSR-T [19] 高。

Table 1. Quantitative comparison (PSNR/SSIM) onREDS4 for 4 × VSR with a training input of 15 frames. The higher the PSNR and SSIM, the better the performance. The results are tested on RGB channels. Red and blue indicate the best and the second best performance with the same training frame number, respectively. “-” means unavailable

表1. 训练输入为15帧的4倍视频超分辨的定量比较(PSNR/SSIM)。PSNR和SSIM越高，代表模型的性能越好。所有的测试均是在RGB通道上进行的。红色和蓝色的数字分别代表相同训练帧数下最好的和第二好的性能。“-”代表无法得到的数据

Table 2. Quantitative comparison (PSNR/SSIM) on REDS4 for 4 × VSR with a training input of 5 frames. The higher the PSNR and SSIM, the better the performance. The results are tested on RGB channels. Red and blue indicate the best and the second best performance with the same training frame number, respectively. “-” means unavailable

表2. 训练输入为5帧的4倍视频超分辨的定量比较(PSNR/SSIM)。PSNR和SSIM越高，代表模型的性能越好。所有的测试均是在RGB通道上进行的。红色和蓝色的数字分别代表相同训练帧数下最好的和第二好的性能。“-”代表无法得到的数据

此外，定性结果比较可以在图5和图6中看到，图中显示了其他的可获得训练模型的先进方法和本文所提出的方法与真实图像之间的在REDS4 [24] 部分测试集上细节的比较，所比较的序列分别为序列000和序列015。可以明显的看出，本文所提出的方法与其他方法相比恢复出了更多的纹理细节，在数字“5886”以及车轮等处的细节恢复中都更加地接近真实图像。

Figure 5. Comparison of qualitative effects with other SOTA methods on REDS4 sequence 000

图5. 与其他SOTA方法在REDS4序列000上定性效果的对比

Figure 6. Comparison of qualitative effects with other SOTA methods on REDS4 sequence 015s

图6. 与其他SOTA方法在REDS4序列015上定性效果的对比

4. 结论与展望

本文提出了一个基于增强特征对齐循环结构的视频超分辨网络，通过利用增强特征对齐循环结构和多尺度上采样模块，完成了视频超分辨的任务。实验的定量结果和定性比较，都证明了所提出的网络的可行性及其性能。在未来，我们的研究还将集中在使模型更加轻量化上，以便模型可以部署在移动端，使研究内容更加实用化。

基金项目

安徽省高校协同创新项目(GXXT-2022-044)。