图像超分辨率重建综述

A Review of Image Super-Resolution Reconstruction

摘要: 图像超分辨率重建是计算机视觉领域中一个备受关注的研究方向，其目标是通过使用先进的超分辨率方法，将低分辨率图像提升至高分辨率，以改善图像质量和细节。图像超分辨率重建在医学影像、计算机视觉和卫星遥感等领域具有广泛的应用。本文涵盖了基于深度学习的单图像超分辨率和多图像超分辨率的发展历程和最新进展，并探讨了两类方法的优势与局限性。图像超分辨率重建仍然充满挑战和机遇，文章最后展望了图像超分辨率重建的未来研究方向。

Abstract: Image super-resolution reconstruction is a popular research field in computer vision. Its goal is to improve image quality and detail by using advanced super-resolution methods to elevate low-resolution images to high resolution. Image super-resolution reconstruction is widely used in medical imaging, computer vision and satellite remote sensing. This paper covers the development and latest progress of single image super-resolution and multi-image super-resolution based on deep learning, and discusses the advantages and limitations of the two types of methods. Image super-resolution reconstruction is still full of challenges and opportunities. Finally, the future re-search direction of image super-resolution reconstruction is discussed.

1. 引言

随着移动通信和互联网技术的快速发展和普及，信息的获取和传递不再受时空限制，实时性更好，而图像和视频能够包含更多的信息，逐渐在社交领域占据主导地位，加速了信息的传播速度，丰富了人们的交流方式。为了追求更好的视觉体验，人们希望能得到清晰逼真的高质量图像。图像分辨率指的是图像中包含的像素数量，通常以宽 × 高的方式表示，图像的分辨率越高，图像就越清晰，图像能够呈现出更多细腻和真实细节。但在图像形成和传递过程中，成像系统缺陷、压缩传送等因素通常会带来图像失真、分辨率低等问题，从而导致图像的细节信息丢失，极大地阻碍了信息的快速传递。

为了解决这一问题，一方面可以从成像根源入手，尝试改进成像设备工艺，但是这类方式代价昂贵。另一方面，可以利用图像超分辨率(Super-Resolution, SR)技术将输入的模糊、信息缺失的低分辨率(Low Resolution, LR)图像重建为清晰、细节逼真的高分辨率(High Resolution, HR)图像。该方法成本较低且效果更好，能够克服硬件条件的限制，提升画质，改善视觉体验 ‎[1] 。

随着深度学习在计算机视觉领域取得了巨大成功，基于深度学习的超分辨率技术也得到了积极的探索与发展，目前已经提出了各种基于深度学习的图像超分辨率方法，且在公开数据集上取得了很好的重建效果。目前，图像的超分辨率技术已经广泛应用到实际场景中，在专业领域中，如医学诊断 ‎[2] 、遥感图像 ‎[3] 、计算机视觉研究 ‎[4] 等，超分辨率帮助从业人员改善图像质量，获取更加清晰精细的高清细节。

2. 图像超分辨率重建算法

图像超分辨重建方法从信息有限的低分辨率数据中还原得到具有丰富的细节和结构的高分辨率图像，解决了低分辨率图像中信息损失的问题。传统的图像超分辨率重建方法主要有基于插值的方法 ‎[5] 和基于重建的方法 ‎[6] 。插值法主要关注像素之间的平滑和插值，缺乏对图像中复杂结构和纹理的深入理解，难以准确还原丢失的高频信息，导致重建图像表现较差。重建法依赖于事先定义的模型或规则，这可能导致在处理多样性和复杂性较高的图像时表现欠佳。目前，主流的图像超分辨率重建方法是基于深度学习的方法。深度学习方法通过大量的数据学习图像的映射关系，能够有效学习图像中的高频信息，包括图像的结构和纹理信息，提高了对复杂场景的适应能力 ‎[7] 。

从输入图像数量的角度，可以将图像超分辨率重建方法分为单图像超分辨率(Single Image Super-Resolution Reconstruction, SISR)和多图像超分辨率(Multi-image Super-resolution, MISR)方法 ‎[8] 。SISR方法从单一低分辨率图像中学习并恢复出相应的高分辨率图像，SISR可以分盲超分辨率(Blind Super-Resolution, Blind SR)和非盲超分辨(Non-Blind Super-Resolution, Non-Blind SR) ‎[9] 。非盲超分辨率的图像退化场景是已知的，而盲超分辨率旨在对未知退化类型的LR图像进行超分辨率重建 ‎[19] ，适用于更加真实复杂的场景。MISR方法利用多个LR图像来提高单一图像的分辨率，以增强整体图像的质量，逐渐发展为视频超分辨 ‎[10] 。但是在实际应用中，很多情况下只有单一低分辨率图像可用，而获取多个视角的图像可能需要更多的硬件设备和资源，而SISR方法仅需处理单个图像，降低了成本和资源的需求。SISR更适合快速、即时的处理，而MISR可能涉及到更复杂的数据获取和处理流程。

2.1. 单图像超分辨率重建方法

2.1.1. 非盲超分辨率重建方法

如图1所示，基于深度学习的单图像超分辨率将给定的单张低分辨率图像利用超分辨率方法转换为高分辨率图像，而无需额外的多个图像作为参考。

Figure 1. Diagram of the Single image super-resolution

图1. 单图像超分辨率示意图

随着深度学习在计算机视觉领域取得了巨大成功，基于深度卷积体系结构的单图像超分辨率重建方法的逐渐成为主流，解决了传统算法中存在的诸多问题。2014年Dong等人首次将深度学习方法引入图像超分重建任务，提出了超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network, SRCNN) ‎[11] ，借助卷积神经网络(Convolutional Neural Network, CNN)强大的学习能力，取得了优于传统方法的成绩。SRCNN相比于传统的超分辨率算法能够更好地理解和学习图像中的复杂特征，进而在超分辨率任务中取得了令人瞩目的成果，奠定了基于卷积神经网络的非盲图像超分辨率的理论基础。

SRCNN的网络层次较为简单，研究发现增加网络的深度能够明显改进网络学习的性能 ‎[12] 。但是随着网络深度的增加，基于深度学习的超分辨会引入更多的参数，容易产生过拟合的风险。Liu等人提出了记忆递归网络 ‎[13] ，采用内存更新块，显式建模历史递归输出特征之间的长期依赖关系，内存更新器的输出特征将用作下一个递归阶段的输入，并在递归期间不断更新。此外，引入了一个ShuffleConv模块来融合来自不同递归阶段的特征，这比使用普通卷积组合要有效的多。Liu等提出了深度递归多尺度特征融合网络 ‎[14] ，能够充分利用多尺度特征。

此外，随着网络层次的加深，卷积神经网络的训练难度也越来越大，并且容易出现梯度消失和梯度爆炸的问题。残差网络(Residual Network, ResNet) ‎[15] 正是为了解决这一个问题而提出的，目前大部分研究人员都在使用残差网络。Kim等人提出的VDSR 方法首次将残差网络引入单图像超分辨率方法中 ‎[16] ，认为LR图像中的低频信息与HR图像所携带的低频成分之间存在高度的相似性，通过学习LR和HR图像之间的差异来提高性能，能够使网络更容易学习图像的细节和纹理。Li等提出的BSRN方法 ‎[17] ，利用提出的包含蓝图可分离卷积的蓝图浅层残差块，有效降低了特征冗余和模型的复杂度。MLRN ‎[18] 是一种基于混合器的局部残差网络，将基于信道和空间特征的混合特征以及低频信息和高频信息的混合特征融合到残差块中，丰富了特征表示，实现了性能和计算成本之间的良好平衡。

受残差连接的启发，密集连接的提出能够缓解超分辨率网络梯度消失的问题，提升网络的泛化能力。密集连接允许信息在网络中更加直接和密集地流动。每一层都连接到后续所有层，使得信息能够更快地传播到整个网络，这有助于提高网络的学习效率和表示能力，稳定网络的训练过程 ‎[19] 。DenseNet ‎[20] 利用密集连接缓解梯度消失的问题，加强了特征传播，鼓励特征重用，大大降低了参数量，用相对更低的计算量取得了先进的性能。Lv等提出了多尺度递归融合网络 ‎[21] ，将提取到的粗特征输入到多尺度密集融合块，利用不同大小的卷积核获取不同层次的特征，并采用递归连接将各个层次特征与图像重建模块联系起来，从而合理平衡图像构建性能与计算资源，该模型在不消耗过多计算资源和时间的情况下，提高了图像的重建性能。

虽然基于深度学习的超分辨率能够获得显著性能，但是在复杂场景下，图像超分辨率方法的鲁棒性往往较差。Tian等人提出了一种利用不同类型的结构信息来获得高质量图像的HGSRCNN方法 ‎[22] ，每个异构组块采用包含对称组卷积块和互补卷积块的异构架构，以并行的方式增强不同通道的内外部关系，从而丰富不同类型的低频结构信息。为了防止出现获得冗余特征，设计了信号增强的细化块来过滤无用的信息。RUANGSANG等人通过对多径残差网络进行交叉滤波融合建模，提出了跨通道网路的多融合网络，能够有效提升图像的感知质量 ‎[23] 。

为了避免引入不自然的纹理或伪影，基于注意力的超分辨率方法能够有选择性地关注输入图像的重要区域，避免不必要的细节增强。Li等人提出了并行剩余信道注意网络 ‎[24] ，利用并行模块扩宽网络结构，显著降低了模型参数，充分集成了特征图。为了提高模型的性能，使用残差通道注意块作为基本的映射单元。Yang等人提出了一种通道关注和空间图卷积网络 ‎[25] ，网络由多个通道关注和空间关注组成，能够得到每个像素特征的全局空间和通道相互依赖关系，提升了网络的特征获取和特征关联建模能力。基于Transformer逐渐在计算机视觉领域崭露头角，表现抢眼 ‎[26] 。Yoo等人结合CNN和Transformer，提出了一个跨尺度的标记注意模块 ‎[27] ，允许变压器分支有效地利用不同尺度的标记之间的信息关系。

2.1.2. 盲超分辨率重建方法

盲超分辨率旨在对未知退化类型的低分辨率图像进行超分辨率重建，适用于更加真实复杂的场景 ‎[28] 。盲超分辨率有两种建模方式，一种是显式建模，该方式通过外部数据集的固有分布学习退化场景，将退化因素参数化。另一种是隐式建模，该方式不依赖于任何的显式的参数化，它通过对外部数据的分布进行隐式建模来学习底层的SR模型。

Figure 2. Diagram of the explicit modeling without kernel estimation blind super resolution

图2. 显式建模无核估计盲超分辨率示意图

显式建模需要额外的先验知识来帮助图像重建，如图2所示，显式建模可以直接将退化信息作为输入进行图像重建，退化信息包括模糊、噪声等信息，有助于对图像进行更合理的估计。该类方法的优势在于直接利用了观测到的退化信息，而无需额外的估计。然而，该类方法可能在处理多样性和复杂性场景时面临挑战。Zhang等人提出了深度展开超分辨率网络USRNet ‎[29] ，弥合了基于学习的方法和基于模型的方法之间的差距。一方面，与基于模型的方法类似，USRNet方法可以通过单个模型处理具有不同模糊核、比例因子和噪声水平的经典退化模型。另一方面，USRNet以端到端方式进行训练，保证了网络的效率和有效性。

Figure 3. Diagram of the explicit modeling with kernel estimation blind super-resolution

图3. 显式建模含核估计盲超分辨率示意图

如图3所示，也可以在超分辨率重建过程中估计退化核，再利用估计后的核重建图像，然而这类方式对于模型中未覆盖的退化差强人意。Chen等人首先引入了两个新的失焦模糊数据集，以对具有空间模糊的盲超分辨率进一步研究。接着提出了新的跨模态融合网络CMOS，同时估计模糊和语义，从而提高超分辨率的重建图像的质量。为了激发出显式核估计方法在处理未知退化的有效性 ‎[30] ，Lee等人 ‎[31] 从图像分布中包含的信息中进行元学习，从而大大提高了对新图像的适应速度以及核估计和图像保真度的性能。

Figure 4. Diagram of the DASR

图4. DASR方法示意图

对于成对HR-LR数据，各类超分辨率方法已经取得较好的结果，但是遇到真实场景下的退化未知的未配对的图像，则难以获得令人满意的结果。隐式建模多通过GAN框架从额外数据中隐式抓取退化分布来重建图像，能够处理更加复杂的退化，但是这种方法严重依赖于学习到的数据分布，可能会产生伪影，鲁棒性较差，影响实际应用。如图4所示，DASR提出了域距离感知超分辨率方法 ‎[32] ，利用域距离加权监督的方式减轻合成的LR图像和真实LR图像之间领域差距的限制。DARM提出了无监督的退化自适应的校正滤波器学习的方法 ‎[33] ，以空间变化的方式将退化调整到已知退化。Weng等人第一次明确提出了一个整体框架来考虑盲超分辨率和任意尺度超分辨率 ‎[34] 。该方法学习双重退化表示，其中退化的隐式和显式表示依次从输入LR图像中提取，并将它们分别与任意尺度超分辨率模块和退化过程相结合，形成了任意尺度盲超分任务的整体框架，实现了盲超分辨率的自适应能力。

2.2. 多图像超分辨率重建方法

本质上，单图像超分辨率仅从一个LR图像中恢复细节的能力有限，通常会产生过平滑的LR预测。如果在采样中能够提供更多的图像信息，那么图像的预测将会更加合理可信，因此基于深度学习的多图像超分辨率方法顺势而生。多图像超分辨方法利用多个图像来提高单一图像的分辨率，该方法整合来自不同视角或时间序列的具有相似纹理的图像，以增强整体图像的质量。常见的多图像超分辨率方法包括多帧的图像超分辨率(Multi-Frame Super-Resolution, MFSR) ‎[35] 和基于参考的图像超分辨率方法(Reference-based Super-resolution Reconstruction, RefSR) ‎[36] 。

2.2.1. 多帧的超分辨率重建方法

如图5所示，多帧图像超分辨率将按照一定的序列下的变化较小的LR图像重建成一幅HR图像，通过在某个维度上对多个图像帧进行建模和对齐，利用连续帧之间的共享信息来提高图像的分辨率。

多帧的超分辨率具有真实详细的亚像素位移信息，可以用来进行图像配准和运动估计，在医学成像和远程卫星传感 ‎[37] 中发挥着重要作用。Tsai等人 ‎[38] 首次提出了多帧的超分辨率方法，但是该方法基于频域，只能解决线性空间不变的情况。Bhat等人提出了一种深度重参数化的最大后验公式 ‎[39] ，将最大后验目标空间转换为深度特征空间，深度重参数化能够直接在潜在空间中对图像的形成过程进行建模，并将学习到的图像先验信息整合到预测中。Mehat ‎[40] 等人将连续帧与基准帧进行特征对齐，同时利用Transformer主干进行特征提取，采用自适应群上采样的方法对连续帧特征进行逐级融合，有效提升了图像重建质量。Wei等人为了探索真实的多帧图像的重建，建立了大规模真实连拍超分辨率数据集，此外，还引入了FBANet网络来研究真实世界图像退化下图像之间的非平凡像素级位移 ‎[41] 。

Figure 5. Diagram of the multi-frame super-resolution

图5. 多帧的图像超分辨率示意图

2.2.2. 基于参考的超分辨率重建方法

如图6所示，基于参考的图像超分辨率方法借助引入的参考图像，将相似度最高的参考图像中的信息转移到LR图像中并进行两者的信息融合，从而重建出纹理细节更清晰的HR图像。

Figure 6. Diagram of the reference-based super-resolution reconstruction

图6. 基于参考的图像超分辨率重建效果示意图

SRNTT ‎[42] 计算LR和Ref之间的相似性，并从Ref图中向LR传输纹理。为了提高性能，TTSR ‎[43] 提出了纹理转移和合成的软、硬注意。C2-Matching ‎[44] 提出了对比对应网络来学习对应，然后采用知识蒸馏技术来改进LR-HR匹配，最后用残差特征来聚合生成HR图像。DATSR ‎[45] 提出了可变形注意模块，在图像间的对应匹配和纹理传递中更具鲁棒性 ‎[45] 。在恢复图像细节纹理方面，RefSR利用参考图像信息来补偿LR图像中丢失的细节信息，比SISR具有更大的优势，可以生成更真实的令人满意的纹理。即使两者图像纹理相似度很低，RefSR也可以达到同等程度的SISR的效果。但是RefSR的网络模型结构比较复杂，需要消耗更大的计算资源，引入的参考图像与输入的LR图像的相关程度也会对最终生成图像的质量产生相应影响。从图6中可以看到，红色框中图像块的纹理与参考图像中的纹理匹配度高，因而重建效果好，但是蓝色框中图像块的纹理与参考图像中的纹理无法进行较好地匹配，重建效果明显降低。

3. 总结

基于深度学习的图像超分辨率重建技术通过学习高、低分辨率图像之间的映射关系，有效实现了更为准确和细致的超分辨率效果，在多个领域都有广泛的应用。根据输入图片的数量，图像超分辨率可以分为单图像超分辨率和多图像超分辨。针对退化场景的复杂程度，单图像超分辨率又可以分为非盲超分辨率和盲超分辨率。对多图像的不同利用方式，多图像超分辨率可以分为多帧的图像超分辨率和基于参考的图像超分辨率。这些不同种类的图像超分辨率方法各有优势，适用于不同的应用场景，在资源有限、实时性要求较高的情况下，单图像超分辨率可能更为合适；而对于追求更高精度、能够充分利用多样性信息的场景，多图像超分辨率则更具优势。

单图像非盲超分辨方法通常对特定的图像退化情况进行建模，因此具有较好的可控性。由于网络架构相对简单，计算效率相对较高。但是，该类方法难以应对多样化和复杂化的真实场景。单图像盲超分辨率方法针对复杂场景，具有更强的适应性，能够在处理各种不同退化情况时更为灵活。由于复杂场景具有多样性，盲超分辨率方法的性能可能在不同情境下有所波动，且难以事先准确评估。

多帧图像超分辨率利用多帧图像序列的信息，可以获得更丰富的视角和内容信息，有助于提高超分辨率的效果。利用多个图像进行联合处理，可以在保留更多细节的同时，提高图像的清晰度和质量。但是，多帧图像需要进行对齐，不准确的对齐可能导致估计错误。这对给实际数据采集和处理带来了一定的挑战。基于参考的图像超分辨率方法可以通过引入高分辨率的参考图像，更好地适应不同场景和需求。但是，该方法需要高分辨率的参考图像，对于某些可能无法获取到合适的参考图像的场景，则无法进行良好的特征进行匹配和融合，限制了其适用范围。

总之，可以根据应用场景和需求以及限制因素进行综合权衡，选择最适合的图像超分辨率方法。

4. 展望

虽然图像超分辨率技术发展迅速，但是仍然需要在以下几个方面进行更加深入的探索和研究。

1) 图像超分辨率重建可解释性研究

这对于一些应用领域，如医学影像或安全监控，用户需要确保模型生成的图像是可靠且可解释的。未来的图像超分辨率算法有望更好地理解和利用图像中的显著特征，明示在图像中哪些区域对于产生高分辨率图像尤为关键，为用户提供对模型决策的直观理解，提高用户的信任度。

2) 更大的图像超分辨率放大因子研究

更大的放大倍数意味着从低分辨率到高分辨率的转换更为显著，可以为用户提供更为逼真、清晰的图像。在一些场景下，例如监控摄像头、卫星图像或远程拍摄，需要从远距离获取细节。通过实现更大的放大倍数，可以在保持图像清晰度的同时，更好地满足远距离观察和分析的需求。此外，更大的方法倍数，有助于降低压缩传输成本。

3) 真实世界图像超分辨率重建研究

真实世界中的场景非常多样化，不同的场景可能受到不同类型的退化影响。虽然盲超分辨率在图像重建已经取得了非常真实的重建效果，但是盲超分辨率方法通常需要适应各种不同的场景和退化模式，这增加了算法的复杂性和难度，也增加了模型的泛化难度。真实世界中的图像通常受到多种因素的影响，如摄像设备的限制、光照条件、运动模糊等。通过研究真实世界的图像超分辨率，可以有效提高图像的质量，使其更清晰、更具细节，提升视觉感知的准确性。

4) 图像超分辨率实时性研究

为了在移动设备和嵌入式系统上实现实时图像超分辨率，未来的研究可能会致力于设计更轻量级的模型结构，以平衡性能和计算效率。利用迁移学习和预训练等技术，模型可以在大规模高分辨率图像上进行预训练，然后通过微调适应到特定任务，提高模型的适应性。通过使用更轻量级的模型结构、参数剪枝和量化技术，可以在保持性能的同时，降低模型的计算复杂度，适应嵌入式设备和移动端的要求。