ESRGCNN（2022-CVPR）

Image Super-resolution with An Enhanced Group Convolutional Neural Network

摘要

具有强大学习能力的 CNN 被广泛用于解决超分辨率问题。然而，CNN 依赖于更深的网络架构来提高图像超分辨率的性能，这通常会增加计算成本。在本文中，我们提出了一种具有浅层架构的增强型超分辨率组 CNN（ESRGCNN），通过充分融合深通道和宽通道特征，在单幅图像超分辨率中不同通道的相关性方面提取更准确的低频信息。 SISR）。此外，ESRGCNN 中的信号增强操作对于继承更多长距离上下文信息以解决长期依赖关系很有用。将自适应上采样操作收集到 CNN 中，以获得具有不同大小的低分辨率图像的图像超分辨率模型。大量实验表明，我们的 ESRGCNN 在 SISR 性能、复杂性、执行速度、图像质量评估和 SISR 中的视觉效果方面超越了最先进的技术。

问题

1. 尽管（DRRN、RED、MemNet）这些方法能够恢复高清图像，但是使用双三次插值后的图像作为SR网络的输入使他们有很高的计算成本

2. 尽管（EDSR）这些方法能够获得很好的SR结果，但是他们的深度网络结构遭受了更大的计算成本。另外这些SR模型仅通过一个模型处理一个放大比例，该模型无法满足实际应用的要求。

3. 由于一些方法在通道之间得到同等对待，以增强SISR的分层特征，阻碍了CNN的表达能力。为了解决这个问题，SISR 中开发了基于深度 CNN 的组卷积。第一类使用注意力技术来增强关键通道的效果，以提高 SISR 的性能和速度；第二类通过使用RL或级联操作融合分层通道特征，为SISR获取丰富的低频信息。这些方法都说明了 SISR 中性能和复杂性的有效性。

4. 单一特征学习方法不能保证复杂场景学习特征的鲁棒性，特征融合被提出来解决这个问题。深度大的网络对浅层信息的记忆力可能会变差，为了克服这个挑战，多级特征融合方法被提出。这种方法通常包括两种策略（低频特征融合和高频特征融合）：1）使用双三次方法放大LR图像用于输入深度网络并充分利用分层高频特征得到SR模型（DRCN）。尽管能获得高质量图像，但是复杂性也很高。2）第二类直接利用LR图像作为深度网络的输入，充分利用层次化低频特征，以更快的处理速度获得更准确的信息（CARN）。因此选择第二种策略

网络

ESRGCNN 包含三个卷积层、六个已知的 GEB 组卷积块和一个自适应上采样机制，如图 1 所示。 具体来说，基于 GEB 的组卷积和 RL 技术融合了宽和深通道特征，以根据不同通道的相关性来提高低频特征的表示能力，从而提高 SISR 性能并降低复杂度。 此外，每个 GEB 中的信号增强可以获得长距离上下文信息，以解决 ESRGCNN 的长期依赖问题。 由于架构浅，ESRGCNN 对 SISR 的执行速度很快。 此外，自适应上采样机制利用灵活的阀门来处理不同尺度的 LR 图像，以实现灵活的 SR 模型。 因此，所提出的 ESRGCNN 可以更好地应用于真实的数字设备。

Overall Framework

ＧEBs通过不同通道的相关性来增强低频特征的表达能力；

每个 GEB 中使用信号增强操作来提取长距离上下文信息，以解决深度 SR 网络的长期依赖问题。（这种信号增强是通过使用RL技术将GEB的输入和输出合并为GEB的整个输出来实现的）；

卷积层和 ReLU 的第二种组合用于防止上述操作中获得的特征点像素过度增强；

CR：为了使六个GEB获得的低频特征更加平滑，选择一个CR来提取更精确的低频特征；

这种自适应上采样操作使用灵活的阈值将提取的低频信息转换为用于实现灵活 SR 模型的高频信息。

LOSS

MSE

Group enhanced convolutional block

已知一些现有的 SR 网络直接增强了深度层次特征而不是充分利用不同通道的相关信息来提高SISR性能，计算成本较高。考虑到上述因素，我们使用组卷积将每个 GEB 中前四个卷积层获得的特征分成两组：

GConv1 为蒸馏部分（从当前卷积层获得的特征的四分之一通道数）。GConv2（从当前卷积层获得的特征的四分之三通道数）为剩余部分。只选择剩下的部分作为下一个主网络中卷积层的输入，用于提取更深层的特征，可以提升SR模型的训练效率。

此外，与大多数 SR 方法不同的是，只有在 GEB 中融合两个相邻的 GConv2 才能增强深度邻域信息的效果，从而提高低频特征的表达能力。除了第一个蒸馏部分之外的蒸馏部分间接依赖于之前的剩余部分，融合这些获得的特征可以为深层剩余部分提供互补的宽信息，以提高 SISR 性能。

1）第一步将通过 RL 技术获得的两个相邻 GConv2 的特征融合为下一个卷积层的输入，增强深层邻域上下文的相关性，提高低频特征的表达能力。以便在增强 SISR 中相邻层的特征方面更准确地获得来自不同通道的深度特征

2）第二步使用 RL 技术合并从所有 GConv1 获得的特征，以加强不同蒸馏部分的连接，以增强深层层次信道特征的效果

3）第三步利用连接操作将最后一个 GConv1 和 GConv2 获得的特征在通道方面进行整合，以获得更多的互补特征

Adaptive upsampling mechanism

创新

1. 大多数现有的 SR 方法通过处理不同通道的所有信息来提高 SR 性能，这可能会导致巨大的计算成本。所提出的 40 层 ESRGCNN 通过拆分通道来扩展网络宽度，以增强 SISR 中低频信息的表达能力。使用组卷积和残差操作来增强不同通道的深度和广泛相关性，以实现高效的 SR 网络

2. 采用自适应上采样机制获得灵活的SR模型，非常有利于实际应用

3. 浅层 ESRGCNN 只使用了 134 层 RDN 的 5.6% 的参数数量和 384 层 CSFM的9.6% 的 参数量，获得出色的视觉效果，这也需要著名的 RDN 和 CSFM 的3%的运行时间用于恢复 1024 × 1024 的 HR 图像

4. 通过两个相邻层增强不同通道的相关性，而不是使用当前层作为后面层的输入来提取更准确低频特征并降低SISR中的复杂性

实验

Datasets

Training images: DIV2K

Test datasets：Set5, Set14, BSD100, Urban100

Metrics: PSNR、SSIM

Ablation Study

通过残差学习操作融合两个相邻的GConv2的有效性

使用不同信道的相关性来增强部分信道而非完整信道的效果

级联融合GConv1和GConv2的宽特征以获得更稳健特征的有效性

 Comparison with SOTA

结论与启发

本文提出了一种用于SISR的增强型超分辨群CNN（ESRGCNN）。ESRGCNN通过不同通道的相关性来增强深宽通道特征的效果，从而为SISR提取更准确的低频信息。同时，考虑到深度网络的长期依赖性问题，将信号增强操作融合到ESRGCNN中，以继承更多的远程上下文信息。此外，为了处理不同尺寸的低分辨率图像，采用自适应上采样操作来实现SR模型。在多个基准数据集上的综合实验表明，ESRGCNN在SISR结果、SISR效率、SR模型复杂度和视觉质量方面都取得了很好的效果。未来，我们将利用信号处理技术、数学思想和深度学习理论来设计用于盲图像超分辨率的轻量级CNN。

1. 充分利用不同网络层的层次特征可以增强低频特征的鲁棒性，从而提高预测SR图像的分辨率

2. 扩展网络的多样性可以提高深度网络的表达能力