这篇汇报包含了同一个作者(天津大学)的先后两篇论文:《Progressive Image Deraining Networks: A Better and Simpler Baseline》和《Single Image Deraining Using Bilateral Recurrent Network》,其中前者发表于2019年6月,后者发表于2020年6月。
因此我们先介绍发表于2019年6月的《Progressive Image Deraining Networks: A Better and Simpler Baseline》
作者认为在去雨任务中时常有算法无法完全去雨,会残留部分的雨点,而迭代去雨能够消除这个问题。
在图(b)中,和图(a)不同的是添加了LSTM的模块。其中不同迭代轮次的去雨网络的LSTM模块中,存在信息的向后传输。
在LSTM模块中,和为上一轮短连接传递过来的特征图,和为要传递到下一轮的特征图。和为当前网络中LSTM的输入和输出。
值得注意的是,网络对每个输出结果进行了约束,即给上loss。并且每个阶段的网络权重均相同。第一轮去雨的和初始化为0
文章使用了MSE和SSIM作为损失函数。其中MSE仅对最后一轮约束,SSIM对每一轮均做约束。
文章设定了循环为6次,即。训练图像大小为100*100,批大小设置为18
文章展示了每次迭代次数不同的表现。
文章发现当七次迭代的结果略差于六次迭代的结果。文章展示了是否使用每轮SSIM约束的表现,网络的总轮数为6,横坐标表示的是当前轮,纵坐标表示PSNR和SSIM:
可以发现,对网络进行更多的约束能够提高网络前几轮的表现,但在第六轮中,不对前几轮进行约束反而表现更好,我认为这是目标统一的结果。在上一篇论文的基础上,作者进一步更新了网络,提出了《Single Image Deraining Using Bilateral Recurrent Network》
文章在整体框架上和上一篇论文上如出一辙,仅仅在LSTM上进行了修改,将LSTM修改为BLSTM,并将两个模块进行组合,如上图所示。用公式可以表达为:其中为雨层,为去雨结果,为原始有雨图像。
文章设计的思路为:
该网络在实验中在每一轮中使用MSE和SSIM损失,这一点和上一篇论文不同。
文章展示了上一篇论文和当前论文的网络的区别,上一篇网络被称为SRN,当前网络被称为BRN:
可以看到其效果有一定提高。也由于BRN的参数较SRN的参数量提高,所以指标上也有一定的提高。文章又给出了SRN+版本,以对比表示BRN的作用。