[CVPR'22] 只需要一组预训练参数，所有恶劣天气一次解决！

科研机构：台湾大学

论文链接：

https://openaccess.thecvf.com/content/CVPR2022/papers/Chen_Learning_Multiple_Adverse_Weather_Removal_via_Two-Stage_Knowledge_Learning_and_CVPR_2022_paper.pdf

代码链接：https://github.com/fingerk28/Two-stage-Knowledge-For-Multiple-Adverse-Weather-Removal

最近CVPR'22的文章已经放出来了，发现了这篇能够一次解决所有恶劣天气的算法，相当有趣以及新颖，因此整理下来分享给大家，目前训练代码，预训练模型皆已开源。

简介

当前针对恶劣天气的影像复原算法虽然已经发展多年并且已经成熟，但是有着许多的限制：

1. 单张影像还原(Single Weather Removal) [1,2]： 虽然能够在单种气候下获得良好的效果，但是对于其他天气而言效果相当有限，因为所设计的架构大多数是针对某种气候的特征去设计，不利于真实世界的应用。

2. 多重天气还原(Multi-degradation removal) [3]： 可以使用同一种架构去针对不同还原任务去做训练，但是一种还原就要训练一组参数，并且必须事先分辨是哪一种还原任务。

3. 多合一天气还原 (All-in-one Bad Weather Removal) [4]: 虽然使用Neural architecture search运用一个编码器搜索特征，能够实现一组预训练模型解决所有的天气，但是一种天气就需要一种译码器，对于模型有着大小的不便性。

对于真实世界而言影像还原模型需要能够在不增加运算需求以及模型大小的情况下扩充还原的型态，并且同时有着良好的性能，本篇文章针对这个问题，基于知识蒸馏（Knowledge Distillation）提出了一个新颖的算法，能够在不增加运算资源的情况下在多种天气下达到相当好的性能。

此外，这个团队在过去对于影像还原有许多发表：

• 单张影像去雪：[JSTASR] (ECCV'20) 、 [HDCW-Net] (ICCV'21)
• 单张影像去雾：[PMS-Net] (CVPR'19) and [PMHLD] (TIP'20)
• 单张影像去雨：[ContouletNet] (BMVC'21)

方法

Two-stage Knowledge Learning

现有的单种天气算法使用传统的知识蒸馏将干净影像的信息转移到学生网络上，虽然有效，但适用于多天气型态将会失效，因为学生网络在缺少有效的指引的情况下无法有效地在不同天气型态当中学习到有鉴别性的特征。

为了解决此问题，此论文将网络的学习分为Knowledge Collation (KC) 以及 Knowledge Examination (KE)：

• Knowledge Collation (KC): 此阶段中，有多种针对不同气候的老师网络，负责将其知识转移到学生网络中。学生网络负责学习以及整合不同的知识。由于学生网络在此阶段并不成熟，因此，会使用较简单的约束条件去训练。

• Knowledge Examination (KE): 经过KC阶段的学习，此阶段学生网络已经足够成熟，因此，不再和老师学习，直接和ground truth去做学习，并且使用较难的约束去训练。

Collaborative Knowledge Transfer (CKT)

在KC阶段当中，我们透过CKT对于学生网络去做知识的转移以及整合，首先透过progressive feature projector (PFP) 将老师所学习到的特征，透过卷积网络投影到一个common feature space去做学习，并且去算损失函数。然而，由于不能保证投影过去的特征为有效特征，因此，又设计了一个双向的投影bi-directional feature matching (BFM)用于保证投影的特征是有效的。详细的内容请参阅论文。

Multi-contrastive Regularization

启发于对比学习contrastive learning，针对不同阶段，设计出不同难度的对比学习：soft contrastive regularization 以及 hard contrastive regularization.

• Soft Contrastive Regularization (SCR): 此为较简单的对比学习，用于和老师网络所得到的结果去做对比学习，并且每一次损失的计算都是针对不同气候下去做。

• Hard Contrastive Regularization (HCR):此为较困难的对比学习，用于和ground truth去做对比学习，计算损失的函数时，将所有不同天气一起混合去做计算，增加约束的难度。

实验结果

此篇论文做了许多实验来证明其有效性。

消融实验(Ablation Study)：

• 针对在Collaborative Knowledge中提出的不同架构去做验证：

结果表明了使用论文中提出的所有模块有助于提升在不同气候下的还原效能。

• 使用two-stage knowledge learning对于学习不同气候的性能提升有效性：

实验结果表明了两阶段的学习对于模型的效能提升有着相当大的帮助。

• 使用两种不同的multi-contrastive regularization对于模型性能的影响：

上图证明了，在不同阶段使用不同难度的对比学习对于模型的性能有着很大的帮助。

• t-SNE去针对不同输入的气候去做探讨以及模型的feature可视化：

与现有方法的比较

可以发现在不同任务上，虽然无法达到完全state-of-the-art的效能，但是对于一次处理所有气候的效能上，此方法为最优解。

结语

读完这篇文章后，我认为这篇论文有几点非常值得参考

1. 使用collaborative knowledge Transfer去做不同的天气型态学习，并且设计多种模块帮助学习对于多天气学习是相当有帮助的。
2. 使用multi-contrastive regularization及two-stage knowledge learning能够帮助模型根据不同的难度去做知识的学习。
3. 此应用未来对于自驾车以及户外监控可能会有很大的帮助，此外，虽说论文是针对恶劣天气去设计，但我认为此方法应该能延展到其他的影像还原任务(超分、去模糊、去躁)。

参考文献

[1] He Zhang and Vishal M Patel. Densely connected pyramid dehazing network. In CVPR, 2018.

[2] Ruoteng Li, Loong-Fah Cheong, and Robby T Tan. Heavy rain image restoration: Integrating physics model and conditional adversarial learning. In CVPR, 2019.

[3] Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, and Ling Shao. Multi-stage progressive image restoration. In CVPR, 2021.

[4] Ruoteng Li, Robby T Tan, and Loong-Fah Cheong. All in one bad weather removal using architectural search. In CVPR, 2020.