©PaperWeekly 原创 · 作者 | Au
本文分享 ECCV 2022 论文“Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression”，新加坡国立大学提出夜间图像增强算法，抑制过曝，暗光增强，代码已开源。
论文链接：
https://arxiv.org/pdf/2207.10564.pdf
https://github.com/jinyeying/night-enhancement
夜间图像增强会遭遇两个问题，1. 低光照问题，2. 光效应/眩光/泛光/辉光问题。现有的夜间可见度增强算法专注在增强低光照区域（紫色箭头）。这不可避免地导致了明亮区域的过度增强/过曝，例如，受光效应影响的区域（红色箭头）。现有的夜晚去雾算法可以抑制雾天的辉光，但是不能增强低光照区域，也不能抑制晴朗夜晚的光效应。我们是否可以 1. 提高黑暗区域的光强度的同时，2. 抑制明亮区域的光效应？更全面的提高夜间图像的可见度。
1. 缺少成对的 paired 训练数据，难以收集 ground truth；因此, 本文设计了无监督的夜间图像增强算法，关键思想：2. 使用不配对的 unpaired 训练数据，设计光效应抑制网络。如果把夜晚光效应图看作一张混合的图像，层分解指的是如何分解出光效应层和背景层。当成功分解出光效应层，背景层的光效应就会得以抑制。2. 虽然成对的 paired 训练数据很难收集，但是不配对的 unpaired 光效应数据是可以获得的。通过数据驱动，可以进一步抑制光效应和增强暗光区域。输入夜间图像进入层分解模块。层分解的目标是获得一个不受光效应影响的背景层。然后本文将背景层输入到光效应抑制网络中，得到最终的输出，一张暗光区域增强，过曝区域抑制的夜晚图像。
输入一张（a）夜晚光效应图，输出三个独立的层，（b）光效应层 G，（c）阴影层 L 和（d）反射层 R。因为光效层 G 是缓缓渐变，相对平滑的，梯度具有一个短尾分布效应，如（c）所示。本文假设光效层的二阶导数为 0，使用拉普拉斯滤波器 laplacian filter，梯度排除 gradient exclusion，颜色恒常 color constancy 和其他 loss function，可以将光效应层与背景层分开。
光效应抑制网络是数据驱动的，基于不成对的有光效应（类标签1）和无光效应（类标签0）的数据。通过这种二分类和类激活图 CAM（class activation map），可以得到网络的 weights。特征图乘以 CAM weights，产生一个注意力特征图。注意力特征图显示，网络可以集中在光效应区域，从而进一步的抑制该区域的光效应。
最后介绍无监督的损失函数，用作恢复背景的结构和高频细节。夜晚有五颜六色的人造光，五彩斑斓的光效应，我们是否可以少受色彩的影响？于是一个很自然的想法，使用相对简单的灰度图。首先使用自适应融合（高斯滤波，过滤曝光不足和过曝的区域）来获得一个灰度图像。从灰度图像中，可以计算出在夜晚数据上 fine-tuned 的 VGG 特征，和来自引导滤波器的高频特征，这些特征受光效应的影响较小，约束网络的输出。
本文提出了一个用于夜间图像增强的无监督学习框架，该框架同时增强了黑暗区域并抑制了光效应区域。通过光效应层的引导，该方法可以更准确地分离光效应。通过无监督结构和高频特征一致性损失函数，该方法能还原背景细节。
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
