AAAI 2023 | 浙大成像实验室创建ReLoBlur数据集及LBAG局部模糊感知门控网络

2023-03-28 04:03

单幅图像去运动模糊一直以来都是研究的热点，随着深度学习的兴起，基于端到端学习式的图像去模糊逐渐成为主流。运动模糊可分为全局和局部两类，其中全局运动模糊得到广泛关注，而局部运动模糊问题则较为被忽视。该文章从实际工业应用需求出发，聚焦于解决单图像去除局部运动模糊的多重挑战：

1. 由于缺少公开真实的局部运动模糊数据集，深度学习应用受到阻碍；

2. 训练过程中神经网络模型难以确定局部模糊区域的位置和大小；

3. 当模糊区域仅占少数图像区域时，神经网络会过于关注清晰物体而浪费训练成本。

为解决上述问题，浙江大学成像工程实验室创建了第一个真实世界局部运动模糊数据集 ReLoBlur，并提出了局部模糊感知门控网络 LBAG 及一系列针对局部运动模糊的解决方案（如 LBFMG、BAPC 等），填补了深度学习在局部运动模糊问题上的空缺。这些创新性的解决方案构建了解决局部运动模糊和全局运动模糊的桥梁，为实际工业应用提供了有效的解决方案。

该论文的一作李昊颖目前博士在读，师从浙江大学冯华君教授、新加坡南洋理工大学 Chen Change Loy 教授和 Chongyi Li 教授；是此前 SRDiff 的提出者，研究计算机视觉、深度学习和工程光学的交叉领域。

论文链接：

https://arxiv.org/pdf/2204.08179.pdf

代码链接：

https://github.com/LeiaLi/ReLoBlur

论文主页：

https://leiali.github.io/ReLoBlur_homepage/index.html

效果展示：

下图展示了 ReLoBlur 数据集的部分图像对：

下图展示了该文章所提出的 LBAG 方法去除局部运动模糊的效果：

方法概览

1.1 ReLoblur数据集

在相机曝光时间内，场景中部分物体的运动叠加造成了图像的局部运动模糊。曝光时间越长，运动模糊越容易积累，图像越模糊；曝光时间越短，运动混叠越少，图像越清晰。

由此原理，该文章设计了一个分光同步拍照装置来同时获取局部运动模糊图像及其对应的清晰图像。该装置包含分光镜、两个相同的工业相机和电源控制模块。其中，相机 B 用长曝光模式来拍摄模糊图像，相机 S 用短曝光模式拍摄清晰图像，拍摄者通过切换相机 B 前的密度片来保证两个相机进光量相同，分光镜可以实现两个相机拍摄的场景一致性。

分光拍摄系统经过了精密的设计和装调，但两台相机拍摄的场景仍会存在细微差异。为了校正图像对中除运动模糊区域外的差异，颜色校正、亮度对齐和几何对齐被加入到了图像后处理流程中。图像后处理流程减少了分光拍摄过程中由硬件和环境造成的颜色、光度、空间位置上误差，保证了场景在清晰和模糊图片的一致性。

数据集中包含生活中常见的拍摄场景，包括但不限于行人、车辆、父母、儿子、宠物、球、植物和家具等。ReLoBlur 已公开训练集图像 2010 对，测试集图像 395 对。同时，作者还用 LBFMG 算法标注了局部运动模糊区域为研究者们提供参考。

ReLoBlur 是第一个实拍的局部运动模糊数据集。与仿真（合成）模糊数据集不同，它真实地展示了局部运动物体自身和背景产生的混叠效应，其中也包含了过曝和较暗的实景图片，以及复杂的模糊边缘。参与这项工作的研究者们花费了大量时间在硬件设计和数据集拍摄上，这些工作为后续解决局部运动模糊问题提供了数据支持。

1.2 局部模糊感知网络（LBAG）

除了 ReLoblur 数据集外，该文章还提出了一个带有局部模糊感知能力的多尺度神经网络模型（LBAG）。多尺度神经网络模型的设计思路来源于 MIMO-Unet [0]。在网络的多尺度输出端增加了一个门控模块用于预测模糊区域。利用 LBFMG 算法生成的掩码作为标签数据来监督训练 LBAG，使得网络具有识别局部模糊区域的能力。

为了解决网络过于注意非模糊区域的问题（Data imbalance problem），该文章调整了训练数据的输入方式：一半数据随机剪裁输入，一半数据经过 LBFMG 算法定位局部模糊区域后剪裁输入。

为更公平地评价去除局部运动模糊效果，出了全局 PSNR 和 SSIM 外，该文章还使用了加权峰值信噪比 PSNR 和加权结构相似度 SSIM，在局部模糊区域计算 PSNR 和 SSIM：

其中分别为像素位置、图像宽度、图像高度、局部模糊掩码。和分别代表了标签图像和网络输出的图像。

1.3 更多结果展示

表 1 不同去模糊方法的量化评价结果（LBAG+表示在 MIMO-UNet 的预训练权重进行训练）。

▲ 图6. 不同去模糊方法在ReLoBlur数据集上的视觉比较

大量实验证明了用 ReloBlur 训练的网络比用合成数据训练的网络表现更好，并且量化评价结果显示 LBAG 网络也超过了其他的 SOTA 方法。

表 2 合成数据训练的 LBAG+ 和 Reloblur 训练的 LBAG+ 的量化评价结果。

总体而言，该文章挖掘了深度图像复原领域的一个分支：图像局部模糊，创建了第一个局部运动模糊的数据集 ReLoBlur，提出了用于去除局部运动模糊的 LBAG 网络，和一系列适用于真实世界的局部去运动模糊策略，构建了局部运动模糊和全局运动模糊处理的桥梁，为 AI 研究者解决局部图像病态问题提供了新的思路。