Redian新闻
>
CVPR 2023 Workshop | 华为自研IPT-V2斩获NTIRE挑战赛图像去噪Track冠军

CVPR 2023 Workshop | 华为自研IPT-V2斩获NTIRE挑战赛图像去噪Track冠军

公众号新闻

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【去一切和Transformer】微信群

作者:王云鹤 | 源:知乎(已授权转载)
https://zhuanlan.zhihu.com/p/632076967

NTIRE (New Trends in image Restoration and Enhancement) 是图像复原与增强领域的顶级研讨会,由苏黎世联邦理工大学在历年的CVPR大会上举办,并同步开展相应的学术竞赛,以总结该领域的最新进展并探讨未来的研究新趋势。到目前为止,已经连续举办了八届。在其中的图像去噪挑战赛中,全球共有234位选手参赛,17支队伍提交了最终成绩,来自华为诺亚-终端联合团队以显著优势斩获该赛道的冠军,下面将简要阐述一下我们的解决方案。

图像去噪是计算机视觉领域中最基础的一个研究课题,其目标是去除图像上的噪声信息并同时尽可能多地恢复细节特征。NTIRE2023的图像去噪挑战赛基于DIV2K和LSDIR数据集,通过向高清图像添加高斯白噪声(sigma=50)以模拟真实的噪声图像。比赛要求参赛者提出一种网络设计/解决方案,能够产生高质量的结果,最终以测试集上的PSNR结果排序。

图像去噪任务

随着transformer在计算机视觉领域的应用,我们发现目前性能最高的图像复原模型均是基于transformer来构建的,如IPT[1]、SwinIR[2]、Restormer[3]和GRL[4]。然而通过这些模型结构的研究,我们发现它们均不能高效且准确地构建全局和局部像素的依赖关系,这对于去除噪声并恢复图像细节尤为重要。

IPT-V2网络结构

为了解决这个问题,我们提出了一种高效且新颖的混合自注意力模型IPT-V2,旨在以一个较低的计算复杂度同步构建准确的全局和局部像素的依赖关系。整体的网络架构如上图所示,IPT-V2是一个U型编码-解码的网络结构,具有三次下采样和上采样。基础模块是spatial-channel transformer block,在空间维度和通道维度同时构建自注意力机制。为了更好地恢复出高清图像,我们在局部和全局范围内对channel self-attention和spatial self-attention进行了增强,整个模型的计算复杂度与Restormer接近,且远低于IPT、SwinIR和GRL。

NTIRE23 去噪比赛结果

在训练阶段,IPT-V2仅使用DIV2K和LSDIR数据集,采用MSE和Sobel loss进行训练,在赛方的测试集上达到了29.96 dB的准确度,最终结果的排名如上,本方案以显著优势获得该赛道的冠军,超越了三星、小米、旷视等友商,充分证明了IPT-V2的优势。

公开数据集结果


除了在NTIRE比赛的结果,IPT-V2还在公开数据集上进行了验证,结果显示,IPT-V2在去噪、去雨等多项底层视觉任务上均超越了现有的SOTA方案,取得了更优的FLOPS-PNSR曲线。


视觉效果对比

图中是一些视觉效果的对比,可以看到,IPT-V2不仅在指标上领先,在视觉效果上也取得了优势。

方案的具体细节和内容会在论文公开之后进行详细解读,敬请期待。

【1】 Chen, Hanting, et al. "Pre-trained image processing transformer." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

【2】 Liang, Jingyun, et al. "Swinir: Image restoration using swin transformer." Proceedings of the IEEE/CVF international conference on computer vision. 2021.

【3】 Zamir, Syed Waqas, et al. "Restormer: Efficient transformer for high-resolution image restoration." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

【4】 Li, Yawei, et al. "Efficient and Explicit Modelling of Image Hierarchies for Image Restoration." arXiv preprint arXiv:2303.00748 (2023).

点击进入—>【Transformer】交流群


最新CVPR 2023论文和代码下载


后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集

后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF


去一切和Transformer交流群成立


扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-去一切或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。


一定要备注:研究方向+地点+学校/公司+昵称(如去一切和Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群


▲扫码或加微信号: CVer333,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!


扫码进星球


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
老妈又少了一个说话的老朋友10年首次登顶!CVPR 2023大奖揭晓:上海AI实验室/武大/商汤破纪录夺魁,西工大斩获最佳学生论文长篇新书《红学外史》选载45.18活动预告 | 澳洲商科专场Workshop来了!笔面技巧+人设塑造=offer收割机CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyACM MM 2023 Workshop|多模态信息检索研讨会2022&2023 Subaru Outback 和 2023 Honda CRV Hybrid二选一CVPR 2023 | 大连理工和微软提出SeqTrack:目标跟踪新框架Call for Paper | IEEE Future Networks World Forum 2023CVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法吴妈,我要困觉”,演绎不成维娜斯之塑。“死故应尓”的下一步,可能导致“人彘”。大多数的“中华民族传统美德”,往往正在这个质量水平微信视觉团队斩获CVPR 2023视频相似性大赛双赛道冠军!4月活动 | 留学生艺术作品联展、大厂设计师讲座、专题workshop…超多活动,只等你来!《花尾渡》(小说) 第二章 水拨情弦初相见再夺全球顶级竞赛CVPR NTIRE冠军,打造更好用户体验,淘宝拥有哪些内容技术?报名最后一天!Ada Workshop 2023 邀妳一起聆听她们的技术远见ACM MM 2023 Workshop|多媒体+无人机国际要闻简报,轻松了解天下事(03CVPR 2023 | 掩码图像建模MIM的理解、局限与扩展CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型CVPR 2023 | 正则化方法DropKey: 两行代码高效缓解视觉Transformer过拟合明天直播|Ada Workshop 2023邀妳云端相聚!冠军 | ACL2023 WASSA Workshop“交互式情感、同理心和个性识别”评测赛题方案 - 哈工大SCIR炸裂!最新CVPR2023、ICML2023、AAAI2023、ACL2023论文+Code大合集!TruEdu Summer 23 Writing Workshop见证Ada Workshop 2023:一同创造“我们的时刻”捣练子令(2):三月春光绿满园什么样的方案,夺得了CVPR自动驾驶挑战赛冠军?国际要闻简报,轻松了解天下事(03CVPR 2023 | 基于颜色感知背景的文档图像阴影去除CCKS 2023 | 开放环境下的知识图谱挑战赛上线,奖金等你来拿!我参加过的public hearing (2)今年 CV 热点这么多,不可错过 CVPR 2023 线下论文分享会CVPR 2023 医学图像分割论文大盘点上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023CVPR 2023 | 谷歌提出CLIPPO:仅从像素理解图像和语言征稿 | ACM MM 23 Workshop - 基于大语言模型的多模态研究和应用​一文速览CVPR 2023掩码图像建模领域最新研究进展国际要闻简报,轻松了解天下事(0313 Years at My Family’s Tofu Workshop | 人间 · 英文版
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。