Redian新闻
>
CVPR 2023上AIGC大爆发!46篇论文、代码和数据集汇总

CVPR 2023上AIGC大爆发!46篇论文、代码和数据集汇总

公众号新闻


刚刚过去的几个月,无疑是生成式AI爆发的奇点。


说到生成式AI,就不得不提到AIGC。AIGC全称为AI-Generated Content指基于预训练大模型、生成式对抗网络(GAN)等人工智能技术,通过已有数据寻找规律,并通过释放泛化能力生成相关技术的内容。

AIGC 在图像生成中的示例


虽然在文生图领域,扩散模型似乎已经一统天下,但GAN 依然存在不可磨灭的优势。这使得一些研究者在这一方向上持续努力,并取得了非常实用的成果,相关的论文已被 CVPR 2023 接收。


这次我整理了46篇【CVPR 2023的AIGC应用汇总】图像转换、翻译/可控文生图/图像恢复/语义布局可控生成/医学图像/face相关的基于diffusion扩散模型/GAN生成对抗方法论文合集+部分代码,我特地选了6篇具有代表性的文章为大家叙述,希望对在该领域想发论文的同学带来一些新思路!


并且今天免费为大家送一波福利
扫描二维码,回复【GAN】
领取
46篇CVPR 2023 AIGC应用论文和部分代码合集
全是pdf格式,非常方便,想要的同学千万不要错过!



01

GAN的反击!朱俊彦新作GigaGAN,出图速度秒杀Stable Diffusion


题目:

最近,文字-图像生成技术的成功已经席卷全球,激发了大众的想象力。从技术的角度来看,它也标志着设计生成图像模型所青睐的架构的巨大变化。GANs曾经是事实上的选择,有StyleGAN这样的优秀技术。随着DALL·e2的出现,自回归和扩散模型似乎一夜之间成为大规模生成模型的新标准。

CycleGAN 的主要作者、曾获 2018 年 ACM SIGGRAPH 最佳博士论文奖的朱俊彦是这篇 CVPR 论文的第二作者。


该研究首先使用 StyleGAN2 进行实验,并观察到简单地扩展主干网络会导致训练不稳定。基于此,研究者确定了几个关键问题,并提出了一种在增加模型容量的同时稳定训练的技术。


02

基于示例的图像转换的屏蔽和自适应变压器


题目:

该论文提出了一个基于样本的图像转换新方法。用于此任务的先进方法主要集中在建立跨域语义对应上,但跨域语义匹配具有挑战性,匹配错误最终会降低生成图像的质量。


为了克服这一挑战,该论文提出了一种掩码和自适应变换器 (MAT),用于学习准确的跨域对应关系,并执行上下文感知特征增强。为了实现后者,使用样本的输入源特征和全局样式代码作为补充信息来解码图像。


此外,设计了一种新的对比风格学习方法,用于获取质量区分风格表示,这反过来有利于高质量图像的生成。实验结果表明在各种图像转换任务中表现更好。


03

具有列行纠缠像素合成的高效尺度不变生成器


题目:

该论文说明任意尺寸图像生成(Any-scale image synthesis)提供了一种高效和可扩展的解决方案,可以在任何比例下合成逼真的图像,甚至超过2K分辨率。


这项工作提出了列行耦合的像素生成(Column-Row Entangled Pixel Synthesis,CREPS),一种既高效又具有尺度等变性的新型生成模型,而不使用任何空间卷积或粗到细的设计。在各种数据集上的实验,包括FFHQ、LSUNChurch、MetFaces和Flickr-Scenery,证实了CREPS具有在任意任意分辨率下合成尺度一致图像的能力。


04

图像恢复,基于GAN生成对抗/diffusion扩散模型方法


题目:

该论文研究JPEG图像恢复问题,即加密比特流中的比特错误。比特错误会导致解码后的图像内容出现不可预测的色偏和块位移,这些问题无法通过现有的主要依赖于像素域中预定义退化模型的图像恢复方法来解决。该论文提出了一个强健的JPEG解码器,并采用两阶段补偿和对齐框架来恢复受比特流损坏的JPEG图像。


具体而言,JPEG解码器采用了一种具有容错机制的方法来解码受损的JPEG比特流。两阶段框架由自补偿和对齐(SCA)阶段和引导补偿和对齐(GCA)阶段组成。在三个不同比特错误率的基准测试上进行了实验。实验结果和消融研究表明了我们所提出的方法的优越性。


05

PosterLayout:内容感知视觉文本演示布局的新基准和方法



题目:

该论文提出了设计序列形成(DSF)方法,以模拟人类设计师的设计过程重新组织布局中的元素,并提出了一种基于CNN-LSTM的条件生成对抗网络(GAN)来生成适当的布局。具体来说,鉴别器是设计序列感知的,将监督生成器的“设计”过程。

实验结果验证了新基准的有用性和所提出方法的有效性,该方法通过为不同的画布生成适当的布局实现了最佳性能。


06

使用人脑活动的潜在扩散模型进行高分辨率图像重建


题目:

本文提出一种基于扩散模型(DM)的新方法,通过功能性磁共振成像(functional magnetic resonance imaging,fMRI)从人脑活动来重构出图像。通过研究LDM的不同组成部分(例如图像的潜在向量Z、条件输入C以及去噪U-Net的不同元素)与不同的脑功能之间的关系,表征了LDM的内部机制。


方法可以在简单的方式下重构具有高保真度的高分辨率图像,而不需要任何额外的训练和精调复杂的深度学习模型。还提供了从神经科学角度对不同LDM组件的定量解释。总体而言,研究提出了一种重构人类脑活动中图像的有前途的方法,并为理解DM提供了新的框架。



并且今天免费为大家送一波福利
扫描二维码,回复【GAN】
领取
46篇CVPR 2023 【AIGC应用论文+部分代码合集】
全是pdf格式,非常方便,想要的同学千万不要错过!




这次我还邀请了高级视觉算法研究员的吉米老师,用一小时的时间给大家做了一节《sota、difussion和GAN结合论文中稿的支撑点》课程,以《Generative Adversarial Nets》-NIPS2014论文为例,手把手教大家如何带入difussion学习和运用aigc技术发论文。


扫码解锁课程+领46篇论文合集+课程交流群


包邮赠书福利







添加客服,凭当前文章截图参与抽奖送书。抽取50名同学,包邮送出《一本书读懂AIGC》


扫码回复“GAN

学课程、领论文、抽图书!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
CVPR 2023|Crowd3D:数百人大场景3D位置、姿态、形状重建,开源benchmark数据集4个月,他用ChatGPT写了16篇论文,已发表5篇10年首次登顶!CVPR 2023大奖揭晓:上海AI实验室/武大/商汤破纪录夺魁,西工大斩获最佳学生论文CVPR 2023论文总结!CV最热领域颁给多模态、扩散模型当AIGC遇到GAN和Diffusion,CVPR 2023论文大盘点CVPR 2023 | 改动一行代码,PyTorch训练三倍提速,这些高级技术是关键大模型迎来「开源季」,盘点过去一个月那些开源的LLM和数据集CVPR 2023 医学图像分割论文大盘点5054 血壮山河之武汉会战 鏖战幕府山 23CVPR 2023最佳论文候选!真实高精3D物体数据集OmniObject3DCVPR 2023最佳论文候选出炉,12篇上榜!武大、港中文、商汤等国内机构多篇入选卷爆CV!46篇分割一切模型(SAM)二创论文大盘点今年 CV 热点这么多,不可错过 CVPR 2023 线下论文分享会CVPR最佳论文:大模型成就端到端自动驾驶|焦点分析【附PDF】整理了114篇医疗论文,含cvpr2023医疗论文+经典论文+医疗论文综述等CVPR 2023 | 多模态新任务和新数据集!NTU提出广义引用分割问题GRESCVPR 2023上的分割论文杀疯了!炸裂!最新CVPR2023、ICML2023、AAAI2023、ACL2023论文+Code大合集!近十年首次,国内机构上海AI Lab、武大、商汤研究获CVPR 2023最佳论文为什么我躲不过七情六欲CVPR 2023 大牛演讲:改动一行代码,PyTorch训练三倍提速!这些技术是关键!ACL 2023奖项公布:3篇最佳论文、39篇杰出论文,多家国内机构上榜《心中的歌唱》&《无念》中国团队自动驾驶大模型斩获CVPR最佳论文;Stability AI推出新文生图模型;京东大模型即将发布丨AIGC大事日报CVPR 2023 | 精准、通用、轻量!EqMotion:等变轨迹预测与不变关系推断模型CVPR最佳论文颁给自动驾驶大模型!中国团队第一单位,近10年三大视觉顶会首例CVPR 2023最佳论文候选出炉!武大、港中文、商汤等国内机构多篇入选首个感知决策一体化自动驾驶通用大模型!商汤联合团队获CVPR 2023最佳论文【国际移民研究】加拿大华人和印度人政治参与比较研究CVPR 2023|无需标注数据,「3D理解」进入多模态预训练时代!ULIP系列全面开源,刷新SOTA旅行杂记:泰国清迈CVPR'23 最佳论文候选 | 采样提速256倍!蒸馏扩散模型生成图像质量媲美教师模型阿里开源大模型治理数据集;华为推出AI存储新品;OpenAI被美国FTC调查丨AIGC大事日报上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023CVPR 2023 | HPM:在掩码学习中挖掘困难样本,带来稳固性能提升!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。