视觉prompt工程!无需微调、无需任何模型修改,让一个通用模型可以执行多种指定任务
太长不看版
本文做了什么工作
证明许多计算机视觉任务都可以按照图像修复任务来对待,只需给一些任务输入和输出示例和查询图像就可以做成。 构建了一个包含 88000 量的大型数据集,允许模型能够学习图像修复任务。无需任何标注信息,任务相关的描述。 展示出为训练数据集增加额外数据 (比如 ImageNet) 能获得更好效果。
论文名称:Visual Prompting via Image Inpainting (NeurIPS 2022) 译名:通过图像修复任务完成视觉提示
语言模型中一个通用模型做多种下游任务的特点能否迁移到视觉领域?
Je suis désolé I'm sorry
J'adore la glace
I love ice cream
MAE-VQGAN 方法介绍
给训练好的图像修复模型加提示
Visual Prompt 的设计
数据集
实验结果
下游任务实验结果
合成数据研究
数据集规模的影响
视觉提示工程
^Masked Autoencoders Are Scalable Vision Learners ^Taming Transformers for High-Resolution Image Synthesis
技术交流群邀请函 △长按添加小助手 扫描二维码添加小助手微信
请备注:姓名-学校/公司-研究方向 (如:小张-哈工大-对话系统) 即可申请加入自然语言处理/Pytorch等技术交流群
扫描二维码添加小助手微信
关于我们
MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。 社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章