Redian新闻
>
杭电小哥抢先搞定GPT读图功能,单卡就能实现新SOTA,代码已开源|CVPR2023

杭电小哥抢先搞定GPT读图功能,单卡就能实现新SOTA,代码已开源|CVPR2023

公众号新闻
Pine 发自 凹非寺
量子位 | 公众号 QbitAI

能读图的GPT-4震撼发布了!但要用它还得排队。。。

不如先试试这个~

加上一个小模型,就能让ChatGPT、GPT-3这类目前只能理解文本的大语言模型轻松读图,各种刁钻的细节问题都能手拿把掐。

并且训练这个小模型单卡(一块RTX 3090)就能搞定。

效果呢,直接看图。

比如说,给训练后的GPT-3输入一张“音乐现场”的图片,问它:现场在举办什么活动?

毫不迟疑,GPT-3给出了音乐会的答案。

再来加点难度,再给GPT-3酱紫的一张照片,让它来分辨照片中的帘子是什么类型的材质。

GPT-3:蕾丝

Bingo!(看来是有点儿东西在身上的)

这个方法呢,是杭州电子科技大学和合肥工业大学的一个团队的最新成果:Prophet,半年前他们就已经着手进行这项工作。

论文一作是杭电研究生邵镇炜,他在1岁那年被诊断患有“进行性脊肌萎缩症”,高考时遗憾与浙大擦肩,选择了离家近的杭州电子科技大学。

目前该论文已经被CVPR2023接收。

跨模态任务上达到新SOTA

话不多说,直接来看在Prophet这种方法的加持下GPT-3的读图能力。

我们先来看看它在数据集上的测试结果。

研究团队在两个基于外部知识的视觉问答数据集OK-VQA和A-OKVQA测试了Prophet,均创造了新SOTA


更具体点,在OK-VQA数据集上,和Deepmind的拥有80B参数的大模型Flamingo对比,Prophet达到了61.1%的准确率,成功击败Flamingo(57.8%)

并且在所需要的算力资源上,Prophet也是“吊打”Flamingo。

Flamingo-80B需要在1536块TPUv4显卡上训练15天,而Prophet只需要一块RTX-3090显卡训练VQA模型4天,再调用一定次数的OpenAI API即可。

其实,类似Prophet这种帮助GPT-3处理跨模态任务的方法之前也有,比如说PICa,以及之后的KAT和REVIVE。

不过它们在一些细节问题的处理中,可能就不尽如人意。

举个栗子,让它们一起读下面这张图,然后回答问题:图片中的树会结什么水果?

而PICa、KAT和REVIVE从图片中提取到的信息只有:一群人在广场上走路,完全忽略掉了后面还有一颗椰子树。最终给出的答案也只能靠瞎猜。

而Prophet这边,就不会出现这种情况,它解决了上述方法提取图片信息不充分的问题,进一步激发了GPT-3的潜能。

那Prophet是怎么做的呢?

小模型+大模型

有效提取信息,并准确回答问题,能做到这些Prophet依赖的是它独特的两阶段框架

这两个阶段也分工明确:

  • 第一阶段:根据问题给出一些具有启发性的答案;

  • 第二阶段:这些答案会缩一些范围,使GPT-3有充分的空间发挥潜能。

首先是第一阶段,研究团队针对特定的外部知识VQA数据集训练了一个改进的MCAN模型(一个VQA模型)

训练好模型后,从中提取两种具有启发性的答案:答案候选和答案感知示例。

其中,答案候选是以模型分类层输出的置信度为依据对答案进行排序,选取里面的top10。

答案感知示例时指,将模型分类层之前的特征作为样本的潜在答案特征,这个特征空间中最相近的标注样本。

接下来就是第二阶段,这一步相对来说就很简单粗暴了。

讲上一步得到的“启发性答案”组织到prompt中,然后再将prompt输入给GPT-3,在一定的提示之下完成视觉问答问题。

不过虽然上一步已经给出一些答案提示,但这并不意味着GPT-3就要局限在这些答案中。

若提示给出的答案置信度太低或者正确答案并不在那些提示中,GPT-3完全完全有可能生成新的答案。

研究团队

当然,除了研究成果外,这项研究背后的团队也不得不提。

第一作者邵镇炜在1岁时就确诊“进行性脊肌萎缩症”,是肢体一级残疾,没有生活自理能力,生活和学习需要母亲的全程照顾。

不过虽然身体受限,但邵镇炜对知识的渴求并没有减弱。

2017年高考他拿下644分的高分,以第一名的成绩被杭州电子科技大学计算机专业录取。

期间还获得2018年中国大学生自强之星、2020年度国家奖学金和2021年度浙江省优秀毕业生等荣誉。

本科期间,邵镇炜就已经开始跟着余宙教授进行科研活动。

2021年,邵镇炜在准备研究生推免时与浙大擦肩,于是留校加入了余宙教授课题组攻读硕士研究生,目前他在读研二,研究方向是跨模态学习。

余宙教授则是本次研究论文的二作以及通讯作者,他是杭电计算机学院最年轻的教授,教育部“复杂系统建模与仿真”实验室副主任。

长期以来,余宙专攻多模态智能方向,曾带领研究团队多次获得国际视觉问答挑战赛VQA Challenge的冠亚军。

研究团队的大部分成员都在杭电媒体智能实验室(MIL)

该实验室由国家杰青俞俊教授负责,近年来实验室围绕多模态学习方向发表一系列高水平期刊会议论文(TPAMI、IJCV、CVPR等),多次获得IEEE期刊会议的最佳论文奖。

实验室主持国家重点研发计划、国家自然科学基金重点项目等国家级项目20余项,曾获得过浙江省自然科学一等奖,教育自然科学二等奖。

项目地址:
https://github.com/MILVLG/prophet
论文地址:
https://arxiv.org/abs/2303.01903
参考链接:
[1] 
https://zhuanlan.zhihu.com/p/613601646
[2] https://mp.weixin.qq.com/s/auKTsPZHnzSHbJLPjhFVlA

3月29日「中国AIGC产业峰会」

抢票开启

「中国AIGC产业峰会」定档3月29日,线下会场抢票开启!

百度袁佛玉、智源林咏华、澜舟科技周明、小冰徐元春、科大讯飞高建清、启元世界袁泉、云舶科技梅嵩、特赞王喆、微软关玮雅、源码资本黄云刚、元语智能朱雷、无界Ai马千里、Tiamat青柑、峰瑞资本陈石等来自产学研界大咖嘉宾,还有重磅嘉宾陆续确认中。

扫描下方二维码,报名峰会线下会场啦~


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大脑视觉信号被Stable Diffusion复现图像!“人类的谋略和谎言不存在了” | CVPR2023证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023CVPR 2023 | 正则化方法DropKey: 两行代码高效缓解视觉Transformer过拟合CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKeyAI知道你脑子里在想什么,还帮你画了出来,项目代码已开源清华系千亿基座对话模型ChatGLM开启内测,单卡版模型已全面开源CVPR 2023 | 超越MAE!谷歌提出MAGE:图像分类和生成达到SOTA!CVPR 2023 论文分享会|精彩抢先看:视觉 + X(Visual + X)五七大院(五)Meta发布全新大语言模型,号称比ChatGPT更强,单GPU上就能跑,后续或将开源CVPR2023|天大联合卡迪夫大学发布SemanticHuman:部件级、精细语义、灵活可控的3D人体编辑表征复旦发布国内首个类ChatGPT模型!已开放内测申请,代码将于3月发布闲说跨年在墨西哥城 (1) - 初到谷歌推出多模态Vid2Seq,理解视频IQ在线,字幕君不会下线了|CVPR 2023CVPR 2023 | 港中大&IDEA开源首个大规模全场景人体数据集Human-Art叫板ChatGPT?Stability AI 开源语言大模型 StableLM,参数仅为GPT-3百分之四,却能实现超高性能GPT-4拿下最难数学推理数据集新SOTA,新型Prompting让大模型推理能力狂升明天直播|CVPR 2023 论文分享会邀你共话计算机视觉的前沿发展!AAAI 2023 Oral | 如何识别未知标签?多模态知识迁移框架实现新SOTA视觉ChatGPT来了,微软发布,代码已开源CVPR 2023 | YOLOv7强势收录!时隔6年,YOLOv系列再登CVPR!看电视连续剧《爱的二八定律》AAAI 2023 | 如何识别未知标签?多模态知识迁移框架实现新SOTA透过数据看经济7天花5万美元,我们成功复制了 Stable Diffusion,成本大降88%!训练代码已开源国内首例社区双栈Istio方案落地经验,实现代码已开源7 天花 5 万美元,我们成功复制了 Stable Diffusion,成本大降 88%!训练代码已开源国产类ChatGPT密集开测,单卡能跑大模型,生成式AI热潮爆发CVPR 2023 | 开源了!一种通用的视频闪烁去除方法今年 CV 热点这么多,不可错过 CVPR 2023 线下论文分享会AAAI 2023 Oral | 回归元学习,基于变分特征聚合的少样本目标检测实现新SOTACVPR2023 | 微软提出高效率大规模图文检索模型单卡就能跑的大模型等效GPT-3!Meta发布大语言模型LLaMA,大小从7B到65B不等爱德华王子岛骑行—— 第六天 MontagueCVPR 2023 | 何恺明团队开源FLIP:MAE助力CLIP更快更高精度!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。