刚刚开源！中科大提出利用GPT4-V构建大规模高质量图文数据集ShareGPT4V，助力模型霸榜多项多模态榜单！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【视觉和Transformer】交流群

扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！

在CVer微信公众号后台回复：ShareGPT4V，即可下载论文、代码和数据集！学起来！

在多模态大模型（Large Multi-modal Models）领域，高效的模态对齐（modality alignment）是至关重要的，但现有工作中模态对齐的效果却往往受制于缺少大规模的高质量的“图像-文本”数据。为了解决这一瓶颈，近日，中科大和上海AI Lab的研究者们最近推出了具有开创性意义的大型图文数据集--ShareGPT4V数据集。ShareGPT4V数据集包含120万条“图像-高度详细的文本描述”数据。这些数据囊括了了世界知识，对象属性，空间关系，艺术评价等众多方面，在多样性和信息涵盖度等方面超越了现有的数据。

表 1 ShareGPT4V和主流标注数据集的比较。其中“LCS”指LAION, CC和SBU数据集，“Visible”指明了图片在被标注时是否可见，“Avg.”展示了文本描述的平均英文字符数。

数据

ShareGPT4V来源于从先进的GPT4-Vision模型获得的10万条“图像-高度详细的文本描述”数据。研究者们从多种图片数据源（如COCO，LAION，CC，SAM等）搜集图片数据，接着使用各自数据源特定的prompt来控制GPT4-Vision产生高质量的初始数据。如下图所示，给GPT4-Vision模型一张《超人》剧照，其不仅可以准确地识别出《超人》剧照中的超人角色以及其扮演者Henry Cavill，还可以充分分析出图像内物体间的位置关系以及物体的颜色属性等。如果给GPT4-Vision模型一个梵高的画作《播种者》，其不仅可以准确地识别出画作的名称，创作者，还可以分析出画作所属的艺术流派，画作内容，以及画作本身表达出的情感与想法等信息。

图 1 利用GPT4-Vision 收集ShareGPT4V原始数据流程图

为了更充分地与现有的图像描述数据集进行对比。我们在下图中将ShareGPT4V数据集中的高质量文本描述与当前多模态大模型所使用的数据集中的文本描述一起罗列出来：    

图 2 “图片-文本描述“数据质量对比图

从图中可以看出，使用人工标注的COCO数据集虽然正确但通常十分的短，提供的信息极其有限。LLaVA数据集使用语言模型GPT4想象出的场景描述通常过度依赖bounding box而不可避免地带来幻觉问题。比如bounding box确实会提供8个人的标注，但其中两个人在火车上而不是在等车。其次，LLaVA数据集还只能局限于COCO的标注信息，通常会遗漏人工标注中没提及的内容（比如树木）。在比较之下，我们收集的图像描述不仅可以给出综合性的描述，还不容易遗漏图像中的重要信息（比如站台信息和告示牌文字等）。

通过在该初始数据上进行深入训练后，研究者们开发出了一个强大的图像描述模型Share-Captioner。利用这一模型，他们进一步生成了120万高质量的“图片-文本描述”数据ShareGPT4V-PT以用于预训练阶段。

图 3 图像描述模型扩大数据集规模流程图

Share-Captioner在图像描述能力上有着媲美GPT4-Vision的水平，下面是对于同一张图片的不同来源的文本描述：

图 4 不同来源图像描述对比图

从上图可以看出Share-Captioner缩小了与GPT4-Vision模型在图像描述任务上的能力。可以作为收集大规模高质量图文数据对的“平替”。        

实验

研究者们首先通过等量替换实验，在有监督微调（SFT）阶段充分展示了ShareGPT4V数据集的有效性。从图中可以看出，ShareGPT4V数据集可以无缝地使得多种架构、多种参数规模的多模态模型的性能得到大幅提升！   

图 5 使用ShareGPT4V数据集等量替换SFT中图像描述数据后模型效果对比图

接下来，研究者们将ShareGPT4V数据集同时在预训练和有监督微调阶段使用，得到了ShareGPT4V-7B模型。ShareGPT4V-7B在绝大多数多模态基准测试中都取得了非常优异的成果，在7B的模型规模全部取得了最优的性能！

图 6 ShareGPT4V-7B在各个多模态基准测试上的表现

总体而言，ShareGPT4V数据集的推出为未来的多模态研究与应用奠定了新的基石。多模态开源社区有望着眼于高质量图像描述开发出更强大、智能的多模态模型。   

在CVer微信公众号后台回复：ShareGPT4V，即可下载论文、代码和数据集！学起来！

CVPR / ICCV 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
计算机视觉和Transformer交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-计算机视觉或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看