Redian新闻
>
Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。

Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。

公众号新闻

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]

自2021年诞生,CLIP已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信CLIP的创新和成功来自其高质量数据(WIT400M),而非模型或者损失函数本身。虽然3年来CLIP有大量的后续研究,但并未有研究通过对CLIP进行严格的消融实验来了解数据、模型和训练的关系。

CLIP原文仅有简短的数据处理描述,而后续工作依靠已经训练好的CLIP来重新过滤数据去训练CLIP(学生)模型。更广泛地说,虽然目前的开源着重强调已训练模型权重的公开,而训练数据以及如何从低质量数据获得高质量数据的技巧的公开度却往往并不那么高。

本文带你揭开CLIP的数据质量之谜,为开源社区带来元数据导向的CLIP预训练(MetaCLIP)。


  • 原文链接:https://arxiv.org/abs/2309.16671
  • 项目链接:https://github.com/facebookresearch/MetaCLIP
  • 论文标题:Demystifying CLIP Data

MetaCLIP数据质量

MetaCLIP根据CLIP原文对数据处理的描述,提出可扩展到整个CommonCrawl上的数据算法。该算法接受原始互联网数据分布,产生在元数据上平衡的高质量训练数据分布。

MetaCLIP产生的数据质量源自两个部分:

(1) 通过元数据字符串匹配来抓取高质量人类监督文本;
(2)通过平衡数据在元数据上的分布来最大限度保留长尾数据的信号、弱化噪声以及头部分布的冗余信息。MetaCLIP的元数据来自50万个WordNet和维基百科的视觉概念(visual concept),它们使被匹配的alt文本包含超越人类平均认知水平的监督质量(superhuman level supervision)。

我们的实验严格遵循CLIP设定来控制研究数据分布对结果的影响。整个数据提取,训练无需已训练CLIP来过滤数据以及潜在未知的来自OpenAI CLIP的数据偏见。

相反的是,MetaCLIP数据算法同时输出训练数据分布。这使得训练数据更加透明,以方便调试模型。MetaCLIP在400M训练数据上达到ViT-B 70.8%的零样本ImageNet分类精度;使用1B训练数据上达到72.4%;在2.5B训练数据上使用ViT-bigG模型达到82.1%,而整个模型和训练参数并未进行任何更改(比如学习率或批样本量)。


消融实验表明:字符串匹配(MetaCLIP w/o bal. (400M))和平衡分布(MetaCLIP(400M)) 对MetaCLIP的数据质量产生重大贡献。


CLIP数据算法介绍

本文正式提出CLIP数据算法,来简化和产生高质量的训练数据。

该方法大致分为:创建元数据,提出数据算法,提高数据质量及输出训练数据等四个步骤。

具体方法见下:

(1) 实现了CLIP数据的相关描述,包括如何创建元数据;
(2)提出如下数据算法:第一部分为元数据字符串匹配,第二部分为平衡数据分布。该算法简洁可扩展,本文已证明可在所有CommonCrawl 300+B 级图片样本并行运行;
(3)可植入已有数据流水线或者数据加载器(data loader)来提高数据质量;
(4)输出训练数据在元数据上的训练分布使得训练数据更透明。

该算法的python代码如下:


MetaCLIP的元数据来自WordNet和Wikipedia的高质量视觉概念(visual concept)。我们根据CLIP原文描述实现了从维基百科提取uni/bi-gram以及高频标题的过程。

相关选取的超参数如下:

元数据的创建来源

MetaCLIP算法简洁,可以将两部分分开植入已有的数据流水线。

如下图所示,该算法可以在数据流水线的早期进行植入,来减小数据规模和对计算资源存储的开销:

  • 第一部分(元数据字符串匹配)能减少50%的数据量;
  • 第二部分(平衡数据分布)能减少77%的数据量。

算法可轻松接入已有数据流水线,降低处理低质量数据的开销

下图展示了平衡数据分布的效果:横坐标将元数据里每个视觉概念的匹配数量从低到高排列,纵坐标累计匹配。

表格中展示了不同频率区段视觉概念的匹配数量:

平衡数据分布使得1.6B的原始数据被下采样成400M的训练数据。

我们可以看到MetaCLIP数据算法对头部分布进行了高度下采样,这将降低头部分布的冗余无效信息和头部数据的噪声(比如untitled photo),所有长尾分布的视觉概念全部保留。

实验结果

我们设计了两个数据池来运行数据算法。

  • 第一个池的目标是获得400M训练数据来和CLIP进行比较;
  • 第二个池的目标是所有CommonCrawl数据。

我们进一步对第二个数据池运行了两次数据算法,一次设定头尾分布的阈值(t=20k)与400M一致(最终获得1B数据),一次设定尾部分布的比例与400M尾部的比例一致(t=170k,最终获得2.5B数据)。

MetaCLIP在DataComp的38个任务上的实验结果如下:


我们可以看到MetaCLIP在400M上略好于OpenAI CLIP或者OpenCLIP。在第二个池上性能进一步超越400M。更多的数据在更大的模型ViT-bigG上产生更好的效果。而这些性能的提升完全来自数据而非模型结构改进或者训练技巧本身。

在CLIP/SLIP每个分类任务上的详细实验结果请参考原文。

实验结论

本文提出了CLIP的数据算法来产生高质量训练数据:算法可在所有CommonCrawl 的300+B 级图片样本对上并行运行。

实验表明元数据字符串匹配和平衡分布都对结果有重大贡献,算法无需使用CLIP模型过滤或者提高训练开销来提升性能,并且使得训练数据分布更加透明。





© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
那些奢侈品品牌口中的高质量增长是什么?Meta联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜六七十年代中国银幕帅气逼人的男演员廖有梁探索转型发展新路打造新质生产力,带你看山西高质量发展历时 5 个月从零到一研发一款数据库产品,这些坑他们已经踩过了 |InfoQ 独家专访百度智能云向量数据库团队华盛顿西雅图-Bishop Blanchet High School主教布兰奇高中即插即用!上交提出Long-CLIP:解锁CLIP的长文本功能MetaCLIP:带你揭秘CLIP数据启承资本万晓:新常态下的高质量增长美到窒息!西雅图华盛顿大学樱花即将迎来盛放期~最佳观赏时间和攻略,春日限定樱花盛况不容错过!突发:华盛顿大学内建起了“加沙大学”,内设图书馆、医疗帐篷,但无言论自由权;西雅图全城寻找失踪的斑马;你自以为是的程度是多少?Offer到!50,000$奖学金!华盛顿大学圣路易斯分校录取捷报!ICLR 2024 Spotlight | 无惧中间步骤,MUSTARD可生成高质量数学推理数据今日arXiv最热NLP大模型论文:对指令太敏感?山东大学提出一致性对齐法,治好大模型敏感体质!CVPR 2024 | 文本一键转3D数字人骨骼动画,阿尔伯塔大学提出MoMask框架祖屋I remember祖屋“职场政治”话题汇重磅:华盛顿大学醉人的樱花全面盛开;狮口夺人,女骑友勇救被美洲狮咬伤的朋友;天才华裔青年被违章驾车者撞死突发:西雅图多车连环相撞导致5号公路大面积拥堵;华盛顿大学耗资6000万美元的篮球训练设施将动工;西雅图本周日将调至夏令时间华盛顿大学撰文反驳微软,我们无法删除大模型关于哈利波特的记忆桥梁脆弱似基伊,全美至少7座!乔治华盛顿大桥在列谷歌重磅提出Med-Gemini :医学大模型里程碑之作!医学航母正式起航!【酷玩一日】华盛顿深度赏樱花纯玩游!春光灿烂不及华盛顿樱花三千~!华盛顿大学圣路易斯分校招聘研究助理精度最高降幅60%!SOTA只是假象?CVPR 2024为你揭示CLIP和LLaVA-Next等模型“骗局”!突发:华盛顿大学多栋建筑遭严重涂鸦;达美航空飞机在西雅图起火,这次出事的不是波音飞机;金县警方截获有关墨西哥贩毒团伙懒人公认的高质量早餐!快手、好吃、管饱、不贵,连吃一周不重样​AAAI 2024 | 杭电等提出MINDS,基于序列超图和对抗学习增强多尺度扩散预测数学问题难解?新研究提出MathScale方法,让AI更懂数学推理今日arXiv最热NLP大模型论文:揭露大语言模型短板,北京大学提出事件推理测试基准西浦、利物浦大学提出:点云数据增强首个全面综述香港大学/纽约大学/KNAW/上海交通大学/中国科学院大学/康奈尔大学|海内外心理学相关RA&工作华盛顿大学,在樱花环绕下学习(上) | 学校心理学/ABA/学习科学与人类发展/公共卫生硕博介绍
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。