Redian新闻
>
AI自给自足!用合成数据做训练,效果比真实数据还好丨ICLR 2023

AI自给自足!用合成数据做训练,效果比真实数据还好丨ICLR 2023

公众号新闻
Brilliant 投稿
量子位 | 公众号 QbitAI

AI生成的图像太逼真,为什么不能拿来训练AI呢?

可别说,现在还真有人这么做了。

来自香港大学、牛津大学和字节跳动的几名研究人员,决定尝试一下能否使用高质量AI合成图片,来提升图像分类模型的性能。

为了避免AI合成的图像过于单一、或是质量不稳定,他们还提出了几类提升数据多样性和可靠性的方法,帮助AI合成更好的数据集(来喂给AI的同类doge)

结果他们发现,不仅效果不错,有的AI在训练后,效果竟然比用真实数据训练还要好

目前这篇论文已经被ICLR 2023收录。

把AI生成的数据喂给AI

作者们分别从零样本(zero-shot)、少样本(few-shot)图像分类、模型预训练(pre-training)与迁移学习三个⽅⾯进⾏了探讨,并给出了提升数据多样性与可靠性的方法。

零样本图像分类

零样本(Zero-shot)图像分类任务,指没有任何⽬标类别的训练图⽚,只有对⽬标类别的描述。

作者们先是提出了一种名为语言增强(Language Enhancement,LE)的⽅法,用于增强合成数据多样性。

具体来说,这种方法会给标签“扩句”,如果原标签是简单的“飞机”,那么经过“扩句”后的提示词就会变成“一架盘旋在海滩和城市上空的白色飞机”。

随后,还采用了一种叫做CLIP过滤器(CLIP Filter)的⽅法确保合成数据的可靠性,即过滤掉合成质量不行的图片,确保AI数据质量过硬。

在17个数据集上,相⽐此前效果最好的CLIP模型,相关⼤⼩模型均获得了显著提升(4.31%/2.90%),展示了合成数据的有效性。

少样本图像分类

少样本图像(Few-shot)分类任务,通常仅有极少数量(1~16张)的⽬标类别图⽚,与零样本任务的区别是增加了类别与任务特定领域信息。

因此,作者们决定将域内数据(in-domain)的知识⽤于图像⽣成,即将少量的⽬标类别图⽚⽤于噪声叠加的初始状态(Real Guidance),进⼀步发挥⽣成模型的能⼒,从而进⼀步提升性能。

预训练与迁移学习

模型预训练(pre-training)任务,即将模型在⼤量数据上进⾏训练,将训练后的模型作为“起始点”,来帮助提升下游任务的性能。

作者们利⽤合成数据,对模型进⾏了预训练,并对数据量、数据多样性程度、预训练模型结构和预训练⽅法进⾏了实验研究。

最终发现:

  1. ⽤合成数据进⾏预训练。已经可以达到甚⾄超越⽤真实数据预训练的效果。

  2. ⽤更⼤的数据量和数据多样性的合成数据,可以获得更好的预训练效果。

  3. 从模型结构和预训练⽅法来看,ViT-based模型(相比convolutional-based模型)、⾃监督⽅法(相比有监督⽅法)会更适合合成数据下的预训练。

论文认为,利⽤⽣成模型产⽣的合成数据来帮助图像分类任务是可行的,不过也存在⼀定的局限性。

例如,如何处理特定任务的domain gap和数据多样性之间的trade-off,以及如何更有效地利⽤潜在⽆穷量的合成图⽚⽤于预训练,都是需要进一步去解决的问题。

作者介绍

一作何睿飞,香港大学在读博士生@CVMI Lab,指导老师为齐晓娟老师,本科毕业于浙江大学竺可桢学院,研究方向是data-efficient learning, vision-language model, knowledge distillation, semi/self-supervised learning。CVMI Lab 正在招收计算机视觉与深度学习方向的博士生,感兴趣的伙伴可以直接email老师!

对于将AI合成图像用于预训练模型这件事,你还能想到更高效的方法吗?

欢迎感兴趣的小伙伴一起讨论~

论文地址:
https://arxiv.org/abs/2210.07574

项目地址:
https://github.com/CVMI-Lab/SyntheticData

*本文系量子位获授权刊载,观点仅为作者所有。


—  —

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Eruope 2023毛尖x张悦然:比真实还要真实的女性写作高通胀下的美国“自给自足”生活:搬到农村,自种自吃,太阳能发电,牧马,孩子远离手机...​ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统发烧期间,如何在家自制布洛芬?手把手教学,自给自卒未能有效打击诈骗,澳洲4大银行被批!客户被骗$8.45亿,银行仅赔$2100万,真实数据令人震惊...国内将逐渐停止“心脏支架”手术?做完人就废了?真实数据来了北京沦陷后谈疫苗和体制优势ICLR 2023论文列表公布,有机构一口气中20多篇美国宾州葛底斯堡国家军事公园,秋色田园「贻如生物」获数千万元融资,用合成生物技术培育100%生物基皮革|早起看早期自动驾驶生成式大模型 DriveGPT 来了:基于 4000 万公里量产车驾驶数据训练,参数规模 1200 亿澳洲新一波新冠疫情感染人数惊人!4个月超百万澳人确诊,真实数据恐达400万!国际要闻简报,轻松了解天下事(03OpenAI CEO 亲自辟谣「GPT-5传闻」:目前没有训练,短期内也不会训练​ICLR 2023 | 用于类别不平衡图表示学习的统一数据模型稀疏性ICLR 2022 | DBD:基于分割后门训练过程的后门防御方法人社部发〔2023〕6号:年度考核不合格且不同意调岗,可解除聘用合同真实数据|海外买家重回澳洲房市!大批留学生紧急返澳 !购房及租赁需求双双上涨长托宁与阿托品在无痛ERCP麻醉中的效果比较(可下载)首次发现!数据异构影响联邦学习模型,关键在于表征维度坍缩 | ICLR 2023ICLR 2023 | 基于视觉语言预训练模型的医疗图像小样本学习及零样本推理性能研究国际要闻简报,轻松了解天下事(03懒人花园:姹紫嫣红的岁月2023 春 祝姐妹们周末快乐!不吹不黑,全部来自真实数据ICLR 2023 | GeneFace:高可泛化高保真度的说话人视频合成美国人流行“自给自足”躺平:搬到农村,自种自吃,太阳能发电,牧马,孩子远离手机...养老金低于3000元的人有多少?看看真实数据合成技术新突破!《ACS合成生物学》:创新合成生物传感器或可创建芯片上的“感觉器官”!大道至简:只靠单一任务训练的语言模型,效果好到惊呆网友比真实数据还有效?训练AI,硅谷早已用上了合成临床数据时尚米兰,现代米兰基于无标注网络驾驶视频,自动驾驶策略预训练新方法 | ICLR 2023转:2023 回国探亲(5)“她力量”让世界更美好丨2023女性影响力峰会3月22日北京见ICLR 2023 | 微软提出自动化模型训练剪枝框架OTO,一站式获得轻量级架构211本硕高颜值“女神”终于和家产近亿年入200万“雅男”结婚,但需要自给自足乌克兰来美国,俄罗斯去中国,巧合吗?全球首个“财务自由”大学诞生!“自给自足”完成首次扩招!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。