单块V100训练模型提速72倍！尤洋团队新成果获AAAI 2023杰出论文奖

明敏 金磊 发自 凹非寺
量子位 | 公众号 QbitAI

就在刚刚，UC伯克利博士、新加坡国立大学校长青年教授尤洋发布最新消息——

斩获AAAI 2023杰出论文奖（Distinguished Paper）！

研究成果一次性将模型的训练速度，提升72倍。

甚至网友在拜读完论文之后发出感慨：

从12小时到10分钟，嫩牛（你们牛）啊！

尤洋博士曾在求学期间刷新ImageNet以及BERT训练速度的世界纪录。

他所设计的算法也是广泛应用于谷歌，微软，英特尔，英伟达等科技巨头。

现如今，已经回国创业潞晨科技一年半的他，带着团队又做出了怎样的算法，斩获AI顶会如此殊荣呢？

训练时长从12小时到10分钟

在这项研究中，尤洋团队提出了一种优化策略CowClip，能够加速CTR预测模型的大批量训练。

CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法。

它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。

因此，加快CTR预估模型的训练速度至关重要。

一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。

通过数学分析，团队证明了在扩大批次时，对于不常见特征的学习率（learning rate for infrequent features)不应该进行缩放。

通过他们提出的CowClip，可以简单有效扩展批大小。

通过在4个CTR预估模型和2个数据集上进行测试，团队成功将原始批大小扩大了128倍，并没有造成精度损失。

特别是在DeepFM上，通过将批大小从1K扩大到128K，CowClip实现了AUC超过0.1%的改进。

并在单块V100 GPU上，将训练时长从原本的12小时，缩短至只需10分钟，训练提速72倍。

目前，项目代码已开源。团队表示该算法也适用于NLP等任务。

团队介绍

本文的一作是尤洋的博士生郑奘巍，本科毕业于南京大学计算机精英班，博士毕业于新加坡国立大学。

其研究方向包括机器学习、计算机视觉和高性能计算。

尤洋在这项研究担任通讯作者，了解更多个人信息可戳【此处】。

参考链接：

[1] https://weibo.com/2082348875/MrJb5kHPt#comment
[2] https://arxiv.org/abs/2204.06240
[3]https://github.com/bytedance/LargeBatchCTR

— 完 —

「人工智能」、「智能汽车」微信社群邀你加入！

欢迎关注人工智能、智能汽车的小伙伴们加入交流群，与AI从业者交流、切磋，不错过最新行业发展&技术进展。

PS. 加好友请务必备注您的姓名-公司-职位噢 ~

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~