CVPR 2022 | 元学习在图像回归任务的表现
©PaperWeekly 原创 · 作者 | 高宁
单位 | ALR (KIT) & BCAI, Germany
研究方向 | 小样本学习,元学习,机器人视觉
元学习因其能够快速适应训练中未曾见过的任务而被广泛用于小样本分类和函数回归。然而,在图像等高维输入的回归任务上并没有得到很好的探索。本文做出了两个主要贡献,有助于理解这个几乎没有探索过的领域。首先,我们设计了两种过去元学习领域中未有过的复杂度的跨类别级视觉回归任务,即物体识别锁定和位姿估计。
为此,本文 (i) 详尽地评估了常见元学习技术在这些任务上的表现,并 (ii) 定量分析了最近元学习算法中常用的各种深度学习技术的效果以增强泛化能力,包括数据增强,域随机化,任务增强和元正则化。另外,本文 (iii) 为在视觉回归任务上训练元学习算法提供了一些见解和实用建议。其次,我们建议在条件神经过程 (CNPs) 中的任务表达学习空间上添加功能对比学习 (FCL),并以端到端的方式进行训练。
实验结果表明,由于损失函数选择不当以及元训练集太小,先前工作的结果具有误导性。具体来说,我们发现在没有微调的情况下,CNPs 在大多数任务上都优于 MAML。此外,我们观察到没有针对设计的任务增强会导致严重的欠拟合。
论文标题:
What Matters for Meta-Learning Vision Regression Tasks?
论文链接:
https://arxiv.org/abs/2203.04905
代码链接:
https://github.com/boschresearch/what-matters-for-meta-learning
前提
任务设计
ShapeNet1D 姿态估计误差。结果是用 5 个随机种子计算的平均误差(MAML除外。第一行显示 IC 的结果,第二行显示 CC 的结果。
ShapeNet2D 上应用不同增强技术的比较。使用 CNP (CA) 作为baseline,结果为使用 3 个随机种子计算得到。
(a) 使用 Max 聚合和 Max + FCL 在 Distractor 任务中 CNP 预测误差(像素)与上下文对数的关系。包括类别内 (IC) 和跨类别 (CC) 级别的新对象的评估结果。(b) 使用 DA + TA 的 ShapeNet2D 任务中 CNP (CA) 预测误差与上下文对数的关系。(c) 我们比较了经典的目标检测方法和 CNP (Max) 在新任务上使用不同数量的数据在 Distractor 上进行训练。经典模型在每个新任务上都会进一步微调训练。(d) 微调模型与 CNP (CA) 在 ShapeNet1D 上的预测误差。
1. 相比于 MAML,CNPs具有显着的数据/训练效率,尤其在任务多样性和复杂性增加的情况下。
2. DA 缓解了这两种类型的过拟合,而 TA 缓解了记忆过拟合,但需要针对每个任务单独设计,需保证增加的搜索空间是对原任务有效的。
3. CNPs 超过了微调的经典模型,尤其是在小样本的情况下。
4. 建议对非位置编码任务使用最大聚合,对具有位置信息的以对象为中心的任务使用交叉注意力 (CA),而平均聚合则始终表现不佳。
5. FCL 可以缓解过度拟合并提高性能,但需要微调超参项。在我们设计的任务中,我们发现使用较小的温度值,FCL 在上下文和目标集之间使用,通常可以获得更好的性能。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者