Redian新闻
>
ICCV 2023 | 通用数据增强技术,随机量化适用于任意数据模态

ICCV 2023 | 通用数据增强技术,随机量化适用于任意数据模态

公众号新闻

机器之心专栏

机器之心编辑部

本文提出了一种适用于任意数据模态的自监督学习数据增强技术。


自监督学习算法在自然语言处理、计算机视觉等领域取得了重大进展。这些自监督学习算法尽管在概念上是通用的,但是在具体操作上是基于特定的数据模态的。这意味着需要为不同的数据模态开发不同的自监督学习算法。为此,本文提出了一种通用的数据增强技术,可以应用于任意数据模态。相较于已有的通用的自监督学习,该方法能够取得明显的性能提升,同时能够代替一系列为特定模态设计的复杂的数据增强方式并取得与之类似的性能。


  • 论文地址:https://arxiv.org/abs/2212.08663
  • 代码:https://github.com/microsoft/random_quantize

简介

当前 Siamese 表征学习 / 对比学习需要利用数据增强技术来构建同一个数据的不同样本,并将其输入两个并行的网络结构,从而产生足够强的监督信号。然而这些数据增强技术往往非常依赖于模态特定的先验知识,通常需要手动设计或者搜索适用于当前模态的最佳组合。除了耗时耗力外,找到的最优数据增强方式也极难迁移到别的领域。例如,常见的针对于自然 RGB 图像的颜色抖动(color jittering)无法应用于除了自然图像以外的其他数据模态。

一般性地,输入数据可以被表征为由序列维度(sequential)和通道维度(channel)组成的二维向量。其中序列维度通常是模态相关的,例如图像上的空间维度、语音的时间维度以及语言的句法维度。而通道维度是模态无关的。在自监督学习中,masked modeling [1] 或者以 masking 作为数据增强 [2] 已经成为一种有效的学习方式。然而这些操作都作用于序列维度。为了能够广泛应用于不同数据模态,本文提出一种作用于通道维度的数据增强手段:随机量化(randomized quantization)。每个通道中的数据通过非均匀量化器进行动态量化,量化值是从随机划分的区间中随机采样的。通过这种方式,落在同一个区间内原始输入的信息差被删除,同时不同区间数据的相对大小被保留,从而达到 masking 的效果。


该方法在各种不同数据模态上超过了已有任意模态自监督学习方法,包括自然图像、3D 点云、语音、文本、传感器数据、医疗图像等。在多种预训练学习任务中,例如对比学习(例如 MoCo-v3)和自蒸馏自监督学习(例如 BYOL)都学到了比已有方法更优的特征。该方法还经过验证,适用于不同的骨干网络结构,例如 CNN 和 Transformer。

方法

量化(Quantization)指的是利用一组离散的数值表征连续数据,以便于数据的高效存储、运算以及传输。然而,一般的量化操作的目标是在不损失精确度的前提下压缩数据,因而该过程是确定性的,而且是设计为与原数据尽量接近的。这就限制了其作为增强手段的强度和输出的数据丰富程度。

本文提出一种随机量化操作(randomized quantization),将输入的每个 channel 数据独立划分为多个互不重叠的随机区间(),并将落在各个区间内的原始输入映射到从该区间内随机采样的一个常数


随机量化作为自监督学习任务中 masking 通道维度数据的能力取决于以下三个方面的设计:1) 随机划分数值区间;2) 随机采样输出值以及 3)划分的数值区间个数。

具体而言,随机的过程带来了更加丰富的样本,同一个数据每次执行随机量化操作都可以生成不同的数据样本。同时,随机的过程也带来对原始数据更大的增强力度,如随机划分出大的数据区间,或者当映射点偏离区间中值点时,都可以导致落在该区间的原始输入和输出之间的更大差异。

除此之外,也可以非常容易地通过适当减少划分区间的个数,提高增强力度。这样,当应用于 Siamese 表征学习的时候,两个网络分支就可以见到有足够信息差异的输入数据,从而构建足够强的学习信号,帮助到特征学习。

下图可视化了不同数据模态在使用了该数据增强方式之后的效果:


实验结果

模态 1:图像

本文在 ImageNet-1K 数据集上评估了 randomized quantization 应用于 MoCo-v3 和 BYOL 的效果,评测指标为 linear evaluation。当作为唯一的数据增强方式单独使用的时候,即将本文的 augmentation 应用于原始图像的 center crop,以及和常见的 random resized crop(RRC)配合使用的时候,该方法都取得了比已有通用自监督学习方法更好的效果。


相比于已有的针对图像数据开发的数据增强方式,例如 color jittering (CJ),本文的方法有着明显的性能优势。同时,该方法也可以取代 MoCo-v3/BYOL 中一系列复杂的数据增强方式(Full),包括颜色抖动(color  jittering)、随机灰度化(gray scale)、随机高斯模糊(Gaussian blur)、随机曝光(solarization),并达到与复杂数据增强方式类似的效果。


模态 2:3D 点云

本文还在 ModelNet40 数据集的分类任务和 ShapeNet Part 数据集的分割任务上验证了 randomized quantization 相对于已有自监督工作的优越性。尤其在下游训练集数据量较少的情况下,本文的方法显著超过已有点云自监督算法。


模态 3:语音

在语音数据集上本文的方法也取得了比已有自监督学习方法更优的性能。本文在六个下游数据集上验证了该方法的优越性,其中在最难的数据集 VoxCeleb1 上(包含最多且远超其他数据集的类别个数),本文方法取得了显著的性能提升(5.6 个点)。


模态 4:DABS

DABS 是一个模态通用自监督学习的基准,涵盖了多种模态数据,包括自然图像、文本、语音、传感器数据、医学图像、图文等。在 DABS 涵盖的多种不同模态数据上,我们的方法也优于已有的任意模态自监督学习方式。


感兴趣的读者可以阅读论文原文,了解详细的研究内容。

参考文献:
[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018. 1, 2
[2] Zhirong Wu, Zihang Lai, Xiao Sun, and Stephen Lin. Ex- treme masking for learning instance and distributed visual representations. arXiv preprint arXiv:2206.04667, 2022. 1



AI offer最优解—2024届秋招线上宣讲会


「TalentAI」将于9月-10月举办「AI offer最优解—2024届秋招线上宣讲会」,邀请企业介绍各自的秋招计划与岗位详情。
未来两周直播安排如下,对蚂蚁集团、科大讯飞研究院、第四范式、百图生科、同花顺感兴趣的同学别错过。
点击阅读原文,投递简历。
原文链接:https://jiqizhixin.mikecrm.com/ofPJZ1Q

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ICCV 2023 | 用“自编码器+多模态学习”更有效地解决3D物体可供性问题欧盟Top5工业机器人国家装机量占比达70%ICCV 2023 中国遥遥领先!华人拿下最佳论文和最佳学生论文!SAM和ControlNet开启CV新纪元!《扫花游 - 听荷》更强更通用:智源「悟道3.0」Emu多模态大模型开源,在多模态序列中「补全一切」ICCV 2023 | PVT++:通用的端对端预测性跟踪框架ICCV 2023 | 上交提出CCD:基于自监督字符到字符蒸馏的文本识别北航打破模态壁垒,跨可见光-红外模态的通用物理对抗攻击方法来了ICCV 2023 | 即插即用!百度提出S3IM:用于NeRF提点的Magic LossICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!工信部:欧拉服务器操作系统累计装机量超430万套,为130个国家和地区用户提供服务ICCV 2023 | 即插即用!上海交大提出AccFlow:跨帧光流估计框架ICCV 2023 | 从蒸馏到自蒸馏:通用归一化损失与定制软标签俄乌战况6ICCV 2023 | 通用数据增强技术!适用于任意数据模态的随机量化华为豪华重磅炸弹M9实车现身!集成华为最强技术...售价50万元起上海内推 | 小红书多模态算法组招聘多模态CV/NLP算法实习生ICCV 2023 | 清华&天津大学提出SurroundOcc:自动驾驶的环视三维占据栅格预测第3年那1年内每100辆车有多少毛病新出炉的Indiana Jones and the Dial of Destiny 2023 ‧ Adventure【FICC】股债“跷跷板”效应有所增强——宏观FICC月度观点GW-ICC 2023 | 大会主席吴永健教授:创新技术,高质量发展,协作共赢!GWICCICCV 2023 | token过度聚焦暴露注意力机制弱点,两种模块设计增强视觉Transformer鲁棒性我国工业机器人新增装机量连续九年居世界首位相遇5107 血壮山河之武汉会战 浴血田家镇 15ICCV 2023 最佳论文候选!北大提出UniDexGrasp++:基于几何感知课程和迭代通用-专家策略学习的灵巧手抓取算法仅本周!任意电影院、任意场次票价仅$4!《奥本海默》《芭比》统统安排上!ICCV 2023 Oral | CLIP-LIT将CLIP用于无监督背光图像增强三登雪山 Mt. Shasta 2023.07.08连续两年最佳论文!达摩院NLP引领检索增强和实体识别技术,U-RaNER荣膺9项评测冠军2023 查尔斯河国庆夜的烟火ICCV 2023 | 清华、ETH提出Retinexformer,刷新十三大暗光增强榜刷榜13个暗光增强基准!清华大学联合ETH等开源Retinexformer:亮、暗都有细节 | ICCV 2023ICCV 2023 | CLIP驱动的器官分割和肿瘤检测通用模型ICCV 2023 | 动态蛇形卷积(Dynamic Snake Convolution)用于管状结构分割点评---食品危机令欧盟准备重新接纳俄进入国际金融系统SAM拿下ICCV 2023最佳论文荣誉提名奖!这些CV论文仍是顶流!第五章 列宁主义救中国 (1)免费教科书将不再适用于私立学校学生,也不适用于公立学校的数字设备与电子书
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。