深度对比学习综述
0
『摘要』
1
『引言』
2
『对比学习研究现状』
2.1 归类方法
2.2 样本处理及样本对构造方法
2.4 对比学习网络架构设计
2.5 损失函数设计
ProtoNCE损失函数. 与原始InfoNCE损失函数相比, ProtoNCE的分子部分将正样本实例之间的相似度修改为正样本与其所在的聚类中心之间的相似度, 分母部分改为计算样本与其它聚类中心之间的相似度. 具体而言, 当前实例特征与其对应的聚类中心互为正样本对, 与其它聚类中心互为负样本对. 在实际操作中, 通过设置不同的聚类中心个数对一个批次的数据进行次聚类, 计算次ProtoNCE损失, 然后求其损失均值, 最后得到的效果会更好.ProtoNCE方法是在同一个语义层级上进行聚类, 但无法获得分层的语义结构. Guo等[65]针对该问题提出分层聚类的方法, 该方法对每个聚类迭代地进行下一级细分聚类, 使特征网络能够学习到分层的语义结构, 获得更好的效果. DCL损失函数. Yeh等[71]通过对InfoNCE的反传梯度进行分析, 发现损失的梯度中存在一个负正耦合系数, 该系数体现了采用InfoNCE训练网络时大批次样本的重要性, 同时揭示当训练样本中存在简单正样本对和简单负样本时, 会明显降低对比学习训练的效率, 因此作者提出了解耦对比学习损失 (Decoupled contrastive loss, DCL), 解决上述问题. 与InfoNCE损失函数相比, DCL去除InfoNCE损失函数中的负正耦合项, 并将损失展开成两部分, 具体如表1中的DCL损失函数公式所示, 该式展示的是单个样本的DCL损失计算公式, 原InfoNCE包含的负正耦合系数在该式中已去除. 该式的第一项表示正样本对之间的相似度, 第二项是当前样本与同批次其他样本组成的负样本对之间的相似度之和. 从该式可以看出, DCL损失的计算相较于InfoNCE损失更加简单、高效.
DirectNCE损失函数. Jing等[72]从解决对比学习中的网络崩塌问题入手, 经过一系列分析, 提出去掉投影头, 然后将特征提取网络输出向量的前个维度单独取出, 计算InfoNCE损失. 由于论文中并没有给改动后的损失起名, 因此为了便于对比, 本论文中将其命名为DirectNCE. DirectNCE与InfoNCE的区别在于所使用的样本特征维度大小, 在DirectNCE中, 样本只取前个维度计算损失.
FNCL损失函数. 针对在训练对比学习模型时可能存在的假负样本问题, Huynh等[35]首先提出了一种假负样本的检测策略, 然后对InfoNCE进行改进, 在损失函数中剔除了假负样本的干扰. 本文将该方法暂定名为FNCL. 与InfoNCE相比, FNCL方法首先确定当前正在处理的样本对应的假负样本, 然后在分母中计算负样本对之间的相似度时, 去除假负样本的部分.
SCL损失函数. SCL[8]损失函数面向有监督学习, 对InfoNCE损失函数进行改进, 旨在解决深度有监督学习中采用交叉熵损失时神经网络对噪声标签敏感[73]的问题.
2.6 相关应用
3
『综合对比分析』
4
『未来发展方向』
对比学习中样本对的选择方法仍存在发展空间, 在训练过程中剔除假负样本以及选择合适的正样本对能够有效地提高特征学习网络的学习效果. 因此如何更加合理地剔除假负样本和选择正样本对是一个值得研究的关键问题. 解决对比学习训练过程中的一致性与均匀性矛盾是一个十分重要的问题, 如果该问题得到解决, 能在很大程度上提高特征提取网络在下游任务上的泛化能力. 主动学习是一种通过最少的标注样本获得最好的训练效果的学习技术[106]. 在深度主动学习领域,网络模型需要首先在一个含有标签的数据集 上进行预训练,然后通过查询策略从无标签数据集 中筛选最有用的样本给专家进行标注,最后更新当前训练的有标签数据集 ,采用 的数据继续训练网络. 重复以上过程直到标注预算耗尽或触发停止策略[106]. 对比学习是一种良好的模型预训练方法,可以自发的通过无标签数据或少量标签数据训练出特征提取模型,因此可以将对比学习算法引入到主动学习的网络模型预训练过程中,或作为辅助主动学习挑选待标注样本的方法. 对比学习和无监督域自适应[107-108]的结合. 在无监督域自适应问题中, 源域数据存在标签, 目标域数据不存在标签, 源域数据和目标域数据分布相近或相同, 且拥有相同的任务[107], 如何将源域数据和目标域数据一同训练, 使得模型能够在目标域上获得良好的效果是无监督域自适应的核心问题. 在无监督域自适应研究中, 源域数据和目标域数据可以通过自监督训练方法联合训练模型, 对比学习就是一种先进的自监督训练算法, 因此如何将对比学习方法与无监督域自适应方法进行有效结合是一个值得研究的问题. 目前对比学习主要的下游应用是分类任务, 如何设计更多的对比学习方法应用到检测、追踪等下游任务中, 也将是未来的发展方向之一.
5
『结束语』
扫描二维码添加小助手微信
关于我们
微信扫码关注该文公众号作者