夕小瑶科技说 原创
作者 | 付奶茶谷歌推出了一种创新性的合成图像框架，这一框架独特之处在于它完全不依赖真实数据。这个框架首先从合成的图像标题开始，然后基于这些标题生成相应的图像。接下来，通过对比学习的技术进行深度学习，从而训练出能够精准识别和理解这些图像的模型，令人惊讶的是，这种方法在各种下游任务中都表现出色。让我们一起来看看使用了什么神奇的魔法！

论文标题: Learning Vision from Models Rivals Learning Vision from Data
论文链接:
https://arxiv.org/pdf/2312.17742.pdf

引言

集大规模的真实数据往往伴随着许多挑战：未经筛选的庞大数据集虽然成本较低，但其效益却是有限的；而精细筛选的小规模数据集虽然更为精确，但却限制了模型的广泛应用。为了克服这些障碍，一项新的研究提出了一种独特的解决方案——利用合成数据来学习视觉表示。这种方法通过生成大量的图像标题和相应的图像，实现了有效的对比学习，能够将共享同一标题的图像视为相互匹配的正例。研究团队特别强调，这种基于合成数据的学习方法不仅展现了卓越的可扩展性，而且在多种下游任务中展现了与传统方法相媲美的卓越性能。

传统学习方法（"Learning from data"）侧重于纯粹从真实数据中汲取知识。一个典型的例子是CLIP模型，它直接从文本和图像数据集中提取信息，在ImageNet上实现了令人瞩目的80.2%的线性转移精度。

混合学习方法（"Hybrid"）则采用了一种双管齐下的策略，结合真实文本和生成图像进行学习。例如，StableRep模型就是在这样的框架下运作，它利用文本数据集和图像生成器进行学习，在ImageNet上也取得了相当不错的76.7%的线性转移精度。

而本文提出的基于模型生成的方法（"Learning from models"）——SynCLR，标志着一次创新的飞跃。它通过从合成文本和合成图像中学习，即便没有直接接触任何真实数据，也能在ImageNet上展现出与CLIP相匹敌的竞争力，达到了非常优秀的80.7%的线性转移精度。

方法

SynCLR的核心创新在于它通过生成模型重新界定了视觉类别的细粒度。与传统的自监督和监督学习方法相比，SynCLR独特地以标题作为类别定义，其中每个标题都细致地描述了一个视觉类别。这一方法的巧妙之处在于它允许按照标题所共享的语义将图像分组，而非仅限于更为宽泛的类别标签，如“金毛寻回犬”等。在实验中，这种以标题为基础的精细分类方式证明了其优于传统自监督和监督训练方法的效果。该系统包括以下三个步骤：

生成图像标题

首先，作者们成功地生成了一个庞大的图像标题语料库。为了实现这一目标，他们巧妙地利用了大型语言模型（LLMs）的上下文学习能力，精心设计了一系列的提示模板，以指导LLM根据特定上下文产生相关联的文本内容。

通过从现有数据集（如ImageNet-21k和Places-365）中精选概念列表，作者们为每个概念构建了特别的提示，引导LLM生成描述性且富有创意的图像标题。这一过程的核心在于确保生成的标题既准确描述图像内容，又展现足够的多样性，以覆盖广泛的视觉概念。这种多样性至关重要，因为它保证了生成的图像集可以代表尽可能多样的场景、对象和活动，进而提高学习到的视觉表示的泛化能力。

通过这种方式，作者们合成了大量多样化的图像标题，这些标题随后用于指导图像生成模型生成相应的合成图像。将这些合成图像与合成标题结合起来，形成了一个用于训练视觉表示学习模型的丰富数据集。这种方法使得在完全没有真实图像数据的情况下进行视觉模型训练成为可能，为传统依赖真实数据集的视觉学习方法提供了一种创新且有效的补充。

在下图中，研究团队提供了一个上下文（左侧），用于指导模型根据给定的类别对（例如“tiger, forest”或“groom, wedding ceremony”）生成具体的描述性标题。例如，在实际生成的结果中（右侧），对于“red fox, yard”这一类别对，模型生成了以下标题：“wild red fox sitting on a partially snow covered front yard of a house in the suburbs of a small city”。在这个过程中，每次推理都会随机选择三个这样的上下文实例。

图像生成

研究团队采用了一种创新的方法来生成图像，即通过不同的随机噪声启动反向扩散过程。在这个过程中，Classifier-Free Guidance（CFG）比例扮演着至关重要的角色，它有效地平衡了样本质量、文本与图像之间的一致性，以及样本多样性之间的关系。为了为每个文本描述生成一系列不同的图像，团队调整了随机噪声输入，从而丰富了生成图像的多样性。

表示学习方法

这一表示学习方法是在StableRep方法的基础上构建的，引入了一种多正面对比学习损失。其核心思想是在嵌入空间中将由相同标题生成的图像对齐，同时融合了其他自监督学习方法中的多种技术，包括补丁级掩蔽图像建模目标。

StableRep

StableRep方法通过比较不同样本之间的相似性和差异性，最小化交叉熵损失。这一策略训练模型识别和区分由相同或不同标题生成的图像。

iBOT

iBOT方法采用掩蔽图像建模目标，其中局部补丁被掩盖，而模型的任务是预测这些被掩盖的补丁的标记表示。这一策略将DINO模型从图像级别调整到补丁级别。

指数移动平均（EMA）

EMA最初由MoCo在自监督学习中引入，用于编码作物并生成iBOT损失的目标。在训练期间，EMA模型按照余弦计划更新，以平滑模型参数的更新过程，从而使模型在训练过程中保持稳定性。

多作物策略

多作物策略作为一种提高计算效率的方法，允许模型从多个视角和上下文中学习，增加了训练样本的多样性并提升了表示的泛化能力。具体而言，StableRep通过最小化真实分配和对比分配之间的交叉熵损失来提高效率。在这个框架中，存在一个编码的锚点样本和一组编码的候选样本集合。对比分配分布描述了模型预测锚点样本和每个候选样本是否由相同标题生成的概率。他们使用指示函数来标识两个样本是否来自同一个标题。

实验

研究团队对其模型进行了长达500k步骤的预训练，采用8192个标题的大批量尺寸，所有预训练任务均在224x224分辨率下进行。他们将SynCLR与OpenAI的CLIP、OpenCLIP以及DINO v2进行了对比，这些模型分别代表了不同的从数据中学习的方法。特别指出的是，DINO v2中的ViT-B/14和ViT-L/14是由ViT-g模型蒸馏得来，这一点在比较时为DINO v2带来了优势。

ImageNet线性评估

为了进行公平的比较，所有模型均使用最后一个块的cls令牌作为表示（与DINO v2使用多层串联的结果相比）。据表6所示，SynCLR在ViT-B结构上达到了80.7%的成绩，在ViT-L结构上则达到了83.0%。这些成绩与那些直接从真实数据中学习的模型（如CLIP和DINO v2）相当，尽管SynCLR仅使用了合成数据。

UperNet语义分割

研究团队在UperNet语义分割中采用了单一尺度512x512分辨率，部分模型为适应518x518分辨率而使用了14x14的补丁尺寸。他们使用了600M的合成数据，与包括MoCo v3、SimMIM、MAE、PeCo、data2vec、iBOT、BEiT v2、CLIP和OpenCLIP在内的其他模型进行了对比，这些模型主要是基于真实的ImageNet数据预训练的。SynCLR在mIoU指标上分别在标准分辨率和高分辨率下达到了54.3%和57.7%，与使用真实数据训练的模型相比，表现十分出色。

ImageNet图像分类

SynCLR在ImageNet图像分类方面的表现也值得关注。使用600M合成数据，SynCLR与采用不同数据集，如IN21K、WIT-400M和LAION-2B预训练的各种模型进行了比较。在ViT-B结构上，SynCLR的Top-1准确率为85.8%，而在ViT-L结构上则为87.9%，均优于多数使用真实数据训练的模型。

这些结果明确表明，尽管完全依赖合成数据，SynCLR方法在视觉表示学习领域仍能与依赖真实数据的模型媲美，展示了这一方法的显著有效性和巨大潜力。

小结

作者们提出了以下关键观点和结论：

从生成模型中学习的理由：生成模型的一个显著优势在于其能够同时扮演成百上千个数据集的角色。在传统的研究方法中，研究者往往需要为不同的图像类别（比如汽车、花朵、猫、狗等）单独收集数据集。而像DINO v2这样的系统通过综合和整合大量这类数据集，能够构建出强大且鲁棒的表征。

生成模型的显著优势：与传统的数据收集和标注方法相比，生成模型提供了一个更加高效、范围更广的视觉概念覆盖方式。这一方法免去了在真实图像数据收集和标注上耗费的大量时间和资源。

论文强调了合成数据在视觉表示学习中的关键作用。尽管在分类精度方面，合成数据可能不及真实数据，但在训练视觉表示模型方面，合成数据展现出了极高的效果。这些训练好的表示随后可以轻松适应于真实数据量较小的下游任务，显示出合成数据的实用性和适应性。