XTREME榜单第一，多粒度对齐的多语言预训练模型VECO 2.0

2023-05-06 15:05

引言

预训练语言模型在各种 NLP 下游任务中发挥着重要作用，目前语言模型已经逐渐从单语扩展到多语言，并且已经证明了其在跨语言 NLP 任务上的优越性能。

目前多语言预训练模型的训练数据主要有两种，一种是每种语言的单语数据，另一种是互为翻译的双语平行数据。为了在同一语义空间构建不同语言的表示，之前的工作主要集中在两个预训练任务上：Multilingual Masked Language Model（MMLM）和 Translation Language Model（TLM），分别对应单语和双语数据的预训练任务。

MMLM 是 Masked Language Model（MLM）的多语言版本，在共享语义空间中对每种语言分别建模；TLM 则对拼接后的双语语料进行 MLM 任务，通过 self-attention 机制隐式地捕捉双语语料之间的对齐。但 MLM 和 TLM 仅加强了 masked token 和 context sequence 之间的依赖，而没有考虑句子级语义信息。

为了弥补这一点，之前的工作利用句子级对比学习，增强双语句子对之间的 sequence-sequence 语义对齐。尽管如此，隐藏在双语语料之间的同义词没有被充分利用，这对跨语言 NER 等 token-level 的下游任务非常重要。

VECO 2.0

论文标题：

VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning

论文链接：

https://arxiv.org/abs/2304.08205

为了解决上述问题，论文提出了多粒度对齐的多语言预训练模型 VECO 2.0，VECO 2.0 是阿里巴巴达摩院多语言预训练模型 VECO 的升级版。在语言上，VECO 2.0 覆盖的语种从 50 扩充至 109 种；在结构上，VECO 2.0 基于 VECO Encoder 结构继续训练；在规模上，VECO 2.0 不仅训练了和 VECO 同等的 large 规模模型，还扩展到了 xlarge 规模。

具体来说，VECO 2.0 引入新的 sequence-to-sequence 和 token-to-token 对比学习任务，以构建跨语言的统一表示。在 sequence-to-sequence 对齐任务中，VECO 2.0 利用对比学习最大化双语句子对的语义相似度，最小化非配对句子的相关性；在 token-to-token 的对齐任务中，先通过同义词词典挖掘出双语语料中的同义词，类似地利用对比学习减少 token 之间的距离，增大双语对中非同义词的距离。

VECO 2.0 结合 MMLM 和 TLM 任务，构建了 token-sequence，sequence-sequence，token-token 的全方位对齐，从而实现跨语言的通用表示。