MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。MLNLP Paper Reading是MLNLP社区举办的学术交流活动，旨在邀请一线青年学者领读优质论文，期待大家从论文中受益。本期我们选取了一篇EMNLP2022的发表工作。该工作由哈尔滨工业大学完成，秦兵教授、冯骁骋副教授指导，论文第一作者黄毅翀博士生进行录制。Yichong Huang (Harbin Institute of Technology), Xiaocheng Feng (Harbin Institute of Technology), Xinwei Geng (Harbin Institute of Technology), Bing Qin (Harbin Institute of Technology)
多语言机器翻译 (Multilingual Neural Machine Translation) 旨在通过一个统一的模型来完成多种语言对的翻译任务，因其优越的部署效率和可靠的低资源翻译性能而受到广泛关注。尽管目前多语言机器翻译已经取得了十分不错的进展，但是仍面临着收敛不一致问题，即不同语言对的翻译性能在不同的轮数上达到最优。这种收敛不一致性使得最终训练出的模型往往过拟合了低资源而欠拟合了高资源。因此，本文提出一种新的训练策略，语言特定自蒸馏 (Language-Specific Self-Distillation) ，来缓解多语言收敛不一致性。具体而言，我们将语言特定最优检查点作为教师模型去蒸馏当前模型。此外，我们还系统探索了我们方法的三种改进，分别采取静态的、有选择性的、自适应的三种蒸馏模式。1．本文首次提出关注到多语言机器翻译中的收敛不一致性问题，并说明了该问题对最终模型的翻译性能影响。
2. 通过提出一种语言特定自蒸馏策略，来极大地缓解了收敛不一致性问题。本文进一步地设计了三种样本级别知识迁移改进。
3. 本文在三个多语言机器翻译数据集上取得了明显提升。
本论文通过为每个语言对的翻译维护一个语言特定最优检查点并蒸馏当前模型，显著缓解了多语言机器翻译中的收敛不一致性问题。Yichong Huang Xiaocheng Feng Xinwei Geng Bing Qin. Unifying the Convergences in Multilingual Neural Machine Translation. EMNLP 2022.
文章链接：https://arxiv.org/abs/2205.01620
代码链接：https://github.com/orangeinsouth/lssd
B站观看链接：https://www.bilibili.com/video/av903394725/
黄毅翀，哈尔滨工业大学社会计算与信息检索研究中心二年级博士生，师从秦兵教授和冯骁骋副教授。研究兴趣为机器翻译，自然语言处理。曾在EMNLP会议上发表相关论文，曾获国家奖学金。个人主页是https://ychuang.netlify.app/关于我们
MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
