本周日MLNLP第十二次学术研讨会内容前瞻

MLNLP 2022学术研讨会 是由 MLNLP（机器学习算法与自然语言处理）社区 和 中国中文信息学会青年工作委员会 联合举办的学术活动。社区会定期举办学术研讨会并邀请国内外机器学习与自然语言处理领域知名青年学者进行报告交流，旨在加强国内外同学们之间的交流。

• 召开时间：

• 2022年10月30日 09:00-12:00（北京时间）

• 主办单位：

• MLNLP（机器学习算法与自然语言处理）社区

• 中国中文信息学会青年工作委员会

• 大会主席：

• 李丕绩：南京航空航天大学计算机科学与技术学院/人工智能学院教授，博士生导师

• 程序委员会主席：

• 李北：东北大学自然语言处理实验室三年级博士生

• 林禹臣：南加州大学计算机系博士生

• 组委会：

• MLNLP社区秘书处（魏福煊、王乐涵、陈麒光、黄仕爵、张钰迪、刘洪宇、段然）

• 社区支持 ：

• 智源社区
  

• 直播平台：

• 哔哩哔哩：http://live.bilibili.com/23872620

• 微信视频号：请点击下方卡片预约

10月30日北京时间早上09:05-09:45，张彪@爱丁堡大学为大家带来《大规模多语言机器翻译中的挑战与机遇》报告。

   报告摘要

机器翻译旨在利用计算机技术实现信息在不同语言之间的相互转换。近年来，基于深度学习的神经机器翻译系统突飞猛进，甚至达到了接近人工翻译的效果。然而，这样的成就仅仅局限于少数的数据资源丰富的语言。我们的世界存在7000多种语言，绝大多数语言资源十分匮乏，不足以训练高质量的双语系统。为了解决这一难题，科研人员提出多语言机器翻译，利用一个模型支持多个语言的翻译，通过联合训练实现不同语言间的知识迁移从而提升翻译的质量。在此基础上，本报告进一步探索大规模多语言机器翻译，研究如何用单个模型支持上百种语言间的互译，并介绍其在数据，模型和优化等方面面临的严峻挑战。同时，本报告将介绍我们在这一方向的相关工作，着重探讨如何引入语言特有的建模以促进知识迁移以及如何借助语言模型架构建模多语言翻译。

   讲者介绍

张飚，爱丁堡大学博士，师从Rico Sennrich和Ivan Titov教授，主攻机器翻译。研究兴趣在于提升机器翻译系统的运行效率和通用性，包括轻量级网络结构，低资源翻译，大规模多语言翻译，语音翻译以及文档级翻译等。在ACL/EMNLP/NeurIPS/ICML/ICLR/AAAI/IJCAI等国际自然语言处理和机器学习会议上发表多篇论文。

10月30日北京时间早上09:45-10:25，孙天祥@复旦大学为大家带来《BBTv2: 为大模型实现梯度自由》报告。

   报告摘要

预训练语言模型已在各类常见自然语言处理任务上取得了与人类媲美的性能，而这一结果通常是通过梯度下降对预训练语言模型的全部或部分参数进行微调得到的。然而，梯度下降的优化复杂度与模型规模成正比，随着预训练模型规模的急剧增长，其优化成本也显著增加，成为实际落地中的一大困难。针对这一问题，我们在过去工作（Black-Box Tuning）的基础上提出了BBTv2，使用深层prompt代替原有的输入层prompt，并提出一种基于分治的无梯度优化方法对其进行交替优化，在多个少样本学习任务上仅优化千分之三的参数取得了和全参数微调相仿的性能。

   讲者介绍

孙天祥，复旦大学计算机学院博士生，师从邱锡鹏教授和黄萱菁教授，研究兴趣为自然语言处理、预训练语言模型。在ICML，AAAI，ACL，EMNLP，NAACL，COLING等领域顶会发表论文十余篇，被引用800余次，曾获复旦大学国家奖学金。个人主页：https://txsun1997.github.io/

10月30日北京时间早上10:25-11:05，陈文虎@滑铁卢大学为大家带来《基于检索的图像生成扩散模型》报告。

   报告摘要

近期文字->图片生成模型取得了巨大的进展，在近期的扩散模型的驱动下，目前的大规模图片生成模型比如Imagen，Parti，Dall-E 2等等已经可以生成非常逼真的图片。我们发现这类模型在生成常见的实体比如尤达，巴黎铁塔，寻回犬的时候效果很好，但是在生成相对比较罕见的实体的时候效果会非常差。模型会生成出了和事实不符合的“四不像”。于是，在我们最近的Re-Imagen中，我们研究如何通过信息检索的方式从大规模的数据库中找到类似的罕见实体的相关图像，然后通过将这些检索出来的图片作为额外的输入给扩散模型来影响生成过程。我们提出了Retrieval-Augmented的训练方法来引导模型学习如何利用检索输入来生成更加真是的图片。我们的模型Re-Imagen在提出的EntityDrawBench上显著好于现有SoTA模型，尤其是对于比较罕见的实体有非常突出的提升。

   讲者介绍

陈文虎，滑铁卢大学助理教授，多伦多向量学院，谷歌研究科学家。研究方向为自然语言处理，特别是如何将外部知识加入各种预训练模型中，如何让预训练模型更加能够懂得如何推理，同时也对如何构建多模态的系统感兴趣。相关工作发表于机器学习领域重要的国际期刊和会议，包括ACL，EMNLP，NAACL，ICLR，NeurIPS，CVPR等。自2018年发表过的30多篇顶会论文，其中十五篇一作，毕业时获得超过2000的谷歌引用量。获得过WACV21最佳学生论文提名奖，加州圣塔巴巴拉计算机学院优秀毕业论文奖，腾讯犀牛奖学金。主页:https://wenhuchen.github.io/

10月30日北京时间早上11:05-11:45，刘力源@微软研究院为大家带来《深入理解Transformer的训练难点》报告。

   报告摘要

Transformer 模型为深度学习带来了许多新的机遇。与此同时，它也带来了许多挑战。我们观察到Transformer 模型的训练与之前的模型比，有很多不一样的特点和需求。比如说，对比其他residual network模型，常见的Transformer 模型一般会有较少的层数而变得宽而浅. 另一方面，深而窄的Transformer 训练经常会碰到收敛的困难。在这里，我们探索是什么让Transformer 训练变得更复杂，和如何能让Transformer 模型变得更容易训练。同时，我们的方法也为未来的研究带来了新的机会。

   讲者介绍

刘力源博士毕业于UIUC，导师为Prof. Jiawei Han。目前就职于微软研究院，担任研究员 (Senior Research Scientist at Microsoft Research Redmond). 力源致力于减少深度学习模型所需要的资源，从而使他们更容易被使用. 力源的研究获得了2000+ 引用，并在Github 上获得了4000+ star. 个人主页: https://liyuanlucasliu.github.io/

会议报名还可以直接扫描下方二维码添加小助手微信进行报名，备注 单位-昵称-方向 （例如： 清华-张三-对话系统），小助手通过报名并会把你拉进交流群。 会议的观看地址等信息都会在群里通知。 已经加入MLNLP交流群的同学请 不要重复添加 ！

扫描二维码添加小助手微信