ICLR 2023邀你加入精选论文讲解直播间

（本文阅读时间：12分钟）

深度学习国际顶级学术会议 ICLR 2023 刚刚落下帷幕，我们赶紧安排上了微软亚洲研究院入选本届大会的精选论文直播！此前的系列文章，已经分主题汇总了本年度 ICLR 值得关注的投稿，欢迎点击阅读原文进行回顾。

六位论文作者将于5月10日（本周三）14:00在微信视频号“微软亚洲研究院”与“微软科技”的 B 站直播间带来精彩的主题报告，与大家共话深度学习研究的最前沿！

在每篇论文的分享过程中，参与弹幕或评论区互动，提出问题，讲者将在分享结束后亲自为你答疑解惑！

直播时间：

2023年5月10日14:00-16:00

直播地址：

微信视频号“微软亚洲研究院”

扫描二维码，直达直播间

B 站账号“微软科技”直播间

Donggyun Kim

韩国科学技术院（KAIST）

在读博士

Donggyun Kim，就读于韩国科学技术院计算机学院，研究兴趣是小样本学习和通用人工智能，正致力于构建一个无需大量的特定训练任务的通用模型。他拥有韩国科学技术院数学和计算机科学双学士学位，并获得韩国科学技术院计算机学院硕士学位。

论文题目：

适配任意密集预测任务的通用小样本学习器

Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

论文摘要：

密集预测任务是计算机视觉领域的一类重要任务，如何从少量的标注数据中学习并作出准确预测，即小样本学习，是该领域备受关注的课题。然而，现有的计算机视觉小样本学习方法一般针对特定的某类任务，它们通常在设计模型架构和训练过程中利用特定于这些任务的先验知识和假设，因此不适合推广到任意的密集预测任务。微软亚洲研究院与韩国科学技术院的研究人员设计并实现了首个小样本学习器视觉令牌匹配 VTM（Visual Token Matching），其可用于任意的密集预测任务，VTM 为计算机视觉中密集预测任务的处理以及小样本学习方法打开了全新的思路。该工作获得了 ICLR 2023 杰出论文奖。

论文链接：

https://arxiv.org/abs/2303.14969

矣晓沅

微软亚洲研究院

研究员

矣晓沅，2021年博士毕业于清华大学，主要从事自然语言生成方向的研究，其主导开发的中文作诗系统“九歌”曾多次登上央视节目，发表学术论文二十余篇，担任多个顶级国际会议的程序委员会委员，曾获清华大学特等奖学金、西贝尔奖学金、CCF 优博等荣誉。

论文题目：

基于推理阶段自适应优化的语言模型统一去毒去偏

Unified Detoxifying And Debiasing In Language Generation Via Inference-time Adaptive Optimization

论文摘要：

预训练语言模型（PLMs）在文本生成（NLG）方面取得了长足进步，但却会将预训练语料中存在的有害内容（例如有毒语言和对少数群体的社会偏见等）内化、生成、传播，甚至放大。

为了应对现有去毒与去偏见技术中还未解决的挑战，微软亚洲研究院的研究员们首次提出了一个基于推理阶段自适应优化的去毒和去偏见统一框架 UDDIA。UDDIA 将去偏见和去毒形式化为统一的输出分布整流过程，以此来均衡不同群体相关内容的生成概率并最小化与毒性之间的关联。该框架等价于学习一个多属性（如性别、种族、毒性等）混合的文本分布。此外，UDDIA 仅在推理(生成)阶段通过优化极少量(~1%)参数进行干预，并动态地选择何时干预、更新哪些参数。

论文链接：

https://arxiv.org/pdf/2210.04492.pdf

张辉帅

微软亚洲研究院

主管研究员

张辉帅，微软亚洲研究院主管研究员。主要从事深度学习理论与算法、隐私保护机器学习、差分隐私方面的研究。研究成果发表于 ICML、NeurIPS、ICLR、JMLR、TIT 等会议及期刊数十篇。

论文题目：

探索差分隐私深度学习的极限

Exploring The Limits Of Differentially Private Deep Learning With Group-Wise Clipping

论文摘要：

近期的差分隐私（DP）深度学习研究已显著提高计算效率和隐私-效用权衡，其中的差分隐私随机梯度下降（DP-SGD）是一种通用算法。但 DP-SGD 会导致较高的内存和时间开销。文章作者探索出了更高效的逐层裁剪新方法，具体操作如下：在神经网络进行反向传播时，在某一层参数计算出每个样本梯度后，立即进行裁剪并计算平均梯度，接着释放每个样本梯度的空间，并继续向下一层参数进行反向传播。逐层裁剪，在将裁剪操作嵌入到反向传播的过程中，还允许梯度裁剪与反向传播同时进行，从而极大地提高了效率。这使得在许多实际任务中，隐私学习在内存效率和每次训练更新的时间效率上能够媲美非隐私学习。

论文链接：

https://arxiv.org/abs/2212.01539

任侃

微软亚洲研究院

主管研究员 

任侃，现就职于微软亚洲研究院并担任主管研究员。他主要的研究领域包括数据挖掘与机器学习，特别是时空数据建模与决策优化方法及其在医疗健康、推荐系统与金融等领域的应用。他在数据挖掘与机器学习领域顶级会议与期刊发表了三十余篇论文，著有《推荐系统：前沿与实践》。任侃在浙江大学获得计算机科学与技术工学学士学位，在上海交通大学获得计算机科学与技术博士学位。

论文题目：

SIMPLE：针对领域泛化问题的无需微调预训练模型匹配算法

SIMPLE: Specialized Model-Sample Matching for Domain Generalization

论文摘要：

在领域泛化任务中，大多数现有方法是通过对特定的预训练模型微调（fine-tuning），并开发领域泛化算法来解决该问题。微软亚洲研究院的研究员们详细研究了预训练模型和分布偏移之间的关系，发现对于领域泛化任务而言，并不存在单一最佳的预训练模型。根据广泛的实证和理论证据，研究员们论证了：（1）预训练模型在某种程度上具有普适性，但是不存在能够覆盖所有分布偏移且表现均佳的最佳预训练模型；（2）在分布偏移中的泛化误差取决于预训练模型与未见测试分布之间的匹配度。基于以上发现，研究员们提出了一种无需再微调的全新的领域泛化算法：SIMPLE。该方法基于模型-样本匹配策略，根据测试样本的特征，选择了合适的预训练模型来进行预测，显著提高了领域泛化的性能。

论文链接：

https://openreview.net/forum?id=BqrPeZ_e5P

项目主页：

https://seqml.github.io/simple/

王晋东

微软亚洲研究院

主管研究员 

王晋东，微软亚洲研究院主管研究员、中科院计算所博士。研究兴趣为迁移学习、鲁棒机器学习、半监督学习及相关的视觉和普适计算等应用。在国际知名会议和期刊如 NeurIPS、ICLR、CVPR、IJCAI、UbiComp、ACMMM、TKDE 等发表50余篇论文，谷歌学术被引5000余次。担任 IJCAI 2019 宣传主席、获得中科院优秀博士论文、IJCAI-19 联邦学习研讨会最佳应用论文奖、清华大学 AMiner 2012-2022十年最具影响力 AI 学者等荣誉。出版的《迁移学习导论》一书帮助众多研究人员快速入门该领域。

论文题目：

DIVERSIFY: 针对动态数据分布的OOD表征学习新范式

Out-of-distribution Representation Learning For Time Series Classification

论文摘要：

分布外泛化（Out-of-distribution generalization）是机器学习中的一个重要问题。有别于传统假设认为数据分布是给定的一个静态分布，真实生活中的数据是动态变化的。因此，本文尝试以时间序列为例，从分布的角度来看待此问题。因为分布动态变化的数据集的复杂性可能归因于存在未知的潜在分布。为此，研究员们提出了 DIVERSIFY，用于动态分布的泛化表示学习。在多个时间序列公开数据集上的实验结果表明，DIVERSIFY 获得的特征更多样、鲁棒，且所提出的方法对场景依赖度低，更加通用、容易拓展到其他非时间序列数据，如图像和视频中。

论文链接：

https://arxiv.org/abs/2209.07027

代码链接：

https://github.com/microsoft/robustlearn

夏文文

上海交通大学电子信息与电气工程学院

在读博士

夏文文，上海交通大学网络空间安全学院博士研究生。他的研究兴趣主要集中在图神经网络，包括其在时序图上的应用、理论表达能力以及可解释性等。他在重要学术会议和期刊如 KDD、ICLR、TKDE、ICDM、WSDM 等发表多篇论文，并曾在新加坡管理大学计算与信息系统学院和微软亚洲研究院进行交流与实习。

论文题目：

T-GNNExplainer：时序图上的解释器

Explaining Temporal Graph Models through an Explorer-Navigator Framework

论文摘要：

目前基于时序图的现有解释器往往是专注于静态图模型的设计，对时序图的预测解释仍然需要进一步探索。因此，微软亚洲研究院的研究员们提出了首个为时序图模型量身定制的解释器：T-GNNExplainer。为了解决寻找子集的组合优化问题，T-GNNExplainer 包含探索和导航模块。探索模块采用蒙特卡洛树搜索，搜集在候选事件集中找到的重要事件。导航模块负责学习候选事件之间的关联性，以帮助缩小搜索空间。相对于基准模型，T-GNNExplainer 的改进率高达约50%。

论文链接：

https://openreview.net/pdf?id=BR_ZhvcYbGJ

请提前关注微信视频号“微软亚洲研究院”或 B 站账号“微软科技“，干货满满，内容多多，欢迎持续关注直播！

你也许还想看：