ICLR 2023 | 负责任的人工智能，守护机器学习的进阶思考
（本文阅读时间：9分钟）
近期，我们将在微信视频号“微软亚洲研究院”和 B 站“微软科技”的直播间，安排微软亚洲研究院入选 ICLR 2023 论文的特别直播，与你共话机器学习的前沿成果！更多直播细节，敬请期待。
T-GNNExplainer：时序图上的解释器
论文链接：
https://openreview.net/pdf?id=BR_ZhvcYbGJ
时序图是一种基于时间的动态图，其中的节点和边都带有时间戳，在线社交网络和道路交通网络等就是时序图的典型例子。鉴于时序图的广泛应用，已经有许多时间图模型被提出，例如 Jodie，TGAT 和 TGN。与静态图神经网络相比，时序图模型中每个节点的表征都是一个时间的函数，用于预测未来演化趋势，例如哪些边将产生以及节点属性何时改变。
尽管这些时序图模型已被成功应用，但它们都是黑盒模型，缺乏透明度。信息如何在时序图中聚合和传播，以及历史事件如何影响预测等问题仍不清楚。对于理解预测的基本原理以及模型特性而言，人工智能的可解释性至关重要。当时序图模型应用于高风险场景时，如金融系统中的欺诈检测和医疗健康中的疾病进展预测，解释器都可以增加信任和可靠性。此外，解释器还有助于检查和减轻现实世界应用中的隐私、公平和安全问题。
目前的现有解释器往往是专注于静态图模型的设计，对时序图的预测解释仍然需要进一步探索。因此，微软亚洲研究院的研究员们提出了 T-GNNExplainer：首个为时序图模型量身定制的解释器。具体来说，T-GNNExplainer 将时序图视为一系列节点之间的时间事件。对于给定的某次预测，T-GNNExplainer 的任务是找到导致预测的历史事件的一个子集。历史事件是先前发生的事件，所以同时满足空间和时间条件：它们在基于消息传递机制的k-跳邻域中，并且它们的时间戳应该接近目标事件的时间戳。
为了解决寻找子集的组合优化问题，T-GNNExplainer 包含探索和导航模块。探索模块采用蒙特卡洛树搜索，搜集在候选事件集中找到的重要事件。导航模块负责学习候选事件之间的关联性，以帮助缩小搜索空间。值得一提的是，导航模块是预训练模块，与探索模块集成后，能够大大加快搜索速度并提高结果质量。
研究员们基于两个典型的时序图模型（TGAT 和 TGN），同时在合成和真实的数据集上评估了 T-GNNExplainer 的性能。合成数据集采取了多元 Hawkes 过程和预定义的事件关系规则模拟产生事件，从而得到时序图。通过与合成数据集的重要事件集对比，研究员们发现 T-GNNExplainer 可以精确找到一个重要的事件集。在真实数据集中，由于确切的导致某个事件发生的事件集不可知，因此研究员们采用保真度-稀疏度曲线来评估 T-GNNExplainer 的性能。结果表明，相对于基准模型，T-GNNExplainer 的改进率高达约50%。
图1：T-GNNExplainer 的模型框架
基于推理阶段自适应优化的语言模型统一去毒去偏
论文连接：
https://arxiv.org/pdf/2210.04492.pdf
预训练语言模型（PLMs）在文本生成（NLG）方面取得了长足进步，但却会将预训练语料中存在的有害内容（例如有毒语言和对少数群体的社会偏见等）内化、生成、传播，甚至放大。随着语言模型逐步成为各类 NLG 应用（如聊天机器人、文案写作助手）的基础，其生成的有害内容也可能通过与终端用户的频繁交互，在人类社会中广泛传播，最终造成重大的负面影响，例如吸引仇恨、导致偏见、加剧不平等。同时，这些问题不仅没有随着语言模型规模的增大而解决，反而有逐步恶化的倾向，更加突显了发展符合道德的语言生成方法的必要性和紧迫性。
现有的去毒和去偏见技术通常分为两大范式。一种是特定领域微调（Domain-Specific Tuning），即使用精心获取的干净无害的数据对模型进行进一步训练。该方法有效，但数据构建及训练大模型的成本太高且实效性差。第二种是约束解码（Constrained Decoding），以过滤、对抗引导、输出分布整流等方式来避免有害的文字生成，而无需重新训练模型。然而，这类方法会严重降低生成文本的质量或减慢生成速度。此外，现有方法都是分别处理去毒和去偏问题，这往往导致经过去偏的模型依然存在毒性，同时经过去毒的模型反而放大了偏见。
图2：UDDIA框架 (左) 去毒与生成质量的平衡曲线（右）去偏见与生成质量的平衡曲线
探索差分隐私深度学习的边界
论文链接：
第二个需要解决的问题是：该如何选取每层的裁剪阈值？通过简单的实验，研究员们发现使用固定阈值的逐层裁剪在性能上比平裁剪有明显降低。自适应阈值是让逐层裁剪突破性能瓶颈的关键（参见图5）。自适应阈值只需要很少的隐私预算，就可以根据算出的样本梯度 L2 范数自动估计出一个合适裁剪的阈值。多个任务证明，新方法在给定训练 epoch 约束下与平裁剪的表现相当，从而可以在更短的实际时间内获得相似或更好的任务性能。
图5：不同样本的每层梯度大小随着训练步数变化显著
DP-SGD 算法在性能和效率方面的提升也使得研究员们不断探究差分隐私深度学习模型的极限。因此，研究员们在本文中探究了如何在机器学习中保护训练数据的隐私，保证模型不能被反推出训练样本的个体信息。
研究员们对具有1750亿参数的 GPT-3 进行了隐私微调。为了绕过裁剪分布在多个设备上的梯度的困难，研究员们在每个设备上对每个模型片段的梯度都进行了分组裁剪。在 ε=1 的情况下，使用隐私微调的 GPT-3 在摘要任务上可以获得优于非隐私微调的最大 GPT-2 的任务性能。研究员们突破了 DP-SGD 的效率瓶颈，使其可以成功应用于超大语言模型的训练中，经过多个测试，新方法几乎能同时实现了性能与效率的最佳值。
在进行计算机科研工作和学习的日日夜夜，你或许有些科研中的问题难以开口问询，或许有些焦虑与情绪无处安放，或许在感到迷茫时需要咨询与支持。微软亚洲研究院树洞计划现已开启。你在计算机领域科研、学习、生活中遇到的难题，都可以随时随地倾倒在树洞里。后台会从树洞收到的内容中选择具有代表性的问题匹配到最同频的频道，邀请微软亚洲研究院的研究员们帮忙回答。作为一个半透明的树洞，部分问题与回应会通过微软亚洲研究院账号公开发表。
快来点击上图链接，把你的难题倾倒在树洞里吧！让我们将这些困难封存在过去，轻装上阵，继续科研新旅途！
你也许还想看：
微信扫码关注该文公众号作者