信工所14篇论文被顶级国际会议ACL 2023录用，一文速览！

2023-05-22 04:05

ACL 2023 于 5 月 2 日公布了论文接收结果。中国科学院信息工程研究所第二研究室、第三研究室有 14 篇论文被 ACL 2023 录用。

第 61 届 ACL（Annual Meeting of the Association for Computational Linguistics）计划于 2023 年 7 月 9 日 - 7 月 14 日在加拿大多伦多召开。ACL 年会是计算语言学和自然语言处理领域最重要的顶级国际会议，是中国计算机学会（CCF）推荐的 A 类国际学术会议。

下面是录用论文列表及介绍（按论文首字母排序）。

/ ACL 2023, Main Conference /

论文题目：

A Gradient Control Method for Backdoor Attacks on Parameter-Efficient Tuning

论文作者：

顾佴彬，付鹏，刘曦雨，刘正宵，林政，王伟平

论文类型：

ACL 2023, Main Conference

论文概述：参数高效微调方法通过仅微调预训练模型少部分参数，在下游任务上取得了良好的性能表现。而同时由于模型权重的脆弱性，也为后门攻击提供了机会。然而相比于先前全参数微调场景中直接在预训练模型上注入后门，参数高效场景中的攻击目标从预训练模型转移到了只有少量参数的参数高效模块上。因为可攻击参数量大量减少，用户的微调会导致后门发生严重遗忘，显著影响后门攻击的有效性。

为了解决这一问题，我们将后门注入视为一种多任务学习过程，发现其在训练干净数据和后门数据之间存在收敛不平衡问题。基于这一发现，我们提出了一种梯度控制方法来巩固攻击效果，包括控制任务内各层的梯度分布均衡（Cross-Layer Gradient Magnitude Normalization）和消除任务间层内的梯度方向冲突（Intra-Layer Gradient Direction Projection）两种策略。在不同任务上的实验结果表明，我们的方法相比基线方法具有更好的攻击有效性。

/ ACL 2023, Main Conference /

论文题目：

CATS: A Pragmatic Chinese Answer-to-Sequence Dataset with Large Scale and High Quality

论文作者：

李亮、耿瑞莹、方承炀、李冰、马灿、曹荣禹、黎槟华、黄非、李永彬

论文类型：

ACL 2023, Main Conference

论文概述：当前主流的数据到文本生成数据集存在三个问题。首先，规模较大的数据集要么包含噪声、要么缺乏实际的应用场景；其次，与实际应用场景接近的数据集规模都相对较小；最后，目前的数据集偏重于英语，而对其他语言的探索不足。为了缓解当前数据到文本生成数据集存在的上述限制，我们提出了 CATS，一个大规模、高质量的实用中文答案描述生成（Answer-to-Sequence）数据集。

该任务的目标是为 Table QA 系统中的答案（Table 形式）生成自然语言文本描述，与此同时，产生该答案的 SQL 语句也被作为该任务的输入，目的是控制文本生成的方向和内容。此外，为了弥合输入的 SQL 和表格之间的结构差距，建立更好的语义对齐，我们提出了一种统一图转换（Unified Graph Transformation，UGT）方法。

UGT 不仅为两种异构知识输入建立联合编码空间，而且将答案描述生成任务转化为图到文本（Graph-to-Text）问题，简化了任务建模过程。在 CATS 数据集上的实验结果不仅证明了所提出方法 UGT 的有效性。与此同时，进一步分析也表明了 CATS 数据集具备较高的质量和挑战性。

/ ACL 2023, Main Conference /

论文题目：

Combo of Thinking and Observing for Outside-Knowledge VQA

论文作者：

佀庆一，莫宇尘，林政，季慧山，王伟平

论文类型：

ACL 2023, Main Conference

论文概述：外部知识视觉问答是一项具有挑战性的任务，需要获取和使用开放的现实世界知识。一些现有的解决方案将外部知识引入跨模态空间，但忽略了自然语言空间中更广阔的文本知识，而另一些解决方案则将图像转换为文本，并将其进一步与自然语言空间的文本知识融合，完全放弃了视觉特征的使用。

在本文中，我们结合两个技术路线的优势：将跨模态空间约束到自然语言空间中，这使得视觉特征可以被直接保留，并且仍然受益于自然语言空间中的海量知识。为此，我们提出了一个由多模态编码器、文本编码器和答案解码器组成的全新模型范式。这样的结构使我们能够引入更多类型的知识，包括显性和隐性的多模态知识和文本知识。

大量实验验证了我们所提出方法的优越性，其准确率比现有方法高出了6.17%。同时，我们还对模型每个组成部分进行全面的消融，并系统地探究了不同类型知识的作用。

/ ACL 2023, Main Conference /

论文题目：

DiffusEmp: A Diffusion Model-Based Framework with Multi-Grained Control for Empathetic Response Generation

论文作者：

毕冠群，申磊，曹亚男，陈蒙，谢玉强，林政，何晓冬

论文类型：

ACL 2023, Main Conference

论文概述：在开放域对话中，共情是一个至关重要的因素，它自然地表达了一个人对他人的关心和理解。虽然已有方法对共情回复生成进行了研究，但这些方法生成的共情内容往往较为单调，即表达比较通用且枯燥。本文提出用显式控制来引导共情表达，并设计了一个基于条件扩散语言模型的框架 DiffusEmp，以统一对话历史和面向属性的控制信号的使用。

具体而言，本方法引入了交流机制、对话意图和语义框架作为多粒度信号，对共情回复实现粗粒度和细粒度的控制。此外，设计了一个特定的掩码策略来反映多粒度信号和回复词语之间的关系，并将其集成到扩散模型中，以影响生成过程。在基准数据集 Empathetic Dialogue 上的实验结果表明，我们的框架在不丢失上下文相关性的情况下，在可控性、信性和多样性方面优于竞争性基线。

/ ACL 2023, Main Conference /

论文题目：

Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts for Zero-Shot Dialogue State Tracking

论文作者：

王青悦，丁亮，曹亚男，詹忆冰，林政，王石，陶大成，郭莉

论文类型：

ACL 2023, Main Conference

论文概述：零样本的迁移学习旨在帮助任务型对话脱离标注数据适配多领域场景。已有工作大多从数据/模型层面提升通用性，忽略了样本的语义解耦，限制了零样本下对话状态追踪的表现。

在本篇工作中，我们提出了简单高效的方案——“划分，解决和合并”，即明确地解耦可见数据的语义信息，利用混合专家机制提升健壮性。具体地，我们先独立地划分可见数据并训练多个语义独立的专家，随后通过我们设计的聚合机制来映射和推理未见样本。我们的方案在不添加任何额外知识的前提下，仅使用 10M 的可训练参数使模型在 MultiWOZ 2.1 数据集上提升至 SOTA 性能。

/ ACL 2023, Main Conference /

论文题目：

IM-TQA: A Chinese Table Question Answering Dataset with Implicit and Multi-type Table Structures

论文作者：

郑明钰，郝洋，姜文斌，林政，吕雅娟，佘俏俏，王伟平

论文类型：

ACL 2023, Main Conference

论文概述：现有的表格问答数据集存在两点局限。1. 依赖显式的表格结构：现有的数据集只评估模型在显式表格结构下的表现，即表格的表头单元格是显式标注的，但现实应用中模型可能需要处理不含表头标注的表格。2. 只考虑有限的表格类型：现有数据集主要考虑表头位置固定的简单表格，忽视表头位置更加灵活的复杂表格。

针对这两点局限，本文提出第一个考虑隐式和多样表格结构的表格问答数据集 IM-TQA，包含 1200 个表格和 5000 个问题。该数据集更贴近真实的表格问答场景，需要模型先理解隐式多样的表格结构，然后再回答关于表格的信息查找类问题。

针对新的问题场景，本文提出一个两阶段表格问答框架 RGCN-RCI，先将表格建模为异构图并识别出表头单元格，然后构建表头增强的行列表示，帮助 RCI 模型更精准地定位答案单元格。相比于已有方法，RGCN-RCI 在整体回答准确率上取得了 3.8% 的提升，验证了表头信息在隐式多样表格结构场景下对于表格问答的重要性。

/ ACL 2023, Main Conference /

论文题目：

Maximum Entropy Loss, the Silver Bullet Targeting Backdoor Attacks in Pre-trained Language Models

论文作者：

刘正宵，申博文，林政，王发利，王伟平

论文类型：

ACL 2023, Main Conference

论文概述：后门攻击是一种具有隐蔽性的安全威胁，可在维持预训练语言模型性能的同时，导致其在遇到带毒样本时被成功误导。后门攻击的这种隐蔽性通常是利用交叉熵损失对投毒样本和干净样本进行微调来实现的。现有的防御范式通过在预训练或推理时检测和移除有毒样本，间接实现对后门攻击的防御。与此相反，我们采用了一个新视角，直接逆转后门攻击的效果。

具体来说，我们在训练中利用最大熵损失来化解后门攻击对预训练语言模型的影响，如下图所示，图中红色的点为目标标签样本，蓝色的点为非目标标签样本，灰色的点为带毒样本。我们防御了一系列针对分类任务的后门攻击，并显著降低了攻击成功率。另外，我们探讨了后门攻击和数据集偏移之间的关系，并证明了最大熵原理在去偏中的可行性。

/ ACL 2023, Findings /

论文题目：

QAP: A Quantum-Inspired Adaptively Priority-Order-Fusion Model for Multimodal Emotion Recognition

论文作者：

李子明、周艳、刘雅新、朱福庆、杨传鹏、虎嵩林

论文类型：

ACL 2023，Findings

论文概述：针对视频的多模态情绪识别任务涉及到三个模态：文本、音频和图像。单模态所表达的情绪与整个视频表达的情绪常常存在差异，甚至可能完全相反，这种情绪不一致现象的本质原因是情绪的不确定性。作为人类认知的一个典型概念，情绪在其产生、发展过程中都是不确定的而且是动态变化的。

受量子理论在建模人类认知不确定性上的启发，我们建立了类量子框架，该框架使用量子态建模模态特征，量子态本身具有不确定的状态，这样每个模态都可以同时保留所有的情绪倾向直至最后的分类。此外，多模态情绪识别任务中还存在贡献不一致的问题，即由于每个模态包含的情绪相关的信息量不同，它们对最终情绪的贡献大小也就不同，因此需要在融合过程中区分模态优先级。

我们在类量子的框架下提出了模态优先级自适应学习模型，并设计了量子跨模态注意力机制来融合不同模态的特征。本文提出的模型在两个被广泛使用的公共数据集上均建立了新的SOTA，并验证了各个模块的有效性。

/ ACL 2023, Findings /

论文题目：

Question-Interlocutor Scope Realized Graph Modeling over Key Utterances for Dialogue Reading Comprehension

论文作者：

李江楠，于墨，孟凡东，林政，付鹏，王伟平，周杰

论文类型：

ACL 2023, Findings

论文概述：对话中的阅读理解旨在从对话中抽取问题的答案，由于对话中存在较大的噪声以及复杂的对话者信息，前人工作提出两种自监督任务来分别解决这两个问题：关键语句预测和随机遮盖对话者预测。关键语句为对话中包含答案的语句，随机遮盖对话者即随机选取对话中的某个对话者，用 MASK 来代替之。然而模型趋于将与问题相似的语句预测为关键语句，这些语句可能并不包含答案；随机遮盖对话者忽略了问题关注的对话者以及对话者们在对话中的作用域范围。

针对上述两个问题，本文提出一个两阶段方法：1）根据文本的局部主题相关性，将单句的关键语句预测扩展为滑动窗口关键语句组预测来抽取出更多包含答案的语句。2）在这些语句的基础上构造一个对话-对话者作用域图来考虑对话中各对话者掌控的上下文以及哪些对话者是问题重点关注的。实验表明，本文的方法可以获取更多包含答案的语句、更加关注问题和对话者的作用域，从而取得更好的性能。

/ ACL 2023, Main Conference /

论文题目：

Retrieve-and-Sample: Document-level Event Argument Extraction via Hybrid Retrieval Augmentation

论文作者：

任昱冰，曹亚男，郭平，方芳，马伟，林政

论文类型：

ACL 2023, Main Conference

论文概述：最近的研究表明，检索增强技术在许多生成式自然语言处理任务中的有效性已得到证明。这些技术能够以非参数化的方式显式地获取外部先验知识，并将检索到的参考样例视为增强文本生成的线索。检索增强技术通常使用基于相似性的检索策略，该策略基于一种简单的假设：检索的样例与原始输入越相似，其标签与输入标签越可能相似。然而，在篇章级事件论元抽取任务中，由于事件标签的复杂性和事件论元的稀疏性，这种假设并不总是成立。

因此，本文提出了一个有趣的问题：如何为篇章级事件论元抽取任务设计检索策略？本文从输入分布和标签分布的视角探究了多种检索设置，并进一步提出了一种新颖的混合检索增强范式，该范式定义了事件语义区域，并通过从该区域中采样出伪样例以提高模型的类比能力。通过在 RAMS 和 WikiEvents 上进行充分实验，展示了所提出的检索增强方法的有效性，并对其有效性进行了进一步深入的分析。

/ ACL 2023, Main Conference /

论文题目：

Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations

论文作者：

胡斗，鲍祎楠，卫玲蔚，周薇，虎嵩林

论文类型：

ACL 2023, Main Conference

论文概述：在对话情绪识别中提取泛化且鲁棒的情绪表示是一大挑战。为了解决该问题，本文提出了一种监督对抗对比学习框架 SACL，用于学习类扩散的结构化表示。SACL 框架在原始样本和对抗样本上使用了一种联合的监督对抗对比学习目标，有效地利用标签级别的特征一致性，同时保留了细粒度的类内特征。

在对抗样本的生成过程中，我们设计了一种上下文对抗训练策略 CAT，自适应地从上下文相关的输入中学习多样的有效特征和平滑的表示空间，并提升模型对上下文扰动的鲁棒性。在这个框架下，我们使用了基于序列的方法 SACL-LSTM，学习标签一致和上下文鲁棒的情绪特征，用于在对话中有效地识别情绪。在三个数据集上的实验表明，SACL-LSTM 在对话情绪识别上取得了最先进的性能；扩展实验表明了 SACL 框架的有效性和先进性。

/ ACL 2023, Main Conference /

论文题目：

Towards Better Entity Linking with Multi-View enhanced Distillation

论文作者：

刘益，田原，练建勋，王鑫龙，曹亚男，方芳，张文，黄海镇，邓维维，张祺

论文类型：

ACL 2023, Main Conference

论文概述：稠密检索被广泛用于实体链接之中，以从大规模知识库中检索与提及相关的实体。主流的稠密检索技术基于双编码器框架，分别将提及和实体的文本内容编码为单一的向量，并通过点积等粗粒度的交互策略来建模两者之间的相关性，这导致双编码器难以准确地对实体中与提及相关的部分进行建模，以匹配具有不同上下文的提及。

本文提出了一种多视图增强的蒸馏框架 MVD，可以有效地将实体中提及相关部分的知识从能够建模提及-实体间深层次语义交互的交叉编码器转移到双编码器上，来学习多样化的，可以匹配不同提及的实体表征。每个实体被分成多个视图，以避免与提及无关的信息被引入到实体表征中。我们进一步为该框架设计了交叉对齐和自对齐机制，通过对齐交叉编码器与双编码器间提及相关的实体表征，来促进教师模型到学生模型的细粒度知识蒸馏。

此外，我们保留了一个全局视图来对实体进行整体的建模，以避免全局的信息被分散到局部的视图中。实验证明，我们的方法在若干实体链接基准上取得了 SOTA 的效果。

/ ACL 2023, Main Conference /

论文题目：

Towards Faithful Dialogs via Focus Learning

论文作者：

邓一帆、张兴盛、黄河燕、胡玥

论文类型：

ACL 2023, Main Conference

论文概述：保持生成回复与给定知识的一致性是构建可靠的知识对话系统的一个重要研究课题。现有的方法因为缺乏一种有效的方法来指导模型在训练过程中注重对知识的理解和利用，从而依赖于额外的模型参数或精心设计的数据工程。为了解决这个问题，我们对以往的方法进行了实验分析，发现模型在微调阶段的学习重点并不是我们所期望的内容，我们认为这阻碍了模型对知识的学习，并提出了一种新颖的学习方法 Focus Learning（FocusL）来自适应的纠正模型在训练过程中的学习焦点。

具体地来说，我们通过对回复中的每一个词的重要性进行了评估，根据评估结果为每个词分配学习的优先级，从而引导模型在训练过程中关注更加重要的知识。实验结果表明，该方法在保持训练稳定性和生成流畅性的同时，显著提高了回复的忠实性和一致性，同时我们还发现我们的模型在低资源场景以及 Out-of-domain 场景下表现依旧优越。我们的方法不需要增加额外的参数开销以及数据预处理成本，简单有效且方便与其他训练方法组合使用。

/ ACL 2023, SemEval Workshop /

论文题目：

UCAS-IIE-NLP at SemEval-2023 Task 12: Enhancing Generalization of Multilingual BERT for Low-resource Sentiment Analysis

论文作者：

胡斗，卫玲蔚，刘雅新，周薇，虎嵩林

论文类型：

ACL 2023, SemEval Workshop

类型：

SemEval@ACL 2023, Task 12冠军1项

论文概述：本文介绍了我们团队 UCAS-IIE-NLP 面向 SemEval-2023 任务 12：非洲语言情感分析设计的方法。在低资源环境下，该任务存在标记数据和语言资源稀缺等挑战。为了缓解这些问题，我们提出了一种新的多语言情感分析方法 SACL-XLMR，学习低资源语言的泛化表示。该方法利用了一个基于词典的多语言 BERT，以促进语言自适应和情感感知的表示学习。

此外，本文应用一种监督对抗对比学习技术来学习情感扩散的结构化表示，以增强模型的泛化能力。该方法多语言和零样本情感分类子任务上均取得了有竞争力的结果，并获得了 SemEval-2023 Task 12 零样本分类赛道的冠军。大量扩展实验证明了该方法的有效性。