ACL 2023 | TemplateGEC: 通过检测模板改进语法错误纠正

2023-08-01 05:08

语法错误校正（GEC）可以分为序列到编辑（Seq2Edit）和序列到序列（Seq2Seq）框架，这两种框架各有优缺点。Seq2Edit 框架通常将源句子转换为一系列编辑操作，由于其较高的理解能力，在语法错误检测方面具有特定的优势。Seq2Seq 框架将 GEC 作为单语言翻译问题处理，具有更好的纠正句子生成能力的优点，然而该方法仍然具有容易过度校正的问题。

为了利用这些框架的优点并弥补其缺点，本文提出 TemplateGEC，利用检测模板融合了 Seq2Edit 和 Seq2Seq 框架在错误检测和纠正方面的能力，并使用真实标签辅助的一致性学习能力来提升模型的鲁棒性。

论文标题：

TemplateGEC: Improving Grammatical Error Correction with Detection Template

收录会议：

ACL 2023 Main Conference (Oral)

论文链接：

https://aclanthology.org/2023.acl-long.380/

数据代码：

https://github.com/li-aolong/TemplateGEC

方法

本节介绍所提出的方法，如下图所示 TemplateGEC 集成了 Seq2Edit 模型生成的检测信息，并将这些信息融合到 Seq2Seq 模型中以进行模型增强。

▲ 图1：TemplateGEC 的整体框架

1.1 检测模板的构建

为了融合检测信息，我们首先获取给定输入句子的检测标签（Detection Label），然后利用该标签来识别句子中包含语法错误的特定单词或短语。给定输入句子的检测标签可以表示为：

其中和分别表示正确（Correct）和错误（Incorrect），输入句子可以得到两个检测标签，即模型预测的标签（Predicted Label）和真实的标签（Gold Label） .

我们引入了检测模板（Detection Template） 来融合检测信息，该模板是通过使用特殊标记 <sep> 作为分隔符，将检测前缀（Detection Prefix） 与修改后的输入句子 连接起来构建的。检测模板可以表示为：

检测前缀由错误部分和相应的有序特殊标记连接而成，错误部分是标记为 I 的连续标记。源句子可能包含多个错误部分，每个错误部分包含不同数量的单词。根据检测标签提取源句的所有错误部分，检测前缀可以由下式给出：

其中表示第 i 个特殊符号。

所有错误部分可以将源句分割成个正确部分，则源句可以表示为

，其中表示第 i 个正确部分，则最终修改后的源句可以表示为：

1.2 真实标签辅助的一致性学习

我们提出的检测模板结合了检测信息，希望模型能够更准确地纠正相应位置的错误。然而，当检测信息不正确时，模型可能会对正确的单词进行错误的修改，导致模型性能下降。为了克服这个问题并使模型对预测的错误检测信息更加鲁棒，我们提出真实标签辅助的一致性学习，来帮助模型增加预测检测模板和真实检测模板输出的一致性，从而提高模型性能。

我们采用基于 Transformer 架构的 Seq2Seq 模型作为我们方法的骨干，如前文所述，我们能够获得给定源句子的预测检测标签和真实检测标签。由这些标签构建的模板（分别由和表示）随后被输入到 Seq2Seq 模型中，这两个损失可以定义为：

我们在模型中引入了一致性损失（Consistency Loss），该损失最大化了输出分布分别与预测检测信息和真实检测信息的相似性。KL 散度是两个概率分布之间差异的度量，是一种非对称度量。我们将 KL 散度设置为一致性损失，以最大化预测检测模板和真实检测模板的预测分布之间的一致性，一致性损失表示为：

最终的训练损失表示为：

其中为超参数。

通过强制预测标签和真实标签之间的一致性，模型可以学习更稳健、更可靠的表示，从而提高 GEC 任务的性能。在推理阶段，仅使用预测的标签来生成输入模型的模板。

实验

我们在英语和中文上都进行了实验，分两步走，即先检错再纠错，将检错结果以模板的形式来进行纠错。

2.1 错误标签检测

跟随 Yuan et al. (2021)，我们基于 ELECTRA 训练了一个 Seq2Edit 模型来获得预测标签，与此同时，我们也将 GECToR 作为检测模型来使用。

检测结果如上表所示，由于我们复现的结果并没有达到之前的论文水平，同时 GECToR 表现出了较好的检测性能，最终我们使用 GECToR 的检测结果作为预测模板构建的输入。真实检测标签由 ERRANT 提取。

2.2 语法错误纠正

2.2.1 数据集

对于英文，我们使用 cLang-8 作为训练数据，使用 BEA-Dev 作为开发集，BEA-Test 和 CoNLL14-Test 作为测试集。对于中文，我们使用 NLPCC18-Train 作为训练集， MuCGEC-Dev 作为开发集，NLPCC18-Test 作为测试集。数据分布如下图所示：

2.2.2 模型

对于英文，我们使用 Transformer-Large、BART-Large 和 T5-Large 作为我们的基线模型，对于中文使用 Transformer-Large 和 BART-Large 模型。除了基线模型，我们仅使用上文提到的模板进行训练而不使用一致性学习来作为对比，最后所提出的 TemplateGEC 方法使用了模板和一致性学习。

2.2.3 主要结果

如上表所示，与未预训练的模型相比，使用预训练的模型可以显着提高所有数据集的性能。与基线相比，当引入检测模板时，大多数模型的性能都有所提高，特别是在未预训练的模型中。与其他方法相比，所提出的方法 TemplateGEC 利用模板和一致性学习，在所有数据集上实现了最佳 F0.5 值。

分析

3.1 人在回路GEC的潜力

为了确定 TemplateGEC 的性能上限，我们在测试阶段使用真实检测标签来评估其性能。随后，我们进行了额外的实验，在训练和测试阶段都使用了真实标签。如下表所示，与基准模型和仅使用预测标签的方法相比，TemplateGEC 中利用真实标签可以显着提高性能，特别是在未完全引入预训练知识的情况下。这证明所提出的模板在影响 GEC 系统的性能方面发挥着重要作用。

除了提出的 TemplateGEC 之外，我们还认为我们的方法具有应用于开发人机循环 GEC 系统的潜力。我们设想这样一种场景，用户输入需要纠正或细化的句子，并且我们的 GEC 模型支持识别用户识别错误或不确定的句子中的特定范围。在这种情况下，TemplateGEC 系统可以将识别的错误范围转换为本文提出的模板格式，从而使 GEC 模型在校正过程中更加重视这些特定区域。将用户交互纳入 TemplateGEC 系统中，允许利用用户注释的范围作为错误检测标签的黄金标准，从而提高纠错能力并提高效率。

3.2 案例分析

对于第一个示例，基线模型无法纠正错误。相比之下，尽管校正不正确，但仅模板模型尝试校正预测标签指示的错误，这也证实了模板的有效性。基于仅模板模型的结果，TemplateGEC 成功纠正了错误。

对于第二个示例，仅模板模型仍然修改了模板指示的相应位置，但其中一个被错误地纠正，这是被预测标签误导的。然而，我们惊讶地发现 TemplateGEC 忽略了这种误导并成功纠正了整个源句子。这一结果强烈表明，即使先验信息错误，我们的模型也可以做出正确的修正，这充分证明了我们方法的可靠性和鲁棒性。

结论

本文提出了一种新的 GEC 方法，称为 TemplateGEC，它集成了 Seq2Edit 和 Seq2Seq 框架，利用了它们在错误检测和纠正方面的优势。TemplateGEC 将原始错误句子转换为一种新颖的模板格式，其中包含由 Seq2Edit 模型生成的预测和真实的错误检测标签。此外，TemplateGEC 还结合了真实标签辅助一致性学习，通过使用 Seq2Seq 模型最大限度地提高预测模板和真实模板的预测之间的一致性，从而提高性能。

参考文献

[1] Zheng Yuan, Shiva Taslimipoor, Christopher Davis, and Christopher Bryant. 2021. Multi-class grammatical error detection for correction: A tale of two systems. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing , pages 8722–8736, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

[2] Christopher Bryant, Mariano Felice, and Ted Briscoe. 2017b. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 793–805, Vancouver, Canada. Association for Computational Linguistics.

[3] Yue Zhang, Bo Zhang, Zhenghua Li, Zuyi Bao, Chen Li, and Min Zhang. 2022b. Syngec: Syntax-enhanced grammatical error correction with a tailored gecoriented parser. In Proceedings of EMNLP.

更多阅读