在IPU上使用BART Large进行文本摘要

文本摘要是人工智能自然语言处理 (NLP) 在实际应用中的最佳范例之一。

每天都会产生大量的信息，无论是在商业领域还是在科学研究等其他领域，快速理解、评估和处理这些信息的能力都极具价值。

摘要是在保留重要信息的同时生成文档的较短版本。从根本上说，它包括从原始输入中提取文本，然后生成描述原始文本要点的新文本。在某些情况下，这两个部分可能由不同的人工智能模型处理。

我们将在本文中演示如何在Graphcore（拟未）IPU上使用BART-Large运行整个摘要的过程。

在2018年，谷歌推出了BERT^[1]（基于Transformer的双向编码器表示），它被定义为“语言理解”模型，适用于广泛的应用，例如情感分析、文本分类和问答。当时并没有明确将摘要作为一个用例。

同年，Open-AI也在自然语言理解领域取得了进一步的突破，提出了生成式预训练（GPT）的概念。

到了2019年末，Facebook的人工智能研究人员提出了一种将双向编码器（如BERT）和自回归解码器（如GPT）结合起来的方法，并将其命名为BART，即双向自回归变换器。

根据原论文^[2]，预训练的创新之处在于一种新的插入方案，即在随机重新排列原始句子顺序时进行插入。作者认为当对文本生成和理解任务进行微调时，BART特别有效——这两者都是文本摘要所需要的。

BART是Optimum Graphcore^[3]支持的众多NLP模型之一，它是Hugging Face和Graphcore IPU之间的接口。

我们演示了在Graphcore IPU上运行BART-Large推理的文本摘要任务。

对于下面的每个代码块，您只需点击一下就能在 Paperspace中运行该代码块，并对代码/参数进行相关修改。我们将在本博客末尾介绍如何在Paperspace Gradient Notebooks以外的环境中运行该过程。