本文提出一种基于近邻检索的方法，简单且十分有效地解决以上两个问题。 1. 首先将所有训练样本分为：Train Set 和 Anchor Set 2. 将 Anchor 样本用于推理，得到 LLM 输出的 LM Probability Distribution，作为 Key，而 Anchor 样本的 Label 作为 Value，key-value pair 构建 Datastore（这里的关键在于，记录并存储完整的 LM Distribution，这样才能保存完备的信息而没有任何损失） 3. 对于测试样本，不再直接解码 LM Distribution 到 Label Word，而是计算该分布在 Anchor Set 分布中的最近邻，取其 Value 直接作为最终的预测结果
▲ kNN Prompting
实验结果
实验主要分两种 Setting，Few-Shot 和 Fully-Supervised。 先来看 Few-Shot： 主要是为了和 SOTA 方法 [2][4] 进行对比，展示 kNN Prompting 本身作为一种 inference 框架，相较于 In-Context Learning 的显著效果提升。 ▲ kNN Promping VS SOTA under comparable Few-Shot Setting 然后是 Fully-Supervised： kNN Prompting 在训练样本规模远远超过上下文容量的场景下，仍然能够 Effectively Scale Up，在 32~1024 的样本区间以及 0.8B~30B 的模型区间，展现出优秀的 Scaling Curve。 而相比之下，标准的 In-Context Learning 则会在很早的位置就被截断。 ▲ Data Scaling Property of kNN Prompting 此外，一种很 Intuitive 的利用更多训练样本的方法是：从 training set 里检索尽可能相关（相似）的样本作为 Demonstration 来构建 Prompt，我们也做了相应的对比： ▲ kNN Prompting VS Retrievl-based Prompt Compse Method 还有更多实验大家可以移步 paper。
总结
本文提出了上下文学习的一种简单、有效的改进方法，通过 LM 预测分布的缓存+近邻检索，实现了：
少样本场景下的大幅提升，显著优于现有 SOTA 方法
全量样本场景下的无限扩展（Data Scaling）性能
参考文献
[1]Language Models are Few-Shot Learners, NIPS20[2]Calibrate Before Use: Improving Few-Shot Performance of Language Models, ICML21[3]Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity, ACL22[4]Noisy Channel Language Model Prompting for Few-Shot Text Classification, ACL22
