【新智元导读】最近，来自Google DeepMind，普林斯顿和斯坦福的顶尖华人团队提出了一种全新的框架。现在，LLM可以像人类一样制作自己的工具了！
ChatGPT等大语言模型诞生以来，凭着强大的语言理解能力、生成能力、逻辑推理能力等，已经被人类玩出了花。而OpenAI公开GPT-4后，最大的惊喜之一，莫过于插件模式的引入了。插件使得GPT-4可以执行代码、搜索引擎、集成各种APP的功能。这无疑是对于LLM后续应用模式的一大突破。显然，通过工具的使用，我们可以显著地提升LLM的生产力，最近，来自Google DeepMind，普林斯顿和斯坦福的华人团队提出了一种闭环框架，让LLM可以通过程序的形式，制作并使用全新的工具（能重复使用的那种）。简单来说，就是让一个LLM作为工具制造者制作新工具，另一个LLM作为工具使用者，使用工具来解决新问题。
论文地址：https://arxiv.org/abs/2305.17126
项目地址：https://github.com/ctlllll/LLM-ToolMaker基于这个框架，LLM就变得像人类的祖先一样，能够自我开发，并且学会使用工具。同时，这种工具制造者和使用者之间的分工，在不降低生成工具和解决方案质量的情况下，就能实现成本效益。结果显示，当使用GPT-4作为工具制造者，GPT-3.5 Turbo作为工具使用者时，可以在成本低、速度快的GPT-3.5 Turbo上实现与GPT-4相当的性能。
虽然LLM很好用，但如果问题太多的话，直接丢给GPT-4这种性能很强的模型，成本会非常高。另一方面，轻量级模型在成本效益上很高，但通常在处理复杂任务时遇到困难。LATM通过利用强大的模型作为工具制造者，为请求中观察到的任务生成可重复使用的工具（以Python函数实现），并将工具传递给一个成本效益高的工具使用者模型，用于解决后续请求中的类似实例。这种方法使得轻量级模型在保持更高的成本效率的同时，能够达到与强大模型相当的性能。
1. 制造工具：一个强大但更昂贵的模型作为工具制造者，从一些示例中生成通用且可重复使用的工具；2. 使用工具：一个轻量且更便宜的模型作为工具使用者，使用工具来解决任务的各种实例。（1）工具提议：工具制造者试图从一些训练示例中生成工具（Python函数），如果工具无法执行，报告错误并生成新的（修复函数中的问题）；（2）工具验证：工具制造者在验证样本上运行单元测试，如果工具没有通过测试，报告错误并生成新的测试（修复单元测试中函数调用的问题）；（3）工具封装：封装函数代码和如何从单元测试中将问题转换为函数调用的示例，为工具使用者准备可用的工具。
在现实世界的场景中，任务实例通常都是按顺序来的。为了适应这种数据流，团队引入了第三个LLM——分派器。具体来说，当收到一个新的任务实例时，分派器首先确定是否有适合当前任务的工具。· 如果存在合适的工具，分派器将实例及其相应的工具传递给工具使用者进行任务解决。
· 如果没有找到合适的工具，分派器将该实例识别为新任务，并使用强大的模型甚至调用人类标注者来解决该实例。鉴于分派任务的简单性，分派器可以是一个配备了适当提示的轻量级模型，这只会为整个流程增加很小的成本。结果显示，分派器可以有效地识别现有的工具，而且对于没有见过的任务也不会有显著的性能下降。
在下面这个任务示例中，需要根据给定的几个条件确定五个对象的顺序。在工具提议阶段，工具制造者（如GPT-4）会写一个通用的Python函数，能够解决任务中提供的k个示例（实验中k=3）。然后，工具制造者会生成一个搜索算法，枚举所有可能的排序，并根据给定的条件进行验证在工具使用阶段，工具使用者将每个自然语言问题转化为一系列条件，生成函数调用，利用工具解决每个任务实例。
结果显示，不管是由人类编写还是由GPT-4生成，CoT在任务完成的准确率上，都会被LATM吊打。
如表1所示，当被用作工具制造者时，GPT-4会搜索所有排列组合，并选出满足给定约束条件的，最终成功解决任务。而且，工具制造者即便是接收到了错误的信息，也依然有能力进行纠正。
在表2中，团队将思维链提示方法和LATM的性能进行了比较。结果显示，有了工具的帮助，像GPT-3.5 Turbo这样的轻量级模型可以实现与GPT-4相当的性能，并显著优于CoT提示。而且，能够利用工具的GPT-3.5 Turbo在平均成本上，也比直接用GPT-4低得多。有趣的是，对于Dyck语言任务，作为工具使用者的GPT-3.5 Turbo，甚至甚至超过了同样作为使用者的GPT-4。在研究错误的案例时，团队发现，在将问题转化为函数调用时，GPT-4有时会自发地去「解决」问题。然而，这是完全不必要的，而且还会导致函数输出错误。
此外，在所有的模型中，GPT-3.5 Turbo也有着最佳的性价比。
不过，虽然GPT-3.5 Turbo在作为使用者时表现出色，但它并不能很好地扮演工具制造者的角色。结果显示，对于像逻辑推理这样比较困难的任务，GPT-3.5 Turbo一次都没成功。也就是说，使用一个强大的模型作为工具的制造者，是很有必要的。
GPT-4和GPT-3.5 Turbo在生成新工具时的成功率
论文一作Tianle Cai（蔡天乐），是普林斯顿大学的一年级博士生。在此之前，他就读于北京大学，主修应用数学，同时兼修计算机科学。他的兴趣非常广泛，横跨机器学习的很堵领域。比如，优化，表征学习，架构设计（Transformer，图神经网络等）。宗旨就是，让机器学习更通用，更高效，更可靠。
在此之前，她于2016年在卡耐基梅隆大学计算机科学系获得博士学位，于2011年在清华大学取得计算机科学学士学位。她的主要兴趣是NLP模型的鲁棒性和公平性，以及在语言模型中实现系统化的泛化。Tengyu Ma（马腾宇）是斯坦福大学计算机科学和统计学的助理教授。他的研究兴趣广泛，包括机器学习、算法及其理论方面的课题，如深度学习、（深度）强化学习、预训练/基础模型、鲁棒性、非凸优化、分布式优化和高维统计。Xinyun Chen（陈昕昀）是谷歌大脑的高级研究科学家。在此之前，她于2022年在加州大学伯克利分校获得计算机科学博士学位，并在上海交通大学ACM班获得计算机科学学士学位。Denny Zhou是谷歌大脑和DeepMind推理团队的创始人和负责人。研究方向是通过建立和教授大型语言模型（LLMs）来解决人工通用智能（AGI）问题，实现人类水平的推理。研究突破包括：指令调整（FLAN2）、思维链提示、自洽性解码、最小到最大提示，以及LLMs的涌现特性。值得一提的是，谷歌首席执行官Sundar Pichai在2022年谷歌I/O大会上介绍了他们的工作。https://arxiv.org/abs/2305.17126
