LangChain:简化大模型应用
LangChain 框架提供了常见用例的抽象,简化了大型语言模型(LLM)(如 OpenAI GPT4 或 Google PaLM)的应用。它支持 JavaScript 和 Python。
为了弄清楚为什么需要 LangChain,我们先来看下 LLM 的工作原理。
本质上,LLM 是统计模型,它可以从一组给定的文本块(从一个字符到几个单词都可以)预测下一组文本块。
起初的文本块称为提示,提示工程是一门通过提供最合适的提示集来优化 LLM 预测结果的艺术。
虽然 LangChain 提供了许多工具,但其最核心的功能包括以下 3 项:一个抽象层,使开发人员能够使用一组标准化的命令与不同的 LLM 提供者进行交互;一套工具,通过实施一组最佳实践来形式化提示工程的过程;将 LangChain 提供的各种组件链接在一起以执行复杂的交互。
下面的 JavaScript 示例演示了如何创建和执行只包含一个提示的最简单的链。
const model = new OpenAI();
import { PromptTemplate } from "langchain/prompts";
const prompt = PromptTemplate.fromTemplate(`Tell me a joke about {topic}`);
const chain = new LLMChain({ llm: model, prompt: prompt });
const response = await chain.call({ topic: "ducks" });
当然,使用单个组件的链并不是很有意思。通常,比较复杂的应用程序会使用多个组件来生成所需的结果。
我们将用 SimpleSequentialChain 做个演示,它会按顺序运行多个提示。在这个例子中,我们向 LangChain 提供一门语言,并要求它使用这种语言写一个笑话,然后我们要求它将其翻译成西班牙语。
const translatePrompt = PromptTemplate.fromTemplate(`translate the following text to Spanish: {text}`);
const translateChain = new LLMChain({ llm: model, prompt: translatePrompt });
const overallChain = new SimpleSequentialChain({
chains: [chain, translateChain],
verbose: true,
});
const results = await overallChain.run("ducks");
注意,通过将 verbose: true 传递给 SimpleSequentialChain,我们可以看到生成过程,这样便于调试。
当然,LangChain 所能做的远不止链接几个提示。它包括两个模块,允许开发人员扩展与 LLM 的交互,而不仅仅是实现简单的聊天。
Memory 模块使开发人员能够使用各种解决方案(从使用 Redis 和 DynamoDB 等外部数据库到简单地将数据存储在内存中)跨链持久化状态。
Agents 模块使链能够与外部提供者进行交互,并基于它们的响应执行操作。
感兴趣的读者可以在 LangChain 官方的文档站点上查看完整的文档以及更复杂的示例。
开发人员需要注意,LangChain 仍在积极开发之中,在生产环境中使用时应谨慎处理。
原文链接:
https://www.infoq.com/news/2023/07/langchain-llm-made-easy/
声明:本文为 InfoQ 翻译,未经许可禁止转载。
爱奇艺VR公司业务停滞,员工或被欠薪;阿里云开源通义千问 70 亿参数模型,免费可商用;华为正式发布鸿蒙 4,接入大模型|Q资讯
微信扫码关注该文公众号作者