在长达一个小时的视频中，Andrej Karpathy 提及了很多资源、论文和概念，包括大语言模型的训练和运行、应用和发展方向、安全挑战等话题。oxen.ai一位作者对此整理了一个相关的阅读清单，方便大家可以仔细了解视频介绍中所涉及的每个主题。

作者建议在查看阅读清单之前先观看视频，因为Andrej在分解复杂话题并使其通俗易懂方面做得很好。演讲分为两个部分，前一部分介绍了LLM的一些背景和基本原理，后一部分讨论了LLM未来的研究和他提出的LLM操作系统。

背景阅读

在视频的前半部分，Andrej介绍了LLM如何训练以及如何在今天的实践中运行的一些基本原理。了解训练和运行这些模型背后的核心技术和技巧对于加深对他在演讲后面如何在 LLM 操作系统中使用这些模型的理解非常重要。

Attention Is All You Need

这篇论文堪称是大模型时代的奠基之作，论文提出了Transformer架构——当今世界最先进的大语言模型背后的核心神经网络架构。

论文链接: https://arxiv.org/abs/1706.03762 

Arxiv Dive: https://blog.oxen.ai/arxiv-dives-attention-is-all-you-need/

Language Models are Unsupervised Multitask Learners (GPT-2)

这篇是提出GPT-2的论文，论文展示了如何通过无监督学习来预测下一个词，这种方法能够使模型学习到那些没有被明确训练的任务。

论文链接:https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 

Arxiv Dive: https://blog.oxen.ai/arxiv-dives-language-models-are-unsupervised-multitask-learners-gpt-2/

Training Language Models to Follow Instructions (InstructGPT)

这篇论文提出了从GPT-3到ChatGPT的大语言模型技术，涵盖微调、RLHF和对齐。

论文链接: https://arxiv.org/abs/2203.02155 

Arxiv Dive: https://blog.oxen.ai/training-language-models-to-follow-instructions-instructgpt/

Llama-2

这篇论文提出了Llama-2模型，该模型建立在上面两篇论文的研究基础上。Llama-2是大模型开源的杰出之作。

论文链接: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models 

Arxiv Dive: https://blog.oxen.ai/arxiv-dives-how-llama-2-works/

Running an LLM locally

Andrej在视频中谈到，在本地运行大模型可能只需要大约500行C代码和模型权重，下面是示例代码的链接以及如何在本地微调和运行模型的教程。

Llama.cpp代码: https://github.com/ggerganov/llama.cpp Andrej’s code: https://github.com/karpathy/llama2.c/blob/master/run.c 

教程: https://blog.oxen.ai/how-to-run-llama-2-on-cpu-after-fine-tuning-with-lora/

RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback

人工标注通常是LLM训练和对齐的最后步骤中的瓶颈。RLAIF使用现有的LLM来帮助以比人类更快的速度标注数据，以达到类似的结果。

论文链接:https://arxiv.org/abs/2309.00267

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

DPO被提议作为RLHF的更稳定的替代品。DPO稳定、高性能且计算量轻，无需拟合奖励模型、在微调期间从 LM 采样或执行重要的超参数调整。

论文链接:https://arxiv.org/abs/2305.18290

Training Compute Optimal Language Models

这篇论文研究了语言模型中参数的数量与使用的训练数据的数量。论文表明，不断扩大参数数量和数据大小可以持续提供“更多的免费智能”。

论文链接: https://arxiv.org/abs/2203.15556

Scaling Laws for Neural Language Models

这篇论文是支撑OpenAI一直把模型做大的重要研究工作。论文研究了训练大语言模型所需的参数数量、数据集大小和计算之间的比率。

论文链接: https://arxiv.org/abs/2001.08361

Sparks of Artificial General Intelligence: Early experiments with GPT-4

这篇论文是微软对GPT-4早期版本的调查和研究。这篇论文提出GPT-4可能是早期通用人工智能的火花。

论文链接: https://arxiv.org/abs/2303.12712

LLM的未来发展

在演讲的后半部分，Andrej 深入探讨了AI 领域广泛感兴趣的研究。然后，他介绍了他所提出的LLM操作系统，他认为LLM不应被视为聊天机器人或某种“工作生成器”。相反，LLM应该被视为新兴操作系统的内核。

如果我们把LLM看作一个操作系统，我们还必须考虑使用它时可能出现的所有漏洞。Andrej 在最后一部分列出了LLM暴露的许多有趣的攻击。

系统一与系统二思维（Thinking Fast and Slow）

丹尼尔·卡尼曼 描述了一个有两个系统的思想框架。系统1快速、直观、情绪化；系统2更慢、更慎重、更合乎逻辑。

书籍链接:

https://www.amazon.com/Thinking-Fast-Slow-Daniel-Kahneman/dp/0374533555

Mastering the game of Go with deep neural networks and tree search

这是大名鼎鼎的AlphaGo对应的论文，这是计算机程序首次在围棋游戏中击败人类顶级职业选手，此前人们认为这一壮举至少还需要十年的时间。

论文链接: https://www.nature.com/articles/nature16961

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

这篇论文是今年比较出名的COT论文，论文表明，生成一组中间推理步骤可以提高LLM执行复杂推理的能力。

论文链接: https://arxiv.org/abs/2201.11903

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

这篇论文用语言模型研究了系统2思维，涉及更多的探索、战略前瞻或规划。通过这种解决问题的方法，你可以用时间换取准确性。

论文链接: https://arxiv.org/abs/2305.10601

System 2 Attention

Meta在这篇论文中增加了第二个注意力步骤，来帮助LLM决定要关注和处理什么。这一步重新生成输入的上下文，只包含相关的部分，然后在关注这些重新生成的上下文后，产生最终的回答。

论文链接: https://arxiv.org/abs/2311.11829

大语言模型操作系统

Andrej Karpathy 在视频中将LLM操作系统通过图表进行了最好的可视化。

Andrej表示，可以将LLM视为一个协调内存和工具使用来解决一般问题的过程。内存可以是交换当前正在处理的信息的提示和上下文窗口。工具可以是从网络浏览器到python代码再到计算器的任何东西。

Andrej在本节中没有明确提到任何论文。

磁盘/文件系统

这些论文在上面LLM操作系统图左下角的示例，说明了LLM如何与本地文档或数据库交互。

Retrieval Augmented Generation (RAG)

在上图中，磁盘或文件系统需要能够从本地文件中检索上下文，以便为LLM提供额外的信息，从而做出明智的预测和决策。RAG帮助查找和检索相关文档，并将它们注入提示中来帮助回答问题。

论文链接: https://arxiv.org/abs/2005.11401 

Arxiv Dive: https://blog.oxen.ai/arxiv-dives-rag/

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

与最先进的卷积网络相比，Vision Transformer (ViT) 在计算机视觉任务上取得了优异的结果，同时需要更少的计算资源来训练。这是建立在文本-图像研究（如下面的 CLIP）基础上的重要基础读物。

论文链接：https://arxiv.org/abs/2010.11929

CLIP - Learning Transferable Visual Models From Natural Language Supervision

这篇是OpenAI大名鼎鼎的CLIP模型，是DALL.E的重要工作基础，论文研究将不同模态（文本和图像）的数据映射到共享的嵌入空间中。这种共享的多模式嵌入空间使文本到图像和图像到文本的任务变得更加容易，论文同时是Stable Diffusion等模型的基础。

论文链接: https://arxiv.org/abs/2103.00020

NExT-GPT: Any-to-any multimodal large language models

研究将LLM与多模态适配器和不同的扩散解码器连接起来，使NExT-GPT能够感知输入并以文本、图像、视频和音频的任意组合生成输出。

项目链接: https://next-gpt.github.io/

LLaVA - Visual Instruction Tuning

在本文中，作者首次尝试使用仅语言版的GPT-4来生成多模态语言图像指令遵循数据。通过对这些生成的数据进行指令调整，作者引入了LLaVA：大语言和视觉助手，这是一种端到端训练的多模态模型，连接了视觉编码器和LLM，用于通用视觉和语言理解。

论文链接: https://arxiv.org/abs/2304.08485

LaVIN - Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models

这篇论文中作者提出了一种新颖且经济实惠的用于LLM视觉语言自适应的解决方案，称为混合模态适应（MMA）。

论文链接: https://arxiv.org/abs/2305.15023

Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning

这篇是Meta提出最出色的文本到视频生成工作。

论文链接: https://arxiv.org/abs/2311.10709

工具使用、软件1.0、Web浏览等

LLM本身并不擅长执行我们已经为其编写了软件（如计算器）的任务。一个数字跟在另一个数字后面的概率很高并不意味着它是正确的数字。因此，我们需要LLM能够在执行过程中调用外部工具。以下是一些探讨LLM工具用法的论文。

Toolformer: Language Models Can Teach Themselves to Use Tools

这篇论文展示了LLM如何使用工具来增强他们在简单预测下一个单词效果不佳的领域的能力。

论文链接: https://arxiv.org/abs/2302.04761

Large Language Models as Tool Makers

Google Deepmind等单位作者不仅展示了LLM如何使用工具，还展示了他们如何首先创建工具。

论文链接: https://arxiv.org/abs/2305.17126

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

论文训练了一个ToolLlama，可以使大语言模型掌握16000多个真实世界的 API，从而执行复杂的指令。

论文链接: https://arxiv.org/abs/2307.16789

越狱LLM与安全

就像传统操作系统中存在攻击向一样。LLM开辟了一系列全新的漏洞利用方式，从对网络钓鱼攻击的不当响应到通过远程函数调用窃取用户数据。

以下是探索现有攻击和可能已经解决的攻击的论文。主要的收获是，在安全方面与传统软件存在的“猫捉老鼠”安全游戏，也将以一种新的方式存在于LLM的世界中。

Jailbroken: How Does LLM Safety Training Fail?

本文研究了LLM中许多不同类型的越狱或漏洞。

论文链接: https://arxiv.org/abs/2307.02483

Universal and Transferable Adversarial Attacks on Aligned Language Models

论文作者发现了一种后缀，可以附加到语言模型上，使其能够产生令人反感的行为，并且即使该模型本来被调整为不表现出这种方式，它也会产生肯定的回应。

论文链接: https://arxiv.org/abs/2307.15043

Visual Adversarial Examples Jailbreak Aligned Large Language Models

这篇论文表明，你可以以一种编码信息的方式构建图像，而LLM将解码这些信息，并以比对工作中意想不到的方式表现。

论文链接: https://arxiv.org/abs/2306.13213

Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection

这篇工作显示了许多提示注入攻击，可以被放置到 LLM 读取的网页中，以指示它们以意想不到的方式行事。

论文链接: https://arxiv.org/abs/2302.12173

Hacking Google Bard - From Prompt Injection to Data Exfiltration

这篇博客文章展示了在Google Bard中使用扩展和工具如何导致从其他地方从您的Google帐户或生态系统中提取个人数据。

博客链接: https://embracethered.com/blog/posts/2023/google-bard-data-exfiltration/

Poisoning Language Models During Instruction Tuning

数据集通常是由用户使用LLM构建的。这项工作展示了如何用示例污染数据集，从而触发模型无法正常运行。

论文链接: https://arxiv.org/abs/2305.00944

Poisoning Web-Scale Training Datasets is Practical

本文展示了如何用恶意的知识或行为毒害大规模预训练数据集，或者只花60美元就可能损害模型的性能。

论文链接: https://arxiv.org/abs/2302.10149

结论

希望Andrej Karpathy提供的这份阅读清单能给每个人提供一个很好的起点，让大家在不断发展的大语言模型领域加深自己的专业知识。

我们仍处于AGI时代的早期阶段，还有很多工作要做。

保持思维的前沿性、并将其应用到自己的产品中的最佳方法，就是跟上研究的步伐。

关于我们