大模型，到底是怎么生成文字的？

通过这种层层抽取，GPT模型可以学习到非常深层次的语言规律。

当GPT模型生成文本时，它会根据已有的文本，预测下一个单词，整体就是通过这种方式，生成连贯的文本。

当然，这只是一个非常简化的版本。实际上，GPT模型的工作原理还涉及到很多复杂的数学和计算机科学知识。

03

大模型的四种应用技术架构

大模型的厉害之处，其实不止在于它很像我们人学习语言，而更大的作用在于它未来会改变我们的生活和职场。从整体现有最新的架构来看，其实有四种大模型的应用架构，从上往下，依次从简单到复杂。

第一种：Prompt（指令工程）

指令工程听着好像很遥远，其实就是通过下面这个输入框触发的：

看上去简单，但这个很考验一个人写prompt的“功力”。

prompt的作用就是通过引导模型生成特定类型的文本。一个好的prompt可以引导模型以期望的方式生成文本。例如，如果我们想让模型写一篇关于全球变暖的文章，我们可以给模型一个prompt，如“全球变暖是一个严重的问题，因为…”。模型会根据这个prompt生成一篇文章。

这种方法的优点是简单直观，但缺点是可能需要大量的尝试才能找到一个好的prompt。

第二种：Function calling（函数调用）

Function calling是一种更深入的应用架构，它通过调用模型的内部函数，直接获取模型的某些特性。

例如，我们可以调用模型的词向量函数，获取单词的词向量。

这种方法的优点是可以直接获取模型的内部信息，但缺点是需要深入理解模型的内部结构。

第三种：RAG（Retrieval-Augmented Generation）

RAG是一种结合检索和生成的应用架构。

在这种方法中，模型首先会检索相关的文本，然后用这些文本作为输入，让模型生成答案。

例如，如果我们想让模型回答一个关于全球变暖的问题，模型可以先检索到一些关于全球变暖的文章，然后根据这些文章生成答案。

这种方法的优点是可以利用大量的外部信息，提高模型的生成质量。但缺点是需要大量的计算资源，因为需要对大量的文本进行检索。

第四种：Fine-tuning（微调）

Fine-tuning是一种在特定任务上进一步训练模型的应用架构（如计算钢材的消耗量等等）。

在这种方法中，模型首先会在大量的文本上进行预训练，学习语言的基本规律。然后，模型会在特定任务的数据上进行fine-tuning，学习任务的特定规律。

例如，我们可以在情感分析任务上fine-tuning模型，让模型更好地理解情感。

这种方法的优点是可以提高模型在特定任务上的表现，但缺点是需要大量的标注数据。

最后的话

总的来说，GPT大模型生成结果的原理，就是通过学习语言的规律，然后根据已有的语境，预测下一个单词，从而生成连贯的文本。这就像我们人类说话或写文章一样，根据已有的语境，预测下一个单词或短语。只不过，GPT模型的学习能力和生成能力，远超我们人类。

我们可以看到，AI在学习我们人类，它们不知疲倦，孜孜以求，我们人类也应该向它们学习，不带批判和有色眼镜的看待身边人的观点，用仅剩的群体智慧来继续引领我们走向下一个新世界。

后续还会对四种技术架构进行深入探讨，欢迎交流~

希望带给你一点启发，加油。