OpenAI何以掀翻Google布局多年的AI大棋？

2017年，DeepMind最早提出了RLHF概念，这一后来解锁ChatGPT重要「涌现」能力的关键，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及游戏上的表现效果。

同年6月，Google发布NLP领域的里程碑——Transformer，成为后来所有LLM的基础架构，也为GPT铺就了前提。

2018年6月，在Transformer问世不到一年的时间，OpenAI发布了只有解码器（decoder-only）的GPT生成式预训练模型，通过大数据集进行训练，并主张通过大规模、无监督预训练+有监督微调进行模型构建。

2018年10月，Google重磅推出著名的具有划时代意义的BERT，一个比GPT大四倍，拥有3.4亿参数的大模型，几乎在所有表现上碾压了GPT。而自带光环的BERT只有编码器，用一种「完形填空」的方法，其训练效果超过人类表现，宣告NLP范式的改变。

2019年2月，被碾压的OpenAI准备背水一战，此时一个重要的命题摆在面前，BERT的大火让是否坚持做生成式模型成为一种灵魂拷问，但OpenAI坚定自己的目标——AGI，孤勇直前地践行生成式，并加倍投入，提出有15亿参数的GPT-2，并没有特别新颖的架构，它只是基于Transformer的解码器，稍做修改。尽管最初OpenAI并不愿意发布它，因担心它可能被用来向社交网络发送假新闻。

2019年10月，Google发布了统一的模型框架——T5，基于编码解码器的T5（BERT只有编码，GPT只用解码），最大模型110亿参数并开放。兼容了BERT和GPT下游任务的T5，再次让Google风光无两。

2020年5月，卧薪尝胆的OpenAI，在生成式之路一往无前，发布了规模是GPT-2两个数量级的1750亿参数的GPT-3，在业内掀起AGI热浪，也拉响了巨头规模竞赛的号角。

2021年10月，Google推出FLAN（1370亿参数），并从此开始重新转向只有解码器的模型，还提出了ChatGPT用到的Instruction Tuning概念。

2022年1月，Google再推LaMDA（1370亿参数），展示了接近人类水平的对话质量以及在安全性和事实基础方面的显著改进，并称其可能具有「意识」。所有人在当时觉得Google已在LLM遥遥领先。

2022年3月，OpenAI发表经过「魔鬼调教」的InstructGPT（1750亿参数），提到采用Instruction Finetune和RLHF，比GPT-3更擅长与人类「沟通」，但并未引起大规模的关注。

2022年4月，Google发布基于「通用AI架构」的语言模型PaLM（5400亿参数），文中提到了那一神奇的「激发」ChatGPT逻辑能力的「思维链」。

2022年9月，DeepMind发表Sparrow（700亿），加入RLHF和Retrival，但反应平平。

2022年12月，OpenAI的ChatGPT席卷而来，是InstructGPT的兄弟模型，一经问世迅速引爆全球，堪称人类对AGI里程碑的一步。

2023年2月，Google发布基于LaMDA的Bard，正式对决ChatGPT。