i-Weekends | 周末闲聊好对象：那些不可错过的大语言模型系统

斯坦福大学人工智能实验室主任克里斯朵夫·D·曼宁曾对NLP的发展进行了综合性的回顾与展望，被认为是目前为止最客观、科学的梳理。曼宁将自然语言处理的发展历史分成了以下四个阶段，我们快速学习一下：

| 阶段一 1950年-1969年

二战期间，各国使用计算机进行密码破译技术方面的巨大突破，人们开始将NLP技术用于翻译；到在冷战期间，各国的研究人员希望有工具和系统可以帮助本国迅速学习其他国家的科学成果并纳为己有。在这一阶段，人类对于人工智能或者是机器学习基本毫无概念，所使用的数据量和计算量和今天比起来也几乎不值一提，但是这些工具和系统形成了 NLP 的早期雏形。

| 阶段二 1970年-1992年

在这个阶段，NLP 系统在对句法和引用等的识别与理解等方面都有了显著提升，一些NLP系统已经被用于数据库查询等任务中。同时，语言学以及以已有知识为基础的人工智能也快速进步着。

斯坦福大学开发的 SHRDLU 系统、哈佛大学教授比尔·伍兹（Bill Woods）开发的 LUNAR 系统是这一阶段的代表性系统。尽管这些系统只是由程序员基于规则而人工编程构造的系统，但无论是在复杂性还是在深度方面都得到了巨大的提升。

| 阶段三 1993年-2012年

NLP 的发展方向在这一阶段发生剧烈转变：人们对于数字文本的使用巨幅增加，算法也迅猛发展，人们开始通过使用大量的文本来开发可以实现一定程度的语言理解的系统，并进一步通过更多的文本来提高系统的语言理解能力——这也为今后的 NLP 领域的基于经验的机器学习模型奠定了基础，成为NLP 领域主要的发展方向之一。

| 阶段四 2013年-至今

从 2013 年至今，随着深度学习和人工神经网络的迅速发展并引入 NLP 领域， NLP 发展进入了第四阶段。

从 2013 年到 2018 年间，在深度学习的驱动下，对距离较远的上下文进行建模，并理解其中具有类似含义的单词或短语，对于 NLP 系统来说已经是轻而易举；2018 年，随着大规模自监督神经网络学习在 NLP 领域的成功，NLP 系统的能力实现了质的变化——大语言模型（Large Language Models，LLMs）应运而生，把NLP的能力带上了新的高度。 

01 超好玩的微信WeLM

我们在引言中为大家推荐的，就是微信推出的大语言模型系统WeLM，全名为Well-Read Language Model（可以被翻译成：学富五车的语言模型😃）。WeLM通过学习来自中文网页、各种语言的书籍、新闻、论坛数据和学术论文等百亿级的参数，最终成就了一个高情商“语言大师”。

目前，WeLM线上Demo目前释出的功能包括对话-采访、阅读理解、翻译、改写、续写以及自由任务。有了WeLM之后，大家不仅可以更自信自如地和喜欢的人对话，还能穿越时空和古人聊天（比如李白），甚至还能搞文学创作。此外，就算跨语言聊天，进行翻译、三语夹杂也难不倒WeLM，假以时日，它的逻辑思维能力也足以驾驭阅读理解题。

以下是包教包会的WeLM教程：

在正式开始跟WeLM玩耍之前，记得要先给模型扔一段简单的「范文」，也就是「prompt」。在线网站会给出一些默认的prompt，当然，我们也可以自行修改设计，需要遵循的设计原则是：第一，描述清楚；第二，例子具备代表性（多个例子更好）。

以文本分类任务为例，prompt应该长这样：

首先，把分类任务用自然语言清晰地表达出来，在上面这个示例中，「微博」即为输入，「类别」即为输出；接着，在第一句的指令型描述中，需要把可能的分类结果都列出来；最后，如果效果不佳，可以尝试加入更多例子，让WeLM更清楚你到底想要做怎样的任务。

另外，正如前文所说，WeLM拥有零样本学习能力，所以我们直接把它当作问答搜索引擎来用，也不是不行。

以下是一些网友与WeLM的精彩训练成果。

1）问李白：「要是能重来，我要选李白」，请问你自己有什么看法？李白：我要选杜甫。

2）高情商说话教程101：

3）高水平续写拯救词穷人士：

02  拯救词不达意的两款神器

天气太热只会念叨一句“热死了”、遇到很开心的事只会说“太爽了！”，发朋友圈翻来覆去才憋出几个字......生活中和工作中，有太多词不达意的瞬间需要被拯救，清华大学自然语言处理实验室稳准狠地找到了这一痛点。

在微信端搜索“深言科技服务号”，会看到WantWords和WantQuotes两款神器。

在WantWords中，只要用户输入想表达的意思，就会有无数个词语跳出来，协助用户找到最想要的那个词。比如输入“这风景好美”，除了有意思相近的二字词，还有上百个四字成语：江山如画、山清水秀、风月无边、水秀山明”等，还有不常看到的“风光旖旎、云舒霞卷、千岩竞秀等等，都可以用来形容美景。

而WantQuotes则更让人惊艳：输入想表达的意思，就会有大量名言名句来丰富你的语料库，包括但不限于古今中外的名言名句、古诗文、谚语、俗语、歇后语，甚至还能找到动漫、影视剧、综艺里的台词，通过设定分类，基本都能找到。

例如依然输入“风景好美”，WantQuotes出来的便是：苏轼的“水光潋滟晴方好，山色空蒙雨亦奇”；席慕蓉的“说天气真好风又轻柔，还能在夕阳下疲倦的微笑”；林清玄的“清晨滚着金边的红云，午后飘过慵懒的白云，黄昏燃烧炽烈的晚霞，还有有时散得干净的天空”......

03 让语音聊天不再智障的LaMDA

LaMDA全称是LanguageModel for Dialogue Applications，它是由谷歌推出的一种能力更强的语言模型，适用于对话应用程序。

基于谷歌在2017年发布并开源的神经网络架构Transformer，LaMDA可以被训练阅读一组单词（比如一句话或一个段落），并且关注这些单词之间的联系，然后预测接下来会是什么单词。与其他模型不同的是，LaMDA在对话方面接受了更多训练。

在谷歌I/O大会上，LaMDA充分展示了强悍的对话能力。演示环节中，LaMDA扮演了冥王星的角色，与用户进行对话。

在示例场景中，LaMDA能够根据用户的提问作出精准回答，而且还能够将一个主题，引向另一个主题，不断推进对话。这种主题的过渡并不突兀，显得自然而合理。

以下为小编找到的对话实录：

这种对话给人的感觉，就像是在和一个知识渊博的朋友聊天。虽然话题天花乱坠、不断涌现，但LaMDA总能接住话茬，并且自然而然地展开对话。

另一个演示中，LaMDA也展现了高超的对话能力。

在这个演示中，LaMDA扮演的角色是一架纸飞机。以下是小编找到的又一段对话实录：

LaMDA的这些回复都不是预先设定的，而是自然生成的——这也就意味着，LaMDA不必再经过专门的训练才能进行另一次对话，也不会作出重复的回答。

这两个示例中，仅凭寥寥几语就能看出LaMDA使问题应答更有意义了，而这就是理解对话语境能力带来的结果。在这样的能力辅助下，LaMDA表现得相当理智和机敏。

谷歌也表示，理智和特异性并不是LaMDA所追求的唯一品质，他们还注重洞察力、幽默感等能力。与此同时，谷歌也非常关注事实性问题，也就是LaMDA的回答是否符合事实，毕竟对于一个语音助手来说，有趣很重要，正确更重要。

想尝试的朋友可以通过谷歌对外开放的AI Tech Kitchen （https://aitestkitchen.withgoogle.com/）与LaMDA开展有趣的对话。