Redian新闻
>
想形容那个啥特别那什么,怎么个词来着?点进内文就有答案

想形容那个啥特别那什么,怎么个词来着?点进内文就有答案

社会

“怎么形容春天的生机让人觉得很开心?”


“如何形容消失在人海之中?”


“如何描述夏日暴雨?”


在豆瓣文字失语者互助联盟,超过 30 万人在给自己的语言能力“举哑铃”。越来越多的人患上了这种时代病——不知如何将感受化为文字,或话到嘴边却发现词不达意、言不由衷。在厌倦了网络用语复读机似的轰炸之后,我们如何找回正常的语言表达?


机器有答案。



输入你想要表达的意思,就能获得对应的词语,名为 WantWords(曾叫做“万词王”)的“反向词典”工具拯救了失语的人们。输入“平静中有一点点开心的状态”,就会给出“怡然自得”、“恬然自足”、“泰然”这样的结果,也会让人偶遇一些生僻词汇,像是“塌心”、“姁”、“松范”、“逸豫”,也都表示心情安定愉悦。


系统每次都会给出 100 个词语,背景色由深至浅,代表系统心目中这个词的接近程度。但通常,在前十个词里你就能找到自己想要的那一个(正式研究中,前十个词的命中率是75%)。每天,有两万多用户用它处理失语和词穷的困扰。


图片来源:影视截图


它怎么能“猜”得这么准?


以下为这个反向词典系统开发者的讲解(岂凡超,清华大学计算机系博士生,主要研究人工智能和自然语言处理):


WantWords 的运作原理跟人类的思维模式有些相像。


当人类根据一个描述去猜词的时候,脑子里会经历一个怎样的过程呢?我们常常也不是一下就知道答案的,而是从多个方面,先去做推测。


比如,“ road where cars go very fast ”,车在上面走得很快的路。


乍一看,你可能不知道具体对应的是哪个词,但肯定知道这指向一个名词。英文语境下,你会猜它大概包含 way 这个词素;中文的话,你会猜,这个词很可能包含“路”、“道”等字。


这些信息拼贴在一起,就可以帮助你推断出,它可能是“expressway”、“快速路”、“高速公路”这样的词。


当你在 WantWords 中输入一句话时,我们的模型也会经历一个这样的过程,先分析这句话都体现出词语的哪些特征:是形容词、名词、动词还是副词?它里面有哪些词素?再去找拥有对应特征的词。


expressway 能分离出“快”和“路”两个词素丨受访者供图


看起来,好像只是给输入和输出加了几道筛选条件,但却很有效地弥补了传统反向词典的一些不足。


  和人一样,机器也拼阅读量  


在此之前,英文世界已经存在多部反向词典。


它们背后的技术,是人工智能领域最主要的分支之一——自然语言处理(Natural Language Processing,NLP),一项旨在让机器理解和说出人类语言的技术。


图灵奖得主, AI 三巨头之一的 Yoshua Bengio(约书亚·本吉奥)曾表示:能否将反向词典任务做好是衡量 NLP 模型学习能力的一个重要的指标。


因为人类的语言表述是多样且复杂的。如今,机器已经能在特定任务上做得很好,比如客服、问答,但如果你只是随便跟它说点什么,它可能就不太理解。


而反向词典本质上就是通过随机的一句话,找到语义相近的一个词。显得机器很懂你。


2000 年,Bengio 提出了“词嵌入”(word embedding)技术,将人类语言转化为机器能够理解的“语言”,也就是数字(词向量)。2013 年, Google 发明的一套工具大幅提高了这个过程的效率。


“词嵌入”为代表的一系列向量表示学习技术赋予了语义的可计算性。根据运算结果,就可以判断两个向量背后的语言单元在语义上的相似性——不出意外的话,离得越近越相似,离得越远越无关。


词向量示意图(意思相近的词语聚在一起)丨受访者供图


本质上,机器并不理解,它只是越来越精确地识别词语之间的相对位置。


就像我们有的时候看书,或者学习一门外语。手边没有词典,不让你查不认识的词是什么意思,但当看到一个词经常出现在特定的上下文之中,久而久之,很多人也能理解它的意思。


我们也会塞给机器大量的文本,随着“语料”喂得越来越多,机器就开始明白:为什么这几个词会连在一起?为什么这个词后面经常出现那个词?


这都是有一些潜在规律的,这就是它的特征。


机器从大量文本中学习丨unsplash


现在这样的语料库很多,最大的包含上百亿个词语。拿着训练好的词向量,去做词语之间相似度的关联是很简单的。


这也是我们实验室在做的事情,训练词向量,拿它们去做应用。但在这个过程中,我们发现了一个问题:对于一些词,机器总是“学”得不太好。


比如低频词,它们在文本中出现的次数很少。出现次数少,对模型来说,就很难准确地学到它的意思。


还有就是一些相关词,可能会有很相近的词向量,因此被机器误判为同义词。


比如“汽车”跟“轮胎”或者“马路”。它们肯定不是一个意思,但因为平时在文本中经常会一块儿出现,这就会让模型误以为,它们是差不多的。


问题还会出现在反义词身上。“我很‘喜欢’这个苹果”,“我很‘讨厌’这个苹果”。你会发现,上下文完全一样啊,那模型就会误以为“喜欢”和“讨厌”是一个意思。


为解决这些问题,就要去借助语料之外的东西了。


  以人类的知识约束机器  


于是我们就想到,可以人为地加上几层筛选条件,让机器更容易找到那个“正确的”词。


除了词性、词素这两个词语本身具有的特征,我们还加入了两个人为规定的外部特征。


一个叫“层次体系”。这个系统会区分一个词是实体还是概念,实体下面又会分出各种各样的实体。


英语词语的层次体系实例丨受访者供图


另一个叫做“义原”。在语言学里,它被定义为语义的最小单位。词是语言学中最小的单位,但从语义上还可以再去拆分。比如“男孩”这个词,它的意思可以被分成“人类”、“男性”、“儿童”。


义原能帮助机器更灵活地表达和理解一个词的意思。像“ expressway ”这个词,它其实有个义原,就是“道路”,还有一个义原是“快”。这两个义原都能在原本的那一句话描述中找到相应的词语。


这四个特征相当于在原本的结果上,又加了很多筛选条件。


回到之前那个例子,“汽车”和“马路”的词向量有点近,因为它们经常同时出现。但这两个词,类别也不一样,义原也不一样,机器就还是能明白:它们是两个不一样的词。


词语的义原标注示意图丨受访者供图


词语的义原信息来自于义原知识库。因为义原并非显式存在,只能由人来定义,有哪些义原,以及一个词应该被标有哪些义原 —— 所以这个过程有点像编词典。


我们使用的 HowNet 义原知识库从上世纪 90 年代就开始构建,“编词典的人”是董振东和董强先生父子。他们在上面投入了十几年的时间,2000 年代初完成第一版并发布,后续不断更新和扩充。


如今,HowNet 已经是一个非常有特色的知识库,也成为中国给世界自然语言处理领域的重要贡献。


OpenHowNet Logo丨受访者供图


2019 年,董振东先生过世,我们实验室主要是我把 HowNet 知识库的构建和维护接了过来,将其开源并重命名为 OpenHowNet。我的主要研究方向之一就是基于 HowNet 去做各种各样的自然语言处理应用。比如,它目前只有中文和英文,我们正尝试将其扩充到两百多种语言。


我的博士论文也与此相关:如何将义原代表的人类知识,与现在深度学习这种纯数据驱动的模型结合起来,来让计算机更能理解人类语言。


义原的应用也为这个时代热议的“人工智能偏见”提供了一种解决思路。


我们当然可以用单纯用语料,喂出一个很懂概率,且越来越准确的模型,但数据中那些固有的偏颇是无法通过数据量的堆积而消除的。这种偏颇不是机器的问题,它只是对投喂信息的反馈——当这些信息自带偏见时,机器输出的结果必然也是有偏见的。


当我们用人类的知识给机器加上一层约束,机器就能变好一些。


  但人们最喜欢的仍是同义词替换功能  


WantWords 反向词典的第一版产品最早在 2019 年就做出来了,主要由我和实验室的另一名同学张磊合作完成。


在我们思考义原知识库的应用时,发现了这种可能,就去做了探索。这时看到国外有 OneLook (英文反向词典)这样的产品,而国内并没有,就想着可以在研究的基础上做一个演示系统。


一开始真的是一点经验都没有,工程整个就是一塌糊涂。演示系统出来之后也没有做任何推广,只是身边的同学用完反馈说还不错。就这样一直放着,可能一天也才几百不到一千的访问量。


直到去年 11 月的时候,突然被一家科技媒体在微博上推荐,一下子涌进来好多人——当时网站就崩溃了。


科技媒体发博推荐 WantWords丨受访者供图


因为没有人维护,我们也不看微博,崩了三四天都没发现。直到有一家做笔记工具的公司的人联系过来,想合作,我们才知道这件事。


我们当即对服务器进行扩容,同时我们想既然大家喜欢用,可以再去做一些改进,就开始做迭代,调试网页端的各种功能。其实都不是很大的更新,加起来可能最多一个月的工作量,但因为我们都有研究或者工作在身,进度比较慢。


用户量放上来之后,很多人就在后台留言,说很喜欢这个产品。还有人说希望开发 app 、小程序,甚至有志愿者提出说可以帮我们开发。


最开始有人提出愿意帮我们做小程序,后来愿意帮忙的人越来越多,到现在整个志愿者团队已经有 13 个人,有做小程序开发的,有做 app 的。志愿者有来自北京和深圳的前后端工程师,有来自新加坡的设计师,也有在美国的产品经理。


图片来源:微博截图


把它当成一个产品去做之后,我们发现,实际应用时人们的用法跟我们的想象是有差别的。


现在平台每天的查询量有二十多万。从后台数据看,绝大部分人还是在用它查同义词、相关词或者反义词。


虽然我们本意不是想做这个。这个词典更大的价值在于,能根据人们的一句话描述,找到意义对应的词汇。同义词替换本身并没有什么技术含量,很简单的。


但我们也希望它作为产品是好用的。所以在迭代更新的时候,就更加着重满足以词查词的需求。在正在做的新版本里,我们增添了很多好玩的功能。


比如最简单的,你想找 aabb 形式的词(花花绿绿),想找中间包含一个特定字的词,想找表达正向或负向情绪的词;还可以找谐音梗,比如你输入朱广权、李佳琪,词典就能帮你找像“小猪佩奇”这样带谐音梗的词。


同时,我们也支持更多类型词语的查询,包括古汉语词、专业术语、网络流行语等,在将来还会支持日语、法语等其他语言的词语。我们希望将它打造成互联网最好用的查词工具,帮更多人解决词穷的问题。


  其实,有的时候机器已经比人更会说话了  


五年前,我选了自然语言处理作为自己的研究方向。当时这个方向当时还没有像现在这样热门,我心想等到毕业的时候,也许就正好起来了。


结果确实如此。尤其是 GPT-3 出现之后,它的应用给整个行业都带来很大的激励。也正是这个领域的飞速进步让我们的“反向词典”能够达到现在的效果。


GPT-3

马斯克创办的 OpenAI 人工智能研究室创建的语言模型,于 2020 年 5 月推出。它利用深度学习生成自然语言文本。文本质量之高,“在硅谷引发一阵寒意”(《连线》),也引发 AI 生成文本的风潮。英国的《卫报》曾发表过一篇完全由 GPT-3 撰写的报道,主题为阐释为何 AI 对人类是无害的。


其实到目前,在很多的语言处理任务上,机器的能力已经超过了人。


有一些专门用于测试语言能力的任务榜单,中英文版本都有,里面有各种各样的问题,比如让你判断两句话是不是表达一个意思,给你前一句话能不能推出下一句话,等等。


让机器跟人分别去做,现在最好的模型做出来的正确率,已经超过人类的平均水平了。


机器做得比人好,早已不是新鲜事|Unsplash


尽管如此,人们还是在不断探索,很多时候,这种探索会走在实际应用的前面。像 WantWords ,它在研究上的意义就远远大于目前作为一个应用系统的意义。


我们老师一直都说,要做面向实际应用的研究。这个过程中会发现很多新的问题,比如查到的词不那么好,该怎么把一些无关的词去掉之类的。


我们在准备的一篇论文,就是围绕第二版反向词典,它使用的又是一套完全不同的原理架构。具体原理嘛,现在还不能透露。


参考文献

[1] https://wantwords.net/

[2] https://www.douban.com/group/715666/

[3] https://arxiv.org/pdf/1912.08441.pdf

[4] https://aclanthology.org/2020.emnlp-demos.23.pdf

[5] https://openai.com/blog/openai-api/

[6] https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 

[7] https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/


作者:翁垟

编辑:卧虫



本文来自果壳,未经授权不得转载.

如有需要请联系[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
好书秒抢回来了!懂的直接点进来!虚伪至极,桑德尔一点进步都没有香港选出新特首!外媒曝李家超绰号,竟是这个词投资2.2亿,拍出这么个垃圾玩意儿?因为全球变暖,人们每年少睡了44小时!为什么温度高睡不着?丨夜听双语看了10分钟,美到睡不着?为什么晚上都累成狗了,还是睡不着?怕什么来什么,盼什么没什么多国出现不明原因儿童肝炎!肝炎到底是个啥?这就复工了?我是干啥的来着...如何获得海绵宝宝同款开心?这里有答案!【有奖】疯了?迪士尼新版匹诺曹找了这么个人来扮演“蓝衣仙子”,獠牙、爪子加鼻环让定妆照无比魔幻……怎么,人人夸这狗血八角恋?扯白||你是否敢说,自己一直随心所欲地活着?艾梅伯被曝患有边缘性人格障碍和表演型人格,一直在模仿德普的穿着?!我国第一批工学博导名单(一)唉。做公关和营销的朋友们,请你点进来讨论一下。不是说2022缺芯结束么,怎么都开始囤洗衣机拆芯片了?纽约,雷暴+大雨!今年第1个飓风登陆美国,12 英寸豪雨淹进内陆,污水厂冒溢,很多司机爬天窗逃生…放几个有关北京冬奥会的马后屁能量其实一直是一笔糊涂账甲小姐对话李开复:科幻想要什么,AI该要什么 | 甲子光年豪宅一露面就被抢空!外国买家:300万欧算个啥,我回来了还在撑着?不妨尝试一下“家庭疗法”一手捧红徐峥,却被出轨了13次,提倡“开放式婚姻”,影后陶虹,到底图个啥?也谈改姓。。。我的姓。。我的妈妈呀,求您别那么伟大行不行……行业应用“真香”,5G网络为何还吃不着?刘润:上海社会面清零,你必须理解这9个词蘑菇也会说话,还能说50个词!不,它可能只是在吧唧嘴!扑克牌 K 是 King,Q 是 Queen, J 是哪个词?不是 Joker!"战争"游戏中的轴心国作用和启示莫那什“强制”线下考试惹争议!澳境内学生直呼不公平!近2000人签名请愿书,求网考!植物神经紊乱的病因究竟是什么,植物神经紊乱怎么办?教你3种方法来调节!七言 | 不想上班怎么办,终于有答案了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。