Redian新闻
>
Yann LeCun:ChatGPT缺乏创新,没什么革命性;网友:早点离开Meta做出点突破吧

Yann LeCun:ChatGPT缺乏创新,没什么革命性;网友:早点离开Meta做出点突破吧

公众号新闻

机器之心报道

编辑:张倩

在外界看来,ChatGPT 是一项巨大突破,但图灵奖得主、Meta 首席人工智能科学家 Yann LeCun 不这么认为。
自从去年底推出以来,对话式 AI 模型 ChatGPT 火遍了整个社区。

用过 ChatGPT 的人都能体会到,它是一个真正的「六边形战士」:不仅能拿来聊天、搜索、做翻译,还能写故事、写代码、debug,甚至开发小游戏、参加美国高考…… 有人戏称,从此以后人工智能模型只有两类 —— ChatGPT 和其他。

由于功能过于强大,ChatGPT 的火爆让顶级科技公司谷歌都如临大敌。谷歌内部将 ChatGPT 称为「red code」,担心它的出现会影响自家的搜索业务。因此,前段时间,许久不出山的两位谷歌创始人 —— 拉里・佩奇和谢尔盖・布林 —— 也被请了回来,就「聊天机器人搜索引擎」召开高层会议。

当然,并不是所有的科技巨头都如此恐慌。在前段时间的一次小型媒体和高管在线聚会上,Meta 首席人工智能科学家 Yann LeCun 也发表了他对 ChatGPT 的看法。

在他看来,「就底层技术而言,ChatGPT 并没有什么特别的创新,」也不是「什么革命性的东西」许多研究实验室正在使用同样的技术,开展同样的工作。

ZDNet 一篇题为「ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist」的报道披露了 LeCun 演讲的一些细节。


ChatGPT 的背后没有秘密

从报道来看,LeCun 的很多发言都在努力澄清公众对于 ChatGPT 的一些误解。

首先,LeCun 指出,「ChatGPT 并不是什么革命性的东西,尽管公众是这么认为的。」

LeCun 表示,过去很多公司和研究实验室都构建了这种数据驱动的人工智能系统,认为 OpenAI 在这类工作中是孤军奋战的想法是不准确的。「与其他实验室相比,OpenAI 并没有什么特别的进步。

「不仅仅是谷歌和 Meta,还有几家初创公司基本上都拥有非常相似的技术。」「我不是说这件事做起来很简单,但确实不只是 OpenAI 在做。如果你愿意探索的话,它背后没什么机密。」

此外,LeCun 还进一步指出,ChatGPT 及其背后的 GPT-3 在很多方面都是由多方多年来开发的多种技术组成的。

「你必须意识到,ChatGPT 使用的 Transformer 架构是以这种自监督的方式预训练的,」「自监督学习是我很长一段时间以来一直倡导的,甚至可以追溯到 OpenAI 出现之前,」他说。

另外,「Transformer 是谷歌的发明,」这类语言项目的工作可以追溯到几十年前。

「大型语言模型,第一个神经网络语言模型是由 Yoshua Bengio 在大约 20 年前发明的。以当时的标准来看,这个模型很大,以今天的标准来看,它很小。」Bengio 关于注意力概念的工作后来被谷歌用于 Transformer,并成为所有语言模型的关键元素。

此外,OpenAI 的 ChatGPT 还广泛使用了一种名为「RLHF(通过人类反馈进行强化学习」的技术,即让人类对机器的输出进行排名,以提高模型性能,就像谷歌的网页排名一样。他说,这种方法不是 OpenAI 首创的,而是谷歌旗下的 DeepMind。

「所以ChatGPT 和其他大型语言模型并不是凭空而来的,而是不同的人数十年贡献的结果。」LeCun 说。

因此,LeCun 认为,与其说 ChatGPT 是一个科学突破,不如说它是一个像样的工程实例。当然,公众体会不到这种循序渐进的感觉也很正常,毕竟不是谁都会一篇一篇去看论文。


或许是由于说话过于直白,LeCun 的言论引来了一些争议。有人批评他太过傲慢,自己没有做出类似的东西,却在别人做出来的广泛可用的产品里挑刺。


OpenAI CEO Sam Altman 似乎也闻到了火药味,专门前来讲和。


看到这些,LeCun 抓紧站出来澄清,表示自己没有「挑事儿」的意思,双方一直相处得很好,还在彼此的工作上构建了自己的项目。


Meta 未来要做什么?

不管是不是可以称之为「突破」,ChatGPT 的成功是毋庸置疑的。因此,大众不免好奇,LeCun 组建的 Meta 人工智能团队 FAIR 是否会像 OpenAI 那样在公众心目中取得突破。

对此,LeCun 的回答是肯定的。「不仅是文本生成,还有创作辅助工具,包括生成艺术,」他说,「我认为这将是一件大事。」

他表示,Meta 将能够通过自动生成宣传品牌的媒体资料来帮助小企业进行自我宣传。

「Facebook 上有 1200 万家商店在做广告,其中大多数是夫妻店,他们没有足够的资源来设计一个全新的、设计精美的广告。所以对他们来说,生成艺术可能会有很大帮助。」

在被问及为什么谷歌和 Meta 没有推出类似 ChatGPT 的系统时,LeCun 回答说,「因为谷歌和 Meta 都会因为推出编造东西的系统遭受巨大损失」。而 OpenAI 似乎没有什么可失去的。


鉴于 Meta 目前的处境,大家对于 LeCun 所描述的愿景多少有些担心。甚至有人劝他早日离开 Meta,去「有资源的地方」,做一些类似 ChatGPT 的项目或者生物医学应用研究。不知道 LeCun 本人是否有此想法。


参考链接:https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
https://twitter.com/scottwww/status/1617924797153050625


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ChatGPT之后何去何从?LeCun新作:全面综述下一代「增强语言模型」PyTorch统治学术论文,TensorFlow只占4%,LeCun:还能为啥?传奇程序员、VR大神John Carmack离开Meta,怒斥公司低效,斗争心累GPT-4发布后,其他大模型怎么办?Yann LeCun:增强语言模型或许是条路我在台湾看选举PyTorch统治学术论文!TensorFlow只占4%,LeCun:还能为啥?推荐接种流感疫苗PPT图片缺乏创意?这招简直绝了!ChatGPT封杀潮,禁入学校,AI顶会特意改规则,LeCun:要不咱把小模型也禁了?ChatGPT惹怒主流媒体!华尔街日报、CNN授权费都没付!马斯克:ChatGPT好得吓人;用户吐槽:它有时会一本正经的胡说八道LeCun:ChatGPT是「外星人」,所以才会胡说八道ChatGPT 或导致 20 种工作失业?恐怕远远不止,比尔盖茨 :ChatGPT 将改变世界又一位传奇程序员,离职了!离开MetaChatGPT与搜索引擎合体,谷歌都不香了,LeCun转发|在线可玩互联网后的又一革命性技术?听ChatGPT之父深度解读AIGC!哪些公司已站在最前沿?LeCun:ChatGPT无法实现通用人工智能,但ALM技术路线可以!LSTM之父再次炮轰LeCun:你那5点"创新"都是抄我的!却惨遭「已读不回」...比尔盖茨称ChatGPT是1980年以来最具革命性科技进步又走了一位老海归- 李桓英Prompt Engineering全面自动化:LeCun看了沉默,ChatGPT看了直呼内行同济校友借联盟年会之机在亚特兰大相聚ChatGPT爆火,LeCun心态崩了!称大语言模型是邪路,Meta模型3天惨遭下线为啥ChatGPT让LeCun酸成柠檬精?谷歌、Meta、OpenAI聊天机器人大PK!痴迷编程、厌倦低效和内斗,传奇程序员、VR大神John Carmack离开Meta必应发狂了! LeCun马库斯齐喷ChatGPT:大语言模型果然是邪路?ChatGPT带火AI芯片,赚翻了的英伟达发布新核弹:ChatGPT专用GPU,让推理提速10倍!Meta版ChatGPT来了?小扎、LeCun官宣650亿参数SOTA大语言模型LLaMA万人逃离富士康集中营疫情爆发Yann LeCun:不在乎社会规范,ChatGPT离真正的人还差得远斯坦福5.5万人研究:30年,男人长(cháng)了3厘米,但并非好事图灵奖得主LeCun评ChatGPT不算创新,被网友骂柠檬精ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇FastTrack Universität 2023莱比锡大学公立语言项目招生简章
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。