Redian新闻
>
AI大战升级!Meta推出先进大型语言模型,下一个ChatGPT不远了?

AI大战升级!Meta推出先进大型语言模型,下一个ChatGPT不远了?

公众号新闻

ChatGPT的爆火引爆了AI行业,全球科技巨头争相杀入这一领域展开混战。周五,Meta也宣布推出大型语言模型LLaMA,加入到由微软、谷歌等科技巨头主导的AI“军备竞赛”中。

当地时间2月24日,Meta宣布将推出针对研究社区的“Meta人工智能大型语言模型”系统(Large Language Model Meta AI),简称“LLaMA”。

同ChatGPT、New Bing不同,LLaMA并不是一个任何人都可以与之对话的产品,也并未接入任何Meta应用。更为确切地说,该产品将是一个开源的“研究工具”。

公司CEO扎克伯格在社交媒体上表示,LLaMA旨在帮助研究人员推进研究工作,LLM(大型语言模型)在文本生成、问题回答、书面材料总结,以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。

开源的“研究工具”

Meta表示,LLaMA可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者,正在接受研究人员的申请。

此外,LLaMA将提供底层代码供用户使用,因此用户可以自行调整模型,并将其用于与研究相关的用例。与之截然不同的是,谷歌旗下的DeepMind和OpenAI并不公开训练代码。

该公司还表示,LLaMA作为一个基础模型被设计成多功能的,可以应用于许多不同的用例,而不是为特定任务设计的微调模型。

比GPT3.5性能更强

根据Meta官网介绍,LLaMA包含4个基础模型,参数分别为70亿、130亿、330亿和650亿。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练,而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。

Meta表示,在大多数基准测试中,参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B,而LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。值得一提的是,近期大火的ChatGPT便是由GPT3.5提供支持。

Meta 还提及,LLaMA-13B对算力的要求“低得多”,可以在单个数据中心级GPU(Nvidia Tesla V100)上运行。

扎克伯格写道:

“Meta 致力于这种开放的研究模式,我们将向 AI 研究社区提供我们的新模型。”

值得一提的是,去年5月,Meta 也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的,这构成了其聊天机器人 blenterbot 新迭代的基础。后来,该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型,但因经常分享偏见和不准确的信息而遭到下架。

据媒体报道,扎克伯格已将人工智能作为公司内部的首要任务,其本人也经常在财报电话会议和采访中谈论它对改进 Meta 产品的重要性。媒体分析称,虽然现在 LLaMA 没有在 Meta 产品中使用,但未来不排除使用的可能。

最近微信改版

经常有读者朋友错过推送

星标🌟“华尔街见闻”

及时接收新鲜推文


本文不构成个人投资建议,不代表平台观点,市场有风险,投资需谨慎,请独立判断和决策。


ChatGPT战局越来越大

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
通向 AGI 之路:大型语言模型(LLM)技术精要FastTrack Universität 2023莱比锡大学公立语言项目招生简章周五云讲堂 | 王子涵:大型语言模型及其应用ChatGPT爆火,LeCun心态崩了!称大语言模型是邪路,Meta模型3天惨遭下线基于重排序的新量化方法RPTQ:实现大型语言模型的 3 比特量化大型语言模型也能跑在浏览器上了!又一ChatGPT平替诞生,训练成本8.5万美元巨头ChatGPT大战陷败局,竟因嫌GPU太贵!Meta用CPU跑AI,点错科技树GPT-4要来了!一文看尽大型语言模型的过去、现在、未来Meta发布全新大语言模型,号称比ChatGPT更强,单GPU上就能跑,后续或将开源单卡就能跑的大模型等效GPT-3!Meta发布大语言模型LLaMA,大小从7B到65B不等ICML征稿禁止使用大型语言模型,LeCun转发:中小型模型可以用吗?ChatGPT讲座:ChatGPT并不神秘,但ChatGPT很神奇Meta发布全新大型语言模型LLaMA大型语言模型综述全新出炉:从T5到GPT-4最全盘点,国内20余位研究者联合撰写《花开富贵》细颈瓶是最不负责任、最厚颜无耻的人褪黑素能预防睡眠不足导致的记忆缺陷;大型语言模型综述全新出炉:从T5到GPT-4最全盘点|本周论文推荐咀外文嚼汉字(194)中日“南蛮”各不同讲座预告 | 软件工程学院博学论坛第十五期:自然语言处理与大型语言模型的挑战与探索一位论文作者火了,ChatGPT等大型语言模型何时能成为论文合著者?“地表最强”聊天机器人ChatGPT横空出世!马斯克直呼:我们离强大到危险的 AI 不远了ChatGPT 之后,下一代大型语言模型在哪里?大型语言模型综述全新出炉!从T5到GPT-4最全盘点,国内20余位研究者联合撰写瑞士卢塞恩(Lucerne),山山水水春天先遣者,冬后一阳升InfoQ 2023 年趋势报告:影响组织文化的两个最大的因素是大裁员和 ChatGPT 等大型语言模型谷歌出品:基于大型语言模型的语义解析方法Meta 推出新的大型语言模型;比亚迪今年首次降价;AI 生成语音骗过银行验证系统 | 极客早知道Meta最新语言模型LLaMA论文研读:小参数+大数据的开放、高效基础语言模型阅读笔记ICML 2023禁止使用大型语言模型写论文!LeCun转发:中小型模型可以用吗?大型语言模型的推理演算Meta版ChatGPT来了?小扎、LeCun官宣650亿参数SOTA大语言模型LLaMA比 ChatGPT 更早发布的微信大语言模型,现在什么水平?百篇论文纵览大型语言模型最新研究进展让ChatGPT长“手”!Meta爆火新论文,让语言模型学会自主使用工具
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。