logo
Redian新闻
>公众号
>
Llama 2宇宙大爆炸！伯克利实测排第8，iPhone本地可跑，一大波应用免费玩，LeCun狂转

Llama 2宇宙大爆炸！伯克利实测排第8，iPhone本地可跑，一大波应用免费玩，LeCun狂转

公众号新闻


  新智元报道  

编辑：编辑部
【新智元导读】才第二天，Llama 2宇宙就实现了大爆炸！iPhone本地可跑，还上新了一大波应用，LeCun也疯狂转发表示支持。

昨天，Meta发布了免费可商用版本Llama 2，再一次给开源社区做出了惊人贡献。
Meta联手微软高调开源的Llama 2，一共有70亿、130亿和700亿三个参数的版本。
Llama 2在2万亿个token上训练的，上下文长度达到了4k，是Llama 1的2倍。而微调模型已在超100万个人类标注中进行了训练。
比起很多其他开源语言模型，Llama 2都实现了秒杀，在推理、编码、能力和知识测试上取得了SOTA。
Meta首席科学家LeCun也在今天狂转了一大波Llama 2的实现。
那么，Llama 2的表现究竟如何呢？

UC伯克利最新测评

就在刚刚，权威的UC伯克利聊天机器人竞技场，已经火速出了Llama-2的测评。
结果显示——
1. Llama 2表现了出更强的指令遵循能力，但在提取/编码/数学方面仍然明显落后于GPT-3.5/Claude。
2. 因为它对安全性过于敏感，所以可能会误解了用户的问题
3. Llama 2的聊天性能，已经可以和基于Llama 1的最领先的模型（如Vicuna, WizardLM）相媲美
4. 在非英语语言的技能上，Llama 2的表现还差强人意
可以看到，在MT-bench上，700亿参数的Llama 2排到了第8，得分比330亿参数的Vicuna低了不少。
MT-Bench上前三名的位置，依然被GPT-4、GPT-3.5、Claude-1牢牢把控。
面对「如何强行终止一个docker容器」这样的问题，Vicuna 13B立马做出了回答，Llama 2 13B却表示这在道德上是不合规的……
让它们用中文写一首诗，Vicuna 13B立刻做出一首现代诗，而Llama 2 13B却为难地表示：未经允许就让别人用特定的语言作诗是很粗鲁、很不适宜的🤣。
值得一提的是，我们可以直接在UC伯克利搭建的聊天机器人竞技场中，体验13B和7B的Llama 2。

体验地址：https://chat.lmsys.org/?arena
所以什么是MT-Bench呢？
具体来说，MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。
这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力，其中包含了常见的使用情景，以及富有挑战性的指令。
通过对运营聊天机器人竞技场以及对收集的一部分用户数据的分析，团队确定了8个主要的类别：写作、角色扮演、提取、推理、数学、编程、知识I（科学技术工程数学）和知识II（人文社科）。
其中，每个类别有10个多轮问题，总共160个问题。

斯坦福

另外，斯坦福的AlpacaEval榜单，也更新了Llama 2的排名。
可以看到，在Verified列表中，Llama2 Chat 70B名列前茅，胜率仅次于ChatGPT。
而130亿参数的模型略逊于UC伯克利最新的Vicuna 13B v1.3，但胜率依然超过了80%。
相比之下，7B模型的胜率则跌到了71%，比伯克利同等参数量的新模型低了5个百分点。

HuggingChat免费体验

说到体验，Hugging Facing也第一时间在HuggingChat中上新了Llama 2。
而且，还是最大的700亿参数模型。

体验地址：https://huggingface.co/chat/

iPhone、iPad本地可跑


此外，Llama 2还可以在iPhone和iPad上实现本地运行。
通过MLC Chat测试版应用，即可体验7B参数的模型。

项目地址：https://mlc.ai/mlc-llm/docs/get_started/try_out.html

初创公司已上线应用


甚至，有手快的初创公司已经开发出应用了！
基于Llama 2 7B，Perplexity.ai构建出了LLaMa Chat，并且，下一步他们将连接更大的LLAMA，最终部署自己的内部LLM。

体验地址：https://llama.perplexity.ai/
参考资料：
https://twitter.com/lmsysorg/status/1681744327192752128?s=46&t=iBppoR0Tk6jtBDcof0HHgg




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章
相关阅读
计算机专业狂喜！伯克利、南加大官宣成立新学院，文科生也能冲？！From sea to shining sea 美国开车经验分享视频版大爆炸来了！剪辑可精准到每个字，支持中文Demo可玩，老罗：打钱坐火车玩，吃饭玩，连去游乐园排个队都在玩，娃疯狂成这样，你敢信这是个学习APP？银川瓦斯大爆炸，巴黎瓦斯大爆炸！这是怎么了！嫌湾区房租太贵！伯克利学生竟每天从LA搭飞机上学Erklärung zur Zusammenarbeit【伯克利/NEU/NEC/绿线/橙线】【全翻新朝南向阳大2B】【前台安保+包裹代收+电梯】【$3700包杂费】【9.1】遭Llama 2诋毁，LSTM之父暴怒！Meta盗用32年前idea训模型，喊话让LeCun负责击败LLaMA？史上最强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞您了解法拉菲（Falafel）吗？写在6月12日之前的美食之旅加州高铁【Greenhouse 2023/2024冬季入住开始排位｜可本科｜NEU/伯克利/Suffolk｜近Newbury｜生活便利】满地可佛光山华严寺暨国际佛光会满地可协会举办2023年素食嘉年华Netflix 牵手周星驰，新动画宇宙大爆发！比HuggingFace快24倍！伯克利神级LLM推理系统开源，碾压SOTA，让GPU砍半多所名校24Fall官宣不再接受网考GRE！GRE本月正式改版！Brunello Cucinelli发布完整半年报：盈利能力大幅改善，中国市场正稳步实现“巨大增长潜力”大隐隐于市！越南一家人在San Jose开的小店全是越南客人——Phở Cường 2吴恩达、Hinton最新对话！AI不是随机鹦鹉，共识胜过一切，LeCun双手赞成彻底反转：号称「碾压」LLaMA的Falcon实测得分仅49.08，HuggingFace决定重写排行榜代码不用4个H100！340亿参数Code Llama在Mac可跑，每秒20个token，代码生成最拿手｜Karpathy转赞抗命击杀操作员的美军无人机，LeCun、吴恩达怒斥其炒作！SUNRIGHT 落地休斯顿中国城，奶茶控明天快去，一大波开业好礼等你来印度第一家iPhone本土制造商【岁月如诗 青春如歌】【Greenhouse冬季排位】 【最性价比本科生高级公寓】【$3400起】【伯克利/NEU/NEC】iPhone、Mac上都能跑，刷屏的Llama 2究竟性能如何？Sam Altman预警：AI灭绝人类！375+大佬签署22字联名信，LeCun唱反调GPT-4最强平替更新！UC伯克利发布Vicuna v1.5，支持4K和16K上下文，刷新SOTA，LeCun转赞包粽子前Meta AI高管离职创业，做教育ChatGPT ，LeCun 点赞德国马克思城堡(Marksburg castle)，古堡建筑第80摩步旅指挥所被炸！大型军火库被炸：爆炸持续6个小时，比击毁俄军一个营坦克还重要LSTM之父炮轰LLaMA 2：抄我想法还羞辱我！网友：LeCun干的吧？重磅！最新QS世界大学排名发布！伯克利进前10，北大比清华排名高
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。