最强“GPT-4平替”开源！Meta推出免费商用的Llama 2，联手微软掀全球AI狂欢

今天，Facebook母公司Meta发布其首个开源可商用大语言模型Llama 2！

智东西7月19日报道，今天凌晨，Meta在其官网宣布大语言模型Llama 2正式发布，Llama 2是Meta大语言模型Llama模型的最新版本，也是Meta首个免费商用的大语言模型。

该模型目前支持70亿、130亿、700亿等多个参数规模版本。相较Llama 1，Llama 2经过2万亿个tokens训练，其对上下文训练的长度是Llama 1的两倍，达到4096。Llama-2-chat模型还接受了超过100万个人工标注训练。由于其强大的参数规模以及性能表现，不少人称之为“GPT-4最强平替”，也是大模型之战中AI平权的又一例证。

“大语言模型正被企业用作生成式AI的核心要素。”Meta在官网中说道。Llama 2模型的发布，是Meta在大语言模型领域的又一次有力发声。此前，谷歌、微软曾通过接入大语言模型，更新其旗下多个产品线。

现在，用户需要通过提交表格的方式即可获得Llama-2-chat模型。用户下载每个模型后，将收到大模型的型号代码、规模、用户指南信息。

Llama 2是一组经过预先训练和精细调整的大型语言模型（LLMS），规模从70亿到700亿参数不等。

目前，Meta正式发布了Llama 2大模型的70亿、130亿、 700亿三个参数规模版本。据悉，Meta还训练了340亿版本，但没有发布。在论文中，我们还发现了330亿和650亿版本的Llama 2训练数据信息。

在此次训练中，Meta还相较Llama 1，把预训练语料库的规模增加了40%，将模型的上下文长度增加了一倍，并采用了分组查询注意力（grouped-query attention）方法。

根据Meta公布的测评数据，Llama 2在许多外部基准测试上都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试。基于人类对大模型的有用性以及安全的评估，Llama 2可能是封闭源模型如GPT等的适当替代品。

其中，Llama 2-Chat是针对对话AI场景进行优化的，使用来自人类反馈的强化学习来确保安全性和有用性。

在训练过程中，Llama 2使用公开的在线数据进行预训练。然后通过使用监督微调创建Llama-2-chat的初始版本。接下来，Llama-2-chat会通过人类反馈强化学习第一次出现标注上（RLHF）进行迭代细化，其中包括拒绝采样和近端策略优化（PPO）。

Llama-2大模型将免费用于研究和商业用途。微软是Llama 2的首选合作伙伴。据悉，Llama 2可在Azure AI模型目录中使用，使用Microsoft Azure的开发人员能够使用它进行构建，并利用其云原生工具进行内容过滤和安全功能。

Llama 2还针对在Windows的本地运行进行了优化，为开发人员提供了无缝工作流程，为跨不同平台的客户带来生成式AI体验。目前，Llama2也可通过Amazon Web Services（AWS）、Hugging Face和其他提供商获取。

人工智能在给社会带来巨大进步的同时，也伴随着风险。Meta希望提供开源，以促进大模型的透明度。

据Meta介绍，Llama-2已经通过安全测试。测试团队不但来自于Meta内部，通过生成对抗性提示以促进模型微调，还有第三方机构对Llama-2进行外部对抗性测试，以识别性能差距。

在Meta进一步的研究论文里，Meta解释了模型的微调和评估方法并指出了其缺点，并披露了此前经历过的已知挑战和问题。

Meta还启动了一项新的合作伙伴计划，研究人员可以申请加入从业者社区，分享有关Llama-2的经验，社区将制定一个研究议程来推动未来的发展。同时，Meta还在政策监管下，明确禁止某些使用大语言模型的指导方向，以帮助确保这些模型得到公平和负责任的使用。

随着Meta大模型Llama 2发布，全球的大语言模型矩阵又新增一位重磅选手。Meta和微软的联合，也迅速将Llama 2的应用，直接和成千上万的开发者连接起来。

相较于上一代，Llama 2在推理、编码、熟练程度和知识测试，优于其他开源语言模型。

随着大模型研发和落地的加速狂飙，我们有望看到更多大模型为生活以及产业带来巨大影响。