硬核观察 #1012 Meta 公布革命性可扩展模型架构 Megabyte

Meta 公布革命性可扩展模型架构 Megabyte

如今热捧的生成式 AI 模型，如 GPT-4 等，都是基于谷歌 2017 年提出的转换器(Transformer)架构。Meta 的研究人员认为该架构存在两大设计缺陷：其一，转换器模型需要关注所有令牌，当需要处理的令牌数以千计时，计算非常密集。其二，采用了串行计算模式，存在扩展性难题。Meta 公司发表论文，提出了一种革命性的可扩展模型架构 Megabyte。它将输入输出序列分割为“补丁”而不是“令牌”。Megabyte 可以并行进行计算，在每个补丁中，局部 AI 生成结果，全局模型负责协调所有补丁的最终输出，从而解决了扩展性问题。测试显示，有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的转换器模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌，相比下 GPT-4 是 3.2 万个令牌，Claude 是 10 万个令牌。

消息来源：Artisana🔗 www.artisana.ai

老王点评：令人称奇的是，在这次 AI 竞赛中，Meta 频繁地爆出新成果，虽然目前还不能完全盖住 OpenAI 和微软的风头，但是给人的感觉很有希望。

PyPI 向法庭提供了用户记录

Python 软件基金会披露，它根据美国司法部的要求提供了其软件包仓库 PyPI 的用户数据。法庭传票要求提供 5 个用户的用户名、网名、邮寄地址、公司地址、电子邮件地址、连接记录，会话时间和持续时长以及相关 IP 记录，以及，他们上传的 PyPI 软件包记录和这些软件包的下载 IP 日志等等。Python 软件基金会在与律师讨论之后满足了传票要求。

消息来源：Python 软件基金会🔗 blog.pypi.org

老王点评：说起来，这些软件基金会和软件仓库都没有受我国法律管辖的吧。

Thunderbird 发布全新徽标

在将近二十年之后，Thunderbird 项目发布了全新徽标。新徽标与 Mozilla Firefox 浏览器的徽标风格相似，开发者表示这是为了纪念其历史和与 Mozilla 的重要联系，向下一个 20 年前进。该徽标的设计师也是 Firefox 和 Thunderbird 原徽标的设计者。

消息来源：Thunderbird🔗 blog.thunderbird.net

老王点评：我觉得不如原来的好看，不过这不重要，重要的是，Thunderbird 终于有了更多实质性的改进，比如提供移动版本。

昨日观察

关注 Linux 中国，每日硬核点评