硬核观察 #997 OpenAI 用 GPT-4 来解释 GPT-2 的行为
OpenAI 用 GPT-4 来解释 GPT-2 的行为
大语言模型（LLM）像大脑一样，它们是由 “神经元” 组成的，它们观察文本中的一些特定模式，以影响整个模型接下来 “说” 什么。但由于 LLM 中的参数数量多到已经无法由人类解释的程度，因此，LLM 给人一种 “黑盒” 的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI 正在开发一种工具，以自动识别 LLM 的哪些部分负责其哪些行为。它使用 GPT-4 来解释其 4 年前发布的只有 30 万个“神经元”（15 亿个参数）的 GPT-2。目前该工具代码和所有的 “神经元” 解释数据已经开源，OpenAI 称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连 GPT-4 都不能太用人类可以理解的语言来解释 GPT-2 的行为。
老王点评：用魔法打败魔法是个好的思路，但是将魔法解释给“麻瓜”可能未必能行。最怕的是，要是魔法可以（悄悄）改进魔法怎么办？
用开源和 AI 驱动的监测网来探索 UFO
由于对 UFO 现象的官方说法缺乏透明度和信任度感到沮丧，一个开发者团队决定自己动手做一个名为 Sky360 的开源公民科学项目。该项目旨在用价格低廉的监测站覆盖全球，全天候观察天空，甚至计划使用 AI 和机器学习来发现异常行为。Sky360 监测站由一个广角鱼眼镜头和一个倾斜相机组成，底层软件对捕获的运动事件进行初步分析，并决定是否进一步放大、跟踪和分析它。所有的硬件都可以由廉价购买的现成零件组合而成。他们目前已在全球建立了 20 个监测站，预计将在 6 月发布第一个面向开发者的开源版本。
老王点评：UFO 究竟是什么，充斥着各种谎言和猜测。或许揭开谜团的唯一办法就是用广泛的事实来说明。这是个有趣的项目，但是也要小心这种数据被利用来监测其它目标。
研究显示元宇宙对美国 GDP 的贡献将可达 2.4%
由 Meta 公司委托进行的一项研究发现，到 2035 年，元宇宙可以为美国每年的 GDP 贡献约 2.4%，相当于 7600 亿美元。这些经济收益可能来自于国防、医疗和制造部门对这些技术的使用，以及视频游戏和通信等娱乐用例。在 Meta 公司的另一份报告中，到 2035 年元宇宙也能为欧盟增加类似比例的贡献。
老王点评：我觉得这就是 Meta 公司给自己画的饼。以我看来，在没有基础设施的进一步突破之前，元宇宙只是一场妄想。
昨日观察
关注 Linux 中国，每日硬核点评
微信扫码关注该文公众号作者