超级编程AI登上Science封面！AlphaCode编程大赛卷趴一半程序员

---

  新智元报道  

这个12月，正当OpenAI的ChatGPT势头正旺时，那个曾经卷趴一半程序员的AlphaCode登上Science封面了！

论文链接：https://www.science.org/doi/10.1126/science.abq1158

说到AlphaCode，想必大家并不陌生。

早在今年2月，它就在著名的Codeforces上，悄悄地参加了10场编程比赛，并一举击败了半数的人类码农。

在竞赛中，主要考察的就是程序员通过经验进行批判性思维，为不可预见的问题创建解决方案的能力。

这体现了人类智能的关键，而机器学习模型，往往很难模仿这种人类智能。

但DeepMind的科学家们，打破了这一规律。

YujiA Li等人，使用自监督学习和编码器-解码器转换器架构，开发出了AlphaCode。

AlphaCode的开发工作，还是在居家期间完成的

虽然AlphaCode也是基于标准的Transformer编解码器架构，但DeepMind对它进行了「史诗级」的强化——

它使用基于Transformer的语言模型，以前所未有的规模生成代码，然后巧妙地筛出了一小部分可用的程序。

具体步骤为：

1）多问询注意力：让每个注意力块共享键和值的头，并同时结合编码器-解码器模型，使AlphaCode的采样速度提高了10倍以上。

2) 掩码语言建模（MLM）：通过在编码器上加入一个MLM损失，来提高模型的解决率。

3）回火：让训练分布更加尖锐，从而防止过拟合的正则化效应。

4）值调节和预测：通过区分CodeContests数据集中正确和错误的问题提交，来提供一个额外的训练信号。

5）示范性异策略学习生成（GOLD）：通过将训练的重点放在每个问题最可能的解决方案上，让模型为每个问题产生正确方案。

结果嘛，大家都知道了。

凭借着1238的Elo得分，AlphaCode让自己在这10场比赛中的排名达到了前54.3%。放眼之前的6个月，这一成绩更是达到了前28%。

要知道，为了达到这个排名，AlphaCode必须「过五关斩六将」，解决融合了批判性思维、逻辑、算法、编码和自然语言理解相结合的种种新问题。

从结果来看，AlphaCode不仅解决了CodeContests数据集中29.6%的编程问题，而且其中有66%是在第一次提交时解决的。（总提交次数限制在10次）

相比起来，传统的Transformer模型求解率都比较低，只有个位数。

对于这个结果，就连Codeforces创始人Mirzayanov都非常惊讶。

毕竟，编程比赛考验的是发明算法的能力，这一直是AI的弱项，人类的强项。

我可以肯定地说，AlphaCode的结果超出了我的预期。开始我持怀疑态度，因为即使在简单的竞赛问题中，不仅需要实施算法，而且还需要发明算法（这是最困难的部分）。AlphaCode已经让自己成为很多人类的强劲对手。我迫不及待地想知道，未来会发生什么！

——Mike Mirzayanov，Codeforces 创始人

所以，AlphaCode这是能抢程序员的饭碗了？

当然还不行。

AlphaCode还只能完成简单的编程任务，如果任务变得更复杂，问题更加「不可预见」，只会将指令翻译成代码的AlphaCode就束手无策了。

毕竟，1238的得分从某种角度来说，也就相当于一个初学编程的中学生菜鸟的水平。这个level，还威胁不到真正的编程大牛。

但毫无疑问的是，这类编码平台的开发，会对程序员的生产力产生巨大的影响。

甚至，整个编程文化都可能会被改变：或许，以后人类只要负责制定问题就可以，而生成和执行代码的任务，就可以交给机器学习了。

它们会做的，更多是检索和复制现有的方案（这一点相信最近玩过ChatGPT的人都深有体会）。

那么，让AI学习生成正确的程序，为什么这么困难呢？

1.  要生成解决指定任务的代码，就需要在所有可能的字符序列中搜索，这是一个海量的空间，而其中只有一小部分对应有效的正确程序。

2. 、一个字符的编辑，可能会完全改变程序的行为，甚至会导致崩溃，而且每个任务都有许多截然不同的有效解决方案。

对于难度极高的编程比赛，AI需要理解复杂的自然语言描述；需要对以前从未见过的问题进行推理，而不是简单地记住代码片段；需要掌握各种算法和数据结构，并精确地完成可能长达数百行的代码。

此外，为了评估自己生成的这些代码，AI还需要在一套详尽的隐藏测试上执行任务，并且检查执行速度和边缘情况的正确性。

（A）问题1553D，中等难度评分为1500；（B）AlphaCode生成的问题解决方案

就拿这个1553D问题来说，参赛者需要找到一种方法，使用一组有限的输入将一串随机重复的s和t字母转换成另一串相同的字母。

参赛者不能只是输入新的字母，而必须使用「退格」命令删除原始字符串中的几个字母。赛题具体如下：

对此，AlphaCode给出的解决方案如下：

并且，AlphaCode的「解题思路」也不再是黑箱，它还能显示代码和注意力高亮的位置。

参加编程比赛时，AlphaCode面临的主要挑战是：

毫无疑问，AlphaCode的提出，代表了机器学习模型在发展上已经迈出了实质性的一步。

文章地址：https://www.science.org/doi/10.1126/science.add8258

2. 候选解决方案的后处理

「解决编程竞赛的问题是一件非常困难的事情，需要人类具有良好的编码技能和解决问题的创造力。AlphaCode能够在这一领域取得进展，给我留下了深刻的印象，我很高兴看到，该模型如何利用其语句理解来生成代码，并引导其随机探索以创建解决方案。」

                  ——Petr Mitrichev，谷歌软件工程师和世界级竞技程序员