用「冷饭」炒出个顶会第一？ICLR 2023最高分论文竟被「石锤」抄袭！

---

  新智元报道  

ICLR 2023 官方近期正式宣布评审工作已结束，评分最高的 Git Re-Basin 这项神经网络启发性新研究探索了在深度学习中，SGD算法在高维非凸优化问题令人惊讶的有效性。

1. Git Re-Basin 的方法 1 被证明与 OTFusion[3] 的基于激活的对齐方法相同。

2. Git Re-basin 的方法 2 和 3 与过去工作中的方法 [1,2,3,4] 高度相似，但没有进行任何与 Baseline 的比较。

3. 许多结果或观察在过去的工作中已经以类似的形式表现出来，但在本文中被重新呈现了出来。

4. 文中引用其中一些著作 [3-5] 只是做做表面工夫，而没有准确地列出其关键贡献。

Sidak Pal Singh 还强调了这是学术不端现象，他指出，在相关工作的基础上做研究是绝对没有错的，但必须诚实、不能欺骗。

1. 目前，他们主要的「新算法的贡献」似乎并不新。

2. 正如论文审稿人 qnqB 和 Nc4c 所暗示的那样，关于 SGD 的问题似乎已经存在着一些争议;

3. MLPs/CNNs/ResNets 在 MNIST、CIFAR10 和 CIFAR100 上的实证结果，这些都或多或少是已知的 [2-6]。

等等，咱们别忽略其他两个算法呀，它们也有类似的命运！

Git Re-Basin 提出的第二个「新颖」方法是「检查模型本身的权重」，以对齐神经元。这是一个需要考虑的自然策略，事实上，**类似的方法已经在过去的许多工作中使用过——可以追溯到 2015年 [1] 和 [2,3]**。同样地，所有这些过去的方法也不需要依赖输入分布（例如，[3]的基于权重的对齐），可以在几秒钟内运行（参见下面的C.3节），这与 Git Re-Basin 传达的印象不同。

更具体地说，正如他们在工作中所说的，与基于激活的对齐相比，基于权重的匹配固有地提出了一个更复杂且很难精确地计算解决的双线性分配问题。之前的大多数工作 [1-3] 使用从输入层到输出层的贪心层对齐神经元。Git Re-Basin 采用了一种替代的方式，可能比上面的工作稍微好一点，尽管代价是计算和运行时间更昂贵。然而，不幸的是，Git Re-Basin 完全没有认识到这一点，并完全将这些相似之处掩盖起来。更不用说与之前的作品进行比较了！

1. 当与再训练相结合时，一开始只需一个基于权重的对齐方式就足够了，而不必在每一步之后都寻找全新的对齐方式，如 [3] 所示。在这种情况下，当作者在 STE 方法中也只执行一次基于权重的对齐时，是否会注意到任何显著的性能下降（如果有的话），这将很有趣了。

2. 更令人惊讶的是，当融合两个网络时，[3] 还发现，简单地再训练幼稚或普通的网络表现具有竞争力。换句话说，仅仅使用 identity 作为初始排列矩阵,并结合再训练（或STE方法的某些方式），可能相当有竞争力。

1. 作者声称：

2. 接下来，作者对此进行了讨论：

但是，[3] 中有一整节详细说明（附录 S10 和表 S11）宽度如何降低全连接网络的性能差距(排列后)。这甚至是在 [6] 表明更广泛的模型在全连接和卷积网络中都表现出更好的 LMC 之前。

考虑到他们的「新颖」算法只是炒过去工作 [1-4] 的「冷饭」，当 [3] 的第 5 页提到「在一个 Nvidia V100 GPU 上融合 6 个 VGG11 模型所需的时间≈15秒」时，这就不足为奇了。

在 S1.4 节中，[3] 详细说明了要融合两个网络，MLP 大约需要「3 秒」，CIFAR10 上 VGG11 大约需要「5 秒」，CIFAR10 上 ResNet18 大约需要「7 秒」。不幸的是，谎言又一次被传播开来。

4. 此外，作者在第 5.4 节中指出，在不相交数据集上训练的模型可以被合并。

然而，在 [3] 中完全相同的是，一页长的章节 5.1 演示了精确的事实！——审稿人 qnqB 也指出了这一点。但作为一种常见的模式，这里没有提及到这点，更别说进行任何比较了。

• 文献 [1,2] 未被引用。
• 那么 [3] 不是「通过软对齐关联权重合并模型」，而是明确表示「我们主要使用精确 OT 求解器」，因此他们获得了精确的排列矩阵（见 [3] 表 S4 中融合前对齐网络的准确性）。我们已经在上面的（A, B, C）部分中看到了与 [3] 的巨大相似性。
• 此外，[4] 的讨论表达得很奇怪，因为当他们的工作 [4] 中也说明了这一点时，不清楚为什么对他们来说融合等大小的网络会有问题。
• 最后，简要地提到了 [5]，但它们在模式连通性或算法相似性方面的主题相似程度被忽略了，正如审稿人 qnqB 所指出的那样。