优化算法：从手工定制迈向自动化设计 | NSR综述“Learn to Optimize”

基于L2O的算法自动设计方法

优化问题的求解是计算机科学、运筹学等领域的核心研究主题之一，也是人工智能的基石。由于在理论上不可能存在对任意问题均性能最优的优化算法，因此新问题的涌现必然伴随着对新型优化算法的需求，这一过程永无止境。

长期以来，人们普遍认为优化算法的设计是高度依赖人类智力的一项任务，需要针对具体问题进行定制化设计。然而，随着各行业对人工智能需求的不断扩大，新问题不断快速涌现，且问题复杂性显著增加，这种高人力成本的、手工定制的算法设计模式正面临巨大困境。如果机器能以某种方式自动或半自动地设计优化算法，不仅将极大缓解这一局面，还将显著拓展人工智能的边界。

近年来，已有大量研究围绕“优化算法自动设计”这一主题开展，逐渐形成了一套类似于机器学习的新型方法论，即以大量优化问题实例为输入，尝试在某个参数空间（甚至代码空间）训练具备泛化能力的优化算法。

在SAT、机器学习、计算机视觉、对抗样本生成等领域的研究结果表明，这一新模式所自动/半自动设计的优化算法，性能相当于甚至超越了人工设计算法的性能，标志着优化算法设计这一领域可能已迈入了“机器换人”的前夜。

在这篇综述文章中，作者将上述方向的研究进行了系统归纳和总结，探讨了各类训练方法、数学理论进展、算法泛化性能的评估与提升手段、以及成功的应用案例等。作者还进一步对L2O的下一步发展进行了展望和探讨，例如，以L2O为核心手段设计基座优化算法（优化大模型）的可能路径，为该领域的未来发展提供了重要参考。

该工作得到了国家重点研发计划、国家自然科学基金、广东省创新创业团队等项目的支持。