▲ 点击订阅，抓住风口

3月16日，前哨科技特训营带来了【人工智能技术趋势】专题直播，王煜全在直播中和大家分享了ChatGPT之后的AI趋势，如果你想了解详细内容，欢迎点击文首入口，观看直播回放。

今天，我们一起带着未来趋势的判断，回顾一下AI变革的技术历程，一起看看15篇关键论文，以及它们为AI变革做出了哪些贡献。

这些公开研究成就了OpenAI的技术变革，但OpenAI首席科学家Ilya Sutskever最近却表示：技术开源的想法是错的，未来不会再分享技术细节。

你觉得Ilya Sutskever的看法对吗？欢迎回顾完这15篇论文后分享你的看法。

1.Adam: A Method for Stochastic Optimization

作者：Kingma等

时间：2015

这篇论文提出了Adam算法变体，作为当时流行的随机梯度下降优化算法的改进，可以快速收敛神经网络，加快训练效率。

Adam已经成为训练神经网络的默认优化算法。

2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

作者：Ioffe、Szegedy

时间：2015

这篇论文提出：通过归一化输入特征的简单方法，让神经网络能更快地训练，获得更稳定的表现。

这一方法已成为当前大多数神经网络架构训练中使用的标准方法，也被认为是深度神经网络性能进一步提升的一个关键点。

3.Faster R-CNN: towards real-time object detection with region proposal networks

作者：Ren等人

时间：2015

这篇论文提出了一种高效的端到端卷积神经网络，可以用于图像和视频中的目标检测。

Faster R-CNN 是人工智能视觉识别在工业领域大规模应用的起点，安防摄像头、自动驾驶和各种图像识别程序中都使用了这套算法。

4.Neural Machine Translation by Jointly Learning to Align and Translate

作者：Bahdanau等人

时间：2015, cited by 16866

这篇文章第一次使用注意力机制进行AI翻译

神经网络第一次使用注意力机制进行机器翻译，让AI翻译不再受限于RNN网络数据处理长度。

注意力机制的出现，现在看来是神经网络算法的一次重大范式转变，这个影响从语义理解覆盖到了整个机器学习领域。

5.Human-level control through deep reinforcement learning

作者：Mnih等人

时间：2015年

这篇论文引入了强化学习算法DQN，该算法在许多游戏中实现了人类水平的表现。

这一算法已经被制造业、机器人和物流业采用，推动了诸多软件程序从硬编码，转向了强化学习，取代了传统手工编码的软件自动化策略。

6.Explaining and Harnessing Adversarial Examples

作者：Goodfellow等人

时间：2015

第一次推出神经网络对抗学习算法，也提出了对抗训练的基本思路。该研究还表明，此前的机器学习存在的“鲁棒性”问题，如同样的图片，轻微修改几个像素，AI的识别结果就会发生大幅改变。

这一研究推出了AI训练思路升级，也带来了对人工智能表现与数据、参数关系的大研究。

7.Deep Residual Learning for Image Recognition

作者： Kaiming He（何恺明）等

时间：2015

这篇论文基于数学原理，提出了加快深度神经网络训练的方法，在视觉识别领域取得了显著效果，让人工智能可以更快提取物体特征。

该研究激发了谷歌员工提出了Transformers模型，是人工智能范式变革的重要环节。

8.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

作者：Radford等人

时间：2016

这篇论文提出了DCGAN，一种用于GAN模型生成器的深度卷积神经网络体系结构，首次让AI画出了不存在的图片，虽然整体绘画效果一般，但成为AI绘画变革的重要节点。

9.Attention Is All You Need

作者：Ashish Vaswani等

时间：2017

注意力机制首次被完整论述，并提出了对应的Transformer架构，成为所有AI大模型的底层技术。

这篇研究的作者们此后成为了硅谷众多AI企业的创业者。

10.BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding

作者：Jacob Devlin等

时间：2018

提出了一种新的机器学习训练方法，显著提高了语言相关任务中的性能，例如理解一组句子或使用上下文来确定某个词的含义。OpenAI的GPT系列均采用了该方法。

11.Language Models Are Few-Shot Learners

作者：Tom B. Brown等

时间：2020

OpenAI GPT-3的研究论文，这篇论文提出使用足够的算力和数据，对大型语义模型进行训练，无需进行具体的数据分隔，最终它就能获得多方面的泛化能力，可以完成翻译、回答等任务。

该论文也提出了AI交互的提示词方法，是ChatGPT最重要的前置成果。

12.Learning Transferable Visual Models From Natural Language Supervision

作者：Alec Radford等

时间：2021

这篇论文提出了文字-图片预训练神经网络（CLIP），能够基于图片的文字标注，学习图片与对应概念间的关系，与OpenAI的Dall-E模型共同发布，成为了图片生成领域的重要基础。

13.High-Resolution Image Synthesis With Latent Diffusion Models

作者：Robin Rombach等

时间：2021

提出了图像生成领域知名的扩散模型，极大提高了图片生成的效率，成为刺激图片生成领域大爆发的关键技术。

14.Highly Accurate Protein Structure Prediction With AlphaFold

作者：John Jumper等

时间：2021

DeepMind研究人员在AI应用的又一次开创研究，解决了约10万种独特蛋白质的三维结构问题，为科学家开发新药物和治疗疾病提供可能性。

15.Human-Level Play in the Game of Diplomacy by Combining Language Models With Strategic Reasoning

作者：Anton Bakhtin等

时间：2022

该论文提出了名为Cicero的机器学习算法，让AI在多人对话游戏中，具备了沟通、协作，推理他人意图的能力，在名为《Diplomacy》的游戏，取得了人类级别的表现。

以上就是这15篇AI变革中的关键论文，更多AI研究的前沿进展，欢迎加入前哨科技特训营，我们一起持续追踪。

【科技特训营】年度会员订阅制，全年50次“在线直播+私享群互动”，现在加入，一起做好准备，把握机遇，决胜未来！

1. 前哨科技特训营直播课程第二季（2021年）共50讲+，除此之外还有5节加餐+公开课。

2. 每讲承诺为1小时视频内容，实际平均时长为2小时。

3. 每周四晚八点准时直播，会员可无限次观看回放。

4. 新入会员，可以无限次回看之前所有视频课程。

5. 本课程为虚拟内容服务，年费订阅服务制。一经订阅概不退款，请您理解。

左右滑动查看内容规划↓

左右滑动查看更多

【课程咨询】

请加“创新地图助手”：

微信：innovationmapSM