我们一起带着未来趋势的判断,回顾一下AI变革的技术历程,一起看看15篇关键论文,以及它们为AI变革做出了哪些贡献。这些公开研究成就了OpenAI的技术变革,但OpenAI首席科学家Ilya Sutskever最近却表示:技术开源的想法是错的,未来不会再分享技术细节。你觉得Ilya Sutskever的看法对吗?欢迎回顾完这15篇论文后分享你的看法。1.Adam: A Method for Stochastic Optimization作者:Kingma等时间:2015这篇论文提出了Adam算法变体,作为当时流行的随机梯度下降优化算法的改进,可以快速收敛神经网络,加快训练效率。Adam已经成为训练神经网络的默认优化算法。2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift作者:Ioffe、Szegedy时间:2015这篇论文提出:通过归一化输入特征的简单方法,让神经网络能更快地训练,获得更稳定的表现。这一方法已成为当前大多数神经网络架构训练中使用的标准方法,也被认为是深度神经网络性能进一步提升的一个关键点。3.Faster R-CNN: towards real-time object detection with region proposal networks作者:Ren等人时间:2015这篇论文提出了一种高效的端到端卷积神经网络,可以用于图像和视频中的目标检测。Faster R-CNN 是人工智能视觉识别在工业领域大规模应用的起点,安防摄像头、自动驾驶和各种图像识别程序中都使用了这套算法。4.Neural Machine Translation by Jointly Learning to Align and Translate作者:Bahdanau等人时间:2015, cited by 16866这篇文章第一次使用注意力机制进行AI翻译神经网络第一次使用注意力机制进行机器翻译,让AI翻译不再受限于RNN网络数据处理长度。注意力机制的出现,现在看来是神经网络算法的一次重大范式转变,这个影响从语义理解覆盖到了整个机器学习领域。5.Human-level control through deep reinforcement learning作者:Mnih等人时间:2015年这篇论文引入了强化学习算法DQN,该算法在许多游戏中实现了人类水平的表现。这一算法已经被制造业、机器人和物流业采用,推动了诸多软件程序从硬编码,转向了强化学习,取代了传统手工编码的软件自动化策略。6.Explaining and Harnessing Adversarial Examples作者:Goodfellow等人时间:2015第一次推出神经网络对抗学习算法,也提出了对抗训练的基本思路。该研究还表明,此前的机器学习存在的“鲁棒性”问题,如同样的图片,轻微修改几个像素,AI的识别结果就会发生大幅改变。这一研究推出了AI训练思路升级,也带来了对人工智能表现与数据、参数关系的大研究。7.Deep Residual Learning for Image Recognition 作者: Kaiming He(何恺明)等时间:2015这篇论文基于数学原理,提出了加快深度神经网络训练的方法,在视觉识别领域取得了显著效果,让人工智能可以更快提取物体特征。该研究激发了谷歌员工提出了Transformers模型,是人工智能范式变革的重要环节。8.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks作者:Radford等人时间:2016这篇论文提出了DCGAN,一种用于GAN模型生成器的深度卷积神经网络体系结构,首次让AI画出了不存在的图片,虽然整体绘画效果一般,但成为AI绘画变革的重要节点。9.Attention Is All You Need作者:Ashish Vaswani等时间:2017注意力机制首次被完整论述,并提出了对应的Transformer架构,成为所有AI大模型的底层技术。这篇研究的作者们此后成为了硅谷众多AI企业的创业者。10.BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding作者:Jacob Devlin等时间:2018提出了一种新的机器学习训练方法,显著提高了语言相关任务中的性能,例如理解一组句子或使用上下文来确定某个词的含义。OpenAI的GPT系列均采用了该方法。11.Language Models Are Few-Shot Learners作者:Tom B. Brown等时间:2020OpenAI GPT-3的研究论文,这篇论文提出使用足够的算力和数据,对大型语义模型进行训练,无需进行具体的数据分隔,最终它就能获得多方面的泛化能力,可以完成翻译、回答等任务。该论文也提出了AI交互的提示词方法,是ChatGPT最重要的前置成果。12.Learning Transferable Visual Models From Natural Language Supervision作者:Alec Radford等时间:2021这篇论文提出了文字-图片预训练神经网络(CLIP),能够基于图片的文字标注,学习图片与对应概念间的关系,与OpenAI的Dall-E模型共同发布,成为了图片生成领域的重要基础。13.High-Resolution Image Synthesis With Latent Diffusion Models作者:Robin Rombach等时间:2021提出了图像生成领域知名的扩散模型,极大提高了图片生成的效率,成为刺激图片生成领域大爆发的关键技术。14.Highly Accurate Protein Structure Prediction With AlphaFold作者:John Jumper等时间:2021DeepMind研究人员在AI应用的又一次开创研究,解决了约10万种独特蛋白质的三维结构问题,为科学家开发新药物和治疗疾病提供可能性。15.Human-Level Play in the Game of Diplomacy by Combining Language Models With Strategic Reasoning作者:Anton Bakhtin等时间:2022该论文提出了名为Cicero的机器学习算法,让AI在多人对话游戏中,具备了沟通、协作,推理他人意图的能力,在名为《Diplomacy》的游戏,取得了人类级别的表现。来源:全球风口版权声明:部分文章在推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。联系方式:[email protected]。