Redian新闻
>
AI变革背后的15篇论文,会成为开源终点吗?

AI变革背后的15篇论文,会成为开源终点吗?

公众号新闻


我们一起带着未来趋势的判断,回顾一下AI变革的技术历程,一起看看15篇关键论文,以及它们为AI变革做出了哪些贡献。
这些公开研究成就了OpenAI的技术变革,但OpenAI首席科学家Ilya Sutskever最近却表示:技术开源的想法是错的,未来不会再分享技术细节
你觉得Ilya Sutskever的看法对吗?欢迎回顾完这15篇论文后分享你的看法。
1.Adam: A Method for Stochastic Optimization
作者:Kingma等
时间:2015
这篇论文提出了Adam算法变体,作为当时流行的随机梯度下降优化算法的改进,可以快速收敛神经网络,加快训练效率。
Adam已经成为训练神经网络的默认优化算法。
2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
作者:Ioffe、Szegedy
时间:2015
这篇论文提出:通过归一化输入特征的简单方法,让神经网络能更快地训练,获得更稳定的表现。
这一方法已成为当前大多数神经网络架构训练中使用的标准方法,也被认为是深度神经网络性能进一步提升的一个关键点。
3.Faster R-CNN: towards real-time object detection with region proposal networks
作者:Ren等人
时间:2015
这篇论文提出了一种高效的端到端卷积神经网络,可以用于图像和视频中的目标检测。
Faster R-CNN 是人工智能视觉识别在工业领域大规模应用的起点,安防摄像头、自动驾驶和各种图像识别程序中都使用了这套算法。
4.Neural Machine Translation by Jointly Learning to Align and Translate
作者:Bahdanau等人
时间:2015, cited by 16866
这篇文章第一次使用注意力机制进行AI翻译
神经网络第一次使用注意力机制进行机器翻译,让AI翻译不再受限于RNN网络数据处理长度。
注意力机制的出现,现在看来是神经网络算法的一次重大范式转变,这个影响从语义理解覆盖到了整个机器学习领域。
5.Human-level control through deep reinforcement learning
作者:Mnih等人
时间:2015年
这篇论文引入了强化学习算法DQN,该算法在许多游戏中实现了人类水平的表现。
这一算法已经被制造业、机器人和物流业采用,推动了诸多软件程序从硬编码,转向了强化学习,取代了传统手工编码的软件自动化策略
6.Explaining and Harnessing Adversarial Examples
作者:Goodfellow等人
时间:2015
第一次推出神经网络对抗学习算法,也提出了对抗训练的基本思路。该研究还表明,此前的机器学习存在的“鲁棒性”问题,如同样的图片,轻微修改几个像素,AI的识别结果就会发生大幅改变。
这一研究推出了AI训练思路升级,也带来了对人工智能表现与数据、参数关系的大研究。
7.Deep Residual Learning for Image Recognition
作者: Kaiming He(何恺明)等
时间:2015
这篇论文基于数学原理,提出了加快深度神经网络训练的方法,在视觉识别领域取得了显著效果,让人工智能可以更快提取物体特征。
该研究激发了谷歌员工提出了Transformers模型,是人工智能范式变革的重要环节。
8.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
作者:Radford等人
时间:2016
这篇论文提出了DCGAN,一种用于GAN模型生成器的深度卷积神经网络体系结构,首次让AI画出了不存在的图片,虽然整体绘画效果一般,但成为AI绘画变革的重要节点。
9.Attention Is All You Need
作者:Ashish Vaswani等
时间:2017
注意力机制首次被完整论述,并提出了对应的Transformer架构,成为所有AI大模型的底层技术。
这篇研究的作者们此后成为了硅谷众多AI企业的创业者。
10.BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding
作者:Jacob Devlin等
时间:2018
提出了一种新的机器学习训练方法,显著提高了语言相关任务中的性能,例如理解一组句子或使用上下文来确定某个词的含义。OpenAI的GPT系列均采用了该方法
11.Language Models Are Few-Shot Learners
作者:Tom B. Brown等
时间:2020
OpenAI GPT-3的研究论文,这篇论文提出使用足够的算力和数据,对大型语义模型进行训练,无需进行具体的数据分隔,最终它就能获得多方面的泛化能力,可以完成翻译、回答等任务。
该论文也提出了AI交互的提示词方法,是ChatGPT最重要的前置成果。
12.Learning Transferable Visual Models From Natural Language Supervision
作者:Alec Radford等
时间:2021
这篇论文提出了文字-图片预训练神经网络(CLIP),能够基于图片的文字标注,学习图片与对应概念间的关系,与OpenAI的Dall-E模型共同发布,成为了图片生成领域的重要基础。
13.High-Resolution Image Synthesis With Latent Diffusion Models
作者:Robin Rombach等
时间:2021
提出了图像生成领域知名的扩散模型,极大提高了图片生成的效率,成为刺激图片生成领域大爆发的关键技术。
14.Highly Accurate Protein Structure Prediction With AlphaFold
作者:John Jumper等
时间:2021
DeepMind研究人员在AI应用的又一次开创研究,解决了约10万种独特蛋白质的三维结构问题,为科学家开发新药物和治疗疾病提供可能性。
15.Human-Level Play in the Game of Diplomacy by Combining Language Models With Strategic Reasoning
作者:Anton Bakhtin等
时间:2022
该论文提出了名为Cicero的机器学习算法,让AI在多人对话游戏中,具备了沟通、协作,推理他人意图的能力,在名为《Diplomacy》的游戏,取得了人类级别的表现。
来源:全球风口
版权声明:部分文章在推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。联系方式:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
希腊雅典国家考古博物馆,伟大的博物馆最新出炉!ICLR 2023强化学习领域18篇论文盘点我,出国留学第二个月,找ChatGPT写了一篇论文ChatGPT自己会选模型了!微软亚研院+浙大爆火新论文,HuggingGPT项目已开源4天工作制,会成为未来趋势吗?厦大美女博士发了58篇论文,收到国务院感谢信“是时候为开源做贡献了” | Linux 中国海外版拼多多“Temu”,会成为下一个TikTok吗?“室温超导”科学家多篇论文再遭调查,涉嫌数据捏造和抄袭,所属大学回应 | 环球科学要闻AI变革背后的15篇论文,会成为开源终点吗?|前哨《科学》11篇论文齐发,理解人类的新时代来了!;午睡时间过长或增加肥胖及高血压风险|本周论文推荐“新美联储通讯社”:5月FOMC会议是本轮加息终点吗?来看17年前的经验今夜的非农数据,会成为美联储降息的前奏吗?阿里最大变革背后,张勇组织战略进化论中国人是不是很怪?在台湾和台湾人谈台湾, 说民主4万人请愿撤销!高官之女舞弊进麻省理工?2个月写5篇论文4本书不要放鞭炮0.5美元润色一篇论文:ChatGPT们对科研意味着什么?财报解读丨苹果2023财年第1财季营收净利润双下滑,混合现实头显能成为增长点吗?当超1.5w不是版面费而是一篇论文的作者数时,会发生什么?他一生只发表了27篇论文,却发现了一个比圆周率更复杂的常数阶级固化时代还能有阶层晋升吗不编写代码也可以为开源项目做出贡献 | Linux 中国离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的多地推出付费抗体检测,会成为“核酸式”生意吗?史上最全Transformer合集!LeCun力推:给60个模型建目录,哪篇论文你错过了?逆势营收增长103%,布局小众癌种的它,会成为肿瘤NGS领域的新宠吗?华为最新「天才少年」:博士四年21篇论文,却自称是个「低能儿」字节跳动的“小红书“在美国突然火了,会成为下一个海外版抖音吗格力入主后的盾安环境,会成为下一个三花智控吗?丨智氪全网爆火的ChatGPT可代写论文,论文还要亲手写吗?顶会审稿人:如何写一篇论文?DeepMind大佬4年读博日记!10组数据「定量分析」:6篇论文、97篇审稿、1308条代码提交、23098封邮件……农产品这个特色,会成为东方甄选的局限吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。