Redian新闻
>
AI变革背后的15篇论文,会成为开源终点吗?

AI变革背后的15篇论文,会成为开源终点吗?

公众号新闻


我们一起带着未来趋势的判断,回顾一下AI变革的技术历程,一起看看15篇关键论文,以及它们为AI变革做出了哪些贡献。
这些公开研究成就了OpenAI的技术变革,但OpenAI首席科学家Ilya Sutskever最近却表示:技术开源的想法是错的,未来不会再分享技术细节
你觉得Ilya Sutskever的看法对吗?欢迎回顾完这15篇论文后分享你的看法。
1.Adam: A Method for Stochastic Optimization
作者:Kingma等
时间:2015
这篇论文提出了Adam算法变体,作为当时流行的随机梯度下降优化算法的改进,可以快速收敛神经网络,加快训练效率。
Adam已经成为训练神经网络的默认优化算法。
2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
作者:Ioffe、Szegedy
时间:2015
这篇论文提出:通过归一化输入特征的简单方法,让神经网络能更快地训练,获得更稳定的表现。
这一方法已成为当前大多数神经网络架构训练中使用的标准方法,也被认为是深度神经网络性能进一步提升的一个关键点。
3.Faster R-CNN: towards real-time object detection with region proposal networks
作者:Ren等人
时间:2015
这篇论文提出了一种高效的端到端卷积神经网络,可以用于图像和视频中的目标检测。
Faster R-CNN 是人工智能视觉识别在工业领域大规模应用的起点,安防摄像头、自动驾驶和各种图像识别程序中都使用了这套算法。
4.Neural Machine Translation by Jointly Learning to Align and Translate
作者:Bahdanau等人
时间:2015, cited by 16866
这篇文章第一次使用注意力机制进行AI翻译
神经网络第一次使用注意力机制进行机器翻译,让AI翻译不再受限于RNN网络数据处理长度。
注意力机制的出现,现在看来是神经网络算法的一次重大范式转变,这个影响从语义理解覆盖到了整个机器学习领域。
5.Human-level control through deep reinforcement learning
作者:Mnih等人
时间:2015年
这篇论文引入了强化学习算法DQN,该算法在许多游戏中实现了人类水平的表现。
这一算法已经被制造业、机器人和物流业采用,推动了诸多软件程序从硬编码,转向了强化学习,取代了传统手工编码的软件自动化策略
6.Explaining and Harnessing Adversarial Examples
作者:Goodfellow等人
时间:2015
第一次推出神经网络对抗学习算法,也提出了对抗训练的基本思路。该研究还表明,此前的机器学习存在的“鲁棒性”问题,如同样的图片,轻微修改几个像素,AI的识别结果就会发生大幅改变。
这一研究推出了AI训练思路升级,也带来了对人工智能表现与数据、参数关系的大研究。
7.Deep Residual Learning for Image Recognition
作者: Kaiming He(何恺明)等
时间:2015
这篇论文基于数学原理,提出了加快深度神经网络训练的方法,在视觉识别领域取得了显著效果,让人工智能可以更快提取物体特征。
该研究激发了谷歌员工提出了Transformers模型,是人工智能范式变革的重要环节。
8.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
作者:Radford等人
时间:2016
这篇论文提出了DCGAN,一种用于GAN模型生成器的深度卷积神经网络体系结构,首次让AI画出了不存在的图片,虽然整体绘画效果一般,但成为AI绘画变革的重要节点。
9.Attention Is All You Need
作者:Ashish Vaswani等
时间:2017
注意力机制首次被完整论述,并提出了对应的Transformer架构,成为所有AI大模型的底层技术。
这篇研究的作者们此后成为了硅谷众多AI企业的创业者。
10.BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding
作者:Jacob Devlin等
时间:2018
提出了一种新的机器学习训练方法,显著提高了语言相关任务中的性能,例如理解一组句子或使用上下文来确定某个词的含义。OpenAI的GPT系列均采用了该方法
11.Language Models Are Few-Shot Learners
作者:Tom B. Brown等
时间:2020
OpenAI GPT-3的研究论文,这篇论文提出使用足够的算力和数据,对大型语义模型进行训练,无需进行具体的数据分隔,最终它就能获得多方面的泛化能力,可以完成翻译、回答等任务。
该论文也提出了AI交互的提示词方法,是ChatGPT最重要的前置成果。
12.Learning Transferable Visual Models From Natural Language Supervision
作者:Alec Radford等
时间:2021
这篇论文提出了文字-图片预训练神经网络(CLIP),能够基于图片的文字标注,学习图片与对应概念间的关系,与OpenAI的Dall-E模型共同发布,成为了图片生成领域的重要基础。
13.High-Resolution Image Synthesis With Latent Diffusion Models
作者:Robin Rombach等
时间:2021
提出了图像生成领域知名的扩散模型,极大提高了图片生成的效率,成为刺激图片生成领域大爆发的关键技术。
14.Highly Accurate Protein Structure Prediction With AlphaFold
作者:John Jumper等
时间:2021
DeepMind研究人员在AI应用的又一次开创研究,解决了约10万种独特蛋白质的三维结构问题,为科学家开发新药物和治疗疾病提供可能性。
15.Human-Level Play in the Game of Diplomacy by Combining Language Models With Strategic Reasoning
作者:Anton Bakhtin等
时间:2022
该论文提出了名为Cicero的机器学习算法,让AI在多人对话游戏中,具备了沟通、协作,推理他人意图的能力,在名为《Diplomacy》的游戏,取得了人类级别的表现。
来源:全球风口
版权声明:部分文章在推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。联系方式:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
在台湾和台湾人谈台湾, 说民主4天工作制,会成为未来趋势吗?当超1.5w不是版面费而是一篇论文的作者数时,会发生什么?中国人是不是很怪?全网爆火的ChatGPT可代写论文,论文还要亲手写吗?我,出国留学第二个月,找ChatGPT写了一篇论文希腊雅典国家考古博物馆,伟大的博物馆ChatGPT自己会选模型了!微软亚研院+浙大爆火新论文,HuggingGPT项目已开源华为最新「天才少年」:博士四年21篇论文,却自称是个「低能儿」厦大美女博士发了58篇论文,收到国务院感谢信顶会审稿人:如何写一篇论文?阿里最大变革背后,张勇组织战略进化论《科学》11篇论文齐发,理解人类的新时代来了!;午睡时间过长或增加肥胖及高血压风险|本周论文推荐阶级固化时代还能有阶层晋升吗最新出炉!ICLR 2023强化学习领域18篇论文盘点不要放鞭炮“新美联储通讯社”:5月FOMC会议是本轮加息终点吗?来看17年前的经验DeepMind大佬4年读博日记!10组数据「定量分析」:6篇论文、97篇审稿、1308条代码提交、23098封邮件……AI变革背后的15篇论文,会成为开源终点吗?|前哨不编写代码也可以为开源项目做出贡献 | Linux 中国“是时候为开源做贡献了” | Linux 中国财报解读丨苹果2023财年第1财季营收净利润双下滑,混合现实头显能成为增长点吗?“室温超导”科学家多篇论文再遭调查,涉嫌数据捏造和抄袭,所属大学回应 | 环球科学要闻离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的字节跳动的“小红书“在美国突然火了,会成为下一个海外版抖音吗格力入主后的盾安环境,会成为下一个三花智控吗?丨智氪农产品这个特色,会成为东方甄选的局限吗?多地推出付费抗体检测,会成为“核酸式”生意吗?逆势营收增长103%,布局小众癌种的它,会成为肿瘤NGS领域的新宠吗?今夜的非农数据,会成为美联储降息的前奏吗?4万人请愿撤销!高官之女舞弊进麻省理工?2个月写5篇论文4本书他一生只发表了27篇论文,却发现了一个比圆周率更复杂的常数0.5美元润色一篇论文:ChatGPT们对科研意味着什么?史上最全Transformer合集!LeCun力推:给60个模型建目录,哪篇论文你错过了?海外版拼多多“Temu”,会成为下一个TikTok吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。