Redian新闻
>
张俊林:GPT-4 模型会开创哪些新的研究方向?

张俊林:GPT-4 模型会开创哪些新的研究方向?

公众号新闻


MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
转载自 | 夕小瑶的卖萌屋
作者|张俊林@知乎
整理|蘑菇先生学习记

分享一篇张俊林老师关于GPT-4模型会开创哪些新的研究方向的回答。

引言

在这个历史性的时刻,回答个问题,留下自己作为历史见证人的足迹。先遵循这个问题的主旨,写两句GPT-4开创了哪些新的方向,技术报告里很明确地指出了三个新的方向:

方向1:LLM最前沿研究的封闭化

第一,LLM最前沿研究的封闭化或小圈子化。技术报告里说了,出于竞争以及安全等方面的考虑,未公布模型规模等技术细节。从GPT 2.0的开源,到GPT 3.0的只有论文,再到ChatGPT连论文也没有,直到GPT 4.0的技术报告更像效果评测报告。一个很明显的趋势是,OpenAI做实了CloseAI的名号,之后OpenAI的LLM最前沿研究不会再放出论文。

在这个情形下,其它技术相对领先的公司有两种选择。

  • 一种是做更极致的LLM开源化,比如Meta貌似选择了这条道路,这一般是竞争处于劣势的公司作出的合理选择,但是往往相关技术不会是最前沿的技术;

  • 另外一种选择是跟进OpenAI,也选择技术封闭化。Google之前算是LLM的第二梯队,但在“微软+OpenAI”的一顿组合拳下,现在局面有点狼狈不堪。GPT 4.0去年8月就做好了,估计现在GPT 5.0正在炼丹过程中,这么长的时间窗口,结果Google都能落到目前这个局面,想想Transformer、CoT等非常关键的一些研究都是自己做出来的,竟沦落至此,不知一众高层作何感想。Google在后面能快速跟进,维持在第二梯队应该问题不大,很可能比第三名技术也领先很多。出于竞争关系考虑,我猜Google大概率会跟进OpenAI走技术封闭的路线,最先进的LLM技术优先用来炼属于自己的丹,而不是写成论文放出来普惠大众尤其是普惠OpenAI。而这很可能导致LLM最前沿研究的封闭化。

从现在算起,国内在经过一阵时间后(要做到ChatGPT的6到7折应该比较快,要追平估计要较长时间),必然被迫进入自主创新的局面。从最近三个月国内的各种情况看,将来会如何?大概率不太乐观。当然,这个关肯定很难,但必须得过,只能祝愿有能力且有初心者尽力加油了。

方向2:能力预测

第二,GPT 4技术报告里提到的LLM模型的“能力预测(Capability Prediction)”是个非常有价值的新研究方向(其实之前也有个别其它资料,我记得看过,但是具体哪篇记不起来了)。用小模型来预测某些参数组合下对应大模型的某种能力,如果预测足够精准,能够极大缩短炼丹周期,同时极大减少试错成本,所以无论理论价值还是实际价值巨大,这个绝对是非常值得认真研究具体技术方法的。

方向3:LLM评测框架

第三,GPT 4开源了一个LLM评测框架,这也是后面LLM技术快速发展非常重要的方向。尤其对于中文,构建实用的中文LLM评测数据和框架具备特别重要的意义,好的LLM评测数据可以快速发现LLM目前存在的短板和改进方向,意义重大,但是很明显目前这块基本处于空白状态。这个对于资源要求其实没那么高,适合很多机构去做,不过确实是个辛苦活。

其他方向1:低成本复现ChatGPT

除了GPT 4技术报告里明确指出的三个方向,因为最近LLM各方面新闻比较多,顺手再写两个其它技术方向。
首先,斯坦福大学最近在Meta的7B开源LLaMA基础上,加上Self Instruct技术构造的Alpaca,也代表了一个技术方向。如果归纳下,这个方向可以被称为“低成本复现ChatGPT”的方向。所谓Self Instruct,就是采取一定技术手段,不用人工标注Instruct,而是从OpenAI的接口里,好听点叫“蒸馏”出Instruct,也就是不用人标注,而是ChatGPT作为teacher,给你的Instruct打上标注结果。这个把Instruct标注成本直接打到了几百美金的基准,时间成本就更短了。再加上模型7B规模也不大,所以可以看成一种“低成本复现ChatGPT”的技术路线。
我估计国内早就有不少人采取这个技术路线了。毫无疑问,这是一条捷径,但是走捷径有好处有坏处,具体不展开谈了。在追赶ChatGPT的过程中,先把成本打下来去复现ChatGPT到七八成,我个人还是觉得可行也支持的,毕竟穷人有穷人的玩法。当然,追求把模型做小,效果又不怎么往下掉,如果能扎扎实实去做,是非常具有价值的。

其他方向2:具身智能

另外,具身智能毫无疑问会是LLM下一阶段的重点研究方向。这方面的代表就是前阵子Google放出来的PaLM-E了。目前的GPT 4,我们可以认为人类创造出了一个超级大脑,但还是把它封锁在GPU集群里。而这个超级大脑需要一个身体,GPT 4要和物理世界发生联系、交流和互动,并在物理世界中获得真实的反馈,来学会在真实世界里生存,并根据真实世界的反馈,利用比如强化学习来学习在世界游走的能力。这个肯定是最近的将来最热门的LLM研究方向。

总结

多模态LLM给予了GPT 4以眼睛和耳朵,而具身智能给予GPT 4身体、脚和手。GPT 4和你我发生一些联系,而依托于GPT 4本身强大的学习能力,这个事情估计很快会出现在我们身边。
如果你细想,其实还有很多其它有前途的方向。我的个人判断是:未来5到10年,将会是AGI最快速发展的黄金十年。如果我们站在未来30年的时间节点,当我们回顾这10年时,我们中一定会有人,想起下面的诗句:“懂得,但为时太晚,他们使太阳在途中悲伤, 也并不温和地走进那个良夜。

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向
(如:小张-哈工大-对话系统)
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
ChatGPT-31:卒中领域的开放数据库。已有中国学者借助这些数据发表了自己的研究论文留学丨2023留学逐步回暖,申请有哪些新动向?这些变化需留意OpenAI被曝将发布全新开源大模型,网友:GPT平替?GPT-4论文竟有隐藏线索:GPT-5或完成训练、OpenAI两年内接近AGIGpt 4一出,谁与争锋解读 ChatGPT 背后的研究力量:90 后成主力军,大厂不再是顶尖 AI 人才第一选择狂飙的算力需求,为什么量子计算成为新的方向?T细胞工程:近期频频获得重大突破的新技术,Eric总结了其最新研究方向和机会「ChatGPT之母」最新采访:GPT-4离超级智能还很远,半年内不会训练GPT-5解读ChatGPT背后的研究力量:90后成主力军,大厂不再是顶尖AI人才第一选择100:87:GPT-4心智碾压人类!三大GPT-3.5变种难敌GPT韦神出的这道题火了,GPTGPT-4模型会开创哪些新的研究方向?看看张俊林老师和国外研究者的建议总结22-23年NLP等在GNN领域最新的研究综述以及研究趋势什么样的研究生是真正好的研究生OpenAI创始人:GPT-4的研究起源和构建心法震惊科学界!微软154页研究刷屏:GPT-4能力接近人类,「天网」初现?李云泽履新,国家金融监督管理总局还有哪些新动向?mBio | 张军杰研究组在宿主因子调控疱疹病毒裂解再激活研究方面取得新进展夜试新茶兼怀故人我们家的炒股历程 续被引33万次的顶级大佬用69分重磅综述阐述这个研究方向,必看!逛圣诞集市 | 布拉格GPT-4.0对战GPT-3.5:GPT-3.5简直弱爆了!!!震惊科学界!微软154页研究刷屏:GPT-4能力接近人类,“天网”初现?Sam Altman专访:GPT-4没太让我惊讶,ChatGPT则让我喜出望外GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑ChatGPT 之父:GPT-4 是人类迄今最复杂的软件二年级选课,忽闻一夜 GPT 来,千课 万课 AI 开GPT系列大模型在文本生成方向有哪些最新尝试?一位永恒的女性5年、20年......AI大模型会威胁哪些打工人?RLHF魔法的衍生研究方向一文详解医学图像最新研究方向!中信建投:GPT4及ChatGPT相关应用梳理仅需5分钟!读完Nature59分顶级子刊重磅综述!轻松拿下国自然热门研究方向!香港研究型硕博项目如何申请?为什么推荐社会心理学方向?|活动回顾文革批知识私有为的是缩小差别
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。