Redian新闻
>
MSRA王晋东:大模型时代,普通人的科研何去何从

MSRA王晋东:大模型时代,普通人的科研何去何从

公众号新闻
王晋东 投稿
量子位 | 公众号 QbitAI

最近,电子工业出版社送了我一本《一本书读懂AIGC:ChatGPT、AI绘画、智能文明与生产力变革》,不禁感叹:现在连写书都这么卷了!

要知道,ChatGPT 于去年11月30日刚刚发布、距今仅4月有余。

借用《百年孤独》的开头,我想写这样的句子:

许多年后,面对AI对人类的全面奴役,曾经的AI科研工作者将会想起他们第一次登录ChatGPT的那个遥远的下午。

也曾无数次想借用电影《终结者》的故事:

回到过去,回到2022年11月29日,将保存有ChatGPT模型参数的服务器引爆,于是得以继续之前的科研和生活。

恰逢世界读书日前后,故写些读后感。

何为AIGC?

AIGC是AI-generated content的缩写,翻译成中文可以叫做人工智能内容生成,或者叫AI内容生成

通俗地讲,即是计算机自动生成一些人想要的内容,如图片、视频、音频、文本、网页、代码等。

不难看出,AIGC可以辅助用户做很多之前做不到的事情、提高工作效率(对应着更多人下岗)

AI绘画,可以以极快的速度生成插画(取代部分插画师和设计师)

AI代码生成,可以提高程序员的工作效率(取代部分低端程序员:自己写代码训练AI最后把自己给取代了)

AI聊天+文字生成,可以取代部分线上客服、低端文秘、新闻报道、文案写作策划、活动布置等很多需要与文字打交道的岗位……

而ChatGPT则是其中“最靓的仔”,发布后2个月之内就在全球范围内收获了1亿用户,是历史上用户增长最快的产品,我们在此无需对其火爆程度进行过多介绍。

今年3月12日,其升级版、GPT-4也正式发布了。

放眼2023年,所有人、特别是AI科研人,都经历了从未有过的连续震撼,几乎每天醒来都有一个大新闻:

内容出处:https://mp.weixin.qq.com/s/Wn7HzqfkDbRuFb-HCegitg

《庄子·养生主》里写道:“吾生也有涯、而知也无涯。以有涯随无涯,殆而已矣!”

AIGC对AI科研人的影响和颠覆

上述的震撼显然只是个前菜,震撼过后便是更大、更直接的影响。

原因其实说来也简单——疗效好呗。

(注:本文仅分析科研岗位。)

高校和研究所

此时的你,如果是个AI方向的高校教师或研究员,那么你可能发现,一夜之间大部分的教师群、项目群、学术群都在讨论所谓的大模型。

更悲惨的是:

你发现学生在质疑自己的研究方向:老师,这个方向还有什么意义?ChatGPT做这么好了,我们打不过它的。

你打不过、想加入,但是发现你没钱买显卡:是的,一块计算显卡A100的售价在10万人民币左右,而自然语言处理大模型动辄需要几块、几十块的卡来开发和试错。试问有多少高校教师可以负担得起?

你想申请国家项目来买显卡:申请过项目的都懂,哪里会允许你用几百万来买显卡?噢,不好意思,青年基金只有30万、面上基金也就几十万……

你跟学生说,没有卡我们就做后处理、做fine-tune、做prompt tuning。但是你发现:其实这些操作也是要卡的,普通教师还是买不起。

你想躺平了、让学生还是沿着之前的方向水文章:学生说,老师,审稿人问我们说我们这个方法能不能用在大模型上、如果用不上去的话有啥意义?我之后怎么找工作?

你想站出来反对大模型、要找它的漏洞,却发现:好的东西都是不开源的;你仅能从人家的输出结果上进行分析、并且人家的模型在快速迭代、可能今天有的问题、明天就莫名其妙被修复了……

工业界

此时的你,如果是个工业界的研究员、像笔者一样的大头兵,你同样发现,一夜之间,昨天刚和老板说要做的事情突然变得不再重要:

  • 你:我要做更简单更基础的学习理论,对现有的学习范式进行颠覆。

  • 老板:能用在大模型上吗?

  • 你:我觉得self-attention的鲁棒性需要研究一下,它对对抗攻击也没那么鲁棒,只是比CNN好点。

  • 老板:能用在大模型上吗?

  • 你:我最近搞了个厉害的解耦算法,简单有效。

  • 老板:大模型时代还需要做解耦吗?

  • 你:我想再探索一下图神经网络做蛋白质分子结构预测。

  • 老板:大模型能做吗?

  • 你:Causality还是挺重要的,你看Bengio都一直在研究。

  • 老板:大模型还需要causality吗?

  • 你:那我看看大模型?

  • 老板:这是个不错的方向。

  • 你:那我需要64张A100来fine-tune一下LLaMA。

  • 老板:这个真没有。

  • 你:。。。。。。

是挑战、更是普通人的机遇

笔者也是无数普通人中的一员、同样经历了上述关于大模型的”灵魂拷问“。

所谓痛定思痛、知耻而后勇,经历过无数失眠的夜、写坏了几支劣质的笔、也摸完了十条无聊的鱼,笔者现在则认为:

大模型时代虽然是挑战,但更是普通人的机遇。

为何这么说?

因为ChatGPT等大模型,第一次把普通人和MIT、Stanford、CMU、国内清北等一众牛校大佬拉到了一个水平线上。你发现:原来大家都没搞出来ChatGPT呀;之前那些东西搞再好,也没用了。甚至于,普通人的损失还少点。

那么,大模型时代,普通人如何做科研?

以下仅为个人观点,如不同意,就是你对。

新的分析和评测

大模型时代显然需要新的分析和评测方法。不同于以往以公开测试集为准的机器学习,大模型现在可以将所有的公开数据集全部吃下(即overfit)。因此,不宜采用传统方式进行评测。

可以思考:

  • 更有难度、更符合人类标准的评测集是什么样的?

  • 大模型的边界在哪里、什么样的数据可以测出来?

  • 小模型和大模型到底有什么区别、仅仅是benchmark得分不同吗?

  • 如何公平地评测不同大模型的能力?

  • 到底何为”AGI“?如今的评测是否是AGI评测?

新的理论和方法

大模型对于做理论和基础研究的科研人员是个毁灭性的打击。

原因很简单,深度学习理论在目前也无法很好地分析多层神经网络、更不必说更大、更不开源的黑盒大模型了。

因此,理论研究人员可能会出现”巧妇难为无米之炊“的情形、不知道自己还能做什么。

但笔者认为,基础理论、数学、统计、概率等基础学科的重要性仍然无需多言,但需要结合大模型进行一些探索和突破。

例如:

  • 为什么CLIP仅采用image-text pair进行对比学习、泛化能力就很好?

  • 如果是训练数据重要,那为何400M数据的CLIP和2B数据的Laion-CLIP在长尾数据上并没差太多?

  • 数据、模型、算法、优化,哪个更重要?

  • 如何加速大模型的训练,如从数据筛选、优化器更新的角度?

更好的人与AI协同

既然打不过,那索性就加入。我们可以将大模型看作一次大的技术革命、一种新的人机交互方式。

那么,此刻的你我就处于这种新的人机交互、人与AI协同的革命前夜,应该多去思考如何利用大模型的能力来做出更多变革:

  • 如何提高写Prompt的能力、最好是自动写好的Prompt?

  • CV、NLP、Audio都有大模型,如何利用这些模型进行更好的多模态信息融合?

  • 如何设计下一代人-AI协同交互的用户界面?

  • 如何将大模型快速轻量地部署于端侧设备?

  • 如何更轻量地微调大模型以服务于下游小数据领域?

找大模型的短板

不得不说目前的大模型并不完美、其问题多多。

笔者也在年初”卷“了一周、搞出了第一个ChatGPT的鲁棒性评测。我们发现大部分大模型其实对于对抗攻击并不鲁棒、其抗干扰能全力亟待提升。

因此,一个自然的研究方向便是”找茬“:

  • 大模型的OOD能力是不是够了?有大模型不需要OOD了?

  • 大模型的长尾是不是做很好了?这个笔者探索过了,显然不太行。

  • 如何使大模型免受prompt injection、prompt leakage等攻击?

  • 大模型生成内容如何判别是hallucination还是真的?

更负责任、社会化的AI技术

新的技术革命需要新的社会变革,而变革的过程可能是充满荆棘的。

好的研究视野应该放眼全社会、做出更负责任和更社会化的AI研究(Responsible AI, or societal AI),方可确保技术不被滥用、更好地服务人类:

  • 如何进行有效的value alignment使AI准确地满足人的价值观?

  • 如何对AI生成的内容进行有效监管使其实不被滥用?

  • 如何分析生成式AI对教育、生产力、社会、心理学等诸多层面的影响?

  • 新技术应该是”有温度“的:如何引导”前人“更加无痛地完成新技术的更迭?

此类问题的每一个都值得深入探讨。

值得一提的是,笔者所在的研究组——微软亚洲研究院(MSRA)社会计算组的大部分研究人员均在做相关研究,也期待未来有更多的合作者加入进来一起合作。

社会化问题任重而道远,需要跨学科、全社会的长期密切交流合作。

好了,读到这里,你还觉得自己的研究一片灰暗吗?面对所有的挑战、只要你快速转变以调整方向,你也可以成为未来的“大佬”。

让我们乘着大模型的东风、继续乘风破浪吧!

视频版:

https://www.bilibili.com/video/BV1hM41157ZF/

量子位智库「中国AIGC产业全景报告」

开放下载!

行业首份AIGC产业全景报告已经开放下载!

三大类玩家、四种商业模式、万亿规模市场、最值得关注的50家企业,还有具体的赛道部署机会和行业变革机遇,都将在报告内一一分析呈现。更多产业洞察,不容错过。

公众号后台回复 “ AIGC ” 即可下载完整报告~


点这里👇关注我,记得标星哦~


一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
内忧外患的Unity该何去何从?锣的传奇故事代码大模型综述:中科院和MSRA调研27个LLMs,并给出5个有趣挑战智源发布FlagOpen大模型技术开源体系,要做大模型时代的“新Linux”突发!澳洲华人圈炸了:知名公司破产,大批华人受波及+崩溃!上千个项目遭影响!未来何去何从...国际 | 现在购买,以后担心?“先买后付”何去何从花甲之年我该何去何从文心一言开启国产大模型时代,应用新机遇大模型时代,国产GPU加速「狂飙」|Chat AI辣妈遇到新问题--人工智能爆发时代的教育何去何从?创业内幕 | AI大模型时代,SaaS的热潮与暗涌美元基金将何去何从?十年首次下降,CIS何去何从?GPT-4来了,计算机视觉科研,何去何从?SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED…你都掌握了吗?一文总结超分辨率分析必备经典模型(一)突发!美国百年名校宣布倒闭!在校生该何去何从?跌破2000美元关键点位后,金价何去何从?今夜利率决议见分晓硅谷裁员【2023版】杀到,留学生们何去何从?居龙:全球产业链加速重整,中国半导体何去何从?在AI大模型时代,重估中国算力美国硅谷银行破产,留学生恐面临大面积失业?CS专业留学生将何去何从?超级AI时代,聊聊普通人如何从ChatGPT致富。。。【一世人】(14 ) 鞋匠“臭头同”VDSR、DRRN、LapSRN、RCAN、DSRN…你都掌握了吗?一文总结超分辨率分析必备经典模型(二)塔布勒(素肉味)沙拉大模型时代,商汤造“工厂”Once upon a time in the west (CS)春光芯片未来,何去何从?大模型时代,一定要来讨论下数据与隐私总编对话 | 世纪互联陈升:大模型时代“算粒”汇成强大算力大模型时代,商汤怎么做?草案被质疑,德国新积分移民体系何去何从?硅谷银行“猝死”后,市场何去何从? | 经济学人财经大模型时代,人类经验一无是处?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。