Redian新闻
>
击败英伟达等一众巨头,两位卡内基梅隆校友闯荡AI大模型时代

击败英伟达等一众巨头,两位卡内基梅隆校友闯荡AI大模型时代

科技

模拟人脑的稀疏化计算得到业界广泛关注。

作者王小方
编辑丨海腰

图源丨墨芯人工智能官网


今年4月初,墨芯人工智能在全球权威AI测评MLPerf的ResNet-50模型中再度拿下冠军,一举击败同场竞技的英伟达、英特尔和高通等一众AI巨头,迅速赢得科技产业界的广泛关注。

图源:墨芯人工智能官网

随着AI大模型在全球范围内的流行,曾经身处边缘位置的稀疏化计算得到越来越多人的关注,墨芯人工智能随之迎来了更大的时代机遇。

目前,在稀疏化计算领域,墨芯人工智能已占据较强先发优势,其创始团队有着令人艳羡的履历:创始人兼CEO王维曾担任英特尔、高通的核心架构师,参与开发了五代英特尔CPU处理器,累计量产超50亿片;首席科学家严恩勖则是神经网络动态稀疏算法的发明人,迄今为止,已在国际顶级人工智能期刊上发表论文40余篇。


酷爱数学的天才少年

现年35岁的严恩勖出生于中国台湾省,在小小年纪便显露出超出常人的禀赋。

严恩勖 墨芯人工智能首席科学家

当大多数小孩还沉醉于游戏机和动画片的时候,严恩勖却着魔般地喜欢上了数学,并很快在这方面显露出过人的天赋。

内心的热爱如同燃烧的熊熊之火,年少的严恩勖一有时间便会投入到数学的世界中,一个不经意便会因投入而忘记时间。等到上初中的时候,他已通过自学完成了大学的数学课程。

大抵正因为有着上述经历,在不断积累数学知识之余,严恩勖也收获了极大信心,使得他更有底气超越彼时教育体制的束缚,更自由地追逐内心的探索欲,并沉浸其中发挥创造力。

虽然,沉浸于数学世界带来了极大乐趣,但严恩勖并没有因此而忽略外部的现实世界。

据严恩勖介绍,他在初中的时候就已经萌生了创业的念头。不过,在早期生涯中,他基本还是专注于自己的学术道路,但内心深处十分清楚,自己更大的热情是在于将学术和现实结合,并借此解决一些现实中的问题。

早在2008年,彼时严恩勖还在台湾大学念本科期间,他已走上了机器学习的研究方向,并对稀疏化算法产生浓厚兴趣。

“在卡内基梅隆大学读博期间,我发表的第一篇论文就是关于稀疏化计算的,这也是我博士期间的主攻研究方向。”严恩勖说道,“经过不懈的努力,在稀疏化计算领域,我独创了双稀疏算法,并坚信它能帮助AI前沿技术落地成现实,用于解决世界上的一些难题。”


踏上创业之路

虽然一路追随着心中的学术理想,但严恩勖始终没有忘记最初的创业梦想,他一直在等待一个合适的时机,只是没想到好运气会来得这么快。

墨芯人工智能成立于2018年,其中,墨芯二字取自英文名Moffett的谐音,也是公司创业起源地卡内基梅隆大学硅谷校区的地名;此外,墨芯二字也蕴含了“墨子芯片”之意,以表达对中国古代伟大的科学家墨子的敬意。

2018年也是严恩勖博士生涯的最后一年,而关于墨芯的一切还得从一场相遇说起。

墨芯人工智能的创始人王维现年41岁,他和严恩勖是卡内基梅隆大学的校友。

王维 墨芯人工智能创始人

这所由工业家兼慈善家安德鲁·卡耐基于1900年创立的大学,建校百年以来,可谓名人辈出,期间共培育了13位图灵奖得主,20位诺贝尔奖得主,以及为国内大众熟知的李开复、陆奇和吴恩达等科技界大拿。

在AI研究领域,卡内基梅隆大学更是名副其实的学术殿堂,其计算机科学学院雄踞全球最顶尖行列,特别是其“人工智能堆栈”的计算机视觉、人机交互、机器学习、自然语言处理和机器人技术的重磅领域,代表了全球最前沿的水准,是无数学子的梦中之所。

维是严恩勖的师兄,虽说二人毕业于同一所学校,但毕竟相隔了太多届,理应很难产生交集,真正让二人走到一起的原因是,他们对未来有着非常一致的判断,即都看到了稀疏化计算蕴含的巨大潜力。

“稀疏化计算的思路源于人脑的工作方式,虽然人脑有着百亿数量级的神经元,但在工作时的功耗非常低。这是因为人脑在工作的时候,只需激活要用到的少部分神经元。稀疏化算法与人脑异曲同工,通过底层创新和软硬协同设计,让神经网络模型消减冗余,以有效提高计算效率。”严恩勖介绍道。

创业伊始,王维就十分清楚,想要取得底层创新上的突破,就必须找到顶级的算法科学家,并且后者需在稀疏化计算理论上有很强的突破性和创新性。

在这样的情形下,神经网络动态稀疏算法发明者严恩勖很快便进入了他的视线。

严恩勖曾在Google和Microsoft Research担任研究员,在国际顶级人工智能期刊上累计发表论文40余篇;在2015至2019年间,他作为第一作者在NIPS发文数量位居全球第二,正是这些优质论文为二人的相遇创造了契机。

2018年冬天,王维专程从硅谷飞往卡内基梅隆大学,与正在读博的校友严恩勖畅聊了两天两晚,双方一拍即合,随即决定基于稀疏算法开启AI芯片创业。

为组建一支高起点的创业天团,王维还找来了硅谷20多年的好友,有20年以上SoC芯片设计和团队管理经验的芦勇,他曾任SK Hynix芯片设计总监和Marvell资深芯片设计经理;以及拥有18年DSP、CPU处理器,以及硬件加速器学术及产业经验的肖志斌,他曾是阿里达摩院的核心架构师和研究员。

随着AI大模型的日益普及,来自算力上的挑战越来越大,稀疏化计算的价值开始被更多人看见,但在当时,这一技术路线还属于相对偏门。


第一颗芯片Antoum的故事

2022年元旦夜这天,当无数人正与家人团聚在一起,共享新年的欢聚时刻,墨芯人工智能创始人王维与多名员工还在紧张地忙碌着,他们刚刚拿回首颗芯片Antoum的回片。

图源:墨芯人工智能官网

长达4年的艰辛付出,终于迎来最终的验证时刻。

一个年轻小伙屏气凝神地接通了电源,大家你看看我,我看看你,脸上挂着一副既期待又带有几分害怕的表情,等待即将到来的关键时刻。

所有的努力没有白费,一切都超乎想象地顺利。大家怀着激动的心情,连夜把ResNet-50跑通,各项性能都一一达到了预期目标。

据王维介绍,Antoum是全球首款高达32倍稀疏率的AI计算芯片,在算力、功耗和能效比——云端芯片的三大核心技术点上,Antoum都做到了突破性的创新。

在流片成功仅4个月后,墨芯人工智能顺势推出了首款搭载Antoum芯片的S4计算卡。该计算卡被用在浪潮服务器上,流畅运行多个主流AI模型,实测性能是国际大厂主流AI推理卡T4的6倍。

“我2008年开始在台湾大学读本科,那时候深度学习还不像现今这般火热,AI课题基本上只有学术团队在做,相关的训练和推理代码都得自己写,而且大多以CPU作为搭载平台。”严恩勖说道。

在2013至2018年博士期间,严恩勖发现深度学习领域已产生明显的范式转变。大部分人已不再写训练和推理代码,而是借助行业巨头提供的软件栈,模型的开发变容易了,AI算法优化工作也由开发人员转向了计算平台开发者身上,导致算法上的创新受到较大限制,呈现出固化的趋势。

在严恩勖看来,想要更好地实现高倍率稀疏化计算,既要实现高倍率稀疏化,又要能支持大规模并行计算。因此,CPU和GPU都不是理想的硬件,必须软走硬协同的路线。

相较传统芯片公司只攻底层设计的路线,墨芯独辟蹊径,选择了“算法创新,定义芯片架构”的新策略。通过深入理解创新算法的突破,用新算法的突破来定义软件架构,再往下定义硬件架构,进而实现算法与算力的协同优化。

创业至今已近5年,从学术走向创业,严恩勖感觉自己离梦想越来越近。

相较沉潜于学术世界,创业要面对的事情更加复杂。不过,当看到自己研发的计算解决方案能满足客户的现实需求,并得到不同行业领域的认可,严恩勖更深切地体会到科技改变社会的巨大能量,这给他带来了不一样的成就感。


找靠谱商机,关注创业邦视频号!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
大模型时代,商汤怎么做?苏妈战老黄!官宣AMD大模型专用卡,对标英伟达H100,可跑更大模型大模型时代,商汤造“工厂”50+重磅大咖齐聚北京!大模型时代的“破”与“立”——2023数智产业领袖峰会诚邀参与!全新升级!大模型时代的“破”与“立”——2023数智产业领袖峰会重磅起航!【广发证券】策略对话计算机:AI 大模型时代加《全民免费医保》如何开始的【糗事,笑话】男女第一次的约会阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-OwlCV开启大模型时代!谷歌发布史上最大ViT:220亿参数,视觉感知力直逼人类ChatGPT来势汹汹,计算机专业会变“天坑”吗?卡内基梅隆计算机教授揭秘藤校学生狂卷高薪专业:普林斯顿20%本科生读计算机!卡耐基梅隆毕业起薪超高!转学喜报!藤校宾夕法尼亚大学、计算机牛校卡耐基梅隆大学录取到!卡耐基梅隆大学、威斯康辛大学麦迪逊分校+2、波士顿大学+4、俄亥俄州立大学-哥伦布、卫斯理安大学录取到!阿里云打响大模型时代价格战!开启史上最大规模降价,核心产品直降50%大模型时代,国产GPU加速「狂飙」|Chat AI日本女性的不婚(二)美国入境档案--吴大昌只给大模型LeetCode编号,也能解题!大模型表现好是源于对训练数据的记忆吗?请不要迷信大模型钉钉发布的「魔法棒」,展示了大模型时代的未来是什么音乐夏令营,能年年把孩子送进卡内基音乐厅?2023CS Rankings排名发布,卡耐基梅隆大学连续11年霸榜第一室温超导是否真在美国实现了?她欲摘取英伟达AI王冠,两位华人的霸主之争申请路上的跌宕起伏,经历成长与蜕变终获卡耐基梅隆CMU工程学院青睐!文心一言开启国产大模型时代,应用新机遇MSRA王晋东:大模型时代,普通人的科研何去何从【卡耐基梅隆大学】转码经验来了!MIT和卡内基梅隆大学公布今年新生录取数据:中国学生在国际生中占比最高!卡内基梅隆/圣路易斯华盛顿/南加大/牛津等众多优秀本科名校学子上海线下分享会MLPref放榜!大模型时代算力领域“潜力股”浮出水面:梅开二度拿下世界第一,今年获双料冠军MLPref放榜!大模型时代算力领域“潜力股”浮出水面「简报」CMU 表彰校园各地的教育领导者;四名卡耐基梅隆大学校友获得七项托尼奖提名古琴+摇滚+民谣,纽约中美青年音乐节卡内基音乐厅登场太卷了,普林斯顿20%学生扎堆“卷”计算机,卡耐基梅隆毕业起薪超高!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。