Redian新闻
>
击败英伟达等一众巨头,两位卡内基梅隆校友闯荡AI大模型时代

击败英伟达等一众巨头,两位卡内基梅隆校友闯荡AI大模型时代

科技

模拟人脑的稀疏化计算得到业界广泛关注。

作者王小方
编辑丨海腰

图源丨墨芯人工智能官网


今年4月初,墨芯人工智能在全球权威AI测评MLPerf的ResNet-50模型中再度拿下冠军,一举击败同场竞技的英伟达、英特尔和高通等一众AI巨头,迅速赢得科技产业界的广泛关注。

图源:墨芯人工智能官网

随着AI大模型在全球范围内的流行,曾经身处边缘位置的稀疏化计算得到越来越多人的关注,墨芯人工智能随之迎来了更大的时代机遇。

目前,在稀疏化计算领域,墨芯人工智能已占据较强先发优势,其创始团队有着令人艳羡的履历:创始人兼CEO王维曾担任英特尔、高通的核心架构师,参与开发了五代英特尔CPU处理器,累计量产超50亿片;首席科学家严恩勖则是神经网络动态稀疏算法的发明人,迄今为止,已在国际顶级人工智能期刊上发表论文40余篇。


酷爱数学的天才少年

现年35岁的严恩勖出生于中国台湾省,在小小年纪便显露出超出常人的禀赋。

严恩勖 墨芯人工智能首席科学家

当大多数小孩还沉醉于游戏机和动画片的时候,严恩勖却着魔般地喜欢上了数学,并很快在这方面显露出过人的天赋。

内心的热爱如同燃烧的熊熊之火,年少的严恩勖一有时间便会投入到数学的世界中,一个不经意便会因投入而忘记时间。等到上初中的时候,他已通过自学完成了大学的数学课程。

大抵正因为有着上述经历,在不断积累数学知识之余,严恩勖也收获了极大信心,使得他更有底气超越彼时教育体制的束缚,更自由地追逐内心的探索欲,并沉浸其中发挥创造力。

虽然,沉浸于数学世界带来了极大乐趣,但严恩勖并没有因此而忽略外部的现实世界。

据严恩勖介绍,他在初中的时候就已经萌生了创业的念头。不过,在早期生涯中,他基本还是专注于自己的学术道路,但内心深处十分清楚,自己更大的热情是在于将学术和现实结合,并借此解决一些现实中的问题。

早在2008年,彼时严恩勖还在台湾大学念本科期间,他已走上了机器学习的研究方向,并对稀疏化算法产生浓厚兴趣。

“在卡内基梅隆大学读博期间,我发表的第一篇论文就是关于稀疏化计算的,这也是我博士期间的主攻研究方向。”严恩勖说道,“经过不懈的努力,在稀疏化计算领域,我独创了双稀疏算法,并坚信它能帮助AI前沿技术落地成现实,用于解决世界上的一些难题。”


踏上创业之路

虽然一路追随着心中的学术理想,但严恩勖始终没有忘记最初的创业梦想,他一直在等待一个合适的时机,只是没想到好运气会来得这么快。

墨芯人工智能成立于2018年,其中,墨芯二字取自英文名Moffett的谐音,也是公司创业起源地卡内基梅隆大学硅谷校区的地名;此外,墨芯二字也蕴含了“墨子芯片”之意,以表达对中国古代伟大的科学家墨子的敬意。

2018年也是严恩勖博士生涯的最后一年,而关于墨芯的一切还得从一场相遇说起。

墨芯人工智能的创始人王维现年41岁,他和严恩勖是卡内基梅隆大学的校友。

王维 墨芯人工智能创始人

这所由工业家兼慈善家安德鲁·卡耐基于1900年创立的大学,建校百年以来,可谓名人辈出,期间共培育了13位图灵奖得主,20位诺贝尔奖得主,以及为国内大众熟知的李开复、陆奇和吴恩达等科技界大拿。

在AI研究领域,卡内基梅隆大学更是名副其实的学术殿堂,其计算机科学学院雄踞全球最顶尖行列,特别是其“人工智能堆栈”的计算机视觉、人机交互、机器学习、自然语言处理和机器人技术的重磅领域,代表了全球最前沿的水准,是无数学子的梦中之所。

维是严恩勖的师兄,虽说二人毕业于同一所学校,但毕竟相隔了太多届,理应很难产生交集,真正让二人走到一起的原因是,他们对未来有着非常一致的判断,即都看到了稀疏化计算蕴含的巨大潜力。

“稀疏化计算的思路源于人脑的工作方式,虽然人脑有着百亿数量级的神经元,但在工作时的功耗非常低。这是因为人脑在工作的时候,只需激活要用到的少部分神经元。稀疏化算法与人脑异曲同工,通过底层创新和软硬协同设计,让神经网络模型消减冗余,以有效提高计算效率。”严恩勖介绍道。

创业伊始,王维就十分清楚,想要取得底层创新上的突破,就必须找到顶级的算法科学家,并且后者需在稀疏化计算理论上有很强的突破性和创新性。

在这样的情形下,神经网络动态稀疏算法发明者严恩勖很快便进入了他的视线。

严恩勖曾在Google和Microsoft Research担任研究员,在国际顶级人工智能期刊上累计发表论文40余篇;在2015至2019年间,他作为第一作者在NIPS发文数量位居全球第二,正是这些优质论文为二人的相遇创造了契机。

2018年冬天,王维专程从硅谷飞往卡内基梅隆大学,与正在读博的校友严恩勖畅聊了两天两晚,双方一拍即合,随即决定基于稀疏算法开启AI芯片创业。

为组建一支高起点的创业天团,王维还找来了硅谷20多年的好友,有20年以上SoC芯片设计和团队管理经验的芦勇,他曾任SK Hynix芯片设计总监和Marvell资深芯片设计经理;以及拥有18年DSP、CPU处理器,以及硬件加速器学术及产业经验的肖志斌,他曾是阿里达摩院的核心架构师和研究员。

随着AI大模型的日益普及,来自算力上的挑战越来越大,稀疏化计算的价值开始被更多人看见,但在当时,这一技术路线还属于相对偏门。


第一颗芯片Antoum的故事

2022年元旦夜这天,当无数人正与家人团聚在一起,共享新年的欢聚时刻,墨芯人工智能创始人王维与多名员工还在紧张地忙碌着,他们刚刚拿回首颗芯片Antoum的回片。

图源:墨芯人工智能官网

长达4年的艰辛付出,终于迎来最终的验证时刻。

一个年轻小伙屏气凝神地接通了电源,大家你看看我,我看看你,脸上挂着一副既期待又带有几分害怕的表情,等待即将到来的关键时刻。

所有的努力没有白费,一切都超乎想象地顺利。大家怀着激动的心情,连夜把ResNet-50跑通,各项性能都一一达到了预期目标。

据王维介绍,Antoum是全球首款高达32倍稀疏率的AI计算芯片,在算力、功耗和能效比——云端芯片的三大核心技术点上,Antoum都做到了突破性的创新。

在流片成功仅4个月后,墨芯人工智能顺势推出了首款搭载Antoum芯片的S4计算卡。该计算卡被用在浪潮服务器上,流畅运行多个主流AI模型,实测性能是国际大厂主流AI推理卡T4的6倍。

“我2008年开始在台湾大学读本科,那时候深度学习还不像现今这般火热,AI课题基本上只有学术团队在做,相关的训练和推理代码都得自己写,而且大多以CPU作为搭载平台。”严恩勖说道。

在2013至2018年博士期间,严恩勖发现深度学习领域已产生明显的范式转变。大部分人已不再写训练和推理代码,而是借助行业巨头提供的软件栈,模型的开发变容易了,AI算法优化工作也由开发人员转向了计算平台开发者身上,导致算法上的创新受到较大限制,呈现出固化的趋势。

在严恩勖看来,想要更好地实现高倍率稀疏化计算,既要实现高倍率稀疏化,又要能支持大规模并行计算。因此,CPU和GPU都不是理想的硬件,必须软走硬协同的路线。

相较传统芯片公司只攻底层设计的路线,墨芯独辟蹊径,选择了“算法创新,定义芯片架构”的新策略。通过深入理解创新算法的突破,用新算法的突破来定义软件架构,再往下定义硬件架构,进而实现算法与算力的协同优化。

创业至今已近5年,从学术走向创业,严恩勖感觉自己离梦想越来越近。

相较沉潜于学术世界,创业要面对的事情更加复杂。不过,当看到自己研发的计算解决方案能满足客户的现实需求,并得到不同行业领域的认可,严恩勖更深切地体会到科技改变社会的巨大能量,这给他带来了不一样的成就感。


找靠谱商机,关注创业邦视频号!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
太卷了,普林斯顿20%学生扎堆“卷”计算机,卡耐基梅隆毕业起薪超高!室温超导是否真在美国实现了?CV开启大模型时代!谷歌发布史上最大ViT:220亿参数,视觉感知力直逼人类机会来了?普林斯顿、哥大、UC等一众美国名校大扩招!MLPref放榜!大模型时代算力领域“潜力股”浮出水面:梅开二度拿下世界第一,今年获双料冠军【广发证券】策略对话计算机:AI 大模型时代日本女性的不婚(二)申请黄金期来了!普林斯顿、哥大、UC等一众美国名校大扩招!普林斯顿、哥大、UC等一众美国名校大扩招!MIT和卡内基梅隆大学公布今年新生录取数据:中国学生在国际生中占比最高!古琴+摇滚+民谣,纽约中美青年音乐节卡内基音乐厅登场2023CS Rankings排名发布,卡耐基梅隆大学连续11年霸榜第一只给大模型LeetCode编号,也能解题!大模型表现好是源于对训练数据的记忆吗?请不要迷信大模型是什么书,能让刘慈欣等一众大佬为它打call?大模型时代,国产GPU加速「狂飙」|Chat AI卡耐基梅隆大学、威斯康辛大学麦迪逊分校+2、波士顿大学+4、俄亥俄州立大学-哥伦布、卫斯理安大学录取到!MLPref放榜!大模型时代算力领域“潜力股”浮出水面文心一言开启国产大模型时代,应用新机遇卡内基梅隆/圣路易斯华盛顿/南加大/牛津等众多优秀本科名校学子上海线下分享会藤校学生狂卷高薪专业:普林斯顿20%本科生读计算机!卡耐基梅隆毕业起薪超高!【卡耐基梅隆大学】转码经验来了!「简报」CMU 表彰校园各地的教育领导者;四名卡耐基梅隆大学校友获得七项托尼奖提名美国入境档案--吴大昌是什么音乐夏令营,能年年把孩子送进卡内基音乐厅?她欲摘取英伟达AI王冠,两位华人的霸主之争阿里达摩院大模型公开课上新!主讲中文个性化对话大模型ChatPLUG和模块化多模态大模型mPLUG-Owl大模型时代,商汤怎么做?ChatGPT来势汹汹,计算机专业会变“天坑”吗?卡内基梅隆计算机教授揭秘秋招资讯 | 吊打Google等一众大厂,Amazon终于赢了!申请路上的跌宕起伏,经历成长与蜕变终获卡耐基梅隆CMU工程学院青睐!大模型时代,商汤造“工厂”苏妈战老黄!官宣AMD大模型专用卡,对标英伟达H100,可跑更大模型转学喜报!藤校宾夕法尼亚大学、计算机牛校卡耐基梅隆大学录取到!【糗事,笑话】男女第一次的约会加《全民免费医保》如何开始的
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。