新加坡国立大学尤洋：我的四个选择，本质的喜欢催动长久的坚持丨青源专栏

2022-12-01 16:12

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 智源社区

整理 | 李梦佳

为了启发青年学者思考职业发展，激发科研灵感，智源社区推出青源专栏，定期邀请青源会员分享他们的研究思考和科研感悟。新加坡国立大学计算机系校长青年教授、青源会会员尤洋分享了他在高性能计算研究、创业经历以及在新加坡的生活所感。从求学读博跟随高性能计算专家James Demmel，到去往异国任教，再到后来几经辗转的创业之路，尤洋娓娓道来了人生中几次关键性的选择。他坚信，对于任何事或者人，只有本质的喜欢才能催动长久的坚持。

尤洋

他是新加坡国立大学计算机系的校长青年教授(PresidentialYoungProfessor)，此前从加州大学伯克利分校计算机系获得了博士学位。尤洋的研究兴趣包括高性能计算、并行算法，以及机器学习。他当前的研究重点是大规模深度学习训练算法的分布式优化，曾创造ImageNet以及BERT训练速度的世界纪录，被几十家媒体广泛报道。他设计的算法被广泛应用于谷歌、微软、英特尔、英伟达等科技企业。尤洋近三年以第一作者身份在NIPS、ICLR、Supercomputing、IPDPS、ICS等国际重要会议或期刊上发表论文十余篇，并曾以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)。尤洋在2021年入选福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。同时，他也是潞晨科技 (HPC-AI Tech)的创始人。

1
『研究之选：在实践中设计算法，「我成了谷歌内部做实验最多的人」』

我博士阶段的研究方向是高性能计算（High Performance Computing），意思就是提升计算效率。在这方面做的最好的就是英伟达，英伟达GPU最开始是做游戏或图形处理，游戏图形处理和渲染需要很强的算力。英伟达CUDA做了很多这方面的优化，之后AI或者深度学习出来之后，对算力的要求很高，所以对高性能计算就有了很多的期待和需求。

于是我们与时俱进，因为高性能计算相当于我们的工具或锤子，AI是我们的钉子。很自然地，我现在就在做HPC+AI。最初选择这个方向，源于学习了英伟达的一些教程，发现了其中的乐趣。

我针对 ImageNet 图像数据集的训练提出了 LARS 优化器被 Facebook、腾讯、索尼、谷歌、富士通等公司使用，将 ImageNet 训练的时间从一小时缩短到了一分钟；针对 BERT 设计的 LAMB 方法则将三天三夜的训练时间缩短到了 76 分钟。这两项工作当时创造了ImageNet以及BERT训练速度的世界纪录，并被ScienceDaily、TheNextWeb、i-programmer等几十家媒体报道。

相比学校，英伟达、谷歌在内的硅谷最有影响力的大公司，计算资源十分丰富，英伟达GPU、谷歌TPU等内部可以无限使用。当时我与导师商量，想去工业界多实习，他也比较支持我。

根据伯克利的政策，在全职实习结束后，学生也可以每周投入一两天去工业界实习，于是我选择了加入谷歌。有趣的是，我作为实习生，几乎成了谷歌内部做实验做得最多的人，对实验细节非常清楚。当时估算了一下，一年如果按照TPU云计算市场的价格来算的话，大概花了谷歌上千万美元来做实验（当然在内部也不收我的钱）。经过实习，我摸清了很多tricks，也发现了很多规律，并结合这些规律设计了我自己的算法，实践是主要的驱动力。

基于这段经历给我的启发，目前我们的团队打造了名为「Colossal-AI」的高性能计算平台，它包括高效内存管理系统、自动的 N-维并行化系统和基于优化的动态调度系统。未来，我们的愿景是使用户可以在服务器、终端、甚至是手机上定义好模型，将其通过 Colossal AI 部署至云端，支持 CPU、GPU、TPU、FPGA 等多种硬件平台和 TensorFlow、PyTorch、Keras、Theano 等多种编程框架。这将帮助更多的高效、初创公司能够最大化效率、最小化成本，从而部署自己的模型和系统。

值得一提的是，实验环境与商业环境下的并行计算有一定区别。在实验室或者公司的研发部门训练模型，一般设为一个静态的过程，实验可以中间暂停。而在生产环境下，传统的并行计算（非AI）属于并发问题。比如，百度的搜索引擎如何处理大量的request，本质上也是一个并行计算的问题，它比较偏实时，注重scalability，即从10个用户扩展到100个用户或者1万个用户，能不能让用户的延迟不变，保持稳定性最为重要。

对于企业来说，硬件部署所需要的资金成本是十分关键的因素。如何打造高效率、低能耗的分布式人工智能系统至关重要。为此，Colossal AI 从「自动最大化并行计算」、「动态调度系统」、「内存优化」三个层面上提出了目前最先进的高性能计算解决方案。Colossal AI 是最完整实现并行化计算的高性能计算框架之一，支持层与层之间的流水线并行、张量并行、序列并行、数据并行优化。在张量并行方面，Colossal AI 实现了二维网格参数划分、三维立体参数划分、以及2.5维通信最小化参数划分。

在动态调度系统方面，我们实现了高效、高质量的动态资源管理。在芯片、batch 层面上实现了 GPU 使用率的最大化、通过广播训练状态和模型权重实现了高速工作迁移；根据中心训练状态检测器逐渐扩大 batch size 保证训练的稳定，并且使用了 LARS、LAMB 等先进的优化器。为了实现低成本的大规模 AI 模型调优，Colossal AI 还通过多级卸载实现了动态、智能、高效的内存优化与调度。

展望未来，高性能计算（HPC）领域重点在于它的可扩展性（auto-scaling）。对于用户而言，使用一个GPU的体验，应该和用一万个GPU的体验几乎没有区别，具有auto-scaling的能力。而在学术研究方面，我主要关注模型优化方法的开发，也关注 AIGC 或者自监督学习等新兴的研究课题。

2
『大师之选：HPC专家James Demmel 教给我的包容和自由』
在美国，研究者们从80年代就开始探索高性能计算，图灵奖得主Jack Dongarra实现了第一个世界上高效的矩阵乘矩阵的库，包括matlab也是基于他的工作。中国起步较晚，一直处于追赶状态，直到今天美国仍处于领先地位。高性能计算和国家战略挂钩，需要超级计算机，斯坦福、MIT等都无法过多投入在高性能计算方向。而伯克利是公立学校，有劳伦斯伯克利国家实验室，伯克利就有天然的优势去做高性能计算。
而我的博士导师James Demmel就是全世界研究HPC最知名的专家。他是美国科学与工程院院士，未来也有望获得图灵奖。他当过EECS学院的院长和计算机系主任。他给我印象最深的一点在于他的包容性特别强。
James Demmel教授
这种包容性从日常小事中就可见一斑。有一次他的一个博士后找他写推荐信，推荐到以色列的高校。他决定要帮那个学生，联系了很多学校，最后确实帮他拿到一两个offer。但是虽然他大费周章，最后学生决定不去了。一般正常人听到之后可能会比较生气，身为一个院士费了一番功夫帮你联系最后却不去了，反而还会把别人得罪。
我导师知道这件事后，只是笑笑说，「he changed his mind」。他对我影响最大的就是自由和包容。现在我自己作为教授和创业公司的创始人，也会平和接受年轻员工或学生的来去自由。他在教学上不吝付出，包括和本科生讲课也会花很多时间去备课。读博期间，我的几篇论文和他的职业生涯相比也许不足道，这不影响他在我身上投入大量时间。他在飞机上都还在帮我改论文，让我很感动。

3
『创业之选：成为AI领域的Databricks』
（注：2022年9月1日，潞晨科技宣布完成600万美元种子及天使轮融资）
关于为什么选择去创业，是因为我坚信，我们的技术和产品在未来AI落地过程中很重要，这是我的信仰。而信仰之外，投资人更看重的是效率，如何将技术迅速转化成产品。最前沿的技术过一二十年才能实现，技术落地意在将不现实因素去掉，力求短时间内普及或落地，帮助用户提升效率。对于我们公司而言，一个指针就是帮助AI企业加快AI产品开发速度，帮他们省钱，比如做一期AI产品需要投入300万人民币，我们试着100万人民币帮他做下来。
如果选取一个榜样或参照，我们其实想成为AI领域的Databricks。这家公司也由伯克利教授所创立，估值已达400多亿美金。Databricks的目标是提升大数据处理的效率，我们则是提升AI处理计算的效率，本质上类似，只是做的产品不同，他是我们一个很好的学习榜样。
这家公司成功的原因，第一，它的开源产品经得住市场的考验，世界500强中有多家公司都使用过它的大数据处理产品。第二，商业模式最终还是成功了，通过商业模式的合理设计，和亚马逊、谷歌等云厂商不产生竞争，这样使得它能够很好的存活下来，利润率也做得很高。
从0到1，再从1到10，创业公司想走向成功，我总结了几点困难：
第一，做成这个（软件）之后，上市的企业到底喜不喜欢它，好不好用。
第二，目标无法实现。比如设想加速10倍，做的过程中，我发现我不管怎么做还是到不了5倍。
最后一点，软件做得很好，也达到预期目标，市场也很喜欢，但最终没人愿意付费。这就涉及到商业模式的问题，需要把整个链路跑通。
现阶段我们已经积累了一定的用户，也在向着这几个总体目标努力着。
很多人问我，当教授和创业者有什么区别？当教授，尤其是在美国做教授，需要自己去申请funding，申请完拿来去买机器、招学生、招博士后甚至招工程师。可能也面临着去能源部、甚至国防部去拿经费。而创业者是去向VC推销自己的技术或者产品，这点是很相似的。另外比较相似的是，大家都独立地去做事情。在学校做项目，在公司做产品，无论如何要把东西做好，都需要团队配合。值得一提的是，作为创业者，敢于冒险的探索精神是必要的，因为我们拿到的钱都是风险投资，本来就会有失败；更要快速适应变化，比如近期大火的AIGC，一瞬间所有投资人都在关注这个领域，因此创业必须要与时俱进。

4
『一些有意思的人』

我也想想讲讲一些遇见过的有趣的大佬。作为学生在谷歌实习期间，也有幸曾到黄教主家去拜访参观。作为华人，他的家布满东方文化，无论是从吃东西的餐具，到家庭布置等都非常diverse，他家中也有瓷器，还有很多印度人送的东西。他娶了个美国人当太太，他家的主流文化还是西方文化。他本人也比较传奇，看得出是个崇尚刺激的人。他有很多赛车服和跑车。