尤洋,潞晨科技创始人、新加坡国立大学计算机系校长青年教授 (Presidential Young Professor),研究重点是大规模深度学习训练算法的分布式优化,曾创造ImageNet以及BERT训练速度的世界纪录;设计的算法被广泛应用于谷歌,微软,英特尔,英伟达等科技巨头;近三年以第一作者身份在NIPS,ICLR,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇;以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率);2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。
演讲概要
AI模型急速增大与硬件算力缓慢增长的尖锐矛盾,AI大模型成本高昂等,都已成为制约 AI 生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累,尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自动并行等多项核心关键技术,开源了面向大模型时代的通用深度学习系统Colossal-AI,可实现高效快速部署 AI 大模型训练和推理,降低 AI 大模型应用成本。 作为当下最火热的开源AI大模型解决方案,Colossal-AI已收获 GitHub Star近两万颗,此前在ChatGPT、Stable Diffusion、OPT、PaLM等大模型上展现卓越优势,并成功入选 SC、AAAI、PPoPP 、CVPR、ISC等国际 AI 与 HPC 顶级会议的官方教程。Colossal-AI 相关解决方案已成功在自动驾驶、云计算、零售、医药、芯片、金融等行业知名厂商落地应用,广受好评。 在本次演讲中,尤洋教授将介绍针对AI大模型时代训练成本极高等挑战,所研发的Colossal-AI系统的背后技术原理,及在AIGC、AI for Science等前沿领域,以ChatGPT、Stable Diffusion、AlphaFold等模型和应用为例的成功案例,让AI大模型更低成本、方便易用、高效扩展。