AI大模型团队Colossal-AI破局创新,火热招募中!
公司简介
AI 大模型训练研发工程师 AI 大模型算法工程师 AI 大模型推理工程师 云计算研发工程师
参与 ColossalAI 分布式深度学习系统的开发,负责设计、实现以及优化各类分布式训练技术; 参与 Colossal-AI 与各类社区项目(比如 PyTorch Lightning, Hugging Face)的集成; 维护开源社区,参与社区用户互动以及维护开源项目基础设施。
精通 PyTorch,了解 Tensorflow/Caffe 等任意一种深度学习框架,并掌握 DeepSpeed/NVIDIA Megatron/Ray 等分布式训练框架; 熟悉 BERT/GPT/Diffusion 等当前热门的 CV/NLP/Audio 模型,有百亿 / 千亿大模型分布式训练经验; 了解并行计算、CUDA、网络通信、系统优化、集群硬件架构等 HPC 相关的知识; 具备良好的编程能力,熟练掌握 Python,掌握 C++、数据结构和算法设计,熟悉 Linux / Unix 系统和 Shell 编程,熟练使用 Git; 至少一年以上的 AI 分布式系统研发相关经验,计算机、人工智能、机器学习等相关专业硕士及以上学历,有丰富相关经历的本科生也可以投递。
知名开源项目贡献者; 了解深度学习编译器; 获得过编程竞赛奖项; 在顶级会议发表过高质量系统方向的论文。
熟悉 AI 算法原理或 AI 应用系统; 从事 NLP / 多模态相关机器学习 / 深度学习等技术的研究与应用,包括且不限于对话系统、信息抽取、文档摘要、文本生成等; 探索自然语言、多模态技术在业务中的落地和创新,并迅速进行转化; 研究、实现业界最先进的多语言 NLP / 多模态大模型。
有深度学习、对话系统、文本分析、文本生成等实际项目经验,熟悉深度学习在自然语言处理方向的相关算法、框架和工具链 (Pytorch, Huggingface),有生成类任务实际项目经验优先; 熟悉 BERT / GPT-3 / Bloom / LLaMa 等 NLP 大模型,有百亿 / 千亿大模型训练调优经验、Prompt 设计经验者优先; 具备良好的编程能力,熟练掌握 Python、数据结构和算法设计,熟悉 Linux / Unix 系统和 Shell 编程,熟练使用 Git; 计算机、自然语言处理、人工智能、机器学习等相关专业硕士及以上学历; 至少 2 年以上自然语言处理相关经验,熟悉自然语言处理、机器学习、深度学习、强化学习等相关算法,对自然语言处理方向有较深和全面的认识。
有分布式集群,单机多卡,多机多卡 NLP 大模型预训练,微调及推理经验者优先; 具备英文专业文献阅读能力,能自觉跟踪发展现状,理解算法原理,并进行落地实现,有 NLP 领域高水平 paper 者优先。
针对 Colossal-AI 深度学习框架算子层的优化,完成深度学习算子在 CUDA 上的实现; 负责和参与机器学习推理引擎的架构设计、系统开发、高性能优化,打造 AI 大模型的基础设施平台。
本科及以上学历,计算机、数学等相关专业; 熟练掌握 C/C++,具有良好的工程能力、编程习惯、以及沟通能力; 熟练掌握 GPU 平台的高性能计算优化技巧; 2 年以上 CUDA/triton 编程工作经验者优先,深入了解 Transformer、LLM 模型者优先考虑。
深入了解量化推理者优先; 有 TVM、TensorRT 等推理平台优化经验者优先; 了解并行推理技术的优先;
负责人工智能云平台核心模块开发,包括训练服务,推理服务。涉及前后端开发。 负责基础设施搭建,如 CI/CD 等,实现云端产品部署 pipeline,支持快速部署产 Demo。 负责云平台管理及性能优化。
熟悉 AWS、Azure、Google Cloud、阿里云等相关云厂商; 熟悉各类常见的分布式框架以及 kubernetes 开发,如 flink、spark、kafka、redis、docker、k8s、terraform 等 ,有 kubernetes operator/crds 开发经验者优先; 熟悉 C++ 编程、Python 编程或者 Go 语言编程,有大型软件编程经验,如:分布式系统、操作系统、编译器、数据库等软件开发经验优先; 熟悉 AI 算法原理或 AI 应用系统;
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章