从0到1构建一个完整的mini-ChatGPT
随着ChatGPT的爆火,大语言模型(LLM)得到空前关注。根据《2023Q1就业趋势大数据报告》,大语言模型的职位同比增长172.53%,是所有行业中职位增加最多的。NLP以及智能语音领域的从业者,都在向大语言模型靠拢。
那么,从0到1构建一个自己的ChatGPT,需要哪些技能呢?总结来看,主要需要以下几点:
(1)Transformer与RLHF
Transformer是ChatGPT的底层核心架构,因此需要大家深刻了解Transformer的细节(包含Seq2Seq架构、Attention机制);还需要掌握模型微调与优化的方法——人类反馈强化学习RLHF模型。
(2)工程技能
ChatGPT是一项工程,需要数据预处理、模型训练、调优等复杂工程能力。
深蓝学院将transformer、RLHF原理与工程实践相结合,推出了「生成式预训练语言模型:理论与实战」课程。从经典的语言模型开始讲解,逐步深入到GPT模型,详细拆解GPT的核心模块,最后带着大家实现自己的mini-ChatGPT。在讲解原理的同时,课程非常注重代码实践,从数据预处理到模型训练及调优,10个实践项目的代码实现穿插于每个算法理论之中。
深蓝学院mini-ChatGPT项目介绍
扫码咨询,了解详情
备注【615】,优先通过!
课程导师
黄佳
新加坡科技研究局人工智能高级研究员,主攻方向为NLP大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。曾著有《零基础学机器学习》、《数据分析咖哥十话》等多部畅销书籍,深耕数据科学领域多年,积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验。
课程大纲
(点击查看大图)
课程目标
学后收获
1. 你将获得现代NLP技术的关键内核和完整脉络(摒弃一切已经不需要过多了解的过时东西)
课程服务
咨询更多
扫码咨询,了解详情
微信扫码关注该文公众号作者