我做了6节提示学习实战论文课（附20G训练资料）
作为最先进的AI学习方法，提示学习和指示学习（instruction learning）代表了目前NLP方向的新趋势，能够让AI系统对齐人类的意图，大大提高大语言模型的学习能力。
由于所涉及的检索和推断方法多种多样，提示学习的实施十分复杂，特别是训练一个属于自己NLP任务的Pre-training LM。
这次我综合整理了20G的语言训练资料，包含点评、社区互动、维基百科等，这些数据已经处理好了，可以直接二进制读取然后进行训练。
扫码回复“提示学习”
获取训练合集
这次我邀请了在阿里和微软亚洲研究院等公司进行NLP相关项目的John老师在1月25日晚20：00来分享提示学习的学习策略，此次课程的主题是—《Introduction to the Prompt Learning 》
课程大纲：
1. Prompt基本概念描述
2. Prompt基本方法介绍
3. Prompt相关工具
4. 总结与学习路径
0.01元解锁
《Introduction to the Prompt Learning 》
另外John老师还做了《提示学习前沿论文解读课》，课程将从instruction tuning、Self-Instruct以及Black-box Prompt Learning三项技术入手，通过理论（3篇论文解读）+实战（LORA微调大模型）的方式，5节课全方位带大家深度掌握大型语言模型提示学习系列知识。
0.01元解锁
《提示学习前沿论文解读课》
课程大纲
第一节课：Prompt Learning 概述
介绍prompt的基本概念
介绍衍生的instruction learning以及两者区别
第二节课：论文解读1
paper1：Finetuned Language Models are Zero-Shot Learners
❝
论文会议：ICLR 2022
本文提出了一个新的概念 instruction tuning，就是将很多数据集都表示成指令的形式，来进行fine-tune，从而大大提高了unseen 任务上的零样本性能。
通过学习这篇论文，我们可以了解在一组task上微调模型是否会提高模型在unseen task上的性能，以及通用模型的未来研究方向。
第三节课：论文解读2
paper2：Self-Instruct: Aligning Language Model with Self Generated Instructions
❝
论文会议：ACL 2023
大型“指令调优”的语言模型已经证明了其在新任务上卓越的zero-shot能力。但是人工编写指令数据集仍然存在一些挑战。
本文首次提出自动构造instruction数据的方法，通过LLM生成指令来指导自身微调。提出的框架Self-Instruct可以使用最少的人工标注，生成大量的用于 instruct- tuning 的数据。
第四节课：代码实践LoRA微调
LORA微调实战
基于论文解读2自动构造的数据上进行大模型的微调
第五节课：论文解读3
paper3：Black-Box Prompt Optimization: Aligning Large Language Models without Model Training
❝
现有的对齐方法主要侧重于对LLM进行进一步的训练，然而这些对齐方法在效率、可访问性、可解释性方面仍存在缺陷。
清华团队提出了一种黑盒提示优化（BPO）来执行对齐，通过优化用户Prompt以适应LLM对输入的理解来对齐大语言模型和人类的意图。
0.01元解锁
《提示学习前沿论文解读课》
老师介绍
微信扫码关注该文公众号作者