Redian新闻
>
屠榜顶会!Transformer中文视频教程发布

屠榜顶会!Transformer中文视频教程发布

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,是划时代产品GPT的基础技术,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取系列论文


Transtormer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署(直播)

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了Sebastian Raschka发布的包含Transformer的机制来源、预训练范式、人类反馈强化学习等诸多里程碑式的20+篇论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取系列论文

带你从「Transformer的前世」速通到大模型

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
红颜从来非祸水,妖孽原是自本心南开&山大&北理工团队开发trRosettaRNA:利用Transformer网络自动预测RNA 3D结构NeurIPS 2023 | MCUFormer: 可在内存有限微控制器上部署的Vison Transformer模型MIT研究人员将Transformer与图神经网络结合,用于设计全新蛋白质Transformer就是个支持向量机屠榜CVPR!Transformer视频教程发布围绕 transformers 构建现代 NLP 开发环境Transformer速查宝典:模型、架构、训练方法的论文都在这里了卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进ICCV 2023 | 新注意力!清华黄高团队提出FLatten Transformer视觉新主干Transformer 一起动手编码学原理谷歌最后一位Transformer论文作者离职创业,野心不小,要颠覆当前生成AI范式NeurIPS 2023 | MixFormerV2:基于Transformer的高效跟踪器出租房里真假租客 (多图)Meta对Transformer架构下手了:新注意力机制更懂推理特斯拉为什么全力押注Transformer?是“又鸟”,还是“鸡”,普罗旺斯人说“蒜了吧!”谷歌DeepMind力证:GPT-4终局是人类智慧总和!Transformer模型无法超越训练数据进行泛化ICML 2023 | 神经网络大还是小?Transformer模型规模对训练目标的影响穆迪默默地捅刀子(蜂巢里的)假面(长篇小说)矩阵模拟!Transformer大模型3D可视化,GPT-3、Nano-GPT每一层清晰可见预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队|代码已开源NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法TransformerYann LeCun点赞!Meta对Transformer架构下手了:新注意力机制更懂推理ViLT: 没有卷积和区域监督的视觉-语言Transformer模型听我说,Transformer它就是个支持向量机Transformer的上下文学习能力是哪来的?Transformer出逃八子最后一人正式创业!坐标日本搞AI“群”模型,本人:在谷歌有被困住的感觉ICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!Transformer变革3D建模!MeshGPT来了!效果惊动专业建模师。。。彻底抛弃Transformer,八金刚之一再创业!联手前谷歌Brain大佬创建自然启发智能模型起底PC新机皇:高通4nm芯片,Arm架构Windows系统,内置Transformer加速,还配了5G和WiFi7​下一代Transformer:RetNet结构可视化及Vision RetNet展望Transformer变革3D建模,MeshGPT生成效果惊动专业建模师,网友:革命性idea
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。