Redian新闻
>
屠榜CVPR!Transformer视频教程发布

屠榜CVPR!Transformer视频教程发布

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取系列论文


Transtormer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了Sebastian Raschka发布的包含Transformer的机制来源、预训练范式、人类反馈强化学习等诸多里程碑式的20+篇论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取系列论文

带你从「Transformer的前世」速通到大模型

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
听我说,Transformer它就是个支持向量机Yann LeCun点赞!Meta对Transformer架构下手了:新注意力机制更懂推理颠覆Transformer!新架构Mamba引爆AI圈!屠榜顶会!Transformer中文视频教程发布我想拥有男人的大智慧起底PC新机皇:高通4nm芯片,Arm架构Windows系统,内置Transformer加速,还配了5G和WiFi7LLM-as-Agent、VLAM的机会、「算力困境」和对Transformer的质疑矩阵成真!Pytorch最新工具mm,3D可视化矩阵乘法、Transformer注意力谷歌DeepMind力证:GPT-4终局是人类智慧总和!Transformer模型无法超越训练数据进行泛化更年期被忽视的心理巨变!ICCV 2023 | 浙大&阿里提出:基于Transformer的可泛化人体表征来了!NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法TransformerTransformer就是个支持向量机用 Transformer 评估蛋白质结合界面,区分天然蛋白复合物和不正确构象Transformer的上下文学习能力是哪来的?Fighting ALS: Former JD.com VP in Race Against Time矩阵模拟!Transformer大模型3D可视化,GPT-3、Nano-GPT每一层清晰可见Transformer变革3D建模,MeshGPT生成效果惊动专业建模师,网友:革命性ideaNeurIPS 2023 | MixFormerV2:基于Transformer的高效跟踪器Transformer+强化学习,DeepMind让大模型成为机器人感知世界的大脑卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进南开&山大&北理工团队开发trRosettaRNA:利用Transformer网络自动预测RNA 3D结构我被蒙了。。。(多图)NeurIPS 2023 | MCUFormer: 可在内存有限微控制器上部署的Vison Transformer模型特斯拉为什么全力押注Transformer?《岁月静好》&《风吹哪页读哪页》ICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!MIT研究人员将Transformer与图神经网络结合,用于设计全新蛋白质说说「山道猴子的一生」Transformer 一起动手编码学原理Transformer变革3D建模!MeshGPT来了!效果惊动专业建模师。。。ICCV 2023 | 新注意力!清华黄高团队提出FLatten Transformer视觉新主干Meta对Transformer架构下手了:新注意力机制更懂推理Transformer+强化学习,谷歌DeepMind让大模型成为机器人感知世界的大脑预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队|代码已开源
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。