Redian新闻
>
传统卷积已经彻底输给Transformer了吗?

传统卷积已经彻底输给Transformer了吗?

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取226篇transform顶会论文合集


Transtormer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码



Transtormer系列论文


另外我还整理了通用ViT、高效ViT、训练transformer、卷积transformer等细分领域226篇顶会论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取226篇transform顶会论文合集

带你从「Transformer的前世」速通到大模型


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
如何降低视觉Transformer计算成本?时间冗余方法让人大吃一惊ICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!痛失第一!香港败了,彻底输给新加坡!香港不行了吗?Transformer+强化学习,谷歌DeepMind让大模型成为机器人感知世界的大脑矩阵成真!Pytorch最新工具mm,3D可视化矩阵乘法、Transformer注意力《雁双飞》&《春庭雪》当下一代Transformer遇上ViT:Vision RetNet已来!南开&山大&北理工团队开发trRosettaRNA:利用Transformer网络自动预测RNA 3D结构NeurIPS 2023 | MixFormerV2:基于Transformer的高效跟踪器Transformer变革3D建模,MeshGPT生成效果惊动专业建模师,网友:革命性ideaTransformer的上下文学习能力是哪来的?女儿正式开学第一天和其它NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法Transformer华为预售Mate 60 Pro和Mate 60 Pro+PyTorch最新工具mm来了!3D可视化矩阵乘法、Transformer注意力!深圳教师热已经彻底翻篇了吗?清北教师跑光了吗?累死了吗?特斯拉为什么全力押注Transformer?Transformer变革3D建模!MeshGPT来了!效果惊动专业建模师。。。争夺话语权之战Transformer是唯一选择吗?无Attention和MLP的语言模型反而更强了起底PC新机皇:高通4nm芯片,Arm架构Windows系统,内置Transformer加速,还配了5G和WiFi7NeurIPS 2023 | MCUFormer: 可在内存有限微控制器上部署的Vison Transformer模型Yann LeCun点赞!Meta对Transformer架构下手了:新注意力机制更懂推理ICCV 2023 | 新注意力!清华黄高团队提出FLatten Transformer视觉新主干LLM-as-Agent、VLAM的机会、「算力困境」和对Transformer的质疑徒步,阿根廷智利边境第24界碑小径Transformer+强化学习,DeepMind让大模型成为机器人感知世界的大脑卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%用 Transformer 评估蛋白质结合界面,区分天然蛋白复合物和不正确构象MIT研究人员将Transformer与图神经网络结合,用于设计全新蛋白质深圳教师热已经彻底翻篇了吗?清北教师跑光了吗?卷积网络又行了?DeepMind推翻Transformer最强传说,LeCun怒赞「GPT-4只是在压缩数据」,马毅团队造出白盒Transformer,可解释的大模型要来了吗?Meta对Transformer架构下手了:新注意力机制更懂推理
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。