Redian新闻
>
终于有人把Transformer讲清楚了!

终于有人把Transformer讲清楚了!

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取226篇transform顶会论文合集


Transtormer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了通用ViT、高效ViT、训练transformer、卷积transformer等细分领域226篇顶会论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取226篇transform顶会论文合集

带你从「Transformer的前世」速通到大模型


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
迪拜的公共交通Transformer+强化学习,谷歌DeepMind让大模型成为机器人感知世界的大脑如何降低视觉Transformer计算成本?时间冗余方法让人大吃一惊NeurIPS 2023 | MixFormerV2:基于Transformer的高效跟踪器Transformer的上下文学习能力是哪来的?终于有人把财务尽职调查重点难点彻底讲清了卢涛:后登纳德时代,IPU架构引领Transformer向高阶版演进特斯拉为什么全力押注Transformer?印度人为啥闹着要改国名,一道菜和唐僧会告诉我们答案Transformer变革3D建模,MeshGPT生成效果惊动专业建模师,网友:革命性ideaICCV 2023 | 浙大&阿里提出:基于Transformer的可泛化人体表征来了!NeurIPS 2023 | MCUFormer: 可在内存有限微控制器上部署的Vison Transformer模型矩阵成真!Pytorch最新工具mm,3D可视化矩阵乘法、Transformer注意力Transformer+强化学习,DeepMind让大模型成为机器人感知世界的大脑NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法Transformer各类基金架构设计与财税处理问题,终于有人讲清楚了红色日记 当选队委 2.1-28ICCV 2023 | 新注意力!清华黄高团队提出FLatten Transformer视觉新主干无名的愉悦南开&山大&北理工团队开发trRosettaRNA:利用Transformer网络自动预测RNA 3D结构Yann LeCun点赞!Meta对Transformer架构下手了:新注意力机制更懂推理终于有人把一二级市场投资研究体系彻底讲清了Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%【没有什么是我必须得到的】用 Transformer 评估蛋白质结合界面,区分天然蛋白复合物和不正确构象DeepMind指出「Transformer无法超出预训练数据实现泛化」,但有人投来质疑MIT研究人员将Transformer与图神经网络结合,用于设计全新蛋白质PyTorch最新工具mm来了!3D可视化矩阵乘法、Transformer注意力!ICCV 2023 | 通向3D感知大模型的必由之路!UniTR:统一多模态Transformer Encoder!Meta对Transformer架构下手了:新注意力机制更懂推理起底PC新机皇:高通4nm芯片,Arm架构Windows系统,内置Transformer加速,还配了5G和WiFi7LLM-as-Agent、VLAM的机会、「算力困境」和对Transformer的质疑简化版Transformer来了!网友:年度论文终于有人把注册制IPO审计要点难点彻底讲清了Transformer变革3D建模!MeshGPT来了!效果惊动专业建模师。。。
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。