Redian新闻
>
Transformer仍是2024发论文神器

Transformer仍是2024发论文神器

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取226篇transformer顶会论文合集


Transformer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了通用ViT、高效ViT、训练transformer、卷积transformer等细分领域226篇顶会论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取226篇transformer顶会论文合集

带你从「Transformer的前世」速通到大模型



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
CNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术Robot Transformers 是什么 Transformer?上海城隍庙,地标景点从20亿数据中学习物理世界,基于Transformer的通用世界模型成功挑战视频生成Mamba架构第一次做大!混合Transformer,打败Transformer挑战 Transformer 霸权? Yan 架构竟以半价成本实现百万级参数大模型7人创业、1人投敌!Transformer 八子谷歌坐冷板凳5年再成老黄座上宾AI 大神首次承认参与神秘模型 Q* 研发,把 OpenAI 吓坏了 | Transformer 作者专访《大寒》纯加法Transformer!结合脉冲神经网络和Transformer的脉冲Transformer | NeurIPS 2023开源日报 | 清明节前AI复活亲人成热门生意;中国没有“百模大战”,未来也不会有“十模大战”;谁将替代Transformer?Mamba和Transformer合体!Jamba来了:超越Transformer!开源日报 | 华为腾讯相爱相杀;Redis不再 “开源”;老黄集齐Transformer论文七大作者;“中国大模型第一城”争夺战《花信风之大寒》OpenAI官宣开源Transformer Debugger!不用写代码,人人可以破解LLM黑箱Transformer升级之路:“复盘”长度外推技术性能突破Transformer!Mamba引爆AI圈游翠鸟湿地OpenAI公关跳起来捂他嘴!Transformer作者公开承认参与Q*!一文理解透Transformer张鹏对谈安克阳萌:GPU 和 Transformer 可能是中间态,机器人+大模型会诞生超级品类Attention isn’t all you need!Mamba混合大模型开源:三倍Transformer吞吐量黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满ChatGPT的力量来自“变形金刚”(Transformer)? | 白若然、潘瓒现场围观 | 黄仁勋对话Transformer论文作者:世界该给Tranformer翻篇了Transformer解码真实场景!Meta推出70M参数SceneScript模型中文实录!黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满谁将替代 Transformer?人人都能当周杰伦!Suno作曲,ChatGPT写词,网友用Transformer造出神曲!Meta革命新架构掀翻Transformer!无限上下文处理!Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文天亮了吗;汽车兼职;买到事故车;新能源车主的车险焦虑为什么Transformer一般使用LayerNorm?药物-靶标亲和力预测,上科大团队开发了一种Transformer编码器和指纹图谱相结合的方法CVPR 2024 | 让视频姿态Transformer变得飞速,北大提出高效三维人体姿态估计框架HoT
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。