Redian新闻
>
Transformer仍是2024发论文神器

Transformer仍是2024发论文神器

公众号新闻

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取226篇transformer顶会论文合集


Transformer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了通用ViT、高效ViT、训练transformer、卷积transformer等细分领域226篇顶会论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取226篇transformer顶会论文合集

带你从「Transformer的前世」速通到大模型



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
7人创业、1人投敌!Transformer 八子谷歌坐冷板凳5年再成老黄座上宾谁将替代 Transformer?性能突破Transformer!Mamba引爆AI圈Meta革命新架构掀翻Transformer!无限上下文处理!Transformer解码真实场景!Meta推出70M参数SceneScript模型CVPR 2024 | 让视频姿态Transformer变得飞速,北大提出高效三维人体姿态估计框架HoT开源日报 | 华为腾讯相爱相杀;Redis不再 “开源”;老黄集齐Transformer论文七大作者;“中国大模型第一城”争夺战中文实录!黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满Mamba和Transformer合体!Jamba来了:超越Transformer!现场围观 | 黄仁勋对话Transformer论文作者:世界该给Tranformer翻篇了Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN挑战 Transformer 霸权? Yan 架构竟以半价成本实现百万级参数大模型黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满《大寒》YOCO:打破传统Decoder-only架构,内存消耗仅为Transformer的六分之一为什么Transformer一般使用LayerNorm?从20亿数据中学习物理世界,基于Transformer的通用世界模型成功挑战视频生成OpenAI公关跳起来捂他嘴!Transformer作者公开承认参与Q*!游翠鸟湿地AI 大神首次承认参与神秘模型 Q* 研发,把 OpenAI 吓坏了 | Transformer 作者专访ChatGPT的力量来自“变形金刚”(Transformer)? | 白若然、潘瓒《花信风之大寒》上海城隍庙,地标景点CVPR 2024 | 与任务无关的多模态数据也能提升Transformer性能!港中文&腾讯新作OpenAI官宣开源Transformer Debugger!不用写代码,人人可以破解LLM黑箱药物-靶标亲和力预测,上科大团队开发了一种Transformer编码器和指纹图谱相结合的方法Robot Transformers 是什么 Transformer?天亮了吗;汽车兼职;买到事故车;新能源车主的车险焦虑人人都能当周杰伦!Suno作曲,ChatGPT写词,网友用Transformer造出神曲!Transformer升级之路:“复盘”长度外推技术CVPR‘24:与任务无关的多模态数据也能提升Transformer性能|港中文&腾讯CNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术Mamba架构第一次做大!混合Transformer,打败TransformerMamba超强进化体一举颠覆Transformer!单张A100跑140K上下文纯加法Transformer!结合脉冲神经网络和Transformer的脉冲Transformer | NeurIPS 2023
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。