Redian新闻
>
扩散模型和Transformer引爆时序方向!

扩散模型和Transformer引爆时序方向!

公众号新闻

时空预测引领了新的热点,时间序列预测领域的首个大模型 TimeGPT 引起业界热议,Transformer+时序,扩散模型+时序更是顶会新方向大热“种子”选手,时序+多方向正在成为这个AI界瞩目的黑马!


本文整理了时间序列的时序预测 / 时序-Transformer / 时序-大模型 / 时序-扩散四大方向的最新论文204篇。

扫码回复“时序”领204篇论文合集



时间序列预测论文


ICLR 2024 

ClimODE: Climate Forecasting With Physics-informed Neural ODEs


AAL 2024

MSGNet: Learning Multi-Scale Inter-Serjes Correlations for Multivariate Time Series Forecasting


NeurIPS 2023

Frequency-domain MLPs are More Effective Learners in Time Series Forecasting


ICML 2023

Learning Deep Time-index Models for Time Series Forecasting 


KDD 2023

TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting 


因篇幅有限 仅展示前5篇


扫码回复“时序”领204篇论文合集



时间序列+transformer必读论文


1.iTransformer: InvertedTransformers Are Effective for Time Series Forecastina


2.Pathformer: Multi- Scale Transformers  With Adaptive Pathways For Time Series Forecasting


3.SCALEFORMER: ITERATIVE MULTI-SCALE REFINING TRANSFORMERS FOR TIME

SERIESFORECASTING


4.InParformer: Evolutionary Decomposition Transformers with Interactive Parallel Attentionfor LongTerm Time Series Forecasting


5.ContiFormer: Continuous-Time Tansformer for Irreqular Time Series Modeling


因篇幅有限 仅展示前5篇

扫码回复“时序”领204篇论文合集



深度学习+时间序列预测必读论文


卷积神经网络方法(4种算法模型)


1.CNN

Recent advances in convolutional neural networks


2.WaveNet-CNN

Conditional time series forecasting with convolutional neural networks


3.Kmeans-CNN

Short-term load forecasting in smart grid: a combined CNN and K-means clustering approach


4.TCN

An empirical evaluation of generic convolutional and recurrent networks for sequence modeling

因篇幅有限 仅展示前4篇


循环神经网络方法(3种算法模型)


1.RNN

Bidirectional recurrent neural networks


2.LSTM(长短期记忆网络)

Long short-term memory


3.GRU(门控循环单元)

Learning phrase representations using RNN encoder- decoder for statistical machine translation


Transformer方法(11种算法模型)


1.Transformer

Attention-based models for speech recognition


2.BERT

BERT: pre-training of deep bidirectional transformers for language understanding


3.AST

Adversarial sparse transformer for time series forecasting


4.Informer

Informer: beyond efficient transformer for long sequence time-series forecasting


因篇幅有限 仅展示部分


扫码回复“时序”领204篇论文合集



时间序列新突破:大模型+时间序列


大模型处时间序列


1.基于Promtpt的方法

Leveraging Language Foundation Models for HumanMobility Forecasting


2.将时间序列进行离散化处理

AudioLM: a Language Modeling Approach to Audio Generation


3.时间序列-文本对齐代表论文

Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification


4.引入视觉信息

Leveraging Vision-Language Models for Granultar Market Change Prediction


5.大模型工具

Unleashing the Power of  Shared Label Structures for Human Activity Recognition


训练时间序列领域大模型

TimetGPT-1


扫码回复“时序”领204篇论文合集


针对目前的大热时序,我们请来了顶会审稿人chichi老师解读时空/时序预测研究现状与近期热点。


课程大纲:


- 以GNN为主的时空预测模型 

  • 经典GNN时空预测算法(如STGCN, GraphWaveNet) 

  • 近两年GNN时空预测算法 

  • 近期GNN时空预测算法研究热点


- 以Transformer为主的时序预测模型 

  • 经典Transformer时序预测算法(如Autoformer,Fedformer)

  • 近两年Transformer时序预测算法 

  • 近期Transformer时序预测算法研究热点


- LLM在时空/时序预测上的应用

  • 微调LLM做时空时序预测

  • 语言增强的时序/时空预测模型

  • LLM做时序预测的未来挑战与研究方向


- 针对时序新热点和应用总结


扫码解锁

时序最新热点解读直播课


另外,我们准备了32节时间序列系列课程基础上课程分为五个模块。


  • 模块一基础认识数据科学家

  • 模块二进阶时间序列预测概论+论文和代码讲解

  • 模块三项目实战基于股价和零售的时序项目实战

  • 模块四比赛实战数据科学入门赛+回答准确性预测赛

  • 模块五时序前沿前沿机器学习与时序+时序分析任务与最新应用场景


0.01元解锁《时间序列系列课》

32节课+37h+部分课件+部分课堂作业及代码



一、时序课程介绍


01- 认识数据科学家

了解数据科学家的概念,岗位分布、职责、技能、薪资、职业发展路线等  

—课程时长:1小时



02-时间序列预测基础

1:时间序列预测入门

2:时间序列预测代码实践

3:Forecasting at Scale论文讲解+代码讲解

—课程时长:6小时


03-时序项目实战

1:夯实算法基础、熟悉算法原理,通过代码实操解决问题

2:系统掌握时序分析方法以及预测方法

—课程时长:8小时



04-两场时序比赛实战

1:数据科学入门赛

2:回答准确性预测赛


—课程时长:20小时


05-时序前沿项目

前沿机器学习与时序

时序分析任务与最新应用场景

—课程时长:2小时



这次更新的时序课程时长37小时,总共32节0.01元即可解锁。

0.01元解锁《时间序列系列课》

32节课+37h+部分课件+部分课堂作业及代码






微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
SSM 能取代 Transformer 搞出更「牛」的大模型吗?Meta革命新架构掀翻Transformer!无限上下文处理!开源日报 | 华为腾讯相爱相杀;Redis不再 “开源”;老黄集齐Transformer论文七大作者;“中国大模型第一城”争夺战新架构RNN反超Transformer:每个隐藏状态都是一个模型,一作:从根本上改变语言模型为什么Transformer一般使用LayerNorm?爆火扩散模型和3DGS微信群成立!个人感慨之121 世道太黑暗解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进Attention isn’t all you need!Mamba混合大模型开源:三倍Transformer吞吐量扩散模型和多模态微信群成立!图灵奖得主Bengio团队新作:注意力可视为RNN!新模型媲美Transformer祈雨Mamba和Transformer合体!Jamba来了:超越Transformer!大神Karpathy强推,分词领域必读:自动钓鱼让大模型“发疯”的token,来自Transformer作者创业公司纯加法Transformer!结合脉冲神经网络和Transformer的脉冲Transformer | NeurIPS 2023Transformer解码真实场景!Meta推出70M参数SceneScript模型清华提出时间序列大模型:面向通用时序分析的生成式Transformer | ICML 2024扩散模型和多模态学习微信群成立!Mamba架构第一次做大!混合Transformer,打败Transformer全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升此心安处是吾乡Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN超越 Transformer 与 Mamba,Meta 联合斯坦福等高校推出最强架构 TTTCNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术30倍于传统方法,中国科学院团队Transformer深度学习模型预测糖-蛋白质作用位点AI 大神首次承认参与神秘模型 Q* 研发,把 OpenAI 吓坏了 | Transformer 作者专访再回首 (二十五)《来到遥远的地方》&《三春序》CoPE论文爆火!解决Transformer根本缺陷,所有大模型都能获得巨大改进高效涨点!用Transformer模型发Nature子刊(文末送书)多功能RNA分析,百度团队基于Transformer的RNA语言模型登Nature子刊张鹏对谈安克阳萌:GPU 和 Transformer 可能是中间态,机器人+大模型会诞生超级品类性能突破Transformer!Mamba引爆AI圈Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存扩散模型和多模态学习微信群来了!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。