Redian新闻
>
视觉Mamba收录顶会!Mamba论文合集来了

视觉Mamba收录顶会!Mamba论文合集来了

公众号新闻



Mamba

01

Mamba作为一种新型的选择性状态空间模型方法,在语言建模方面可以媲美Transformer,并且目前已经有了很多结合Mamba的研究成果。


那么,今天我就整理了Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"

01.Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长 ,计算效率非常低。在这篇论文中,研究者提出了一种新架构—「选择性状态空间模型」。


02.MoE-Mamba: Effcient Selective State Space Models with Mixture of Experts

状态空间模型(SSM)是近来一种备受关注的 Transformer 替代技术,其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。本文的研究成果是 MoE-Mamba,是将 Mamba 和混合专家层组合起来的模型。MoE-Mamba 能同时提升 SSM 和 MoE 的效率。而且该团队还发现,当专家的数量发生变化时,MoE-Mamba 的行为是可预测的。


03.Mamba前世今生:MODELING SEQUENCES WITH STRUCTURED STATE SPACES


文中提出一个用于对连续信号进行增量建模的新颖数学框架,该框架可与状态空间模型相结合,为其赋予原则性的状态表示,并提高其对长程依赖关系的建模能力。


04.Vision Mamba:Effcient Visual Representation Learning with Bidirectiona State Space Model


本文提出Vision Mamba,在 ImageNet 分类任务、COCO 对象检测任务上,与 DeiT等成熟的视觉 Transformers 相比,Vim 实现了更高性能,还显著提高了计算和内存效率。

Vim 能够克服对高分辨率图像执行 Transformer 式理解时的计算和内存限制,并且具有成为视觉基础模型的下一代骨干的巨大潜力。


Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"


05:VMamba:Visual State Space Model


卷积神经网络(CNN)和视觉Transformer(ViT)是视觉表示学习的两种最流行的基础模型。虽然ViT 的拟合能力超过了CNN,但其复杂性却是二次方。

受 Mamba 模型的启发,研究者设计出一种在线性复杂度下同时具有这两种优秀性质的模型,即 Visual State Space Model(VMamba)。大量的实验证明,VMamba 在各种视觉任务中表现卓越。如下图所示,VMamba-S 在 ImageNet-1K 上达到 83.5% 的正确率,比 Vim-S 高 3.2%,比 Swin-S 高 0.5%。


06:SSM + Transformer:Block-State lransformers


SSM 最初是为连续信号而设计的,现已在视觉和音频等众多任务中表现出卓越的性能。然而,SSM 在语言建模任务中的性能仍然落后于 Transformer。

为此,本文作者提出了一个名为块状态Transformer(BST)的混合层,它在内部结合了用于远程上下文化的 SSM 子层和用于序列短期表示的块变换器子层。 

  

07:RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

本文提出了一个新颖的双分支网络,名为遥感图像语义分割Mamba(RS3Mamba),旨在将Mamba整合到遥感任务中。

08:DenseMamba:大模型的DenseNet时刻!

大型语言模型(LLMs)正面临巨大挑战,因为常用的Transformer架构需要巨大的计算和内存资源。虽然状态空间模型(SSM)作为一种新型基础网络架构,提供了较低的计算复杂度,但其性能尚未完全匹敌Transformer。本工作提出了DenseSSM,用于增强SSM中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中,DenseSSM保留了对最终输出至关重要的精细信息。

因篇幅有限,仅展示前8篇


Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"





微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
西安交大发表鲁棒视觉问答综述,揭秘AI视觉问答的“超强大脑”丨IEEE TPAMI吕洪来:颠覆中共国家政权的头号犯罪嫌疑人和女儿一起成长《幸福赞歌》&《木瓜》加拿大两华人"中文合同"买卖$290万豪宅闹上法庭!7年纠葛终于判了!樱桃成熟时! 西雅图u-pick樱桃园合集来啦“中国制造”遍布波士顿?!MBTA宣布再花1.48亿美元购买中车车厢,能拯救MBTA现状吗?重磅!视觉Mamba正式收录顶会ICML 2024!纽约的暑假终于来了! 几十条特色&经典短途游路线推荐大合集来咯~~获得流量推荐的人物稿爆文合集,我给你整理好了,快来拆解学习彻底根除“论文工厂”的方法,只会是“更简单的论文发表方式”;文献计量分析,让医生彻底解脱开发论文的桎梏!审稿人角度:一篇顶会论文有哪些选题技巧?拒稿4次,终获顶会!ICML 2024放榜:投稿量近万篇,审稿意见下滑严重三支国内团队获荣誉提名,英伟达CMU各占40%!ACM顶会SIGGRAPH 2024最佳论文揭晓最新大模型论文合集!谷歌/微软/Meta/苹果/英伟达/阿里最新研究报告!Mamba视觉新主干!悉尼大学&商汤提出LocalMamba:新的视觉状态空间模型Mamba杀入MICCAI 2024!SegMamba和Swin-UMamba均收录!Mamba官方升级!Mamba-2重磅发布!原班人马打造!ICML 2024又一篇AI顶会!这个idea“ 杀疯了 ” ....高级认知的基因分析两篇:视觉变换的基因分析和视觉轮廓整合效应的基因分析又水一篇AI顶会!不知道硕士博士咋毕业的,来看看咋水的。ACM顶会SIGGRAPH 2024最佳论文揭晓,英伟达CMU各占40%!三支国内团队获荣誉提名一张中文合同,纽约华人购房集体被骗$500多万!10年在美国讨要“房产”,幸好….一张中文合同,华人购房集体被骗,10年在美国讨要“房产”纽约周边去哪玩?! 几十条特色&经典短途游路线推荐大合集来咯~~新盘点!COSTCO限量商务版超市+传统店,折扣新合集来了!吃的、用的、穿的、一站搞定!独自一人,怒发顶会!做一个善良的人高考名场面合集来了!有考生出场就是一个后空翻…视觉Mamba的多向扫描策略真的有效吗?超强阵容集结!小红书大模型论文分享会来了,四大国际顶会作者强势来袭[围观]加拿大两华人"中文合同"买卖$290万豪宅闹上法庭!7年纠葛终于判了!再回首 (十五)CVPR 2024 | 通用视觉新突破!UC伯克利提出首个无自然语言的纯视觉大模型神作续集来了!这个没啥存在感的情绪,藏着孩子内驱力的秘密…
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。