Redian新闻
>
Transformer在顶会上杀疯了!

Transformer在顶会上杀疯了!

公众号新闻

作为研究者,对前沿技术和研究热门方向的关注是必做的功课。

近年来计算机视觉的几个分支绝对算是大热门。不论是工业界的追捧,还是从各个顶会论文的收录情况也不难看出其热度,相关的研究和论文数量倍增。

但总有冷静的孩子:  计算机视觉领域还有不卷的方向吗?哪些方向比较好发论文?idea和创新方向从哪里来?

不论是为了继续升学搞科研还是进大厂,都不可忽略论文在其中起到的关键作用。那些以进大厂为目标的同学,要知道,其实HR也会重点看你满满当当的简历中近期发表的论文的方向和招聘方向是不是契合,如果契合,那么你进入下一轮甚至被录取的概率就会极大地提高。

所以有没有比较好发论文的、各大厂重点业务相关的热门研究方向?

比如Vision Transformer

Transformer模型统治自然语言处理领域之后,在计算机视觉领域也展现了超越卷积神经网络的性能,并开始逐渐取代后者在计算机视觉领域的地位。与采用滑动窗口形式的卷积神经网络相比,Transformer凭借全局的注意力机制不再局限于相邻区域,因此拥有更高的性能上限。

扫码领

Vision-Transformer必读论文22篇

+600篇CV领域前沿论文合集

Attention Is All You NeedTransformer 作为最近热起来的方向,卷起来了但是又不是那么卷,在这个方向可探索的空间还很大,获得一个好的idea,写出一篇好论文的概率相对就大得多。

很多童鞋的终极目标是拿着论文当敲门砖,去某某大厂开启人生新篇章。

那么剩下的问题就是,怎么发(水)论文?

想要快速发论文有两点至关重要。

1.紧跟风口。

想发文章最容易的方法就是紧跟风口,顺着领域内的研究趋势确定自己的方向,毕竟在热门领域内,创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

所以,要解决的问题就是:

1.找到风口。

2.找到领域内的大神做导师。

扫码领

Vision-Transformer必读论文22篇

+600篇CV领域前沿论文合集

获取学术大咖一对一指导

都说SCI论文只有0篇和无数篇的区别,这句话告诉我们,其实做科研写论文也是有方法有套路可循,掌握了窍门,后面的路才会走得通畅。

但是作为一个小白,还在“蹒跚学步”阶段,怎么去掌握窍门?来自前辈的指点必不可少。

一个好的指导老师的作用是,没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了......

获取学术大咖的科研指导

赠送顶会论文资料包


同时向大家推荐一个ViT科研小班。指导老师Z老师博士毕业于德国马克斯普朗克研究所与曼海姆大学。

课程将帮助同学们理清transformer除了注意力之外的核心知识点,以及SOTA模型架构的设计思路。在此基础上,指导同学们如何结合具体问题对Transformer各部分设计进行取舍,并针对不足的地方提出自己的改进。

滑动查看课程介绍




扫码了解课程详情


课程福利




作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过20GAI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作全部帮你整理好~


扫码免费领课程资料↑

-END-


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
第二次徒步圣路,750公里葡萄牙之路+英国之路:D02~圣路魅力7 Papers & Radios | 推理速度比Stable Diffusion快2倍;视觉Transformer统一图像文本EeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗?一文总结语音识别必备经典模型(二)迷幻的玻璃艺术畅游法国(40)-敦刻尔克行首次!无残差连接或归一化层,也能成功训练深度Transformer顶会上的热宠:Transformer谷歌新作!Transformer杀入机器人领域!RT-1:97%成功率,轻松完成700多条控制指令!有道周枫谈ChatGPT:让Transformer在智能硬件里更高效运行清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型!文图互生、改写全拿下!2022,晨星舞校,秋舞芭蕾7 Papers & Radios | 谷歌开源机器人领域transformer;DeepMind推出剧本写作AINeurIPS 2022 | 大图上线性复杂度的节点级Transformer全球首个面向遥感任务设计的亿级视觉Transformer大模型耶鲁法学院退出《美国新闻》的排名,哈佛也跟进大规模的化学语言 transformer 模型捕捉分子结构和性质ICLR盲审阶段被审稿人赞不绝口的论文:会是Transformer架构的一大创新吗?更快更强!EfficientFormerV2来了!一种新的轻量级视觉Transformer最大的ViT来了!谷歌提出ViT-22B:视觉Transformer扩展到220亿参数7 Papers & Radios | 无残差连接训练深度transformer;DeepMind写代码AI登Science封面ICRA 2023 | CurveFormer:基于Transformer的3D车道线检测新网络Meta发布ConvNeXt V2!仅用最简单的卷积架构,性能不输Transformer清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型视觉Transformer继续屠榜顶会顶刊!超越ConvNeXt!Transformer 风格的卷积网络视觉基线模型Conv2Former超越ConvNeXt!Conv2Former:用于视觉识别的Transformer风格的ConvNetICLR盲审阶段就被评审赞不绝口的论文:会是Transformer架构的一大创新吗?扩散模型和Transformer梦幻联动!一举拿下新SOTA,MILA博士:U-Net已死统治扩散模型的U-Net要被取代了,谢赛宁等引入Transformer提出DiT扩散模型和Transformer梦幻联动!替换U-Net,一举拿下新SOTA!Transformer如何做扩散模型?伯克利最新《transformer可扩展扩散模型》论文强化学习中的Transformer发展到哪一步了?清北联合发布TransformRL综述CF-ViT:用于视觉Transformer的由粗到细的两阶段动态推理架构 | AAAI 2023
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。