Redian新闻
>
2023,还能靠Transformer轻松发论文么?

2023,还能靠Transformer轻松发论文么?

公众号新闻

作为研究者,对前沿技术和研究热门方向的关注是必做的功课。

近年来计算机视觉的几个分支绝对算是大热门。不论是工业界的追捧,还是从各个顶会论文的收录情况也不难看出其热度,相关的研究和论文数量倍增。

但总有冷静的孩子: 计算机视觉领域还有不卷的方向吗?哪些方向比较好发论文?idea和创新方向从哪里来

可能没有不卷的方向,但有相对不那么卷的方向;和相对比较容易出论文的热门方向。

不论是为了继续升学搞科研还是进大厂,都不可忽略论文在其中起到的关键作用。那些以进大厂为目标的同学,要知道,其实HR也会重点看你满满当当的简历中近期发表的论文的方向和招聘方向是不是契合,如果契合,那么你进入下一轮甚至被录取的概率就会极大地提高。

所以有没有比较好发论文的、各大厂重点业务相关的热门研究方向?

比如Vision Transformer

Transformer模型统治自然语言处理领域之后,在计算机视觉领域也展现了超越卷积神经网络的性能,并开始逐渐取代后者在计算机视觉领域的地位。与采用滑动窗口形式的卷积神经网络相比,Transformer凭借全局的注意力机制不再局限于相邻区域,因此拥有更高的性能上限。

扫码领

Vision-Transformer必读论文22篇

+600篇CV领域前沿论文合集

AttentionIs All You NeedTransformer 作为最近热起来的方向,卷起来了但是又不是那么卷,在这个方向可探索的空间还很大,获得一个好的idea,写出一篇好论文的概率相对就大得多。

很多童鞋的终极目标是拿着论文当敲门砖,去某某大厂开启人生新篇章。

那么剩下的问题就是,怎么发(水)论文?

想要快速发论文有两点至关重要。

1.紧跟风口。

想发文章最容易的方法就是紧跟风口,顺着领域内的研究趋势确定自己的方向,毕竟在热门领域内,创新点和idea远比其他非热门领域多。

2.有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

所以,要解决的问题就是:

1.找到风口。

2.找到领域内的大神做导师。

扫码领

Vision-Transformer必读论文22篇

+600篇CV领域前沿论文合集

获取学术大咖一对一指导

都说SCI论文只有0篇和无数篇的区别,这句话告诉我们,其实做科研写论文也是有方法有套路可循,掌握了窍门,后面的路才会走得通畅。

但是作为一个小白,还在“蹒跚学步”阶段,怎么去掌握窍门?来自前辈的指点必不可少。

一个好的指导老师的作用是,没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了......

获取学术大咖的科研指导

赠送顶会论文资料包


同时向大家推荐一个VIT科研小班。指导老师Z老师博士毕业于德国马克斯普朗克研究所与曼海姆大学。

课程将帮助同学们厘清transformer除了注意力之外的核心知识点,以及SOTA模型架构的设计思路。在此基础上,指导同学们如何结合具体问题对Transformer各部分设计进行取舍,并针对不足的地方提出自己的改进。

滑动查看课程介绍




扫码了解课程详情

文末福利




作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过1TAI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作全部帮你整理好~


扫码免费领课程资料↑


-END-

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型Eruope 2023超越ConvNeXt!Transformer 风格的卷积网络视觉基线模型Conv2FormerEeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗?一文总结语音识别必备经典模型(二)史上最全Transformer合集!LeCun力推:给60个模型建目录,哪篇论文你错过了?谷歌新作!Transformer杀入机器人领域!RT-1:97%成功率,轻松完成700多条控制指令!更快更强!EfficientFormerV2来了!一种新的轻量级视觉TransformerCVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey清华朱军团队开源UniDiffuser:首个基于Transformer的多模态扩散大模型!文图互生、改写全拿下!最大的ViT来了!谷歌提出ViT-22B:视觉Transformer扩展到220亿参数7 Papers & Radios | 推理速度比Stable Diffusion快2倍;视觉Transformer统一图像文本大规模的化学语言 transformer 模型捕捉分子结构和性质扩散模型和Transformer梦幻联动!替换U-Net,一举拿下新SOTA!统治扩散模型的U-Net要被取代了,谢赛宁等引入Transformer提出DiTICLR 2023 | PatchTST: 基于Transformer的长时间序列预测转:2023 回国探亲(5)CVPR 2023 | 正则化方法DropKey: 两行代码高效缓解视觉Transformer过拟合美国入境档案--葛庭燧和何怡贞扩散模型和Transformer梦幻联动!一举拿下新SOTA,MILA博士:U-Net已死强化学习中的Transformer发展到哪一步了?清北联合发布TransformRL综述日本啊,日本(八)苏州园林国际要闻简报,轻松了解天下事(032023 春 祝姐妹们周末快乐!ICLR 2023 | Specformer: 基于Transformer的集合到集合图谱滤波器我的心脏和我的多肉,Meta发布ConvNeXt V2!仅用最简单的卷积架构,性能不输Transformer参数减半、与CLIP一样好,视觉Transformer从像素入手实现图像文本统一为文学城男博主们画像把Transformer当通用计算机用,还能执行in-context learning算法,这项研究脑洞大开7 Papers & Radios | 谷歌开源机器人领域transformer;DeepMind推出剧本写作AI​NeurIPS 2022 | 仅需3分钟!开源Transformer快速训练后剪枝框架来了Transformer模仿大脑,在预测大脑成像上超越42个模型,还能够模拟感官与大脑之间的传输扩散模型和Transformer梦幻联动!一举拿下新SOTACVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法脑洞大开!把Transformer当通用计算机用,还能执行in-context learning算法ICRA 2023 | CurveFormer:基于Transformer的3D车道线检测新网络老年三福与笑的哲学---柳无忌告老心言Transformer如何做扩散模型?伯克利最新《transformer可扩展扩散模型》论文国际要闻简报,轻松了解天下事(03
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。