当你使用Transformer时,张小斐告诉你:适合我们的才是最好的!
量化投资与机器学习微信公众号,是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者,曾荣获AMMA优秀品牌力、优秀洞察力大奖,连续4年被腾讯云+社区评选为“年度最佳作者”。
在今年的热播剧《好好事成双》中,竟然追起了Transformer的热点,编剧看来是下了功夫啊!
当甲方指责女主公司为什么没有采用当下最新最热门最强的Transformer模型,而采用了“过时的LSTM模型”时,女主是这样说服甲方的:
选择模型是不能迷信
最新最强最热门的
连《Attention is all you need》Transformer的图例都用上了
要知道,谷歌当年的这篇论文,不仅让NLP变了天,成为自然语言领域的主流模型,还成功跨界CV等领域。
截止今日,这篇论文被引数高达9万+。
这篇论文最大的亮点就是提出了一种Transformer的结构,这种结构是完全依赖注意力机制来刻画输入和输出之间的全局依赖关系,而不使用递归运算的RNN网络了。
不过有点小瑕疵,PPT图中的LSTM写错了,方框里写的好像是LTSM模型。不过跟这几年的国产剧相比,起码算是用心不少。
至于说Transformer在量化投资领域直接或者间接的应用,公众号之前推过几篇文章,大家可以看看:
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章