量化私募的三大内卷趋势:卷人、卷数据、卷算力
前两天交易门编辑部被一篇文章刷屏了,幻方这家量化私募基金管理人,居然投入10个亿搭建了“萤火二号”深度学习训练平台,搭载了1万张英伟达A100显卡。
据《财经十一人》报道,国内拥有超过1万枚GPU的企业不超过5家,除了幻方以外都是互联网头部大厂,1万枚英伟达A100芯片已经达到了做自训大模型的算力门槛。(简单你可以理解为他们可以自己搭一个牛逼的ChatGPT)。
一家量化私募,为什么花这么大成本搭建了媲美互联网大厂的计算平台?
其实大家都知道,国内量化投资的超额收益衰减的非常明显,最热门的中证500指增超额已经从2018年的30%下滑到了现在的11%。
现在的市场已经不是前几年非常容易赚钱的市场了。之前可能一个简单的动量因子就很容易赚钱,随着量化基金规模的不断增加,交易越来越拥挤,因子在慢慢的失效,量化投资变的越来越内卷。
量化投资的本质就是通过对大量数据的分析找到未来各类资产涨跌的规律,如何在内卷时代继续做出超额,只有三条路:
更好的人才,更多的数据,更强的算力
这么看大家可能有点难理解,比喻为开餐馆可能更好理解一点。
餐馆到处都是,如何把菜做的更好吃?
更好的厨师、更好的原材料、更好的厨具。
接下来我们详细拆解一下这三个内卷方向,大家就明白为什么幻方这家量化私募要花10个亿去自建超算了。最后也聊聊中小私募如何突破巨头的超算阴霾。
量化内卷第一步,卷人。
要做好一道好菜,顶级的厨师是最重要的。就算是一道简单的蛋炒饭,不同的厨师炒出来的味道也可以天壤之别。
要在竞争激烈的金融市场中取得优势,无疑需要拥有最顶级的人才。这些人才具备出众的数学和统计学背景、编程技能、金融知识、数据分析能力以及坚韧的心理素质。他们的加入使得量化机构能够不断创新、提高效率,并在竞争激烈的金融市场中保持领先地位。
所以大家会看到国内量化机构几乎清一色顶级学府毕业,各类高考状元,各种奥林匹克金牌得主,如果看看国外的量化机构会发现他们还配置了顶级科学家。
随着量化的内卷,顶级量化私募也开始了抢人大战,九坤曾在2020年11月份首次推出“梧桐计划”,面向全球最优秀的本硕博应届毕业生给出百万年薪。2021年还发布了“百万美金诚邀基金经理”的招聘信息,高薪邀请海归,还打出“回国不降薪”的标语。
交易门的猎头朋友们表示,一旦帮机构招募到核心投研团队,便能拿到上百万元的提成。
量化内卷第二步,卷数据。
作为一个厨师,手上的食材越多,越能做出更好的味道。虽说只有米饭、鸡蛋、盐、油就可以做出一道蛋炒饭,但如果你还有鹅肝、黑松露、海胆等高级食材,那你做的蛋炒饭大概率会比简单的蛋炒饭更好吃。
量化机构每年都会付出大量的成本去获取基础数据,既要有基础的证券基本信息、交易数据、宏观和行业数据,又要有别人难以获得的另类数据。从新闻和各类报告的文本舆情信息,到卫星图片中的港口交运数据,大量可以反映金融市场情绪、企业运营状态以及经济发展情况的领先指标蕴含在这片信息蓝海中。还有很多你想象不到的奇奇怪怪但很有效的数据。
个人产生的数据:社交媒体帖子、产品评论、互联网搜索趋势、信用卡数据等,这部分通常是非结构化的数据,需要大量的数据清洗。
由业务流程产生的数据:公司工商数据、专利数据、尾气数据、招聘数据、商业交易、事件数据、招标数据、阿里巴巴、京东、美团等电商平台数据、app排行榜、直播和搜索指数数据等,这部分通常是高度结构化的数据。
传感器产生的数据:卫星图像数据、行人和车辆流量、船舶位置等,地图数据。生成的数据通常是非结构化的,数据会比较大。
第三方数据:分析师研报情感数据、一致性预期。
知乎:BigQuant
另类数据有时会对创造收益有奇效,美国的另类数据公司Thasos在2018年就曾通过监测特斯拉员工手机的信号数量,用以判断工厂工人的工作时间,成功在特斯拉公司发布财报前准确预测出特斯拉第三季度的产量,最终取得非常好的收益。
在世界顶级量化机构文艺复兴公司,研究人员挖掘几乎所有能被量化的数据,并不断检测这些数据预测市场的价值。大奖章基金变成了一块数据海绵,每年吸收着几万亿比特的信息,并不断购买昂贵的存储器来消化、存储、分析这些数据,从中寻找可靠的规律。“数据多多益善”成了公司员工的座右铭。 征服市场的人
量化内卷第三步,卷算力
好厨师、好食材凑齐了,还要有好的厨具才能做出更好的味道。一把生锈的菜刀和铁锅固然也可以炒菜,但如果配上顶级厨具必然事半功倍。
你要做个龙须面,你可以让师傅手工拉出来,操作难度高且费时,可能十分钟才能做一碗。但如果给你个龙须拉面机,一分钟就能出十碗了。
量化策略研发大体分为三步:因子挖掘、模型训练、策略回测,每一步都需要使用大量的算力资源。
因子挖掘是在大量数据中发现与资产价格波动相关的因子或者变量,模型训练就是把找出来的因子进行组合和优化,策略回测就是利用历史数据把模型跑一遍看看有没有用。
如果用一台小电脑,可能挖掘因子用了10天,模型训练用了4天,策略回测用了1天,半个月过去了,终于做出来了一个策略。
但如果用一台超级计算机,半个月的时间压缩成5分钟,别人做一个策略的时间你做了4000个策略,还比人家早实盘运行半个月。可能小电脑玩家策略刚做出来,超级计算机玩家就已经把策略跑失效了,这怎么竞争?
于是,各大量化巨头都开始了“军备竞赛”,花费巨资搭建模型训练平台,就像幻方那台10个亿的“大电脑”。
百亿私募每年固定管理费收入就上亿,再加上业绩报酬,巨大的资本优势让他们可以斥巨资搭建“大电脑”,中小私募怎么办?
不要急,直接买“大电脑”资金压力大的,可以租嘛~照样可以花小钱用上大电脑。
比如字节跳动旗下的云服务平台火山引擎推出了面向私募量化场景的解决方案“金融量化云”。
火山引擎是字节跳动旗下的企业级技术服务云平台,开放字节跳动发展过程中积累的经验方法、技术工具和平台能力。其面向私募量化场景的“金融量化云”提供极致性价比、稳定高速的GPU计算资源,并针对量化场景提供从数据获取、数据治理、数据储存、机器学习、模型训练、数据回测等一系列工具。
其GPU云服务器在普通云服务器上附加了GPU加速卡,GPU云拥有按需、按时计费,整体ROI更高等优势,因此,使用GPU云来提升算力,正在成为大多数量化投资机构的首选。在提供超强计算能力的同时,也避免了直接购买硬件的一次性巨额投入。
在GPU和ECS的配置上,火山引擎拥有充足的芯片资源,以及更高的性价比,而且整套方案采用了云端部署,客户只需要租用即可,并不需要花费大量预算进行购买部署和运维,可以帮助客户大幅降低预算投入。
在数据的治理和存储方面,火山引擎金融量化云解决方案采用了大数据治理套件+湖仓一体实时引擎的架构,一方面加强多源结构、非结构化数据的全生命周期管控治理,并让其更有字节特色的Bytehouse支持海量数据的高性能写入、查询;另一方面,凭借性能2倍于开源引擎的Presto引擎,在湖仓一体的架构下,支持数据事务的实时更新。
在模型训练层面,针对量化因子挖掘、模型回测场景,火山引擎提供云原生架构的机器学习平台,一键提交镜像、代码、数据。并且在训练框架、推理引擎侧进行优化加速,实现GPU的0碎片,Swin Transformer-Large 样本吞吐量1.9倍加速。让金融量化投资的每一步,都能快一步!
提醒一点,不要小看GPU利用率造成的成本波动。一块A100包年的情况下,仅需提高20%利用率可以节省成本上万元。测试显示,在火山引擎容器共享软件mGPU的加持下,推理性能和训练性能都几乎无损耗,而资源利用率则有50%以上提升空间。
一张图解释为什么要做GPU共享
和私募场景类似,大模型企业同样对算力需求大。据说,国内有数十家做大模型的企业,七成已经在火山引擎云上。
各位量化大佬们,不用自建超算也可以低成本快速获得巨额算力的机会到了。不如立即点击页面左下角阅读原文链接,了解一下吧!
微信扫码关注该文公众号作者