Redian新闻
>
从Snowflake迁移到Databricks,成本下降50%?Snowflake被迫解释

从Snowflake迁移到Databricks,成本下降50%?Snowflake被迫解释

公众号新闻


编译 | 核子可乐、Tina
如果成本能优化掉一半,那么总让人觉得有什么地方不对劲。

不久前,日杂百货配送公司 Instacart 在其 IPO 文件第 280 页处的一句无心表述,意外掀起了两家大数据厂商之间的口水战。

Instacart 公司董事会成员 Frank Slootman 同时也是 Snowflake 公司 CEO,后者是一家帮助企业客户在云端存储和管理大量工作负载的上市企业。Slootman 于 2021 年加入 Instacart 董事会,出于这层关系,Instacart 在招股申请中就必须年其与 Snowflake 之间的业务关系。

乍看之下,Instacart 的支出数字似乎令 Snowflake 颇感不安。


Instacart 方面表示,他们在 2020 年“向 Snowflake 支付了 1300 万美元”,这个数字在 2021 年迅速增长至 2800 万美元,到 2022 年更是为“基于云的数据仓库服务”支付了 5100 万美元。可时间来到 2023 年,开销数字似乎出现了逆转,Instacart 表示“我们预计全年将向 Snowflake 支付约 1500 万美元。”

这可是高达 71% 的同比降幅,我们当然好奇背后究竟发生了什么。

但 Snowflake 公司则一再强调,这些数字并不能反映真实趋势,而是应当结合招股文件中更深层次的细节来还原真相。

但无论如何,混乱之门已经就此打开。

迁移到 Databricks 来节省开支?

今年 5 月,Instacart 公司发表一篇题为《Instacart 如何运用智能湖仓架构与 Spark 建立模块化数据管线》(How Instacart Ads Modularized Data Pipelines With Lakehouse Architecture and Spark,https://archive.ph/NLn3L)的博文。文章描述了用于支持 Instacart 广告基础设施的软件,还讨论了迁移至 Databricks 的智能湖仓技术和由此带来的成本节约效果。

“我们用 Kafka 和 Spark 取代了 Kinesis Firehose,以 Delta 格式将数据传输到 S3 上。”
“虽然还有其他可用的表格式,例如 Apache Hudi 和 Apache Iceberg,但我们发现 Delta 由于 Databricks 平台提供的成熟集成和支持而脱颖而出。”
“这意味着我们可以更灵活地选择最适合我们的数据量和 SLA 要求的硬件,从而显着降低成本(节省 50% 以上)。”


Instacart 的现代数据堆栈:https://www.instacart.com/company/how-its-made/the-next-era-of-data-at-instacart/

这些文章似乎暗示着,Instacart 在 Snowflake 上的支出减少,在 Databricks 上的支出增加。

Snowflake 的竞争对手 Databricks 的员工抓住机会发起猛攻。他们在社交媒体上大肆宣扬 Snowflake 收入明显下降,并表示这主要是因为 Instacart 开始将工作负载转移至 Databricks 基础设施。


Snowflake 方面的员工很快予以反击,称这些数字完全是断章取义,并指责 Databricks 放出的正不断蚕食 Snowflake 业务份额的消息纯粹是凭空捏造。

双方对喷之下,Reddit、LinkedIn 和 X(原 Twitter)上的不少相关帖子也被迅速删除。

就连 Instacart 也主动撤销了部分争议内容。

然而,随着 IPO 申请激发的网上热议,Instacart 决定删除这篇博文。如今,访问此帖的读者只能面对 404 错误。Databricks 也撤下了一份关于 Instacart 如何应用其技术的详尽案例研究报告,但其官方网站上仍保留在今年早些时候发布的相关演示。

Instacart、Snowflake 以及 Databricks 公司的代表均拒绝对此发表置评。

这场争议之所以会被曝光,单纯是因为 Slootman 身兼 Instacart 公司的董事会成员,同时撞上了 Snowflake 与 Databricks 在云、数据和 AI 等热门技术领域中激烈对抗的当口。之前社交媒体上就曾多次爆发过类似的冲突,以至于一位 Reddit 用户几个月前曾撰写文章,题为《Databricks 和 Snowflake:别在社交媒体上对喷了行吗?》(Databricks and Snowflake: Stop fighting on social.” A commenter responded)的文章,评论区也有用户打趣道“这到底是数据工程,还是职业摔跤?”


2020 年 4 月 7 日,马萨诸塞州法尔茅斯,Instacart 采购员正在新冠疫情之下为顾客送货。由于亚马逊、Instacart 等多家企业的员工要求提高工资、危险津贴和病假时长,相当一部分服务开始由个体卖家承担。

Snowflake 于 2020 年上市,凭借超 30 亿美元的资金筹集总额成为美国有史以来规模最大的商业软件 IPO。即使经历了去年的市场暴跌,Snowflake 的市值仍稳稳超过 500 亿美元。

Databricks 则仍处于私营状态,但也是目前最为风险投资公司看好的企业之一。2021 年,私人投资者对该公司的估值为 380 亿美元;而彭博社上周报道称,该公司正在就估值 430 亿美元的融资进行谈判。

为了拓展 AI 业务领域,Snowflake 最近以 1.85 亿美元收购了 AI 搜索引擎 Neeva;另一方面,Databricks 则砸下 13 亿美元收购了生成式 AI 初创公司 MosaicML。

Instacart 这边的开支下降
究竟是怎么回事?

介绍了事件背景,下面咱们回头剖析 Instacart 文件中的开支下降问题。

虽然 Databricks 确实从 Instacart 这边分到了一部分预算,但 Instacart 在 S-1 文件中关于 Snowflake 合作关系的注释部分表明,这并不是导致 Snowflake 相关开支急剧萎缩的根本原因。相反,这里最重要的其实是 Instacart 核算运营费用的具体方法(即 Snowflake 的实际业务数额)。该数额在 2021 年时为 2800 万美元,2022 年也是 2800 万美元,之后到 2023 年上半年为 1100 万美元。虽然今年之内确实有所下降,但按年化计算降幅比例约为 21%,根本不是恐怖的 71%。

更令人困惑不解的是,“关联方交易”下的脚注并没有提到 Slootman 或者 Snowflake,仅仅是用“软件供应商的执行官”来指代。

随着网上讨论热度的提升,Snowflake 希望出面澄清事实——至少他们自己是这么理解的。于是上星期,该公司发布了一篇解释性的博文,题为《关于 Snowflake 和 Instacart 的事实》(Snowflake and Instacart: The Facts,https://www.snowflake.com/blog/snowflake-and-instacart-the-facts/)。

帖子开篇就写道,“最近几天来,社交媒体上有人歪曲了 Instacart 使用 Snowflake 产品的范围和趋势。”文章中倒是没有一句提到 Databricks,这也是 Snowflake 的惯常作法了。即使是在财务文件中,Snowflake 也从来不会将 Databricks 列为竞争对手。

Snowflake 继续表示,他们正在与 Instacart 合作以“优化效率”,也就是说要用更少的资源完成更多任务。另外,其技术“得到了 Instacart 几乎所有内部团队的广泛使用,包括目录团队、机器学习、广告、购物服务、零售商、客户和物流组织等部门。”

之后,该帖又强调了文件脚注中列出的使用数据,声称“在某些社交媒体帖子中,作者错误将付款时间差跟实际使用量混为一谈,就此得出支出大幅下降的结论——实际情况并非如此。”翻译过来,就是我们 Snowflake 的相应支出下降,绝不是因为业务被某家不宜点名的公司给抢走了。


Youtube 视频:Instacart 如何将 Snowflake 成本优化 50%

问题在于,展示客户如何能够“优化”他们的 Snowflake 工作负载也可以被解读为承认该公司的部署和收费模式能导致意想不到的高昂账单。

据之前的媒体报道,曾有内部人士表示,Snowflake 每个集群可以处理 8 个并发用户,这意味着当系统添加更多用户时,成本就会增加。“ Snowflake 的即用即付模式产生的成本不可预测,成本的不可预测性对 (使用 Snowflake) 的人们来说可能是一个巨大的冲击。”

对于 Instacart 这件事,有网友评论说,他曾在最近的两份工作中都用到过 Snowflake,“这个产品有很多让人喜欢的地方,但成本管理一直是一门‘魔法(black art)’。也许就是故意的。Snowflake 的内置成本管理工具非常差,根据我的观察,大多数客户最终不得不构建自己的工具。这是 Snowflake 需要改进的地方。”“也许他们更忙于为股东服务,无暇顾及客户……”

参考链接:

https://archive.ph/NLn3L#selection-1061.0-1069.55

https://www.linkedin.com/posts/alighodsi_how-instacart-ads-modularized-data-pipelines-activity-7066465465493057536-b6fc/

https://www.snowflake.com/blog/snowflake-and-instacart-the-facts/

https://www.cnbc.com/2023/09/02/instacart-ipo-filing-fans-controversy-between-snowflake-databricks-.html

https://www.youtube.com/watch?v=up3bTjrBvTA

https://www.theregister.com/2023/09/05/snowflakes_instacart_protestations_opinion/

https://twitter.com/GergelyOrosz/status/1697196428735504388

https://twitter.com/modestproposal1/status/1695177654822191184

 活动推荐

FCon 全球金融科技大会将于 11 月在上海开幕,会议聚焦当前金融行业遇到的问题,围绕金融企业在数字化转型过程中的痛点,例如数据治理,智能化、数字化风控,数字化投研,数字化营销,IT 技术能力等方向进行深入交流,扫码或点击「阅读原文」可查看全部演讲专题。

前 100 人可享 5 折特惠购票,咨询购票请联系:17310043226(微信同手机号)。

今日荐文

马斯克直播特斯拉自动驾驶;居然之家创始人:我把包括CTO在内的IT部门全裁了;首批8个大模型正式上线 | AI一周资讯


微软 Dev Box 正式发布:加速开发者工作流程


一个潮流的终结?推出仅 3 年后,亚马逊宣布终止低代码 Honeycode 服务,前员工爆料:长期没有顾客!


打造更聪明的猴子:开源云测框架 Hydra Lab 的智能化测试实战


微软官宣 Mac 版 Visual Studio IDE 将“退休”,网友吐槽:没什么用,早该退了!


ChatGPT 和 OpenAI 都在用的 Redis,是如何从传统数据库升级为向量数据库的?



你也「在看」吗? 👇

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
中国唯一的海上民族:京族,为何从越南迁移到广西生活?后期融资缩水明显,2023年上半年亚洲创企融资下降50%留学生找工作be like:质疑BOSS,理解BOSS,成为BOSS......对话云器科技 CTO 关涛:打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?语言、机器人破壁,MIT等用GPT-4自动生成模拟任务,并迁移到真实世界刷屏!9名医务人员联名举报科主任;院长被抓,人均就医成本下降1400元;一县403人主动说明问题、退赃SpringCloud 微服务迁移到 Kubernetes 容器化完整流程超级独角兽Databricks,估值430亿美元触目惊心!医院院长被抓后,人均就医成本下降1400元!率性!BrooksBrothers布克兄弟,美国奥莱VIP低折,还有折上折!已被LLM“杀死”?Stack Overflow:打不过就加入精选SDE岗位 | Snowflake、Databricks、Blizzard Entertainment公司岗位发布!新计算范式下,Databricks、Snowflake、Doris、字节跳动的数据平台落地实践|QConLlama2等30+模型接入千帆大模型平台,推理成本降50%!还有超全Prompt模板开放体验Erklärung zur ZusammenarbeitUber 将 4000 多个微服务迁移到新的多云平台 Up成本压力带来挑战,Snowflake能否成功破局?追剧《老中医》《梦中的那片海》想推翻遗嘱?李 玟老公Bruce被爆找律师争产 李 玟离世前3周状态曝光 友人揭「可正常走路、完全没架子」中年爱情-致命的一吻美国的福利好吗?Trader Joe’s正在召回两款饼干,里面可能含有rocks,“请不要吃!”Instacart上市,导致Databricks撕逼Snowflake。。。ICCV 2023 | 将MAE预训练好的Encoder-Decoder整体迁移到目标检测中小偷在超市活跃,Walmart、Canadian Tire被迫取消这项常用服务ES 不香吗,为啥被大厂摒弃而迁移到ClickHouse?日增320TB数据,从ClickHouse迁移至ByConity后,查询性能十分稳定!医院院长被抓后, 人均就医成本下降1400元!雪季倒计时!滑雪需要请教练吗?SnowyAction俱乐部给您最佳选择已连续两个季度盈利,CrowdStrike被严重低估了?工党从SNP手中夺下苏格兰一关键选区席位!| 当前英国房价比预期更具弹性!吃不起芒果了!今年澳洲芒果产量下降50%!价格飙升!单个价格4-5澳元!院长被抓后,人均就医成本下降1400元!图解就医费用如何被贪腐推高?令人咋舌。。。独立日DC大游行小红鸟们(二)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。