Redian新闻
>
网易湖仓管理系统 Amoro 进入 Apache 孵化器

网易湖仓管理系统 Amoro 进入 Apache 孵化器

公众号新闻

整理 | 褚杏娟

北京时间 2024 年 3 月 11 日,Amoro 项目顺利通过投票,正式进入 Apache 软件基金会(ASF,Apache Software Foundation)的孵化器,成为 ASF 的一个孵化项目。

根据 Apache 软件基金会的投票结果邮件显示,本次投票共包含 15 个约束性投票和 19 个非约束性投票,所有的投票均为赞成,没有弃权票或反对票。

Amoro,开箱即用的湖仓管理能力

长期以来,在 Hadoop、Spark、Flink、Trino 等开源、开放、扩展性强的生态项目的支持下,湖仓已成为企业数字化转型中的重要选型。然而,湖仓的复杂性和技术门槛导致企业落地成本居高不下。

Amoro 是建立在开放数据湖表格式之上的湖仓管理系统。2020 年开始, 网易大数据团队在公司内基于 Apache Iceberg 进行湖仓一体架构的探索,孵化了流式湖仓服务 Arctic。

2021 年,团队陆续发布 Arctic 0.1/0.2 版本,并在网易云音乐算法团队落地,后在网易传媒、网易有道等业务落地。次年 8 月,网易正式开源了 Arctic,项目受到了广泛关注并开始上线到生产环境中,用户逐渐转变为贡献者。

2023 年 8 月,由于对 Arctic 的期望以及项目长期发展考虑,Arctic 正式更名为 Amoro,并发布了新的 LOGO 和官网。今年 3 月,网易将 Amoro 捐赠给 Apache 基金会,提案通过了 Apache 基金会的投票决议。

自 2022 年 8 月对外开源以来,Amoro 不断有发现相同痛点的小伙伴加入到社区中,截至目前,Amoro 共有 19 个上线用户和 62 位贡献者。

Amoro 旨在提供开箱即用的湖仓管理能力,将湖仓的复杂性留给系统,简化给产品和用户。据介绍,Amoro 的功能主要包括:

  • 提供统一的 Catalog 服务,对齐 Hive Metastore、Rest catalog 等开源标准,支持集成 Glue 等商业元仓,帮助引擎和产品构建流批统一的元仓;

  • 提供全托管的湖仓维护功能,包括数据自优化、数据过期、快照清理、元数据同步等,以实现数据在不同引擎之间的高可用性和开箱即用。

  • 支持对接不同的数据湖格式,包括 Apache Iceberg 和 Apache Paimon,以及一种对流批一体场景更加优化的 Mixed 格式。

  • 提供开箱即用的管理工具,包括 DSL 指令、Metrics、Dashboard 等。

    “让湖仓不再成为互联网企业专宠”

根据 Amoro 团队介绍,Amoro 的愿景是依托于 Apache Iceberg、Apache Paimon 等新型数据湖表格式,持续打磨湖仓管理系统的定位和开箱即用的功能,为大数据产品和用户带来以下价值:

  1. 降低湖仓应用门槛,融入现代数据栈,为围绕湖仓构建的大数据产品极致瘦身,让湖仓不再成为互联网企业的专宠。

  2. 通过管理系统对维护任务的全托管能力,实现数据湖的自治,让数据治理变得简单和开箱即用。提供全托管维护任务的扩展能力,让湖仓管理变得更为便捷。

未来,Amoro 社区将专注于以下方面:

  1. 打磨全托管 Function 的框架和能力,持续优化 Built-in Function 功能,突出数据自优化功能与对标方案上的性能和成本优势。

  2. 以社区驱动的方式持续完善 Paimon、Iceberg 的对接能力,按需求对接新的 Format。

  3. 面向管理的各类 DSL 指令实现,帮助产品更好地集成。

  4. 完善 Metrics 以及其他管理功能。

相关链接:

Amoro 贡献者列表:

https://github.com/NetEase/amoro/graphs/contributors

Amoro 2024 roadmap:

https://github.com/NetEase/amoro/issues/2534

今日好文推荐

开源 Redis 的生命将就此终结?Redis 之父回应分叉浪潮:未来谁能领先,各凭本事!

Transformer 框架论文作者:AI行业被困在了六七年前的原型上

Stable Diffusion核心团队全部离职!Kimi大面积宕机,月之暗面已扩容5次;Redis不再“开源”引争议 | Q资讯

没有App,也没有 App Store,未来的手机会干掉全部应用开发人员吗?

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践淘宝工业品:中国隐形冠军的孵化器Rocket Internet:以复刻商业模式闻名的投资孵化公司Yelp 使用 Apache Beam 和 Apache Flink 彻底改造其流式架构你敢信|MOMOTO全新线上订餐系统来啦:一键搞定,想吃就吃!Work in Progress: The Changing Face of China’s Migrant WorkforceThe Chinese ‘Auntie’ Who Hit the Road — and Never Looked Back95款新游获版号:腾讯网易祖龙快手英雄在列,网易大作《破碎之地》过审Thermo Fisher中文自由译者, 15-25k·13薪像通用电气这样的人才孵化器,有哪些与众不同之处?2023爱思唯尔“中国高被引学者”榜单发布; 北大物理系发现玻色子新“宝藏” | 学界速递朝阳区启动星地AI应用孵化器,开启人工智能应用产业新篇章Off the Books: Inside the Struggle to Save China’s PreschoolsThe Artist Monkeying Around With China’s Monkey King大费城地区5月份招聘:保险文员、后厨帮工、餐厅企台、办公室职员、护理人员、司机、仓管、销售等【七律】銀婚贈友人港中文徐教授1v1科研:基于AI的智能停车场预测管理系统|收获一作论文与导师推荐信!龙年,用Loong还是Chinesische Drachen?小姐姐按不同的emoji表情,丝滑变声演唱《Fly me to the moon》太好听了....【星地AI应用孵化器】陪伴AI初创企业平稳度过“初创难关”云原生消息流系统Apache RocketMQ在腾讯云的大规模生产实践查询提速 11 倍,资源节省 70%,Apache Doris 在网易日志和时序场景的落地实践警告!波士顿市中心Roche Bros收银发现盗刷器,另外8家店也中招,快查账Why Tech Alone Won’t Free Women From Their Chains​杜绝邯郸悲剧重演!让留守儿童公平成长是城市公共治理系统义不容辞的责任新零售SaaS架构:客户管理系统架构设计(万字图文总结)China Launches Campaign to Bring Order to Unruly Classrooms逛台北的年货大街(多图)《周处除三害》爆火,英文名为啥是「The Pig , The Snake and The Pigeon」?《扫花游 - 听雪》【Chelsea全新高级公寓V2|近银线Chelsea站|步行5分钟至超市、Starbucks和各式餐厅】共和党人在做逆淘汰Her Boyfriend Killed Himself. The Internet Blamed Her.【求职战报】全球金融交易平台Deutsche Börse Systems销售运营面试邀约!与美丽一生同学的通信
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。