顺丰、京东、作业帮、Google在大数据和架构的结合应用分享 | ArchSummit

2023-03-30 10:03

大数据已深入到企业经营的方方面面，数字化管理已不仅仅是传统的报表，更深入到具体的业务核心流程中，数据平台的稳定性、数据质量问题将直接影响到企业的正常经营，业务对数据的依赖也越来越高，更低的使用成本、更高的计算性能、更快的数据时效等一直都是大数据平台技术架构升级与优化的目标。

近年来，云原生、资源弹性伸缩、数据实时化、湖仓一体、流批一体等新兴技术术语时常出现，但这些技术如何落地、后续演进方向如何、给业务带来的价值几何等很多人都不清楚。

在 4 月 21-22 日上海举办的 ArchSummit 架构师峰会上，邀请了顺丰、京东、作业帮、Google 在大数据和架构方面的一线技术专家来分享他们的实践。

顺丰科技大数据平台研发中心 / 大数据总监蔡适择老师担任这个专题的出品人，他自己也会分享一个话题《云原生大数据平台架构演进——弹性、融合、开放》，重点介绍顺丰基于内部降本增效的诉求，构建湖仓一体、存算分离、多机房融合的大数据平台方面的实践，在保障业务数据时效、数据安全及容灾的前提下，实现大数据平台的降本增效。

作业帮大数据中台 / 架构师伍思磊老师将分享基于云原生的作业帮大数据采集体系建设与迁移实践，讲讲作业帮在教育行业，对精细化运营、降本提效的诉求愈来愈高，作业帮大数据采集体系逐步从传统的 YARN 自运维架构向云原生迁移，将阐述基于云原生的数据采集体系的架构升级思路。

京东零售集团数据计算平台专家架构师、技术总监韩飞老师会分享实时大数据平台技术架构演进及实践，介绍京东集团实时数据平台在不断推动数据实时化的基础上，针对上述问题进行的一些探索及实践，包括实时链路端到端云原生底座能力的打造、数据实时化的整体方案以及如何不断提升平台的智能程度，实现降本提效等。最后，对平台的后续发展进行展望。

Google Cloud 数据分析架构师 Forrest Xi 将分享利用 Data Mesh 加速数据交付和提高数据质量的话题，Data Mesh 是一种为了规模化分析型用例而获取、管理和访问数据的新方法。它通过解决传统数据架构中存在的问题，如数据孤岛、数据质量低下和数据治理缺乏等，来实现数据的高效管理和利用。Forrest 所在的团队将探索 Data Mesh 的定义、原则和架构，并分享如何克服数据治理的挑战、如何实施 Data Mesh 以及获得其带来的收益。