顺丰、京东等专家分享大数据平台升级与迁移经验 | ArchSummit
随着数字化转型的不断深入,在企业中,大数据平台建设是许多技术人关心的内容。随着企业的发展,数据量不断增长,原有的数据平台和数据库已经无法满足企业的需求。这时,企业需要对数据平台和数据库进行升级或迁移。但是,这个过程并不容易,需要耗费大量的时间和精力。
在大数据平台升级或迁移过程中,企业需要考虑很多因素,如数据的安全性、可靠性、稳定性等。同时,企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题,可能会导致数据丢失或损坏,给企业带来不可估量的损失。
为你给你提供更多可靠的实践案例,在即将到来的 ArchSummit 全球架构师峰会(上海站),我们设置了【大数据 + 架构应用结合】专题,邀请了顺丰科技大数据总监 蔡适泽 担任专题出品人。在此专题下,我们邀请了三位嘉宾一起来分享,以下为议题详情:
第一位分享嘉宾是蔡适泽,他目前负责顺丰大数据平台底盘建设及产品化工作,曾完成顺丰大数据平台从 0 至 1 的整个建设过程。随着顺丰数字化进程持续深入,业务所产生的数据量延续高速增长态势,给大数据平台带来了成本、效益方面的挑战,主要体现在高峰应对成本高、容灾算力资源浪费、数据时效性不足等。通过他的分享,你可以了解顺丰大数据平台弹性伸缩能力是如何建设的,以及了解混合云大数据平台、湖仓一体架构的优势;
第二位分享嘉宾是伍思磊,他在大数据及应用架构领域经验丰富,主导落地过供应链数据智能化、IoT 数据平台等项目。这次他将分享分享作业帮的数据库采集从 Canal 迁移到 Flink-CDC、日志采集从虚拟机迁移到容器化的实践过程,并阐述在这一过程中是如何基于云原生能力进行构建、验证,分享在迁移过程中遇到的技术难点、踩坑实践。通过他的分享,你可以了解 Canal 到 Flink-CDC 的大规模生产迁移实践,以及了解海量日志采集的容器化方案与迁移实践;
第三位分享嘉宾是韩飞,他目前负责京东集团实时大数据平台的整体技术架构演进及研发工作,在数据平台技术架构、实时计算、云原生、数据集成等领域具备丰富的实践经验。他将分享京东集团实时数据平台在不断推动数据实时化的基础上,针对资源利用率低、弹性能力差、智能化程度低等问题探索及实践。通过他的分享,你可以了解到大数据平台云原生的实践经验、了解数据实时化的技术方案及思路,以及了解如何打造平台智能化能力。
更多嘉宾正在邀请中...
在 4 月 21 日和 22 日,上海,我们即将举办 ArchSummit 全球架构师峰会,本次会议旨在分享和交流最新的技术趋势和应用案例,涵盖了人工智能、云原生、大数据、架构等多个领域。我们邀请了国内外知名的技术专家、企业架构师、行业领导者等嘉宾,为您带来精彩的主题演讲、专题讨论和实践分享。欢迎你来线下交流。
微信扫码关注该文公众号作者