案例分享:混部共享集群租户内自定义调度编排数据密集型Serverless应用|QCon
搜推广很多业务属于数据密集型计算服务和系统,尤其对于平台型服务,检索数据量非常庞大,同时诸如商品召回为了准确性又不能水平拆分太多数据片等特性。致使业务面临实例资源规格大、加载大数据启停较慢,以及应用和数据更新耦合等迭代效率问题;然后资源调度面对大规格灵活性较低,不同模块及集群间的资源无法快速灵活的拓扑和调配,数据和应用的调度及编排存在较大挑战;再加上混合部署和多租户集群共享,很容易有资源碎片,存在一定程度资源浪费和资源利用不极致等问题。
为了满足日益增长的业务数据需求和快速迭代的技术要求,针对上述挑战和问题,需要有能够轻松构建大规模、高性能、数据密集型应用程序的新一代引擎平台。对于此,一方面需要打造云平台能力,能够轻松面对各种数据和应用的管理,满足业务系统的拓扑编排能力,屏蔽资源、可靠性、部署等细节,提高系统伸缩性、灵活性和弹性。另一方面需要打造贴合业务的适应于数据密集型的搜推广技术栈的引擎底座,来解耦数据和应用更新以及更好的沉淀和复用优秀的业务组件。而 BaaS+FaaS 的 Serverless 架构一定程度可以解决这些问题:一方面 BaaS 作为引擎底座,可以解决数据和应用耦合以及组件复用等问题;另一方面 FaaS 的轻量设计,在提高业务开发效率和扩展性的同时也可以更好的适配云平台的调度和编排能力。
显而易见,在混合部署以及多租户共享集群中支持贴合业务的自定义调度和编排本身就存在一些额外的困难和挑战;再加上在搜推广这种计算量大,数据密集,链路复杂,延时敏感的业务中应用 Serverless 架构就更不容易。
QCon 全球软件开发大会(北京站)2023 邀请到京东架构师王志龙老师前来,分享和探讨京东以搜索为先行载体,如何应对这些云原生之路的挑战及问题的探索和实践。
王老师拥有 10 年互联网一线架构及开发经验,是 Kubernetes Member,Layotto Wasm Maintainer,专注云原生领域,擅长性能极限优化。曾工作于腾讯、阿里,参与过微信云平台从 0 到 1 建设,阿里 Serverless FC C++ 和 Golang Runtime 研发及落地。目前在京东负责搜推微服务治理和 Serverless 云平台研发工作。
如果你想了解如何让多租户共享集群中支持全部控制面能力,自定义 Operator 和容器运行时灵活调度和编排,如何面向数据密集型应用的 Serverless 的解决方案,提高研发效率、更新效率、资源利用率 ,以及该方案在落地过程中有哪些挑战,欢迎来到北京站现场交流。
以「启航·AIGC 软件工程变革」为主题的 QCon 全球软件开发大会·北京站将于 9 月 3-5 日在北京•富力万丽酒店举办,此次大会策划了云原生、大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近 30 个精彩专题。
现已确认 110+ 名嘉宾,咨询购票可联系票务经理 18514549229(微信同手机号)。点击「阅读原文」即可查看全部专题,期待与各位开发者现场交流。
微信扫码关注该文公众号作者