Redian新闻
>
案例分享:混部共享集群租户内自定义调度编排数据密集型Serverless应用|QCon

案例分享:混部共享集群租户内自定义调度编排数据密集型Serverless应用|QCon

公众号新闻

搜推广很多业务属于数据密集型计算服务和系统,尤其对于平台型服务,检索数据量非常庞大,同时诸如商品召回为了准确性又不能水平拆分太多数据片等特性。致使业务面临实例资源规格大、加载大数据启停较慢,以及应用和数据更新耦合等迭代效率问题;然后资源调度面对大规格灵活性较低,不同模块及集群间的资源无法快速灵活的拓扑和调配,数据和应用的调度及编排存在较大挑战;再加上混合部署和多租户集群共享,很容易有资源碎片,存在一定程度资源浪费和资源利用不极致等问题。

为了满足日益增长的业务数据需求和快速迭代的技术要求,针对上述挑战和问题,需要有能够轻松构建大规模、高性能、数据密集型应用程序的新一代引擎平台。对于此,一方面需要打造云平台能力,能够轻松面对各种数据和应用的管理,满足业务系统的拓扑编排能力,屏蔽资源、可靠性、部署等细节,提高系统伸缩性、灵活性和弹性。另一方面需要打造贴合业务的适应于数据密集型的搜推广技术栈的引擎底座,来解耦数据和应用更新以及更好的沉淀和复用优秀的业务组件。而 BaaS+FaaS 的 Serverless 架构一定程度可以解决这些问题:一方面 BaaS 作为引擎底座,可以解决数据和应用耦合以及组件复用等问题;另一方面 FaaS 的轻量设计,在提高业务开发效率和扩展性的同时也可以更好的适配云平台的调度和编排能力。

显而易见,在混合部署以及多租户共享集群中支持贴合业务的自定义调度和编排本身就存在一些额外的困难和挑战;再加上在搜推广这种计算量大,数据密集,链路复杂,延时敏感的业务中应用 Serverless 架构就更不容易。

QCon 全球软件开发大会(北京站)2023 邀请到京东架构师王志龙老师前来,分享和探讨京东以搜索为先行载体,如何应对这些云原生之路的挑战及问题的探索和实践。

王老师拥有 10 年互联网一线架构及开发经验,是 Kubernetes Member,Layotto Wasm Maintainer,专注云原生领域,擅长性能极限优化。曾工作于腾讯、阿里,参与过微信云平台从 0 到 1 建设,阿里 Serverless FC C++ 和 Golang Runtime 研发及落地。目前在京东负责搜推微服务治理和 Serverless 云平台研发工作。

如果你想了解如何让多租户共享集群中支持全部控制面能力,自定义 Operator 和容器运行时灵活调度和编排,如何面向数据密集型应用的 Serverless 的解决方案,提高研发效率、更新效率、资源利用率 ,以及该方案在落地过程中有哪些挑战,欢迎来到北京站现场交流。

活动推荐

以「启航·AIGC 软件工程变革」为主题的 QCon 全球软件开发大会·北京站将于 9 月 3-5 日在北京•富力万丽酒店举办,此次大会策划了云原生、大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近 30 个精彩专题。

现已确认 110+ 名嘉宾,咨询购票可联系票务经理 18514549229(微信同手机号)。点击「阅读原文」即可查看全部专题,期待与各位开发者现场交流。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
对话无服务器专家 Luca Mezzalira:你真的为 Serverless X AI 做好准备了吗?面试官:如何使用 Dockerfile 去构建自定义的 Docker 镜像?问倒一大片。。。SOFAServerless 应用架构助力业务10倍效率提升,探索微服务隔离与共享的新平衡|QCon美团如何从 0 到 1 构建集群服务质量运营体系降低云成本|QCon字节跳动如何在单元测试中落地大模型|QCon黄东旭:我对数据库如何Serverless 化的一些思考字节跳动开源KubeAdmiral:基于 K8s 的新一代多集群编排调度引擎从纽约64岁的大妈卖淫说起深入理解Serverless计算的并发度MaaS突破“临界点”,全栈Serverless化再升级,阿里云如何重塑云计算技术体系?案例分享:To B产品商业化,架构设计和项目管理是关键【LEAP eSalon】 Level Up Your Career in Financial Services定义Serverless场景下BaaS访问的统一范式大模型爱好者必看:60+大模型全场景落地案例集|QConByzer,一种大模型时代的SQL 编程语言|QCon新计算范式下,Databricks、Snowflake、Doris、字节跳动的数据平台落地实践|QCon移民生活(15)王老师的贤妻刘岩凤刚刚,国常会最新定调!大力发展专利密集型产业!SaaS + AIGC 产品化,与客户互相启发的内测过程与案例|QConAmEx Delta SkyMiles Reserve Business 商业信用卡【110k 开卡奖励】久遠的端午節回憶面试官:如何使用Dockerfile去构建自定义的Docker镜像?问倒一堆2023 年 Serverless 状态报告发布:采用率大幅增长京东尚鑫:对中台疑云的几点冷思考|QCon 联席主席专访解锁 Serverless 新进展:与 AIGC 结合会有哪些搞头?从文心一言 APP 看大语言模型时代的 C 端产品研发变革|QCon有了 Serverless 数据库,用户就不需要 DBA 了吗?从 0 到 1 精益创新 AIGC 产品应用及商业化落地的 4 个关键|QCon真实案例分享:绿卡持有人超期停留海外,如何成功入境?Young Chinese Obsess Over MBTI, the American Personality Test妈妈的发型5096 血壮山河之武汉会战 浴血田家镇 4nǚ hóng?nǚ gōng蚂蚁 SOFAServerless 微服务新架构的探索与实践对话无服务器专家 Luca Mezzalira:你真的为Serverless X AI 做好准备了吗?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。