DoorDash如何通过重构缓存来提升性能和可扩展性

DoorDash 重构了他们在所有微服务中使用的异构缓存系统，创建了一个通用的多层缓存，提供了一种通用的机制，解决了因采用碎片化缓存所带来的诸多问题。

缓存是一种常用的机制，不需要进行成本高昂的优化就可以提升系统的性能。DoorDash 工程师 Lev Neiman 和 Jason Fan 解释说，这在 DoorDash 的场景中尤为重要，因为对他们来说，实现业务逻辑比优化性能更重要。

遗憾的是，DoorDash 的不同团队使用了不同的缓存系统，包括 Caffeine、Redis Lettuce 和 HashMap。这也意味着他们会一次又一次地经历和解决同样的问题，比如缓存过期、严重依赖 Redis、键模式不一致等。出于这个原因，DoorDash 的一个工程师团队开始为他们所有的微服务创建一个共享缓存库，从 DashPass 开始，这是一个由于流量增加而面临扩展挑战和频繁故障的关键服务。

第一步是基于两个 Kotlin 接口定义一个公共 API：CacheManager，为特定的键类型和回退方法创建新的缓存；CacheKey 类，对键类型进行抽象。这让我们可以使用依赖注入和多态性在后台注入任意逻辑，同时保持业务逻辑缓存调用的统一性。

在尽力保持缓存简单的同时，DoorDash 工程师选择了一种包含三层的多层设计，进一步提高性能优化的可能性。第一层称为请求本地缓存，数据驻留在哈希映射中，其生存期受请求约束。第二层为本地缓存，使用 Caffeine 在同一 Java 虚拟机的所有工作线程之间共享数据。第三层是 Redis 缓存，同一 Redis 集群中的所有 pod 都可以使用 Redis Lettuce 访问。

这个多层缓存系统的一个重要特性是运行时控制，每个层都有，可以打开或关闭缓存，设置缓存生存时间（TTL）或是影子模式（在这种模式下，会将一定比例的缓存请求与真实来源进行比较）。此外，缓存系统还支持指标收集，包括命中和未命中、缓存延迟和日志记录。

在缓存系统准备就绪并在 DashPass 中达到预期效果后，他们就把它逐步推广到组织的其他部门，并就何时使用、如何使用或者是何时不使用提供明确的指导。

根据 Neiman 和 Fan 的说法，新的缓存系统提高了他们所有服务的可扩展性和安全性，同时也方便了团队在必要时采用缓存来提高性能。

原文链接：

https://www.infoq.com/news/2023/10/doordash-multilayered-cache/

声明：本文为 InfoQ 翻译，未经许可禁止转载。