- 解密得物Trace2.0:日PB级数据量下的计算与存储性能优化实战
目录一、背景二、客户端多通道协议 1. 采集多通道协议三、计算模型四、数据压缩五、存储方案六、升级 JDK21 1. 升级后效果七、结语一背景Trace2.0 是得物监控团队引入 OpenTelemetry 协议并落地的全新应用监控系统,从 2021 年底正式开始使用。在过去的两年里,我
- AutoMQ Kafka 云上十倍成本节约的奥秘(一): SPOT 实例
近年来,无论是海外还是国内,虽然受疫情影响,公有云的市场规模增速有所放缓,但是云的市场总规模仍然是持续增长的。公有云作为一个各个国家重点布局的战略方向和其本身万亿级市场的定位[1],我们学习用好云是非常有必要的。AutoMQ Kafka 充分认识到“云优先”的重要性,围绕公有云具备规模化效益和技术红
- Dubbo 3.3.0-beta 版本正式发布
近日,Apache Dubbo 发布了 3.3 分支大版本 3.3.0-beta.1,相较于 3.2 系列版本,3.3.0-beta 引入了一些重量级的功能升级,按照社区规划,3.3 也将是 Dubbo3 非常重要的一个里程碑大版本,在 3.3.0 首个正式版本之后 Dubbo3 将正式进入长期稳定
- 得物 Redis 设计与实践
目录一、前言二、自建 Redis 架构及核心组件 1. ConfigServer 1.1 故障检测与转移 2. Redis-Proxy 2.1 同城双活 2.2 异步双写 3. Redis-Server 3.1 Async-F
- ZGC关键技术分析
目录一、引言二、ZGC术语三、ZGC性能数据四、ZGC关键特性 1. 着色指针(Colored Pointer) 2. 读屏障(Load Barrier)五、ZGC执行周期 1. 初始标记(STW1) 2. 并发标记(M/R) 3. 再标记阶段(STW2) 4.
- 从另一个视角记录蓝绿发布
目录一、前言二、常见的发布形式有哪些,分别有什么优势? 1. 全量发布 2. 滚动发布 3. 蓝绿发布 4. 灰度发布三、得物的蓝绿发布是如何实现的? 1. 蓝绿发布的流程 2. 得物蓝绿发布的架构 3. 蓝绿接入注意事项四、得物SRE团队对蓝绿发布的相关支
- Apache RocketMQ 5.0 消息进阶:如何支撑复杂的业务消息场景?
一致性Cloud Native首先来看 RocketMQ 的第一个特性-事务消息,事务消息是 RocketMQ 与一致性相关的特性,也是 RocketMQ 有别于其他消息队列的最具区分度的特性。以大规模电商系统为例,付款成功后会在交易系统中订单数据库将订单状态更新为已付款。然后交易系统再发送一条消息
- 自研API网关实践之路
一业务背景老网关使用 Spring Cloud Gateway (下称SCG)技术框架搭建,SCG基于webflux 编程范式,webflux是一种响应式编程理念,响应式编程对于提升系统吞吐率和性能有很大帮助; webflux 的底层构建在netty之上性能表现优秀;SCG属于spring生态的产
- 哈啰云原生架构落地实践
弹性伸缩技术实践全网容器化后一线研发的使用问题全网容器化后一线研发会面临一系列使用问题,包括时机、容量、效率和成本问题,弹性伸缩是云原生容器化后的必然技术选择。使用原生弹性HPA遇到的问题当时第一时间考虑用原生HPA组件,但在实际调研和小规模使用的时候发现了很多问题。一方面是内置的问题,如原生不支持
- 异步IO框架 io_uring
1Linux IO 模型分类相比于kernel bypass 模式需要结合具体的硬件支撑来讲,native IO是日常工作中接触到比较多的一种,其中同步IO在较长一段时间内被广泛使用,通常我们接触到的IO操作主要分为网络IO和存储IO。在大流量高并发的今天,提到网络IO,很容易想到大名鼎鼎的epol
- 热点探测技术架构设计与实践
1概述说到热点问题,首先我们先理解一下什么是热点?热点通常意义来说,是指在一段时间内,被广泛关注的物品或事件,例如微博热搜,热卖商品,热点新闻,明星直播等等,所以热点产生主要包含2个条件:1.有限时间, 2流量高聚。而在互联网领域,热点又主要分为2大类:1. 有预期的热点:比如在电商活动当中推出的爆
- No.185# 技术管理框架知识点随记
引言陆续参加了公司组织的两场关于技术管理的培训,时间一长也快忘的七七八八了。本文以刘建国《执行技术人管理之路》为基础框架,将知识点做了整理,在需要的时候翻翻。本文主要内容有:技术管理之角色认知技术管理之管理规划技术管理之团队建设技术管理之任务管理技术管理之管理沟通 一、技术管理之角色认知下面通过脑图
- 得物自建DTS平台的技术演进
0前言DTS是数据传输平台(Data Transfer Platform的缩写)随着得物App的用户流量增长,业务选择的数据库越来越多样化,异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持业务发展,我们决定自建DTS平台。本文主要从技术选型、能力支持与演化的角度出发,分享了在DTS平
- No.182# 技术管理之管理任务管理
引言继前文梳理「团队建设」与「管理规划」后,本文梳理下技术管理的另外一块「任务管理」。走查任务管理的主要内容:主要内容提点任务目标量化任务的优先级拉通形成共识团队梯队建设任务进度跟踪任务完成复盘一、主要内容提点二、任务目标量化任务管理:把事情落地、拿到结果。每个季度、半年都会写OKR,KR需量化、符
- No.181# 点直播简要架构梳理走查
引言直播带货、潮流电商、短视频不断融合,本文走查下音视频直播的简要架构和角色。选择UDP,注重传输实时性,在线教育、音视频会议等。选择TCP,注重画面质量、是否卡顿等,娱乐直播、直播带货等。本文主要内容有:音视频直播架构点直播服务器搭建CDN内容分发网络一、音视频直播架构下图为音视频直播架构简图。1
- No.178# 混沌工程相关内容梳理
引言随着公司规模业务的快速增长,数以千计甚至万计的微服务,依赖的各类组件越来越多。分布式体系架构体系越来越复杂,没有任何一个人能够掌控所有复杂的耦合性。也就是说复杂性无法避免,不可能再回到单体应用,也无法彻底消除这种复杂性。需要考虑的是如何应对这种复杂性问题。一、混沌工程要点梳理在《混沌工程--复杂
- No.176# 技术管理之管理规划框架
引言上篇梳理了团队建设框架,本文梳理下管理规划框架。团队存在的价值,从哪些方向规划目标,团队成员如何配备和分工,有哪些实现方案和解决措施。本文主要内容有:管理规划之要点管理规划之职能管理规划之目标管理规划之团队管理规划之路径一、管理规划之要点下面通过脑图梳里了管理规划的四个点,职能、目标、团队、路径
- 新书上市,限时优惠5折!
《RocketMQ实战》是我联合丁威老师合力打造的强调实战与理论结合,将原理穿插在实战中讲解的重磅级作品。整体内容的设计准则:每一位RocketMQ初学者能轻松通过对本书的学习,快速“升级打怪”,成为RocketMQ 领域的技术应用专家。每个章节内容的铺排方法:从使用场景入手,介绍如何使用Rocke
- No.175# 技术管理之团队建设框架
引言说起团队建设大家是否跟我一样都能说一些,但是这些点过于零散,不够体系。在带队过程中也会有各自的套路和心得,本文就梳理下团队建设要素,有个总体的框架。尽管每个点没有标准答案,而且可以无限延伸,没有止境。并不妨碍我们形成一张图,形成一个体系,针对性提升。本文的主要内容有:一、团队建设之框架一、团队建
- No.174# 中间件演进和稳定性治理实践
引言如果把带团队看作是驾驭一辆马车,想把这辆马车驶向何方?如果把带团队看作是驾驭一辆马车,如何让马车走的稳一点?把 “看方向” 和 “稳定性治理” 体系化,保障驾驭的马车平稳行进。——老梁通过对中间件功能、架构以及关键能力的定期聚焦,暴露中间件存在的问题和风险,把控未来演进方向,呈现中间件现状和未