Redian新闻
>
No.178# 混沌工程相关内容梳理

No.178# 混沌工程相关内容梳理

科技

引言

随着公司规模业务的快速增长,数以千计甚至万计的微服务,依赖的各类组件越来越多。


分布式体系架构体系越来越复杂,没有任何一个人能够掌控所有复杂的耦合性。


也就是说复杂性无法避免,不可能再回到单体应用,也无法彻底消除这种复杂性。


需要考虑的是如何应对这种复杂性问题。

一、混沌工程要点梳理

在《混沌工程--复杂系统韧性实现之道》给出了对了混沌工程的定义:


混沌工程在分布式系统上进行实验的学科,目的是建立对该系统能够能够承受生产环境的动荡条件的信心。


混沌工程原则5条黄金标准:

  • 建立关于稳态行为的假说
  • 多样化的引入现实世界的事件
  • 在生产环境中进行实验
  • 持续运行自动化实验
  • 最小化爆炸半径

稳态行为需要关键指标衡量,所以监控的关键指标就特别重要。


多样化的引入现实世界的事件,注意演练case的质量,多个视角观测,不拘役简单实现,也不忽略用户体验。


在生产环境中进行实验,其实刚起步阶段基本都是在非生产环境执行的,随着成熟度的提升,逐步在生产环境演练。


持续运行自动化实验,从最开始拉着运维手动干,逐步沉淀到混动系统中。


最小化爆炸半径,提升精准打击能力,某个集群、某个节点、某个应用、某个接口、某次调用。


通过混沌工程建立一种文化,在不确定的结果出现时保持系统的韧性。


通过混沌工程不断探索未知、将未知变为所知、提升应对不确定风险的韧性。

二、混动工程平台建设

构建蓝绿对抗平台:案例编排、演练自动化、沉淀案例、统计可视化、成熟度度量。

故障点注入

  • 注入的故障类型
  • 注入的目标服务
  • 注入的故障内容
  • 注入的故障监控

备注:例如故障监控关联日志、链路、操作记录等。

可视化统计

  • 故障演练执行CASE数量
  • 攻防成功失败CASE数量
  • 演练发现问题数量
  • 演练故障类型分布
  • 演练问题类型分布

成熟度模型

  • 成熟程度的等级
  • 引发的故障等级
  • 演练的时间范围
  • 故障的持续时间
  • 故障的恢复能力

三、精准打击实现方法

「最小化爆炸半径」 是混沌工程的5条黄金法则之一,下面梳理两种精准打击方法。

1、通过流量染色实现精准打击

下面对服务C做故障演练,例如:注入对某个方法注入超时5秒故障,此时对A服务和B服务均会造成故障。


可以通过对故障流量染色,只对属于故障演练的请求注入故障。


另外可以对iptables出口流量干扰,制造请求级故障。

2、通过输入参数控制爆炸半径

例如:通过拦截器分析入参,对输入用户ID在特定范围的请求,篡改返回参数制造故障。


四、强弱依赖自动判定

强弱依赖治理   平台能力在强弱依赖治理演进上可以考虑下:梳理强弱依赖主要是保障核心服务的稳定性 ,避免由于弱依赖服务故障对核心服务造成拖累。


服务之间的依赖:微服务之间的上下游调用形成服务之间的依赖。


强依赖:服务A调用服务B,B服务出现故障时A服务也不可用


弱依赖:服务A调用服务B,B服务出现故障时A服务仍然可用


方式一:强弱依赖人工梳理

通过走查服务代码核心逻辑,识别哪些链路接口是核心服务,哪些是非核心链路。


针对这些非核心链路逻辑能够拆分到非核心服务中去,针对非核心链路可以配置降级措施。


方式二、通过对依赖接口注入故障

步骤1:为选定服务或接口拉取依赖关系


步骤2:为接口依赖设置预判预期


步骤3:为依赖接口注入故障并引入流量


步骤4:监控指标并观测影响


步骤5:强弱依赖结果判定



五、常见通用故障Case梳理

故障类型事项说明
节点故障杀掉ecs节点、进程、Pod、容器、节点重启等
网络故障网络分区、网络中断、网络丢包、网络延迟、网络阻塞、带宽限制
IO类故障磁盘损坏、写入IO延迟、写入返回错误等、IO瞬时飙高
CPU/缓存/域名CPU瞬时飙高、内核内存分配异常、内存/CPU使用率过高、DNS域名解析错误
集群类故障扩缩容、频繁变更节点角色
应用类故障请求超时、网络异常、重复请求、入参修改、返回值修改、限流熔断异常、线程池填满、频繁GC、内存溢出等


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
No.181# 点直播简要架构梳理走查矩阵通升级,从发现“内容”到发现“有价值的内容”世界纷纷扰扰,他们为何日益笃定?|混沌学园三期同学年度书单官宣!中国这一城市取消“黄码”安排,入境人士未确诊即可免隔离,通关内地将免检疫,仅3日家居监察(组图)在佛罗里达买房的风险狗狗帮看菜摊遇顾客露假笑,顾客:笑得和面前的苦瓜一样 | 冷兔小报 No.785李善友阐述混沌最新战略思考:没有对错,只有选择|开启预约终于来了!今起入境香港“0+0”,澳洲华人回国更方便了!未确诊可免隔离,通关内地免口岸检疫内容即品牌:用内容创作,让更多人喜欢你市场混沌内容成王,产业造路,优酷少儿这份撬动“千亿级”内容消费市场的方法论值得收藏李善友:混沌的过去和未来,这是一个巨大的转折点​小偷欲偷平板电脑到手电子秤:没开灯看起来大小一样 | 冷兔小报 No.782人气必学|混沌历年人气好课TOP5混沌首届美好作品大展周预约开启哈兽研研究人员发现线粒体相关内质网膜对慢病毒囊膜生成的调控机制潞晨科技实习生招聘:AIGC大模型算法工程师、AI编译器开发工程师、前端开发工程师等官宣:混沌学园创新领教、企业战略顾问沈攀确认演讲!| 2022刀法年度品效峰会​纽约多名绿色连体衣女子地铁上抢劫,警方:已经锁定4名嫌犯 | 冷兔小报 No.783好消息!澳洲临签申请人无需体检!中国增加多趟国际航班!香港通关内地有望4+3!卡塔尔“混沌皮小王子”爆红全网,本人最新回应并秀中文!【冷兔•槽】每日一冷NO.347830位全球著名老师,混沌国际好课今天一网“打尽”!|课单加速迈向混沌:新冠纪元的世界活着(三)混沌双十一最后12小时!【11.1今日折扣】海蓝之谜78折!McQueen满£350享78折!麦昆小白鞋立减£92!大牌收割72折!赴华:12.17澳门调整入境政策,这会是一条赴华新路吗?(经由澳门赴内地流程梳理)秋日游布鲁克林海滩女子借空房给流浪猫开食堂:已有17只流浪猫 | 冷兔小报 No.817中国人为什么这么多谣言?The Opioid Crisis the Double Abuses首发 | 混沌APP实体礼品卡来啦!还送限量好礼宏景智驾校招:图像算法工程师、决策规划算法工程师、SLAM建图算法工程师等网易数读招聘内容编辑、内容实习生
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。