Redian新闻
>
k8s01# K8s日志采集与服务质量QoS

k8s01# K8s日志采集与服务质量QoS

科技

引言

应用容器化后的日志采集该选择何种方式?该如何权衡?不同的服务质量QoS对Node的稳定性影响是怎么样的,本文就捋一捋这个。主要内容有:

  • 日志采集三种方式
  • 日志采集方式权衡
  • Pod服务质量QoS
一、日志采集三种方式

K8s日志采集方式主要有原生方式、DaemonSet采集方式、Sidecar采集方式。


原生方式,日志写入标准输出和标准错误流,可通过 kubectl logs 命令查看输出,如下图。


通过日志轮替工具logrotate实现日志分割、压缩、删除、以及创建新的日志文件。


DaemonSet采集方式,在k8s的node节点上运行日志代理,由日志代理将日志采集到后端服务。


SideCar采集方式,在一个POD中运行一个单独的日志采集代理容器,用于采集容器的日志。


官方也说明了SideCar会带来更多的资源损耗,日志没有被kubelet接管,不能使用kubectl logs访问日志。


小结:基于官方提供的采集方式,是应该选择DaemonSet还是SideCar呢?如何权衡?


官方日志管理说明文档:

https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/logging/

二、日志采集方式权衡

资源占用 ,SideCar采集模式每个POD运行一个日志代理容器,DaemonSet则是Node运行一个日志代理。


因此,DaemonSet会更充分共享资源,SideCar模式会占用更多的资源。


运维难度,如果业务POD内已经拥有多种辅助容器比如安全、链路等,再增加日志采集容器,POD中容器数量将会增加。


因此,众多SideCar容器要比DaemonSet增加更多的运维投入。


隔离情况,DaemonSet的日志代理,可以配置不同应用的采集路径配置,SideCar一对一单向定制。


因此,总的来说SideCar隔离性更好些。


集群规模,SideCar没有限制,DaemonSet模式实际支持的应用数与场景有关系,大体范围在几百到千级别。


因此,集群规模更多日志代理采集的能力是否跟得上的问题。


升级问题,DaemonSet模式日志采集升级业务无感知,SideCar模式的升级可能导致业务POD的重建,POD的重建还是对业务有感知。


因此,DaemonSet模式对业务更为透明无感。


如果想SideCar采集模式业务无感,可以使用OpenKruise提供的SidecarSet管理sidecar容器。


SidecarSet负责注入和升级k8s集群的sideCar容器,对业务无感。


小结:在日志采集代理能力能满足需求的情况下,DaemonSet模式在运维复杂性、资源节省、升级方面更好的选择。


三、Pod服务质量QoS

K8s使用服务质量QoS来决定Pod的调度和驱逐策略。


QoS分为三类,Guaranteed、Burstable、BestEffort。


Guaranteed类的POD,该POD中的每个容器内存和CPU必须指定,而且request和limit必须相等。


Burstable类的POD,POD里至少一个容器的内存或者CPU请求不满足Guaranteed要求,request和limit设置的不相同。


BestEffort类的POD, 容器没有设置内存和CPU的request或limit。


优先级Guaranteed>Burstable>BestEffort。


K8s资源回收驱逐策略,当Node上的内存或者CPU耗尽时,为了保护Node会驱逐POD,优先级低的POD会优先被驱逐。


日志采集类filebeat、ilogtail等类型的POD适合使用Burstable或者BestEffort。


小结:为了Node的稳定性,日志采集类的POD设置为BestEffort类型的QoS更为安全。


官方Pod 的服务质量文档

https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/quality-service-pod/

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
如何在规模化微服务项目中应用服务虚拟化测试技术《我的解放日志》|在这部9.1分的韩剧里,我们都看到了自己疲惫生活的样子畸形西红柿花[电脑] <Asus Purple 201> 华硕AP201冰立方机箱装机秀评分9.1,又丧又治愈的《我的解放日志》:普通人的解放,没有统一路径人過七十不執政千万级可观测数据采集器--iLogtail代码完整开源CK03# ClickHouse日志存储设计点梳理[时尚] 【两双一件Visvim】FKT; Corda-Folk; SS 101XX JKT DMGD-1010英国博士看正太漫画打飞机,还在顶级期刊发表了一篇打飞机日志?!前端玩转大数据 - 家庭温湿度数据采集与分析ES09# Filebeat配置项及吞吐调优项梳理曾经吓到Intel,AMD的K8架构回顾零信任策略下K8s安全监控最佳实践(K+)FA15# 日志平台演进点梳理阿里云全球实时传输网络GRTN—QOE优化实践美国签证服务已全面恢复/海关总署公布取消出入境核酸申报要求/教育部、北京市签署共建留学人才回国服务示范区合作框架协【海鲜东炎汤】Tomyum Thale第3条河--博若莱酒路[参赛作品] [第四届桌面Show活动]——by qo19969疯狂增长的核酸采集站,能成为5G应用的典型场景么?简述APP资产收集与突破抓包限制20101218职业投资近5年来的感想每周健走:3月5日 Morningside Park如何在 Linux 中实时监控日志文件(桌面和服务器) | Linux 中国真是热死人,户外核酸采集就别穿“大白”了CS 钢铁侠MK85 2.0:7成合金+12点发光,仅售480?马斯克星链质量受质疑,被排除在美国普遍服务补贴之外!DPC领域SaaS——HintOS,服务美国超80万患者,获得4500万美元融资ES08# ElasticSearch中的SQL查询我在北京做兼职核酸采集员QoS和QoE初学者指南服务海底捞等500+餐饮品牌,年营收破亿,日远饮品如何做好饮品定制服务中期信号集锦(2008年至2012年、2015年)身材奋斗日志-减肥瘦身的三个秘密
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。