Redian新闻
>
9款日志采集&管理工具对比,选型必备!

9款日志采集&管理工具对比,选型必备!

公众号新闻

一、Filebeat

Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。


Filebeat的工作方式如下:启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志,Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容,并将新日志数据发送到libbeat,libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。



1、主要特点


  • 轻量级并且易使用


  • 模块可用于常见用例(例如 Apache 访问日志)。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板,只需几个命令。


2、价格


  • 免费开源


3、优点


  • 资源使用率低

  • 良好的性能


4、缺点


  • 有限的解析和丰富功能


二、Graylog


Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似,但又比ELK要简单,依靠着更加简洁,高效,部署使用简单的优势很快受到许多人的青睐。



1、主要特点


  • 一个包含日志处理所有要素的软件包:收集、解析、缓冲、索引、搜索、分析。

  • 开源 ELK 堆栈无法提供的其他功能,例如基于角色的访问控制和警报。


2、价格


  • 免费和开源,不过也有企业版(根据要求提供价格)


3、优点


  • 在一个软件包中满足大多数集中式日志管理用例的需求。

  • 轻松扩展存储 (Elasticsearch) 和获取通道。


4、缺点


  • 可视化能力是有限的,至少与ELK的Kibana相比是如此。

  • 不能使用整个ELK生态系统,因为他们不能直接访问Elasticsearch API。相反,Graylog有自己的API。


三、LogDNA


LogDNA是日志管理领域的新成员。LogDNA可作为SaaS和内部使用,提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化,提供基于代理和无代理的日志收集,并提供清晰且具有竞争力的价格。



1、主要特点


  • 用于在组织外部共享日志的嵌入式视图

  • 自动解析常用日志格式


2、价格


  • 免费:无存储

  • 收费:付费计划起价为每月每GB 1.50 美元,保留 7 天


3、优点


  • 用于搜索日志的简单 UI,类似于 Papertrail

  • 易于理解的计划


4、缺点


  • 可视化能力有限

  • 保留期取决于计划(从 7 天到 30 天);用户数量也是如此(最便宜的计划只允许 5 个)


四、ELK



1、主要特点


ELK堆栈包含了日志管理解决方案所需的大多数工具:


  • Log shippers:如Logstash和Filebeat

  • Elasticsearch是一个可扩展的搜索引擎

  • Kibana作为搜索日志或构建可视化的UI


它在集中日志方面非常流行,有很多关于如何在网络上使用它的教程。有一个庞大的工具生态系统,您可以在基本设置之上使用这些工具,通过警报、基于角色的访问控制等来增强它。我们将在这篇博文中详细介绍这些额外的附加功能,我们将在其中讨论 Elastic Stack 功能的替代方案。


  • Elasticsearch默认情况下对每个字段进行索引,使搜索速度更快

  • 通过API和Kibana实现实时可视化

  • 索引前的数据解析和充实


2、价格


免费和开源。一些公司提供托管 ELK 的形式,见上文。还有 Elastic Cloud,它是云中 ELK 的一种纯粹形式,您主要需要自己管理。


3、优点


  • 可扩展的搜索引擎作为日志存储

  • 成熟的log shippers

  • Kibana 中的 Web UI 和可视化


4、缺点


  • 在规模上,它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因

  • ELK Stack 的开源版本缺少一些功能,例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。


五、Grafana Loki


Loki 及其生态系统是 ELK 堆栈的替代方案,但它做出了不同的权衡。通过仅索引某些字段(标签),它可以具有完全不同的架构。


也就是说,主要的写入组件(Ingester)会将大量日志保存在内存中,从而使最近的查询速度更快。随着块变老,它们被写入两个地方:用于标签的键值存储(例如 Cassandra)和用于块数据的对象存储(例如 Amazon S3)。当您添加数据时,它们都不需要后台维护(例如 Elasticsearch/Solr 需要合并)。


如果您查询较旧的数据,您通常会按标签和时间范围进行过滤。这限制了必须从长期存储中检索的块的数量。



1、主要特点


  • 同一 UI 中的日志和指标 (Grafana)

  • Loki 标签可以与 Prometheus 标签保持一致


2、价格


  • 免费:免费开源

  • 收费:还有Grafana Cloud,提供Loki的SaaS服务(也有内部部署的选项)。价格从49美元起,包括100GB的日志存储(30天保留)和3000个度量系列。


3、优点


  • 与 ELK 相比,摄取速度更快:索引更少,无需合并

  • 小存储占用:较小的索引,数据只写入一次到长期存储(通常具有内置复制)

  • 使用更便宜的存储(例如 AWS S3)


4、缺点


  • 与 ELK 相比,较长时间范围内的查询和分析速度较慢

  • 与 ELK 相比,log shippers选项更少(例如 Promtail 或 Fluentd)

  • 不如 ELK 成熟(例如更难安装)


六、Datadog


Datadog 是一种 SaaS,最初是作为监控 (APM) 工具,后来还添加了日志管理功能。


您可以通过 HTTP(S) 或 syslog,通过现有的日志传送器(rsyslog、syslog-ng、Logstash 等)或通过 Datadog 自己的代理发送日志。


它的特点是 Logging without Limits™,这是一把双刃剑:更难预测和管理成本,但您可以获得即用即付定价(见下文)以及您可以存档和从存档中恢复的事实。



1、主要特点


  • 用于解析和丰富日志的服务器端处理管道

  • 自动检测常见的日志模式

  • 可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们


2、价格


  • 处理起价为每月每GB 0.10 美元。(例如 1GB 每天 3 美元)

  • 处理也适用于从档案中获取,尽管这里的数据是压缩的。

  • 100 万个事件的存储起价为 1.59 美元,为期 3 天。(例如,47.7 美元,1GB/天,每个 1K,存储 3 天)


3、优点


  • 容易搜索,良好的自动完成(基于facet)

  • 与DataDog指标和跟踪的集成

  • 负担得起,特别是对于短期保留和/或如果你依靠存档进行一些搜索


4、缺点


现场不可用;一些用户抱怨成本失控(由于定价灵活);您可以设置每日处理配额


七、Logstash


Logstash 是一个日志收集和处理引擎,它带有各种各样的插件,使您能够轻松地从各种来源摄取数据,将其转换并转发到定义的目的地。它与 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分,这就是为什么它最常用于将数据传送到 Elasticsearch。



1、主要特点


  • 许多内置的输入、过滤/转换和输出插件

  • 灵活的配置格式:您可以添加内联脚本,包括其他配置文件等


2、价格


  • 免费开源


3、优点


  • 容易开始和移动到复杂的配置

  • 灵活:Logstash用于各种日志记录用例,甚至用于非日志记录数据

  • 写得很好的文档和大量的操作指南


4、缺点


  • 与其他日志shippers相比,资源使用率高

  • 与替代品相比,性能较差


八、Fluentd


作为一个很好的 Logstash 替代品,Fluentd 是 DevOps 的最爱,特别是对于 Kubernetes 部署,因为它具有丰富的插件库。与 Logstash 一样,它可以将数据结构化为 JSON,并涉及日志数据处理的所有方面:收集、解析、缓冲和输出跨各种来源和目的地的数据。



1、主要特点


  • 与库和Kubernetes的良好集成

  • 大量的内置插件,很容易编写新的


2、价格


  • 免费开源


3、优点


  • 良好的性能和资源使用

  • 良好的插件生态系统

  • 易于使用的配置

  • 良好的文档


4、缺点


  • 解析前没有缓冲,可能会导致日志管道出现背压。

  • 对转换数据的支持有限,就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样。


九、Splunk


Splunk 是最早的商业日志集中工具之一,也是最受欢迎的。尽管它也作为服务提供 (Splunk Cloud),但典型的部署是本地部署 (Splunk Enterprise)。您可以将日志和指标发送到 Splunk 并一起分析它们。



1、主要特点


  • 用于搜索和分析的强大查询语言

  • 搜索时字段提取(在摄取时解析之外)

  • 自动将经常访问的数据移动到快速存储,将不经常访问的数据自动移动到慢速存储。


2、价格


  • 免费:每天 500MB 数据

  • 付费计划可应要求提供,但常见问题解答建议 1GB 的起价为 150 美元/月。


3、优点


  • 成熟且功能丰富

  • 对于大多数用例来说,良好的数据压缩(假设有有限的索引,正如推荐的那样)

  • 日志和度量在一个屋檐下


4、缺点


  • 对于较长的时间范围,查询速度较慢(建议使用有限的索引)

  • 用于度量存储的效率低于专注于监控的工具

链接:https://blog.csdn.net/xcswswswws/article/details/122558274

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
智算中心网络架构选型及对比退休规划必备的工具, 有钱人都用的省税&退休收入《原神》冰箱贴:神子&宵宫&申鹤&甘雨&刻晴&优菈&莫娜7位角色!环法第十四站----总攻的号角吹响了中美日三国对比过后,这对“90后”年轻小夫妻,选择在日本定居了吃早茶&生蚝沁园春 晨阳日本近10年永住通过率数据对比,外国人拿“日本绿卡”变难了吗?波士顿留学简直不要太好!美东7大Day-1 CPT学校对比,附带波士顿租房攻略!笑谈邂逅(21) 作家云集来授课,学生乐学出成果日本一妈妈晒孩子vs自己的早餐对比,引700万网友围观​?!网友:​这画风太真实了哈哈哈印度舰载机选型尘埃落定,阵风M成为最后的赢家,一口气买26架欧洲七国房价对比,德国房价大幅下跌!Linux 日志分析工具(logwatch)安装及使用不做二次元可行:月收入3500万,这款日系RPG出海手游欧美突围!最后机会|《资产管理/交易求职实战·进阶班》马上开课!二级市场岗位求职必备!疫情前后的嫖客大数据对比,惊呆,,,2023韩国先生宣传照与真实身材对比,这画风....MBB & Big 4中美程序员不完全对比,太真实了。。。Love Is Here To Stay ~~ by AP & Tony Bennett2023美国最常见转账方式汇总及对比,您知道几种?选校&留美就业必备!美国各大学地理位置分布及「各地区优势」汇总!《长相思 第一季》定档7/24,原著&编剧桐华,主演杨紫,张晚意,邓为,檀健次加州居,大不易中西方同期历史对比,让人惊叹!震惊!加拿大7月份食物杂货通胀率对比,最实惠的居然是香蕉...bug怎样算修完?浅谈团队分布式bug管理 —— git-poison简单易用的bug管理工具日志|龙年限定!这届管理日志主打一个龙腾四季、好事连连比窝在床上还舒服!蕉下&日本mikinai联名的「体感航空毯」,午休必备!值得好好體味的愛因斯坦的名句忽视日志可要吃大亏,手把手教你玩转 SpringBoot 日志铲屎官晒自家猫猫减肥前后对比,每个可爱的小胖子都是潜力股!191cm的肌肉猛男停练后对比,身材走形发胖,比路人都差....美国IIHS公布事故死亡率最高(&最低)的车型论文发表必备!医生论文服务常见问题Q&A一览,赶紧收藏大模型厂商选型,大厂这次赢麻了!美国留学!四大区域留学生活对比,到底哪里更适合你?忽视日志吃大亏,手把手教你玩转 SpringBoot 日志!忽视日志吃大亏,手把手教你玩转 SpringBoot 日志
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。