Redian新闻
>
ES07# Elasticsearch索引指标梳理

ES07# Elasticsearch索引指标梳理

科技

引言

前面梳理了集群和节点的指标,索引指标也很重要。含义说明与前面有重复,只不过是在索引级别。还是撸一遍,索引状态命令GET my-index/_stats。文章主要内容有:

  • 一、索引概览统计指标
  • 二、索引具体操作指标
  • 三、索引缓存类指标
一、索引概览统计指标

1.索引分片统计

返回示例:

"_shards" : {
    "total" : 40,
    "successful" : 40,
    "failed" : 0
}

指标说明:

属性说明
_shards.total索引总的分片数量
_shards.successful成功响应的分片数量
_shards.failed失败响应的分片数量

2.索引文档统计

返回示例:

"docs" : {
  "count" : 3428951086,
  "deleted" : 0
}

指标说明:

属性说明
docs.count索引总的文档数量
docs.deleted索引被删除的文档数量

3.索引存储统计

返回示例:

"store" : {
  "size_in_bytes" : 848984127692,
  "reserved_in_bytes" : 0
}

指标说明:

属性说明
store.size_in_bytes索引总的存储大小
store.reserved_in_bytes预计快照恢复增长的大小

4.索引操作统计

返回示例:

"indexing" : {
        "index_total" : 3431981662,
        "index_time_in_millis" : 897140520,
        "index_current" : 22,
        "index_failed" : 0,
        "delete_total" : 0,
        "delete_time_in_millis" : 0,
        "delete_current" : 0,
        "noop_update_total" : 0,
        "is_throttled" : false,
        "throttle_time_in_millis" : 0
 }

指标说明:

属性说明
index_total操作索引总的次数
index_time_in_millis操作索引总的耗时
index_current当前正在操作索引的次数
index_failed操作索引失败的次数
delete_total索引删除操作总的次数
delete_time_in_millis索引删除操作总的耗时
delete_current当前正在删除索引的次数
noop_update_total索引空更新的次数
is_throttled是否被限流
throttle_time_in_millis限流操作所耗用的时间

二、索引具体操作指标

1.Get操作指标

返回示例:

"get" : {
    "total" : 0,
    "time_in_millis" : 0,
    "exists_total" : 0,
    "exists_time_in_millis" : 0,
    "missing_total" : 0,
    "missing_time_in_millis" : 0,
    "current" : 0
}

指标说明:

属性说明
total该索引get操作总的次数
time_in_millis该索引get操作总的耗时
exists_total该索引get操作成功总的次数
exists_time_in_millis该索引get操作成功总耗时
missing_total该索引get操作失败总次数
missing_time_in_millis该索引get操作失败总耗时
current该索引正在执行get操作的数量

2.Search操作指标

返回示例:

"search" : {
    "open_contexts" : 0,
    "query_total" : 0,
    "query_time_in_millis" : 0,
    "query_current" : 0,
    "fetch_total" : 0,
    "fetch_time_in_millis" : 0,
    "fetch_current" : 0,
    "scroll_total" : 0,
    "scroll_time_in_millis" : 0,
    "scroll_current" : 0,
    "suggest_total" : 0,
    "suggest_time_in_millis" : 0,
    "suggest_current" : 0
}

指标说明:

属性说明
open_contexts该索引打开查询上下文总的数量
query_total该索引Query操作总的数量
query_time_in_millis该索引Query操作总的耗时
query_current该索引当前正在运行的Query操作数量
fetch_total该索引fetch操作总的数量
fetch_time_in_millis该索引fetch操作总的耗时
fetch_current该索引当前运行fetch操作的数量
scroll_total该索引scroll操作总的数量
scroll_time_in_millis该索引scroll操作总的耗时
scroll_current该索引当前运行scroll操作的数量
suggest_total该索引suggest操作总的数量
suggest_time_in_millis该索引suggest操作总的耗时
suggest_current该索引当前运行suggest操作的数量

3.Merges操作指标

返回示例:

"merges" : {
          "current" : 36,
          "current_docs" : 251604906,
          "current_size_in_bytes" : 63670970546,
          "total" : 107906,
          "total_time_in_millis" : 696446968,
          "total_docs" : 12497658332,
          "total_size_in_bytes" : 3109854688497,
          "total_stopped_time_in_millis" : 0,
          "total_throttled_time_in_millis" : 515392248,
          "total_auto_throttle_in_bytes" : 209715200
        }

指标说明:

属性说明
current该索引正在运行merge操作的数量
current_docs该索引正在运行merge文本的数量
current_size_in_bytes该索引正在运行merge文本占用的内存大小
total该索引merge操作总的数量
total_time_in_millis该索引merge操作总的耗时
total_docs该索引merge文档总的数量
total_size_in_bytes该索引merge文档总的大小
total_stopped_time_in_millis该索引merge操作停止总的时间
total_throttled_time_in_millis该索引merge操作限流总的耗时
total_auto_throttle_in_bytes超过该阈值自动触发merge操作限流

4.refresh操作指标

返回示例:

"refresh" : {
          "total" : 159194,
          "total_time_in_millis" : 22205194,
          "external_total" : 154671,
          "external_total_time_in_millis" : 22427426,
          "listeners" : 0
        }

指标说明:

属性说明
total该索引refresh操作总的数量
total_time_in_millis该索引refresh操作总的耗时
external_total该索引额外refresh操作总的数量
external_total_time_in_millis该索引额外refresh操作总的耗时
listeners该索引refresh listeners的数量

5.flush操作指标

返回示例:

"flush" : {
  "total" : 4508,
  "periodic" : 4468,
  "total_time_in_millis" : 3194273
}

指标说明:

属性说明
total该索引flush刷盘操作总的次数
periodic该索引周期性触发flush刷盘操作的次数
total_time_in_millis该索引flush刷盘操作总的耗时

6.warmer操作指标

返回示例:

"warmer" : {
  "current" : 0,
  "total" : 154631,
  "total_time_in_millis" : 1910
}

指标说明:

属性说明
current该索引正在运行预热索引的数量
total该索引总共预热索引的数量
total_time_in_millis该索引总共预热索引的耗时

三、索引缓存类指标

1.query_cache指标

返回示例:

"query_cache" : {
        "memory_size_in_bytes" : 0,
        "total_count" : 0,
        "hit_count" : 0,
        "miss_count" : 0,
        "cache_size" : 0,
        "cache_count" : 0,
        "evictions" : 0
      }

指标说明:

属性说明
memory_size_in_bytes该索引查询缓存占用总的大小
total_count该索引查询缓存总的次数(包括命中+未命中)
hit_count该索引查询缓存命中的次数
miss_count该索引查询缓存未命中的次数
cache_size该索引当前查询缓存中文档的数量
cache_count该索引查询缓存中总的文档的数量
evictions该索引查询缓存中被驱逐的数量

2.translog指标

返回示例:

"translog" : {
          "operations" : 19562907,
          "size_in_bytes" : 13294819243,
          "uncommitted_operations" : 19562907,
          "uncommitted_size_in_bytes" : 13294819243,
          "earliest_last_modified_age" : 0
        }

指标说明:

属性说明
operations该索引transaction log操作次数
size_in_bytes该索引transaction log的大小
uncommitted_operations该索引未提交transaction操作的数量
uncommitted_size_in_bytes该索引未提交transaction日志的大小
earliest_last_modified_age该索引transaction日志存的最久的日志条目时间

3.request_cache指标

返回示例:

"request_cache" : {
          "memory_size_in_bytes" : 0,
          "evictions" : 0,
          "hit_count" : 0,
          "miss_count" : 0
        }

指标说明:

属性说明
memory_size_in_bytes该索引请求缓存的大小
evictions该索引请求缓存被驱逐的数量
hit_count该索引请求缓存的命中数量
miss_count该索引请求缓存的未命中数量

4.recovery指标

返回示例:

"recovery" : {
  "current_as_source" : 0,
  "current_as_target" : 0,
  "throttle_time_in_millis" : 272139765
}

指标说明:

属性说明
current_as_source源索引分片恢复操作的数量
current_as_target目标索引分片恢复操作的数量
throttle_time_in_millis恢复操作的延迟时长

5.索引segments统计指标

返回示例:

"segments" : {
          "count" : 1857,
          "memory_in_bytes" : 9678652,
          "terms_memory_in_bytes" : 7318248,
          "stored_fields_memory_in_bytes" : 1624176,
          "term_vectors_memory_in_bytes" : 0,
          "norms_memory_in_bytes" : 475008,
          "points_memory_in_bytes" : 0,
          "doc_values_memory_in_bytes" : 261220,
          "index_writer_memory_in_bytes" : 557751636,
          "version_map_memory_in_bytes" : 114448838,
          "fixed_bit_set_memory_in_bytes" : 0,
          "max_unsafe_auto_id_timestamp" : -1,
          "file_sizes" : { }
        }

指标说明:

属性说明
count该索引segments的数量总数
memory_in_bytes该索引segments使用的缓存总和
terms_memory_in_bytes该索引terms query使用的缓存大小
stored_fields_memory_in_bytes该索引fields使用缓存大小
term_vectors_memory_in_bytes该索引Term Vectors(词条向量)使用缓存大小
norms_memory_in_bytes该索引norms(标准信息)使用的缓存大小
points_memory_in_bytes该索引points使用的缓存大小
doc_values_memory_in_bytes该索引doc values占用缓存大小
index_writer_memory_in_bytes该索引index writer占用缓存大小
version_map_memory_in_bytes该索引version maps(描述document、fields包含的内容)占用的缓存大小
fixed_bit_set_memory_in_bytes该索引BitSet(带标状态的数组)占用缓存的大小
max_unsafe_auto_id_timestamp该索引documents自动生成IDs最新时间戳

6.列数据缓存指标

列数据缓存主要用于对字段进行排序以及计算的聚合,将字段加载到缓存方便快速访问,通过参数indices.fielddata.cache.size控制。

返回示例:

"fielddata" : {
          "memory_size_in_bytes" : 0,
          "evictions" : 0
        }

指标说明:

属性说明
memory_size_in_bytes该索引列数据缓存总大小
evictions该索引驱逐缓存的大小,当超过堆内存阈值为了安全保护时会被驱逐,查询抛出Data too large异常

7.complete缓存指标

Linux内核中用于唤醒等待队列中睡眠线程,等待队列占用的缓存大小。

返回示例:

"completion" : {
   "size_in_bytes" : 0
}

指标说明:

属性说明
size_in_bytes该索引complete缓存使用大小

备注:官方文档说明:

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-stats.html

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Chase Sapphire Reserve (CSR) 限时送万豪金ES09# Filebeat配置项及吞吐调优项梳理Chinese Men Still Get a Pass on Domestic Labor. Even From Women.[电脑] Easy Connect——海韵ARCH Q503+微星Z690刀锋钛+索泰3070PGF装机Chinese Band Uses Lockdown Metaphors as Tour Titles明尼觅食记|明尼苏达去哪吃正宗费城Cheesesteaks?Chinese Courts See Rise in Emojis Used as Evidence in LawsuitsChinese ‘Harry Potter’ Fans All Ears for First Audiobook ReleaseChinese Ad Company Fined Over Sexist Slogan通货膨胀应该卖房还是买房?Chinese Cities Cautiously Welcome Travelers From Shanghai【新卡发布,40k 开卡奖励】Cardless LATAM World Elite Mastercard 信用卡勿让战火和瘟疫影响你与春天共舞Hurun China Metaverse Companies with the Greatest Potential 2022AmEx Delta SkyMiles Reserve Business 商业信用卡110k 开卡奖励;退役波音747限量版卡面Is Studying Overseas Losing Its Allure for Chinese Students?Residents Crowd COVID Test Sites to Move Across Shanghai FreelyArchinstall 新的菜单系统让安装 Arch Linux 更容易了 | Linux 中国年中大促!SSENSE现有 Fear of God Essentials 22春夏大童降价,低至5折!短T仅$35!ES06# Filebeat采集原理与监控指标梳理A Disabled Chinese Poet Falls Victim to Domestic ViolenceChinese Online Vendors Help Users Hide Their IP Address LocationIn Cambodia, a Network Rescuing Trafficked Chinese Is Unraveling常用的盘盘碟碟 - French GardenES08# ElasticSearch中的SQL查询China Restricts Citizens From ‘Non-Essential’ Foreign TravelChinese Cities Loosen Housing Policies for Three-Child FamiliesState Media Criticizes Chengdu Shop Signs in Romanized ChineseCities Raise Testing Frequency to Catch COVID Cases Early凭什么俄罗斯有权要求乌克兰成为“非军事国家”?早报 | Michael Kors母公司去年收入大涨39%;维密过去12个月利润超10亿美元;Diesel任命新首席执行官临·文徵明 山水之五!Chinese Children Will Now Learn to Farm and Cook at SchoolChinese Provinces Seek Fertility Treatments to Boost Birth Rate【7.4今日折扣】菲洛嘉面膜打骨折!Selfridges夏/OtherStories官网夏季折扣开启!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。