ElasticSearch索引生命周期管理--DELETE

这篇具有很好参考价值的文章主要介绍了ElasticSearch索引生命周期管理--DELETE。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

概要

  • ElasticSearch中的索引生命周期管理,也就是ilm(Manage the index lifecycle),是指定了索引在不同周期下的处理策略。
  • ilm 的对象是索引而不是索引中的数据。
  • ilm 包括四个阶段:hot 、warm、cold和delete。
  • hot、warm和cold表示索引的使用情况,delete可以指定索引完成rollover后的旧索引的删除条件。
  • hot中常用策略为 rollover, 满足指定条件后创建新的索引。
  • delete中常用属性为min_age,也就是索引完成rollover后的删除策略。已经有可以提供相同功能的索引,就索引可以删除。
  • 索引生命周期中的delete不能删除索引,只能删除滚动之前的旧索引。

使用命令

  • 查询所有策略
GET _ilm/policy
  • 查询单个策略
GET _ilm/policy/<policy-name>
  • 查询索引的策略执行情况
GET <index-name>/_ilm/explain
  • 查询索引的创建时间
GET /_cat/indices/<index-name>?format=json&h=index,creation.date

DELETE策略执行分析

  1. 先查询索引的创建时间。
  • 命令为:
GET /_cat/indices/<index-name>?format=json&h=index,creation.date`
  • 响应值为:
[
  {
    "index" : "<index-name>",
    "creation.date" : "1688537411543" // 创建日期
  }
]
  1. 在查询索引的中生命周期的执行情况
  • 命令为:
GET <index-name>/_ilm/explain
  • 响应值为:
{
  "indices" : {
    "<index-name>" : {
      ...
      "policy" : "<policy-name>", //策略名称
      "lifecycle_date_millis" : 1691129648787, //生命周期时间,这里是进入delete计算阶段时间
      "age" : "3.87d", //年龄,存活时间,这个是创建时间到当前时间的时间间隔,一般需要减去hot中rollover设定的min-age。
      ...
      },
      ...
    }
  }
}
  1. 生命周期策略的具体信息
  • 命令为:
GET _ilm/policy/<policy-name>
  • 响应值为:
{
  "<policy-name>" : {
    ...
    "policy" : {
      "phases" : { //阶段
        "hot" : {
          "min_age" : "0ms", // 索引建立后就进入hot阶段
          "actions" : {
            "rollover" : { //创建新索引
              "max_primary_shard_size" : "50gb", // 当分片容积大于50Gb后执行
              "max_age" : "30d" // 分片的年龄达到30天
            }
          }
        },
        "delete" : {
          "min_age" : "30d", // 老索引超过rollover后的最小存活时间
          "actions" : { //执行策略为删除
            "delete" : { 
              "delete_searchable_snapshot" : true //删除相关的快照
            }
          }
        }
      },
      ...
    },
    "in_use_by" : {
      "indices" : [...],//被设置的索引
      ...
    }
  }
}
  1. 所以整个流程为索引超过30天后,会自动rollover出个新的索引,之后按照delete策略删除旧的索引。所以生命周期不会自动删除索引,索引的删除需要手动执行。

文章来源地址https://www.toymoban.com/news/detail-640311.html

到了这里,关于ElasticSearch索引生命周期管理--DELETE的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch 索引模板、生命周期策略、节点角色

    索引模板可以帮助简化创建和二次配置索引的过程,让我们更高效地管理索引的配置和映射。 索引生命周期策略是一项有意义的功能。它通常用于管理索引和分片的热(hot)、温(warm)和冷(cold)数据,以及定期删除过期的数据,以确保Elasticsearch的健康运行。 Elasticsearch集

    2024年04月16日
    浏览(26)
  • 【ElasticSearch】更新es索引生命周期策略,策略何时对索引生效

    大家好,我是好学的小师弟,今天和大家讨论下更新es索引生命周期策略后,策略何时对索引生效 结论: 若当前索引已应用策略A(旧),更新完策略A后,新的策略A会立即对原来的已经应用该策略的索引生效;若当前索引符合新策略A的生命周期变化条件,则会自动进入下一阶段

    2024年02月07日
    浏览(31)
  • 【ES实战】索引生命周期管理(二)

    一旦策略进入热、暖或冷阶段,就设置索引的优先级。在节点重启后,优先级较高的索引会在优先级较低的索引之前被恢复。 一般来说,热阶段的索引应该有最高值,冷阶段的索引应该有最低值。例如:HOT阶段为100,Warm阶段为50,cold阶段为0。没有设置这个值的索引,其默认

    2024年02月10日
    浏览(27)
  • elasticsearch的生命周期管理

    当需要存储的数据量特别大的时候,我们会希望ES能够通过预先设定的阈值,去自动创建索引,并将过期的索引删除掉。这里就需要用到ES的生命周期。 ES的生命周期分为4个阶段: HOT-WARM-COLD-DELETE 。 elasticsearch version 7.9.3 kibana version 7.9.3 其中的 HOT 阶段是必须配置的,其他三个

    2024年02月15日
    浏览(22)
  • Elasticsearch 索引模板、生命周期策略、节点角色(1),8年大数据开发开发教你如何写简历

    先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7 深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年最新大数据全套学习资料》,

    2024年04月26日
    浏览(30)
  • Elasticsearch:将 ILM 管理的数据流迁移到数据流生命周期

    警告 :此功能处于技术预览阶段,可能会在未来版本中更改或删除。 Elastic 将努力解决任何问题,但技术预览版中的功能不受官方 GA 功能的支持 SLA 的约束。目前的最新版本为 8.12。 在本教程中,我们将了解如何将现有数据流(data stream)从索引生命周期管理 (ILM) 迁移到数据

    2024年04月29日
    浏览(27)
  • 通过es索引生命周期策略删除日志索引

    在es 7.x版本之后,多了个索引生命周期的概念,可以一系列的设置,给新生成的索引绑定生命周期策略,到期后,索引自动删除。 也可以通过linux定时任务实现,请查看另一篇文章《通过linux定时任务删除es日志索引》 创建索引生命周期策略 创建索引模板,与生命周期策略绑

    2024年02月09日
    浏览(36)
  • 44-js return返回值,全局作用域,局部作用域,隐式作用域,变量的生命周期,delete释放内存

    1. return 返回值:函数执行后剩下结果就是返回值。 2.作用域 查找变量的时候,会从当前作用域开始查找,如果当前作用域查找不到,逐层(外层)向上查找 2.1全局作用域 2.2局部作用域 

    2024年02月02日
    浏览(38)
  • elasticsearch生命周期的阶段

    Hot : The index is actively being updated and queried. 可以设置滚动阈值 hot阶段是必须的,其他的阶段是可选的 hot phase有个坑: rollover 这里指的是如果你想让索引在hot阶段待5min,你可以在hot设置rollover时间触发条件为5min,然后warm阶段设置data into为0,正常情况下没问题.但是问题出在哪呢?roll

    2024年02月11日
    浏览(43)
  • ElasticSearch生命周期定期清理过期

    Elasticsearch(以下简称ES)是一个强大的分布式搜索和分析引擎,可以用于存储和分析各种类型的数据,包括日志数据。ES的索引(index)可以存储日志数据,并且可以设置生命周期策略来清理过期的日志数据。 以下是利用ES生命周期策略清理过期日志的一般步骤: 创建索引模

    2024年02月06日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包