Elasticsearch:增量快照如何工作?

这篇具有很好参考价值的文章主要介绍了Elasticsearch:增量快照如何工作?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者:Lutf ur Rehman

Elasticsearch:增量快照如何工作?

Elastic 提供许多由讲师指导的面对面和虚拟现场培训以及点播培训。 我们的旗舰课程是 Elasticsearch 工程师、Kibana 数据分析和 Elastic 可观测性工程师。 所有这些课程都会获得认证。如果你想更多了解这些认证方面的知识,请阅读文章 “Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师”。

为了满足不断增长的需求和新功能,我们最近发布了最新版本的 Elasticsearch 工程师培训。 本课程专为 Elasticsearch 新用户和 Elasticsearch 专业人士设计。 它从 Elastic Stack 入门基础知识开始,然后快速深入探讨从优化搜索性能到构建高效集群等主题。 查看详细的课程大纲,了解有关您将学到的内容的更多信息。 所有课程都包括动手实验。

在这个由讲师指导的 “Elasticsearch 工程师” 培训中,我们在教授快照时最常见的问题之一是 “快照(snapshots)的增量性质是什么?” 在这篇博文中,我将详细解释这一点。

什么是快照?

快照(snapshot)是正在运行的 Elasticsearch 集群的备份。 你可以使用快照来:

  • 定期备份集群,无需停机
  • 删除或硬件故障后恢复数据
  • 集群之间传输数据
  • 通过在热、冷和冻结数据层中使用可搜索快照来降低存储成本

增量性质

为了备份索引,快照会复制索引的段(segments)并将它们存储在快照存储库中。

索引由分片组成。 每个 Elasticsearch 分片都是一个 Lucene 索引。 每个 Lucene 索引都分为称为段的更小的单元。 当你将新文档添加到索引时,Lucene 会创建一个新段并写入它。 Lucene 有时会将较小的段合并为较大的段。

Elasticsearch:增量快照如何工作?

由于段是不可变的,因此快照只需要复制自存储库上次快照以来创建的任何新段。

每个快照在逻辑上也是独立的。 当你删除快照时,Elasticsearch 仅删除该快照专用的段。 Elasticsearch 不会删除存储库中其他快照仍在使用的段。

让我们通过这个例子来更好地理解。

  • 假设我们拍摄一个包含一个分片和两个段的简单索引的快照 (snap1)。

Elasticsearch:增量快照如何工作?

  • 一段时间后,当新文档被索引时,会在 shard0 中创建一个新段 C。
  • 第二个快照 (snap2) 只会将缺失的段复制到存储库。

Elasticsearch:增量快照如何工作?

  • 一段时间后,段 A、B 和 C 合并,创建一个新段 D。
  • 创建新快照(snap3)时,新段 D 被复制到存储库。

Elasticsearch:增量快照如何工作?

  • 删除快照 (snap1) 仅删除存储库中不再被任何其他快照引用的段。
  • 在这种情况下,不会从存储库中删除任何段。

Elasticsearch:增量快照如何工作?

  • 只有在删除 snap2 后,段 A、B 和 C 才会从存储库中删除。 

Elasticsearch:增量快照如何工作?

概括

在这篇博文中,我借助一些图形解释了快照的增量性质。 如需了解更多信息,请随时阅读官方文档。

Elastic Stack 用途广泛,足以应对任何用例。 想了解如何利用这种多功能性的力量吗? 通过免费、付费、私人和培训订阅成为 Elastic 专家。 我们在全球范围内提供由讲师指导的虚拟课程,分时区为你提供便利的学习体验。 通过获得 Elastic 认证,提高你的专业知名度并突破公司内部的技术界限。

如有任何疑问,请通过 training@elastic.co 联系我们。文章来源地址https://www.toymoban.com/news/detail-503225.html

到了这里,关于Elasticsearch:增量快照如何工作?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Flink CDC 2.4 正式发布,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本

    Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。 作为新一代的实时数据集成框架,Flink CDC 具有全增量一体化、无锁读取、并行读取、表结构变更

    2024年02月12日
    浏览(41)
  • Flink CDC 2.4 正式发布,5分钟了解CDC 2.4新内容,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本

    来源:https://ververica.github.io/flink-cdc-connectors/master/ Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。 具体关于Flink CDC是什么?可以看下这篇文字 作

    2024年02月12日
    浏览(45)
  • Elasticsearch创建快照与快照恢复

    使用了 kibana 进行请求发送 1.旧es创建快照 1.查看elasticsearch.yml配置的仓库路径,没有添加上,重启es 2.注册仓库,如仓库名 backup1 3.创建两个快照,如 snapshot_1 , snapshot_2 2.新es恢复快照 1.复制旧 backups 目录下所有仓库到新es的 backups (新es的仓库路径)路径下 2.注册仓库 3.查看仓库所

    2024年02月07日
    浏览(37)
  • AI 时代,知识工作者的生存指南

    最近,大家可能已经见识过 AI 的威力了吧,以 ChatGPT 为代表的 人工智能(AI)展现出接近人一样的回答水准。 来自 Craft AI Assitant AI 就在那里,是房间里的大象,大家不能总装做对自己没有影响。要知道,此时的 AI 和 以往的AI相比,已经截然不同了。 以往的 AI : 按照指定套

    2024年02月02日
    浏览(42)
  • Elasticsearch 快照和恢复

    快照是正在运行的Elasticsearch集群的备份。可以使用快照来: 定期备份群集,无需停机 删除或硬件故障后恢复数据 在群集之间传输数据等 默认情况下,集群的快照包含集群状态、所有常规数据流和所有常规索引 快照必须存储在存储库中,存储库的内容不能修改,否则会造成

    2024年02月14日
    浏览(36)
  • Elasticsearch数据迁移(使用快照)

    前言 :由于做项目的时候没有进行长期考虑,把es,mysql,api等都部署在同一台服务器上,随着业务的增加,需要将部分服务和存储迁移到其他服务器。es上目前已有100万以上的数据,上网查资料,snapshot适合数据量大的迁移,所以没来得及考虑就果断选择尝试一下。 一.生成

    2024年04月10日
    浏览(42)
  • Elasticsearch:删除快照安全吗?

    快速回答 :是的! 删除快照是安全的,因为每个快照在逻辑上都是独立的。 了解如何以及为何可以继续阅读。 Elasticsearch 使用增量快照,使你能够高效地备份和恢复数据。 你可以在这篇精彩的文章中找到它的工作原理 “Elasticsearch:增量快照如何工作?” 下面分享一些关于

    2024年02月16日
    浏览(42)
  • 【笔记】Elasticsearch snapshot(快照)数据迁移

    0.简介         项目中需要进行Elasticsearch(以下简称ES)新旧集群切换,涉及到集群数据迁移。本篇笔记录了利用Elasticsearch snapshot特性进行数据迁移的关键步骤。 1.迁移前检查         在开始进行迁移前,做以下两点检查。           1)检查是否开启path.repo选项          

    2024年02月19日
    浏览(32)
  • 使用 Easysearch 还原 Elasticsearch 快照数据

    本文主要测试验证 Elasticsearch 各版本快照在 Easysearch 中进行数据恢复。 ignore_unavailable:如果 indices 列表中的索引不存在,则是否忽略该索引而不是使快照失败。默认值为 false 。 include_global_state:是否在快照中包含集群状态(包括索引模版、生命周期配置、持久化配置等)。

    2024年02月09日
    浏览(41)
  • 访问学者感谢信|人文社科工作者赴北欧访学

    编者按:这位访问学者从委托我们申请到获得邀请函只用了一个月时间。为了表达感激之情,其当时就写了这封感谢信,但依据我们的惯例,一般是待申请者出国,一切安排妥当后再发成功案例。所以时至今日,才将该申请者的感谢信原文发出。 逐梦北欧,从知识人启航 —

    2024年02月21日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包