【笔记】Elasticsearch snapshot（快照）数据迁移-Toy模板网

这篇具有很好参考价值的文章主要介绍了【笔记】Elasticsearch snapshot（快照）数据迁移。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

0.简介

项目中需要进行Elasticsearch(以下简称ES)新旧集群切换，涉及到集群数据迁移。本篇笔记录了利用Elasticsearch snapshot特性进行数据迁移的关键步骤。

1.迁移前检查

在开始进行迁移前，做以下两点检查。

1）检查是否开启path.repo选项

使用ES snapshot特性的前提是开启了path.repo选项，如图1。该选项指定了snapshot存储的位置。

本次数据迁移使用的是fs类型的snapshot,ES还提供许多其他类型的快照方式，具体内容可参考官方文档。Snapshot and restore | Elasticsearch Guide [8.12] | Elastic

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图1

2）检查索引

在迁移前先检查集群中存在哪些索引和它们的分配情况，方便迁移完成后进行对比。检查数据是否迁移成功。如图2。

curl -v -XGET 'http://localhost:9200/_cat/indices' -u elasitc

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图2

2.创建snapshot仓库

利用ES的snapshot API，在旧集群中创建一个快照仓库。其中，location选项必须是path.repo选项指定的目录。图3是创建快照仓库成功的截图。

type选项指定了快照仓库的类型，本例中使用的是fs类型，即文件类型。

curl -v -XPUT 'http://localhost:9200/_snapshot/test-repo' -H "Content-Type: application/json" -d '
{
    "type": "fs",
    "settings": {
        "location": "/home/dsp/help/snapshot"
    }
}' -u elastic

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图 3

除此之外，还可以使用以下命令查询仓库的状态。

curl -X GET "http://localhost:9200/_snapshot/my_repository/my_snapshot?pretty" -u elastic

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

3.创建索引快照

创建好快照仓库后，创建索引的快照，为了方便演示，在这里指我们只为图2中sharedb_*索引创建快照，如图4。

curl -v -XPUT 'http://localhost:9300/_snapshot/test-repo/index-snapshot-2024-02-09?wait_for_completion=true' -H "Content-Type: application/json" -d '
{
"indices": "sharedb_cert_info_time_test"
}' -u elastic | python -m json.tool

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记图4

这时候我们进入/home/dsp/help/snapshot中可以看到相关的备份数据。如图5。【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图5

可以通过以下命令获取索引快照的信息

curl -X GET "http://localhost:9200/_snapshot/my_repository/my_snapshot?pretty" -u elastic

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图6

4. 迁移数据

迁移数据这一步非常简单，有两种方式。

第一种方式是，启动一个新的ES集群，将path.repo路径配置为现在的路径；第二种方式是对旧集群指定的快照仓库的目录复制，再随意移动到某个地方。本例中使用第二种方式。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图 7

5.配置并启动新节点并从快照中恢复数据

现在，启动一个新的集群，并且将path.repo选项配置正确。、

在本例中，我们将新的ES节点监听在9400和9401端口。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图8

从下图中可以看到现在运行了两个ES实例。一个监听在9300端口，一个监听在9400端口。监听在9300端口的是旧实例，监听在9400端口的是新实例。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图9

现在我们使用restore API在9400端口的ES实例上对索引进行恢复。恢复之前我们先看看该实例目前的快照仓库信息。

curl -v -XGET 'http://localost:9400/_snapshot" -u elastic

可以看到，目前新实例上还不存在快照仓库。所以这里需要注意，我们要先创建一个与旧实例上创建的仓库同名的快照仓库。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图10

curl -v -XPUT 'http://localhost:9400/_snapshot/test-repo' -H "Content-Type: application/json" -d '
{
    "type": "fs",
    "settings": {
        "location": "/home/dsp/help/snapshot-new"
    }
}' -u elastic

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图11

图xx创建了新的快照仓库。其中的location选项是我们刚才复制的地址。再次查看仓库信息。可以提看到新的仓库已经存在。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图12

此时，新实例上我们虽然还没有做任何事情，但我们可以直接查看刚才备份的快照索引的信息。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图13

但如果这个时候查询分片信息的话，我们是看不到该索引的。

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图14

现在，我们执行restore操作，从快照仓库中恢复sharedb_cert_info_time_test索引

curl -XPUT "http://localhost:9400/_snapshot/test-repo/index-snapshot-2024-02-09"/_restore

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图15

【笔记】Elasticsearch snapshot（快照）数据迁移,笔记

图16

到这里，我们的索引就在新的实例上恢复了。注意到这个索引的状态是UNASSIGNED。导致UNASSINGNED在本例中与snapshot关系不大，是为某个插件的原因，因此这不是本篇笔记的关注点，暂时不做解释。

8.停止旧集群

最后，我们停止旧的实例，即完成了迁移。

10.小结

ES迁移数据的方法有很多，这里只做了快照方法迁移。还可以使用elasticsearch-dump工具对索引进行迁移。当然，还有一个更加简单的方式——直接迁移ES data目录即可。赶快去试试吧。

不过需要各位注意的是，ES进行数据迁移时，需要注意版本问题，无论是小版本（例如7.17.x->7.17.x)，还是大版本（7.xx.xx -> 8.xx.xx）都有可能出现问题。ES官方网站上可以查询到版本之前的兼容信息。文章来源地址https://www.toymoban.com/news/detail-826734.html

到了这里，关于【笔记】Elasticsearch snapshot（快照）数据迁移的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！