倘若准备将自建的 elasticsearch 迁移K8s，或者的迁移到其他elasticsearch集群，可以根据自己的业务需要选择适当的迁移方案，针对业务可以停服或可以暂停写操作场景 ，可以使用以下几种方案完成数据迁移：
- COS 快照，全程Cloud Object Storage
- logstash
- elasticsearch-dump
各种迁移方案对比如下：
| 迁移方方案 | 适用场景 |
|---|---|
| COS 快照 | 适合数据量大的场景(GB、TB、PB 级别)，对迁移速度要求较高的场景 |
| logstash | 迁移全量或增量数据，对实时性要求不高的场景，且需要对迁移的数据通过 es query 进行简单过滤的场景；需要对迁移的数据进行复杂的过滤或处理的场景；版本跨度较大的数据迁移场景如 5.x 版本迁移到 6.x 或 7.x 版本 |
| elasticsearch-dump | 数据量相对较小的场景 |
一、COS 快照
基于 COS 快照的迁移方式是使用 ES 的 snapshot api 接口进行迁移，基本原理就是从源 ES 集群创建索引快照，然后在目标 ES 集群中进行恢复。通过 snapshot 方式进行数据迁移时，特别需要注意 ES 的版本问题：
目标 ES 集群的主版本号（如5.6.4中的5为主版本号）要大于等于源 ES 集群的主版本号。
1.x 版本的集群创建的快照不能在 5.x 版本中恢复。
在源 ES 集群中创建 repository
创建快照前必须先创建 repository 仓库，一个 repository 仓库可以包含多份快照文件，repository 主要有以下几种类型。
- fs：共享文件系统，将快照文件存放于文件系统中；
- s3：AWS S3 对象存储,快照存放于 S3 中，以插件形式支持，安装该插件请参考 repository-s3；
- hdfs：快照存放于 hdfs 中，以插件形式支持，安装该插件请参考 repository-hdfs；
- cos：快照存放于腾讯云COS对象存储中，以插件形式支持，安装该插件请参考 cos-repository；
url：指定文件系统的 URL 路径，支持协议：http、https、ftp、file、jar。
如果需要从自建 ES 集群迁移至腾讯云的 ES 集群，可以直接使用 COS 类型仓库。但需要先在自建 ES 集群上安装 cos-repository 插件（安装插件后需要重启集群才能使用），先把自建 ES 集群中的数据先备份到 COS，然后在腾讯云上的 ES 集群中恢复出来，以完成数据的迁移。
如果自建 ES 的集群不方便安装 cos-repository 插件，但是已经安装 repository-s3 或者 repository-hdfs 插件，则可以先把数据备份到 S3 或者 HDFS 中，然后把 S3 或者 HDFS 中备份好的文件上传到腾讯云 COS 中，之后在腾讯云上的集群中进行恢复。
通过 COS 快照进行数据迁移时，需要先创建 COS 仓库，您可以通过如下命令创建仓库：
PUT _snapshot/my_cos_backup
{
“type”: “cos”,
“settings”: {
“app_id”: “xxxxxxx”,
“access_key_id”: “xxxxxx”,
“access_key_secret”: “xxxxxxx”,
“bucket”: “xxxxxx”,
“region”: “ap-guangzhou”,
“compress”: true,
“chunk_size”: “500mb”,
“base_path”: “/”
}
}
app_id：腾讯云账号 APPID。
access_key_id：腾讯云 API 密钥 SecretId。
access_key_secret：腾讯云 API 密钥 SecretKey。
bucket：COS Bucket 名字，不带 appId 后缀的 bucket 名。
region：COS Bucket 地域，必须与 ES 集群同地域。
base_path：备份目录。
在源 ES 集群中创建 snapshot
调用 snapshot api 创建快照以备份索引数据，创建快照时可以指定只对部分索引进行备份，也可以备份所有的索引，具体的 api 接口参数可以查阅 官方文档。
备份所有索引
将源 ES 集群中的所有索引备份到 my_cos_backup 仓库下，并命名为 snapshot_1：
PUT _snapshot/my_cos_backup/snapshot_1
这个命令会立刻返回，并在后台异步执行直到结束。如果希望创建快照命令阻塞执行，可以添加 wait_for_completion 参数：
PUT _snapshot/my_cos_backup/snapshot_1?wait_for_completion=true
命令执行的时间与索引大小相关。
备份指定索引
您可以在创建快照的时候指定要备份的索引：
PUT _snapshot/my_cos_backup/snapshot_2
{
“indices”: “index_1,index_2”
}
参数 indices 的值为多个索引的时候，需要用,隔开且不能有空格。
查看快照状态
通过以下命令检查快照是否备份完成，返回结果中的state字段为SUCCESS则说明快照已经备份成功：
GET _snapshot/my_cos_backup/snapshot_1
在目标 ES 集群中创建 repository
在目标 ES 集群中创建仓库和在源 ES 集群中创建仓库完全相同。
从快照恢复
将快照中备份的所有索引都恢复到 ES 集群中：
POST _snapshot/my_cos_backup/snapshot_1/_restore
如果 snapshot_1 包括5个索引，则这5个索引都会被恢复到 ES 集群中。您还可以使用附加的选项对索引进行重命名。该选项允许您通过模式匹配索引名称，并通过恢复进程提供一个新名称。如果您想在不替换现有数据的前提下，恢复旧数据来验证内容或进行其他操作，则可以使用该选项。从快照里恢复单个索引并提供一个替换的名称：
POST /snapshot/my_cos_backup/snapshot_1/restore
{
“indices”: “index_1”,
“rename_pattern”: "index(.+)",
“rename_replacement”: "restored_index$1"
}
indices：只恢复 index_1 索引，忽略快照中存在的其他索引。
rename_pattern：查找所提供的模式能匹配上的正在恢复的索引。
rename_replacement：将匹配的索引重命名成替代的模式。
查看索引恢复状态
您可以通过调用 _recovery API，查看指定索引恢复的进度：
GET index_1/_recovery
另外可以通过调用以下 API，查看指定索引的状态，返回结果中 status 为 green，则说明索引已经完全恢复：
GET _cluster/health/index_1
二、logstash
logstash 支持从一个 ES 集群中读取数据然后写入到另一个 ES 集群，因此可以使用 logstash 进行数据迁移，使用 logstash 进行迁移前，需要注意以下几点：
需要在和腾讯云上的 ES 集群相同的 VPC 下创建 CVM，部署 logstash，同时保证该 CVM 能够访问到源 ES 集群。
用于部署 logstash 的 CVM 最好选择比较高的配置，例如 CPU 为16核，内存为32GB。
logstash 应该和目标 ES 集群的主版本号相同，例如目标 ES 集群为6.8.2版本，则 logstash 也需要使用6.8版本。
需要特别注意索引 type 的问题，因为 ES 的不同版本对索引 type 的约束不同，跨大版本迁移 ES 集群时可能出现因为索引的 type 而导致写入目标集群失败等的问题。具体可参考 logstash-output-elasticsearch 插件中对 document_type 参数的说明。
一个常用的使用 logstash 进行跨集群数据迁移的配置文件如下：
input {
elasticsearch {
hosts => “1.1.1.1:9200”
index => “*”
docinfo => true
size => 5000
scroll => “5m”
}
}
output {
elasticsearch {
hosts => [“http://2.2.2.2:9200”]
user => “elastic”
password => “your_password”
index => “%{[@metadata][_index]}”
document_type => “%{[@metadata][_type]}”
document_id => “%{[@metadata][_id]}”
}
}
上述配置文件将源 ES 集群的所有索引同步到目标集群中，同时也可以设置只同步指定的索引，利用 logstash 进行迁移的更多功能可查阅 logstash-input-elasticsearch 和 logstash-output-elasticsearch[4]。
三、elasticsearch-dump
elasticsearch-dump 是一款开源的 ES 数据迁移工具，github 地址[5]。
安装 elasticsearch-dump
elasticsearch-dump 使用 node.js 开发，可使用 npm 包管理工具直接安装：
npm install elasticdump -g
主要参数说明
–input: 源地址，可为 ES 集群 URL、文件或 stdin,可指定索引，格式为：{protocol}😕/{host}:{port}/{index}
–input-index: 源 ES 集群中的索引
–output: 目标地址，可为 ES 集群地址 URL、文件或 stdout，可指定索引，格式为：{protocol}😕/{host}:{port}/{index}
–output-index: 目标 ES 集群的索引
–type: 迁移类型，默认为 data，表明只迁移数据，可选 settings, analyzer, data, mapping, alias
如果集群有安全认证，可以参照下面的方法使用 reindex 集群鉴权。在对应的 http 后面，添加 user:password@ 参考样例 elasticsearch-dump --input=http://192.168.1.2:9200/my_index --output=http://user:password@192.168.1.2:9200/my_index --type=data。
迁移单个索引
以下操作通过 elasticdump 命令将集群172.16.0.39中的 companydatabase 索引迁移至集群172.16.0.20。
第一条命令先将索引的 settings 先迁移，如果直接迁移 mapping 或者 data 将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步 mapping 与 data。
elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=settings
elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=mapping
elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=data
迁移所有索引
以下操作通过 elasticdump 命令将集群172.16.0.39中的所有索引迁移至集群172.16.0.20。
此操作并不能迁移索引的配置，例如分片数量和副本数量，必须对每个索引单独进行配置的迁移，或者直接在目标集群中将索引创建完毕后再迁移数据。文章来源：https://www.toymoban.com/news/detail-586961.html
elasticdump --input=http://172.16.0.39:9200 --output=http://172.16.0.20:9200
4总结
elasticsearch-dump 和 logstash 做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群，因为网络无法连通的情况下就无法实现迁移。而使用 snapshot 的方式则没有这个限制，因为 snapshot 方式是完全离线的。因此 elasticsearch-dump 和 logstash 迁移方式更适合于源 ES 集群和目标 ES 集群处于同一网络的情况下进行迁移。而需要跨云厂商的迁移，可以选择使用 snapshot 的方式进行迁移，例如从阿里云 ES 集群迁移至腾讯云 ES 集群，也可以通过打通网络实现集群互通，但是成本较高。
elasticsearch-dump 工具和 MySQL 数据库用于做数据备份的工具 mysqldump 类似，都是逻辑备份，需要将数据一条一条导出后再执行导入，所以适合数据量小的场景下进行迁移。
snapshot 的方式适合数据量大的场景下进行迁移。文章来源地址https://www.toymoban.com/news/detail-586961.html
到了这里，关于Elasticsearch 数据迁移方案的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
