elasticdump：es批量索引迁移心得-Toy模板网

这篇具有很好参考价值的文章主要介绍了elasticdump：es批量索引迁移心得。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.方法介绍

1.1一行代码看懂用法

1.2导出源数据的 settings、mapping 、data

1.3将导出的数据文件导入至目标索引

1.4从数据源直接导入到目标集群

1.方法介绍

1.1一行代码看懂用法

elasticdump --input <源数据> --output <目标数据> --type=<数据类型>

1.2导出源数据的 settings、mapping 、data

1.2.1：导出源数据索引的 settings文件

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output /Users/wu/Desktop/test_index_settings.json --type=settings

2：导出源数据索引的 mapping文件

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output /Users/wu/Desktop/test_index_mapping.json --type=mapping

3：导出源数据索引的 data文件

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output /Users/wu/Desktop/test_index.json --type=data

1.3将导出的数据文件导入至目标索引

1：导入 settings 至目标索引

elasticdump --input /Users/wu/Desktop/test_index_mapping.json 
--output http://账号:密码@localhost:9200/ --type=settings

2：导入mapping至目标索引

elasticdump --input /Users/wu/Desktop/test_index_mapping.json
--output http://localhost:9200/ --type=mapping

3：导入data至目标索引

elasticdump --input /Users/wu/Desktop/test_index_mapping.json 
--output http://账号:密码@localhost:9200/ --type=data

1.4从数据源直接导入到目标集群

1：迁移settings

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output http://账号:密码@localhost:9200/ --type=settings

2：迁移mapping

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output http://账号:密码@localhost:9200/ --type=mapping

3：迁移data

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output http://账号:密码@localhost:9200/ --type=data

1.5elasticdump导入导出批量索引

事情是这样的，一开始使用正常到elasticdump导入索引。命令如下：

elasticdump --input http://账号:密码@localhost:9213/test_index 
--output http://账号:密码@localhost:9200/

索引导入了一部分报错。504 Gateway Time-out错误。无法继续导入，es库查询也很有问题。应该是压力过大导致。

然后通过正常elasticdump导入导出单个索引，通过shell命令去循环遍历原库所有索引进行操作。

#! /bin/bash

#txt_sy=`cat /opt/es_data/ba/abcd |awk -F 'log-' '{print $2}' |awk -F ' ' '{print $1}' |tr -s '\n'|awk -F '.' '{print $1}'`
txt_sy=`cat /opt/es_data/ba/abc`
for sy in $txt_sy ; do


elasticdump --limit=10000 --type=settings  --input=http://admin:aLi_esPassadm356@elasticsearch.20191217074602572gtsj6s1.cn-langfang-mps22s-d01-inner.odps.ops.yun.ga:9200/idx_bus_request_service_log-$sy --output=http://elastic:aLi_esPassadm356@gxpt.kexinju-shehuichu-gxpt.ops.yun.ga:9200/idx_bus_request_service_log-$sy 

elasticdump --limit=10000 --type=mapping --input=http://admin:aLi_esPassadm356@elasticsearch.20191217074602572gtsj6s1.cn-langfang-mps22s-d01-inner.odps.ops.yun.ga:9200/idx_bus_request_service_log-$sy --output=http://elastic:aLi_esPassadm356@gxpt.kexinju-shehuichu-gxpt.ops.yun.ga:9200/idx_bus_request_service_log-$sy 


elasticdump --limit=1000 --input=http://admin:aLi_esPassadm356@elasticsearch.20191217074602572gtsj6s1.cn-langfang-mps22s-d01-inner.odps.ops.yun.ga:9200/idx_bus_request_service_log-$sy --type=data --output=http://elastic:aLi_esPassadm356@gxpt.kexinju-shehuichu-gxpt.ops.yun.ga:9200/idx_bus_request_service_log-$sy 

done

注：--type=settings 不要写在变量后面。否则有问题

abc文件内容

注：abc文件里面内容一般会用 /R或者/WR这些，使用如下图命令进行转换。具体介绍

批量将目录下所有文件进行 dos/unix 格式转换_LeocenaY的博客-CSDN博客_set ff=dos文章来源地址https://www.toymoban.com/news/detail-481392.html