Elasticsearch-dump 迁移数据

这篇具有很好参考价值的文章主要介绍了Elasticsearch-dump 迁移数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

elasticsearch-dump可以将ES中的某个索引数据迁移至其他的ES中,或者将ES数据整体迁移,我这里的场景是将生产的ES索引数据迁移至开发环境的ES中

1、elasticsearch-dump迁移

Tools for moving and saving indicies. 从来移动和保存索引的工具。

GITHUB项目地址: https://github.com/taskrabbit/elasticsearch-dump

1.1 主要参数说明
--input: 源地址,可为 ES 集群 URL、文件或 stdin,可指定索引,格式为 {protocol}://{host}:{port}/{index}
--input-index: 源 ES 集群中的索引
--output: 目标地址,可为 ES 集群地址 URL、文件或 stdout,可指定索引,格式为:{protocol}://{host}:{port}/{index}
--output-index: 目标 ES 集群的索引
--type: 迁移类型,默认为 data,表明只迁移数据,可选 settings, analyzer, data, mapping, alias
1.2 安装elasticsearch-dump
1.2 elasticsearch-dump安装
1) yum install epel-release
2) yum install nodejs
3) yum install npm
4) npm install elasticdump
5) cd node_modules/elasticdump/bin 

安装后查看目录:

[elasticdump]# pwd
/root/node_modules/elasticdump
[elasticdump]# ls -al
total 72
drwxr-xr-x   6 root root   165 Oct 13 11:41 .
drwxr-xr-x 130 root root  4096 Oct 13 11:41 ..
drwxr-xr-x   2 root root    49 Oct 13 11:41 bin
-rw-r--r--   1 root root   322 Oct 13 11:41 Dockerfile_local
-rw-r--r--   1 root root  2769 Oct 13 11:41 elasticdump.js
drwxr-xr-x   4 root root   301 Oct 13 11:41 lib
-rw-r--r--   1 root root 11356 Oct 13 11:41 LICENSE.txt
-rw-r--r--   1 root root  1669 Oct 13 11:41 package.json
-rw-r--r--   1 root root 40447 Oct 13 11:41 README.md
drwxr-xr-x   2 root root    22 Oct 13 11:41 templates
drwxr-xr-x   2 root root    26 Oct 13 11:41 transforms
1.3 elasticsearch-dump使用
1.3.1 迁移单个索引

以下操作通过 elasticdump 命令将集群172.18.1.164中的 my_index索引迁移至集群172.16.9.13。
第一条命令先将索引的 settings 先迁移,如果直接迁移 mapping 或者 data 将失去原有集群中索引的配置信息如分片数量和副本数量等,当然也可以直接在目标集群中将索引创建完毕后再同步 mapping 与 data。

拷贝数据
./elasticdump \
  --input=http://172.18.1.164:9200/my_index \
  --output=http://172.16.9.13:9200/my_index \
  --type=settings
拷贝analyzer
./elasticdump \
  --input=http://172.18.1.164:9200/my_index \
  --output=http://172.16.9.13:9200/my_index \
  --type=analyzer
拷贝映射
./elasticdump \
  --input=http://172.18.1.164:9200/my_index \
  --output=http://172.16.9.13:9200/my_index \
  --type=mapping
拷贝数据
./elasticdump \
  --input=http://172.18.1.164:9200/my_index \
  --output=http://172.16.9.13:9200/my_index \
  --type=data

Elasticsearch-dump 迁移数据文章来源地址https://www.toymoban.com/news/detail-509387.html

1.3.2 迁移所有索引
./elasticdump \
  --input=http://172.18.1.164:9200 \
  --output=http://172.16.9.13:9200

到了这里,关于Elasticsearch-dump 迁移数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch数据迁移(使用快照)

    前言 :由于做项目的时候没有进行长期考虑,把es,mysql,api等都部署在同一台服务器上,随着业务的增加,需要将部分服务和存储迁移到其他服务器。es上目前已有100万以上的数据,上网查资料,snapshot适合数据量大的迁移,所以没来得及考虑就果断选择尝试一下。 一.生成

    2024年04月10日
    浏览(36)
  • ElasticSearch 数据迁移工具elasticdump

    Elasticdump 是一个用于导入和导出 Elasticsearch 数据的命令行工具。它提供了一种方便的方式来在不同的 Elasticsearch 实例之间传输数据,或者进行数据备份和恢复。 使用 Elasticdump,你可以将 Elasticsearch 索引中的数据导出为 JSON 文件,或者将 JSON 文件中的数据导入到 Elasticsearch 索引

    2024年02月16日
    浏览(35)
  • elasticsearch数据迁移之elasticdump

    第一章 es集群搭建 第二章 es集群基本操作命令 第三章 es基于search-guard插件实现加密认证 第四章 es常用插件 在企业实际生产环境中,避免不了要对es集群进行迁移、数据备份与恢复,以此来确保数据的可用性及完整性。因此,就涉及到了数据备份与恢复。本章主要以elasticdump工

    2024年04月27日
    浏览(23)
  • Logstash:迁移数据到 Elasticsearch

    在生产环境中,不使用 Apache Kafka 等流平台进行数据迁移并不是一个好的做法。 在这篇文章中,我们将详细探讨 Apache Kafka 和 Logstash 的关系。 但首先让我们简单了解一下 Apache Kafka 的含义。 Apache Kafka 是分布式流平台,擅长实时数据集成和消息传递。 Kafka 架构不复杂且直接。

    2024年02月02日
    浏览(33)
  • 【笔记】Elasticsearch snapshot(快照)数据迁移

    0.简介         项目中需要进行Elasticsearch(以下简称ES)新旧集群切换,涉及到集群数据迁移。本篇笔记录了利用Elasticsearch snapshot特性进行数据迁移的关键步骤。 1.迁移前检查         在开始进行迁移前,做以下两点检查。           1)检查是否开启path.repo选项          

    2024年02月19日
    浏览(25)
  • 使用elasticsearchdump迁移elasticsearch数据实战

    目录 1.安装nodejs 2.安装elasticsearchdump 3.迁移 4.核对数据 5.注意事项 核对迁移后数据是否正确 在3迁移中 --type=mapping,如果es版本不一致可能会报错,如果报错,需要手动创建新es的索引的映射 比如es6迁移数据到es7 es7去掉了_type 只能手动设置映射 直接put设置映射 设置示例 请求

    2024年01月18日
    浏览(36)
  • CentOS 7 离线迁移 Elasticsearch 数据

    环境说明 说明 配置 源地址 10.10.200.15:9200 目的地址 192.168.68.129:9200 迁移索引 user_info 数据条数 7 迁移方法 elasticsearch-dump 安装包依赖 node-v16.16.0-linux-x64.tar.xz elasticdump.tar.gz 环境验证 源地址 获取 elasticsearch 集群可用性 获取 elasticsearch 索引情况 目标地址 查看集群可用性 查看是

    2024年02月06日
    浏览(33)
  • Elasticsearch数据迁移从aliyun到aws

    前言: Aliyun Opeasearch 6.8.6 迁移 Aws OpenSearch 7.10 数据量: 32.5G左右, 数据传输方法 Aliyun OSS -→ Aliyun ECS/ AWS EC2 --→ AWS S3 1):点击创建角色,AWS服务搜索S3: 2): 附加策略policy-es-s3: 3):输入角色名称OpenSearchSnapshotRole创建角色 4):修改信任实体 在角色列表中点击OpenSearchSnapshotRole,在

    2023年04月20日
    浏览(57)
  • elasticsearch 8 修改分词器并数据迁移

    下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases 注意:版本要和ES版本对应 解压后放入plugins文件中 然后重启服务: docker-compose restart elasticsearch ,大概需要1分钟 当索引存在时不能修改已有索引分词器,会出现错误: 因此需要进行一下步骤: 使用新的 mappings 创建新

    2024年02月07日
    浏览(28)
  • elasticsearch7.5.2 数据迁移解决方案

    1. 迁移旧数据 a. 查看ES数据文件挂载目录位置 容器内路径: /usr/share/elasticsearch/data 如果没有挂载,需要将/usr/share/elasticsearch/data 压缩后,文件拷到宿主机上 bash # docker cp [容器名称:文件路径] [宿主机路径] b. 将data.tar.gz 上传至B服务器 迁移es数据文件至B服务器 /root 下 新增

    2024年02月12日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包