elasticsearch-dump 迁移es数据 (elasticdump)

这篇具有很好参考价值的文章主要介绍了elasticsearch-dump 迁移es数据 (elasticdump)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

elasticsearch部分查询语句

elasticsearch-dump 迁移es数据 (elasticdump)

# 获取集群的节点列表:
curl ‘localhost:9200/_cat/nodesv’

列出所有索引:

curl ‘localhost:9200/_cat/indicesv’

创建一个名为“customer”的索引,然后再查看所有的索引:
curl -X PUT ‘localhost:9200/customerpretty’
curl ‘localhost:9200/_cat/indicesv’

elasticsearch-dump 迁移es数据 (elasticdump)

参考链接:https://blog.csdn.net/pilihaotian/article/details/52452014

github地址 :https://github.com/taskrabbit/elasticsearch-dump

或者 :https://www.npmjs.com/package/elasticdump

elasticsearch-dump 迁移es数据 (elasticdump)

wget https://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xz

tar xf node-v8.11.2-linux-x64.tar.xz

mv node-v8.11.2-linux-x64 /usr/local

ln -s /usr/local/node-v8.11.2-linux-x64/bin/npm /usr/local/bin/npm

ln -s /usr/local/node-v8.11.2-linux-x64/bin/node /usr/local/bin/node

npm init -f

npm install elasticdump

#因为我只用一次,所以这里没有安装到全局,需要到node_modules目录下才能找到 elasticdump , 我安装的位置如下:

/usr/local/node-v8.11.2-linux-x64/node_modules/elasticdump/bin/elasticfump

elasticsearch-dump 迁移es数据 (elasticdump)

数据迁移:

elasticsearch-dump 迁移es数据 (elasticdump)

'#拷贝analyzer分词
elasticdump
–input=http://production.es.com:9200/my_index
–output=http://staging.es.com:9200/my_index
–type=analyzer
'#拷贝映射
elasticdump
–input=http://production.es.com:9200/my_index
–output=http://staging.es.com:9200/my_index
–type=mapping
'#拷贝数据
elasticdump
–input=http://production.es.com:9200/my_index
–output=http://staging.es.com:9200/my_index
–type=data

elasticsearch-dump 迁移es数据 (elasticdump)

elasticsearch-dump 迁移es数据 (elasticdump)

# 注意 elasticdump 提供给了–httpAuthFile 参数来做认证
–httpAuthFile When using http auth provide credentials in ini file in form
`user=
password=`

只需要写一个ini文件 ,文件中写入用户名和密码就可以了

这里其实还有另外一个好的方法

在–input参数和–output参数的的url中添加账号密码

例如

elasticdump
–input=http://prod-username:prod-passowrd@production.es.com:9200/my_index
–output=http://stage-username:stage-password@staging.es.com:9200/my_index
–type=data

elasticsearch-dump 迁移es数据 (elasticdump)

如果网络情况不好,或者没有网络还可以先备份到文件:

elasticsearch-dump 迁移es数据 (elasticdump)

# 备份索引数据到文件里:
elasticdump
–input=http://production.es.com:9200/my_index
–output=/data/my_index_mapping.json
–type=mapping
elasticdump
–input=http://production.es.com:9200/my_index
–output=/data/my_index.json
–type=data

备份到标准输出,且进行压缩(这里有一个需要注意的地方,我查询索引信息有6.4G,用下面的方式备份后得到一个789M的压缩文件,这个压缩文件解压后有19G):

elasticdump
–input=http://production.es.com:9200/my_index
–output=$
| gzip > /data/my_index.json.gz

把一个查询结果备份到文件中

elasticdump
–input=http://production.es.com:9200/my_index
–output=query.json
–searchBody ‘{“query”:{“term”:{“username”: “admin”}}}’

elasticsearch-dump 迁移es数据 (elasticdump)

elasticdump还是非常方便的,主要是可以指定查询条件,把查询结果进行备份。如果按照日期进行查询,那么就可以迁移指定之间段内的数据,

恢复数据

# 将备份文件的数据导入ES
elasticdump
–input=./data.json
–output=http://es.com:9200

其实对ES了解还很少,中间可能有问题,还需要学习,就目前的了解程度,不保证上面的步骤完整,只是给大家一个大概的思路。

程度,不保证上面的步骤完整,只是给大家一个大概的思路。文章来源地址https://www.toymoban.com/news/detail-401748.html

到了这里,关于elasticsearch-dump 迁移es数据 (elasticdump)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • elasticsearch数据迁移之elasticdump

    第一章 es集群搭建 第二章 es集群基本操作命令 第三章 es基于search-guard插件实现加密认证 第四章 es常用插件 在企业实际生产环境中,避免不了要对es集群进行迁移、数据备份与恢复,以此来确保数据的可用性及完整性。因此,就涉及到了数据备份与恢复。本章主要以elasticdump工

    2024年04月27日
    浏览(23)
  • ElasticSearch 数据迁移工具elasticdump

    Elasticdump 是一个用于导入和导出 Elasticsearch 数据的命令行工具。它提供了一种方便的方式来在不同的 Elasticsearch 实例之间传输数据,或者进行数据备份和恢复。 使用 Elasticdump,你可以将 Elasticsearch 索引中的数据导出为 JSON 文件,或者将 JSON 文件中的数据导入到 Elasticsearch 索引

    2024年02月16日
    浏览(35)
  • elasticdump:es批量索引迁移心得

    目录 1.方法介绍 1.1一行代码看懂用法 1.2导出源数据的 settings、mapping 、data 1.3将导出的数据文件导入至目标索引 1.4从数据源直接导入到目标集群 1.2.1:导出源数据索引的 settings文件 2:导出源数据索引的 mapping文件 3:导出源数据索引的 data文件 1:导入 settings 至目标索引 2:

    2024年02月08日
    浏览(27)
  • es 索引迁移工具Elasticdump 安装及使用

    Elasticdump 是一个命令行工具,可用于将数据从Elasticsearch导出到JSON文件,以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例,演示如何使用Elasticdump实现数据导入导出。 准备工作 elasticdump 工具是node.js开发,依赖此环境,需要先安装 npm 命令。下载二进制包,安装 npm、

    2024年02月07日
    浏览(30)
  • 【Elasticsearch】小白实战!ES使用Reindex迁移数据

    文章有点长,如果你想认真阅读,建议到我语雀文档上观看,格式友好 - ES 迁移工作 最近有一个需求是需要我负责将服务器A里的 ES 数据迁移到服务器B上,但是由于环境不通,所以就先在公司的测试环境和我本地上进行测试,因为之前没有接触过 ES 数据的迁移,所以上手时

    2024年02月05日
    浏览(27)
  • 使用elasticdump实现es数据导入导出示例(持续更新中)

    Elasticdump是一个命令行工具,可用于将数据从Elasticsearch导出到JSON文件,以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例,演示如何使用Elasticdump实现数据导入导出: 您可以使用npm命令在命令行中安装Elasticdump。(npm请自行安装。)例如,使用以下命令安装最新版本

    2023年04月11日
    浏览(32)
  • 离线安装elasticdump导出elasticsearch数据

    项目需要导出知识库博客文章数据,格式为json; 知识库系统部署在内网,没有node和 elasticdump 数据导出工具,需要离线安装node和elasticdump,方法是找一台与内网配置一样的外网机器在线安装node和elasticdump环境,再把安装包导入内网安装。 备注: 使用的机器是x86+银行麒麟V4桌

    2024年02月03日
    浏览(27)
  • 【Elasticsearch学习笔记二】es的Mapping字段映射、Mapping字段常用类型、Mapping映射的创建、查看和更新、es数据迁移、ik分词器

    目录 1、Mapping字段映射概述 2、Mapping字段常用类型 3、映射中对时间类型详解 1)采取自动映射器来映射 2)手工映射提前指定日期类型 4、ES的keyword的属性ignore_above 5、Mapping映射的查看和创建 1)查看mapping信息:GET 索引名/_mapping 2)创建映射:PUT /索引名 3) 查看所有索引映

    2024年01月20日
    浏览(51)
  • elasticsearch备份恢复,elasticdump使用

    准备环境 1. 将node-v10.23.1-linux-x64.tar.xz上传到服务器/usr/local目录下 2. tar xf node-v10.23.1-linux-x64.tar.xz 3. 将node_modules.tar.gz上传到服务器/usr/local目录 4. tar -zxvf node_modules.tar.gz 5. 设置NODE环境   5.1 vim /etc/profile     export NODEJS_HOME=/usr/local/node-v10.23.1-linux-x64     export PATH=$NODEJS_HOME/bin:

    2024年01月19日
    浏览(25)
  • Elasticsearch备份与还原:使用elasticdump

    在数据管理的世界里,备份和还原数据是重中之重的日常工作,特别是对于Elasticsearch这样的强大而复杂的搜索引擎。备份不仅可以用于灾难恢复,还可以在数据迁移、测试或者升级等场景中发挥重要作用。 在本博客中,我们将会重点介绍如何使用一个非常实用的工具——e

    2024年02月04日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包