使用elasticdump实现es数据导入导出示例(持续更新中)

这篇具有很好参考价值的文章主要介绍了使用elasticdump实现es数据导入导出示例(持续更新中)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Elasticdump是一个命令行工具,可用于将数据从Elasticsearch导出到JSON文件,以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例,演示如何使用Elasticdump实现数据导入导出:

1.安装Elasticdump

您可以使用npm命令在命令行中安装Elasticdump。(npm请自行安装。)例如,使用以下命令安装最新版本:

npm install elasticdump -g

进入到bin目录

cd /opt/module/node16/lib/node_modules/elasticdump/bin

可以看到有两个命令,elasticdump用来备份单个索引,multielasticdump可以用来并行备份多个索引

-rwxr-xr-x. 1 1001 1001  4026 49 14:38 elasticdump
-rwxr-xr-x. 1 1001 1001 14598 1026 1985 multielasticdump

2.导出数据

要导出数据,请使用以下命令:

elasticdump \
  --input=http://192.168.2.227:9200/es_table_index \
  --output=/opt/module/data/data_es_table/es_table_index_mapping.json \
  --type=mapping

elasticdump \
  --input=http://192.168.2.227:9200/es_table_index \
  --output=/opt/module/data/data_es_table/es_table_index_data.json \
  --type=data

2.1还可以直接导入到另一个es集群当中

elasticdump \
--input=http://127.0.0.1:9200/test_event   \
--output=http://127.0.0.2:9200/test_event \
--type=mapping

同理,可直接将备份数据导入另一个es集群

elasticdump \
--input=http://127.0.0.1:9200/test_event   \
--output=http://127.0.0.2:9200/test_event \
--type=data

3.导入数据

要导入数据,请使用以下命令

elasticdump \
  --input=/opt/module/data/data_es_table/es_table_index_mapping.json \
  --output=http://localhost:9200/my_index \
  --type=mapping

elasticdump \
  --input=/opt/module/data/data_es_table/es_table_index_data.json \
  --output=http://localhost:9200/my_index \
  --type=data

4.使用elasticdump进行多个索引备份操作:

#将ES索引及其所有类型备份到es_backup文件夹中
multielasticdump direction = dump match ='^.*$'  input = http://127.0.0.1:9200   output =/tmp/es_backup
#仅备份ES索引以“ -index”(匹配正则表达式)为前缀的结尾。仅备份索引数据。所有其他类型都将被忽略。#注意:默认情况下会忽略分析器和别名类型
multielasticdump --direction=dump --match='^.*-index$' --input=http://127.0.0.1:9200 --ignoreType='mapping,settings,template'  --output=/tmp/es_backup
multielasticdump --direction=load --input=/tmp/es_backup --output=http://127.0.0.1:9200

使用multielasticdump有一个区别的地方是–direction的参数设置和–ignoreType参数设置。
备份时,–direction=dump是默认值,则–input必须是ElasticSearch服务器基本位置的URL(即http://localhost:9200),并且–output必须是目录。每个匹配的索引都会创建一个数据,映射和分析器文件。

还原时,要加载从multielasticsearch转储的文件,–direction应将其设置为load,–input必须是multielasticsearch转储的目录,并且–output必须是Elasticsearch服务器URL。

–match`用于过滤应转储/加载的索引(正则表达式)。

–ignoreType允许从转储/加载中忽略类型。支持六个选项。data,mapping,analyzer,alias,settings,template。提供了多类型支持,使用时每种类型必须用逗号分隔,并interval允许控制生成新索引的转储/装入的时间间隔。

–includeType允许将类型包含在转储/装载中。支持六个选项- data,mapping,analyzer,alias,settings,template。文章来源地址https://www.toymoban.com/news/detail-410537.html

5.导出分词器,导出分词器的时候要特别注意,我们只能根据索引单个导入,不能全部导出,全部导出会出现索引不存在的错误:

elasticdump --input=http://ip:9200 --output=http://127.0.0.1:9200/ --type=analyzer --all=true

6.相关参数说明

# --input 指定来源
# --output 导出的路径(如果以 csv 结尾,则会自动保存为 csv 格式)
# --quiet 不输出任何日志信息
# --scrollTime 用来指定每次滚动查询的时间间隔(当我们需要从 elasticsearch 中检索大量数据时,通常需要使用滚动查询来避免一次性检索过多数据导致内存溢出或性能下降的问题)
# --limit 指定每次滚动查询的文档数量
# --noRefresh 禁用索引的自动刷新功能(当需要执行大量索引操作时,如果每次操作都会自动刷新索引,将导致性能下降)
# --maxRows 指定每次滚动查询的最大文档数量
# --concurrency 并发执行的数量
# --transform 对结果进行转换(如提取特定字段、转换数据格式等)
# --searchBody 查询语句
elasticdump --input="$endpoint/$index" \
  --output=$outputpath \
  --quiet --scrollTime=30m --limit=10000 --noRefresh --maxRows=1000000 \
  --concurrency=2 \
  --transform @transform.js \
  --searchBody "$searchbody"

到了这里,关于使用elasticdump实现es数据导入导出示例(持续更新中)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用DataX实现mysql与hive数据互相导入导出

             DataX 是 阿里巴巴开源 的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源之间稳定高效的数据同步 功能。          为了解决异构数据源同步问题,DataX 将复杂的 网状 的同步链路变成了

    2024年02月08日
    浏览(38)
  • Oracle使用exp和imp命令实现数据库导出导入

    Oracle和MySQL在SQL语法和一些数据库特性上有一些差异,以下是一些常见的差异: 数据类型: Oracle和MySQL支持的数据类型有所不同。例如,Oracle支持 NUMBER 、 DATE 、 VARCHAR2 等类型,而MySQL支持 INT 、 DATE 、 VARCHAR 等类型。 字符串比较: 在 Oracle 中,字符串比较默认是区分大小写

    2024年02月22日
    浏览(52)
  • 使用DataX实现mysql与hive数据互相导入导出 一、概论

             DataX 是 阿里巴巴开源 的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源之间稳定高效的数据同步 功能。          为了解决异构数据源同步问题,DataX 将复杂的 网状 的同步链路变成了

    2024年02月14日
    浏览(43)
  • elasticdump迁移ES数据详解

    👏作者简介:大家好,我是Rockey,不知名企业的不知名Java开发工程师 🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦 📝联系方式:he18339193956,加我进群,大家一起学习,一起读书,一起对抗互联网寒冬👀 elasticdump是一个能够将es的数据快速导入、导出、

    2023年04月16日
    浏览(39)
  • es 索引迁移工具Elasticdump 安装及使用

    Elasticdump 是一个命令行工具,可用于将数据从Elasticsearch导出到JSON文件,以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例,演示如何使用Elasticdump实现数据导入导出。 准备工作 elasticdump 工具是node.js开发,依赖此环境,需要先安装 npm 命令。下载二进制包,安装 npm、

    2024年02月07日
    浏览(42)
  • elasticsearch-dump 迁移es数据 (elasticdump)

    elasticsearch部分查询语句 # 获取集群的节点列表: curl ‘localhost:9200/_cat/nodesv’ curl ‘localhost:9200/_cat/indicesv’ 创建一个名为“customer”的索引,然后再查看所有的索引: curl -X PUT ‘localhost:9200/customerpretty’ curl ‘localhost:9200/_cat/indicesv’ 参考链接:https://blog.csdn.net/pilihaotian/ar

    2023年04月08日
    浏览(43)
  • Postman 实现备份数据 Postman恢复数据 postman 导出导入数据 postman 导入导出数据

            在使用postman调试接口时,若遇到内网的环境,无法通过账户同步数据; 在A电脑调试的接口数据,需要移动到B电脑上,如何实现postman 的数据迁移(导出)功能呢?         在新的电脑上,如何导入postman的数据呢?         本文将整理 postman的数据导出、

    2024年01月25日
    浏览(52)
  • ES6模块化(默认导入导出、按需导入导出、直接导入)

    一、介绍ES6模块化     ES6 模块化规范是浏览器端与服务器端通用的模块化规范,ES6模块化的出现前端开发者不再需要额外的学习其他的模块化规范。  二、ES6 模块化规范中定义: 1.每个 js 文件都是一个独立的模块 2.导入其它模块成员使用 import 3.向外共享模块成员使

    2024年02月09日
    浏览(53)
  • java 实现数据导入导出

    官方文档(完整功能展示):地址 依赖 导出 1.随便一个实体类(默认不管加不加@ExcelProperty的注解的所有字段都会参与读写,若某字段不想参与,可在字段上添加@ExcelIgnore。若只想加@ExcelProperty才参与,则类上加@ExcelIgnoreUnannotated)更多注解使用 2.编一个方法用于返回要导出

    2024年02月13日
    浏览(53)
  • ES导入导出索引

    详见 二、 请参考,这个不知道怎么在导入就没用 https://m.tongfu.net/home/35/blog/513365.html 安装太麻烦了,随便找了一个自己看吧 https://www.cnblogs.com/mojita/p/12011800.html 参考:使用Logstash导出ES中的数据(作者:zhouxy) https://blog.csdn.net/sinat_23030553/article/details/112507627 解压lostash tar -zx

    2024年04月22日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包