Elasticsearch Dump的详细安装和迁移es索引和数据的使用教程

这篇具有很好参考价值的文章主要介绍了Elasticsearch Dump的详细安装和迁移es索引和数据的使用教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

如果希望将数据导出到本地文件而不是通过编程方式处理,可以考虑使用Elasticsearch的导出工具,如Elasticsearch Dump(Elasticdump)或Elasticsearch Exporter。这些工具可以将Elasticsearch索引中的数据导出为可用于后续处理的文件格式,如JSON或CSV,本文主要介绍使用Elasticsearch Dump进行索引数据导出的示例:

1 安装Node.js和npm

首先,确保主机已安装Node.js和npm,可以从Node.js官方网站(https://nodejs.org)下载并按照说明进行安装。

要判断当前系统是否已安装Node.js和npm,可以按照以下步骤进行:

  1. 打开终端或命令行界面。

  2. 在终端或命令行中输入以下命令来检查Node.js的版本:

    node -v
    
  3. 输入以下命令来检查npm的版本:

    npm -v
    

根据上述步骤的结果,可以判断当前系统是否已安装Node.js和npm。如果两者都已安装并且显示了版本号,则说明可以在系统上使用它们。如果没有安装或显示错误信息,则需要根据需要安装Node.js和npm。

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

2. 安装Elasticsearch Dump

打开终端或命令行界面, 运行以下命令来全局安装Elasticsearch Dump:

  npm install elasticdump -g

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

3. 使用Elasticsearch Dump导出索引结构

Elasticsearch Dump支持导出和导入索引的映射(mapping)和设置(settings)

3.1 导出索引设置(settings)

elasticdump --input=http://localhost:9200/my_index --output=/path/to/exported_settings.json --type=settings

这将导出"my_index"索引的设置,并保存到指定的JSON文件中。

示例:

elasticdump --input=http://192.168.0.221:11700/cnoa_data_1987051001 --output=E:/elatic_dump/cnoa_data_1987051001_settings.json --type=settings

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

3.2 导出索引映射(mapping)

elasticdump --input=http://localhost:9200/my_index --output=/path/to/exported_mapping.json --type=mapping

这将导出"my_index"索引的映射,并保存到指定的JSON文件中

示例:

elasticdump --input=http://192.168.0.221:11700/cnoa_data_1987051001 --output=E:/elatic_dump/cnoa_data_1987051001_mapping.json --type=mapping

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

3.3 导入索引设置(settings)

elasticdump --input=/path/to/exported_settings.json --output=http://localhost:9200/new_index --type=settings

这将导入先前导出的设置数据到"new_index"索引中。

示例:

elasticdump --input=E:/elatic_dump/cnoa_data_1987051001_settings.json --output=http://localhost:9200/zhouquan_index --type=settings

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎
注意:此操作会创建新的es索引并设置settings
elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

3.4 导入索引映射(mapping)

elasticdump --input=/path/to/exported_mapping.json --output=http://localhost:9200/new_index --type=mapping

这将导入先前导出的映射数据到"new_index"索引中。

示例:

elasticdump --input=E:/elatic_dump/cnoa_data_1987051001_mapping.json --output=http://localhost:9200/zhouquan_index --type=mapping

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

4. 导出index

4.1 导出索引(index)

elasticdump --input=http://192.168.0.1:9200/data --output=D:/duoyuan/testenv_bak/data_index.json --type=index

这将data索引导出到本地data_index.json中

示例:

elasticdump --input=http://192.168.0.1:9200/zkcx_data_1987051001 --output=D:/duoyuan/testenv_bak/zkcx_data_1987051001_index.json --type=index

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

4.2 导入索引(index)

elasticdump --input=D:/duoyuan/zkcx_datacenter_data_index.json --output=http://192.168.0.1:9700/zkcx_data_1987051001 --type=index 

这将本地data_index.json索引文件导入到192.168.0.1:9700/zkcx_data_1987051001的索引中

示例:

elasticdump --input=D:/duoyuan/zkcx_datacenter_data_index.json --output=http://192.168.0.1:9700/zkcx_data_1987051001 --type=index 

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

5. 使用Elasticsearch Dump导出数据

在终端或命令行界面中,可以使用以下命令导出Elasticsearch索引中的数据:

elasticdump --input=http://your_elasticsearch_host:9200/your_index_name --output=/path/to/output_file.json --type=data
  • your_elasticsearch_host 替换为实际的Elasticsearch主机地址。
  • your_index_name 替换为要导出的索引名称。
  • /path/to/output_file.json 替换为您想要保存导出数据的路径和文件名。
  • --type=data 参数指定导出类型为数据。您还可以选择导出其他类型,如--type=mapping(导出索引映射)或--type=settings(导出索引设置)。
  • 可以使用其他选项来进一步配置导出,如 --limit(限制导出的文档数量)或 --searchBody(指定自定义的搜索查询)。

运行命令后,Elasticsearch Dump将开始将数据从指定的索引导出到指定的文件中。导出的文件将采用JSON格式

示例:

elasticdump --input=http://192.168.0.1:8200/book --output=E:/elatic_dump/esdumptest.json --type=data

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎

5. 使用Elasticsearch Dump导入数据到另一个Elasticsearch实例

如果希望将导出的数据导入到另一个Elasticsearch实例,可以使用Elasticsearch Dump的--output参数来指定导入的目标。

elasticdump --input=/path/to/exported_file.json --output=http://new_elasticsearch_host:9200/new_index_name --type=data
  • /path/to/exported_file.json 替换为先前导出的文件路径和文件名。
  • new_elasticsearch_host 替换为目标Elasticsearch主机地址。
  • new_index_name 替换为目标索引名称。

示例:

elasticdump --input=E:/elatic_dump/esdumptest.json --output=http://localhost:9200/zhouquan_index --type=data

elasticsearchdump安装,Elasticsearch,elasticsearch,大数据,搜索引擎


6. Elasticsearch的滚动搜索(Scroll API)

如果希望代码的方式读取所有数据
这个API允许在不受限制地从Elasticsearch中检索大量数据。它通过在每次请求中返回一小部分结果,并为您保持搜索上下文,以便在后续请求中继续滚动。可以使用滚动搜索将所有数据检索到本地,然后进行处理。此代码将从指定的索引中检索所有文档,并在每个文档上执行需要的操作

此操作可参考我之前写的文章:
Elasticsearch“滚动查询“(Scrolling)的机制的与Java使用ES Client 调用滚动查询文章来源地址https://www.toymoban.com/news/detail-621415.html

到了这里,关于Elasticsearch Dump的详细安装和迁移es索引和数据的使用教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Elasticsearch】小白实战!ES使用Reindex迁移数据

    文章有点长,如果你想认真阅读,建议到我语雀文档上观看,格式友好 - ES 迁移工作 最近有一个需求是需要我负责将服务器A里的 ES 数据迁移到服务器B上,但是由于环境不通,所以就先在公司的测试环境和我本地上进行测试,因为之前没有接触过 ES 数据的迁移,所以上手时

    2024年02月05日
    浏览(42)
  • ES索引数据迁移 _reindex

    集群内部索引迁移,从一个索引迁移数据到另一个索引里 新索引与就索引结构保持一致 通过就索引_mapping _setting 获取配置和结构信息 然后创建新索引 需要注意 添加如下配置 设置number_of_replicas为0防止我们迁移文档的同时又发送到副本节点,影响性能 设置refresh_interval为-1是

    2024年02月12日
    浏览(49)
  • elasticsearch 安装 (es数据库安装详细)

    以下操作在debian11下,其它linux版本相同 安装的是8.6.2版本(2023.3),可以直接复制使用 以下操作默认在root下进行,如果切换用户会说明 1.下载安装包 注意:如果要安装kibana,版本尽量要一致 主体程序从这里下载 链接: es 2.创建es的用户 3.创建es存储位置 存放在/var/es(根据自

    2024年02月05日
    浏览(48)
  • ElasticSearch篇——Restful风格详解以及常见的命令,涵盖_cat命令查看ES默认数据、索引和文档的增删改查以及复杂搜索,超详细、超全面、超细节!

    一种软件架构风格,而不是标准,只是提供了一组设计原则和约束条件。它主要是用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更加简洁,更有层次,更易于实现缓存等机制。 一、基本Rest命令说明 1、命令 对应的就是head可视化界面的下面的信息(换句话

    2024年01月16日
    浏览(46)
  • 【ES数据库】Elasticsearch安装使用

    Elasticsearch 和 MongoDB/Redis 类似,是非关系型数据库,从索引文档到文档能被搜索到只有一个轻微的延迟,是采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具 Elastic Search 的实现原理是,利用内置分词器(Analyzer)对数据库文本进行分词,将解析出的和数据

    2024年02月04日
    浏览(41)
  • ElasticSearch第十七讲 ES索引别名的使用

    ES中可以为索引添加别名,一个别名可以指向到多个索引中,同时在添加别名时可以设置筛选条件,指向一个索引的部分数据,实现在关系数据库汇总的视图功能,这就是ES中别名的强大之处。别名是一个非常实用的功能,为我们使用索引提供了极大的灵活性,许多ES的API都支

    2024年02月13日
    浏览(43)
  • ES 10 - 如何使用Elasticsearch的索引模板(index template)

    本文转载自:ES 10 - 如何使用Elasticsearch的索引模板(index template) - 瘦风 - 博客园 索引模板: 就是把已经创建好的某个索引的参数设置(settings)和索引映射(mapping)保存下来作为模板, 在创建新索引时, 指定要使用的模板名, 就可以直接重用已经定义好的模板中的设置和映射. (1) sett

    2024年02月15日
    浏览(38)
  • elasticdump:es批量索引迁移心得

    目录 1.方法介绍 1.1一行代码看懂用法 1.2导出源数据的 settings、mapping 、data 1.3将导出的数据文件导入至目标索引 1.4从数据源直接导入到目标集群 1.2.1:导出源数据索引的 settings文件 2:导出源数据索引的 mapping文件 3:导出源数据索引的 data文件 1:导入 settings 至目标索引 2:

    2024年02月08日
    浏览(37)
  • 数据库数据迁移到达梦数据库(DM8)详细步骤,mysql迁移难题解决(数据库连接失败,Communications link failure,TaskDispatcher Error,索引重名)。

    首先达梦数据库和MySQL是两种不同的关系型数据库管理系统,它们有以下几点区别: 开发公司不同:达梦数据库是由中国达梦公司开发的,而MySQL是由瑞典MySQL AB公司开发的。 数据库类型不同:达梦数据库是商业数据库,而MySQL是开源数据库。 数据库功能不同:达梦数据库在

    2024年01月16日
    浏览(61)
  • Spring Boot Elasticsearch7.6.2实现创建索引、删除索引、判断索引是否存在、获取/添加/删除/更新索引别名、单条/批量插入、单条/批量更新、删除数据、递归统计ES聚合的数据

    注意:我的版本是elasticsearch7.6.2、spring-boot-starter-data-elasticsearch-2.5.6 引入依赖 有时候你可能需要查询大批量的数据,建议加上下面配置文件

    2024年02月13日
    浏览(75)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包