ES快照备份及恢复(ES数据迁移)

这篇具有很好参考价值的文章主要介绍了ES快照备份及恢复(ES数据迁移)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

ES配置仓库

elasticsearch.yml

注册仓库

仓库相关操作

查看仓库

删除仓库

创建快照

快照相关操作

查询快照

删除快照

恢复快照

快照全量恢复

指定索引恢复

恢复时重命名

合并索引

索引相关操作

查询全量索引

查询索引状态

打开/关闭索引

删除索引


迁移步骤说明:

  1. 需搭建共享目录新旧集群共6台服务器需要读写权限
  2. 新旧ES集群配置仓库路径,配置文件elasticsearch.yml
  3. 旧集群注册快照仓库
  4. 旧集群创建快照A(snapshot_A.2023****)
  5. 新集群注册快照仓库
  6. 新集群恢复快照A(snapshot_A.2023****)
  7. 新集群接入服务后需再次旧集群备份快照B(snapshot_B.2023****)
  8. 新集群恢复快照B(snapshot_B.2023****),因快照恢复会删除原有同名索引,恢复时需要重命名索引文件
  9. 新集群合并索引数据(reindex)

ES配置仓库

elasticsearch.yml

#挂载的共享目录,新旧集群每台都需要配置

配置项path.repo: /filehome/ods/tmap  

注册仓库

curl -u elastic:Cfca@Es1234 -XPUT '10.241.132.75: 9200/_snapshot/imp' -H 'content-Type:application/json' -d '{

    "type""fs",

    "settings": {

        "location"" /filehome/ods/tmap/imp",

        "compress""true",

        "max_restore_bytes_per_sec""50mb",

        "max_snapshot_bytes_per_sec""50mb"

    }

}'

仓库相关操作

查看仓库

curl -u elastic:Cfca@Es1234 -XGET '10.241.132.75:9200/_snapshot/_all?pretty'

删除仓库

#多集群操作后仓库数据发生变化注销仓库,后重新注册(注销仓库不会删除仓库下快照)

curl -u elastic:Cfca@Es1234 -XDELETE '10.241.132.75:9200/_snapshot/exp'

创建快照

#全量索引创建快照,es根据已创建快照增量备份

curl -u elastic:Cfca@Es1234 -XPUT '10.241.132.75:9200/_snapshot/exp/snapshot_1?wait_for_completion=true'

#指定索引创建快照

curl -u elastic:Cfca@Es1234 -XPUT '10.241.132.75:9200/_snapshot/exp/snapshot_75?wait_for_completion=true' -H 'content-Type:application/json' -d '{ "indices": "index1,index2,..,… "}'

快照相关操作

查询快照

curl -u elastic:Cfca@Es1234 -XGET '10.241.22.17:9200/_snapshot/exp/_all?pretty'

删除快照

curl -u elastic:Cfca@Es1234 -XDELETE '10.241.132.75:9200/_snapshot/exp/snapshot_1'

恢复快照

快照全量恢复

curl -u elastic:Cfca@Es1234 -XPOST '10.241.22.17:9200/_snapshot/exp/snapshot_75/_restore'

指定索引恢复

curl -u elastic:Cfca@Es1234 -XPOST '10.241.22.17:9200/_snapshot/exp/snapshot_75/_restore' -H 'content-Type:application/json' -d  '{"indices":"eventindex"}'

恢复时重命名

#二次恢复时将索引重命名防止删除已恢复数据

curl -u elastic:Cfca@Es1234 -X POST "10.241.22.17:9200/_snapshot/exp/snapshot_17.20230227/_restore?pretty" -H 'Content-Type: application/json' -d'

{

  "indices": "index1,index2,…",

  "rename_pattern": "(.+)",

  "rename_replacement": "restored-$1"

}'

合并索引

#reindex将restored-tradeindex索引数据合并到tradeindex不会对tradeindex原数据修改

curl -u elastic:Cfca@Es1234 -X POST "10.241.22.17:9200/_reindex?pretty" -H 'Content-Type: application/json' -d'

{

  "source": {

    "index": "restored-tradeindex"

  },

  "dest": {

    "index": "tradeindex"

  }

}'

索引相关操作

查询全量索引

curl -u elastic:Cfca@Es1234 '10.241.22.17:9200/_cat/indices?v'

查询索引状态

curl -u elastic:Cfca@Es1234 -XGET '10.241.22.17:9200/_cat/indices/eventindex?v'

打开/关闭索引

#open/close

curl -u elastic:Cfca@Es1234 -XPOST '10.241.22.17:9200/eventindex/_close?pretty

删除索引

#慎用通配符*,_all,防止误删

curl -u elastic:Cfca@Es1234 -XDELETE '10.241.22.17:9200/index,habit*'文章来源地址https://www.toymoban.com/news/detail-407944.html

到了这里,关于ES快照备份及恢复(ES数据迁移)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ES系列之快照与恢复

    ES底层核心基于lucene,一个分片即是一个lucene对象实例,ES快照(snapshot)本质是对lucene物理文件的拷贝。 增量快照的核心是比较lucene segements不可变文件信息,每次创建快照时会建立一个IndexCommit提交点,包含segmentsfilename(segment是lucene的不可变对象),在处理分片快照请求时会先查

    2024年04月26日
    浏览(24)
  • es7版本数据备份与恢复(生产环境)

    环境:将192.170.94.3服务器上的数据导入192.170.94.4服务器上 方式:基于快照的方式恢复数据 工具:本文章未使用es工具,全部使用命令行操作 1.在备份之前要在$ES_HOME/config/elasticsearch.yml配置文件中添加快照仓库配置 2.将es集群重启 1.创建快照仓库 创建名称为ESbak_file的快照仓库

    2024年02月01日
    浏览(32)
  • OBCP第七章 OB迁移、备份与恢复-迁移服务

    Oceanbase 迁移服务 OceanBase 迁移服务(OceanBase Migration Service,OMS)是 OceanBase 提供的一种支持同构或异构RDBMS与OceanBase之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。 支持多种数据源: OMS支持MySQL、 Kafka等多种类型的数据终端与OceanBase 进行实时数

    2023年04月08日
    浏览(69)
  • 电脑微信聊天记录迁移微信文件迁移备份恢复

    前言 前提:尽量保持微信版本号一致。 首先让我们了解一下微信官方聊天记录保存规则(只有手机的保存规则,但是原理都是一样的) 此文章方法原理:微信PC版一定要保证原来的路径目录,且一定要同时拷贝【All Users】目录。原因是【All Users】目录里保存一些配置信息及

    2024年02月10日
    浏览(26)
  • OBCP第七章 OB迁移-备份恢复技术架构及操作方法

    为什么需要备份恢复 为满足监管要求 防止管理员误操作后,错误数据同步到所有副本,导致数据无法恢复 防止数据库因各种故障而造成数据丢失,降低灾难性数据丢失的风险,从而达到灾难恢复的目的 硬盘驱动器损坏 黑客攻击、病毒 自然灾害、电源浪涌、磁干扰 物理备份

    2023年04月08日
    浏览(34)
  • Docker-镜像的备份迁移及私有仓库的搭建

    A服务器系统配置 B服务器系统配置 1.用命令将容器保存为镜像。 案例,将A服务器的Docker容器迁移到另外一台服务器B,A服务器的容器配置过对应的文件,不想在B服务器重新搭建,可以使用该案例。 2.镜像备份,用命令将镜像保存为tar文件。 3.使用场景:B服务器想使用a服务器

    2024年02月07日
    浏览(35)
  • Elasticsearch数据迁移(使用快照)

    前言 :由于做项目的时候没有进行长期考虑,把es,mysql,api等都部署在同一台服务器上,随着业务的增加,需要将部分服务和存储迁移到其他服务器。es上目前已有100万以上的数据,上网查资料,snapshot适合数据量大的迁移,所以没来得及考虑就果断选择尝试一下。 一.生成

    2024年04月10日
    浏览(36)
  • k8s部署新版elasticsearch+kibana并配置快照备份

    版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16 Elasticsearch和Kibana是一对强大的开源工具,通常一起使用以构建实时数据分析和可视化解决方案。 Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上,并提供了一个分布式、可扩展的架构,用

    2024年02月13日
    浏览(24)
  • 【笔记】Elasticsearch snapshot(快照)数据迁移

    0.简介         项目中需要进行Elasticsearch(以下简称ES)新旧集群切换,涉及到集群数据迁移。本篇笔记录了利用Elasticsearch snapshot特性进行数据迁移的关键步骤。 1.迁移前检查         在开始进行迁移前,做以下两点检查。           1)检查是否开启path.repo选项          

    2024年02月19日
    浏览(24)
  • Docker安装启动、常用命令、应用部署、迁移备份、Dockerfile、Docker私有仓库

    目录 1.Docker安装与启动 1.1 安装Docker  1.2 设置ustc的镜像  1.3 Docker的启动与停止 2.常用命令 2.1 镜像相关命令 2.1.1 查看镜像 2.1.2 搜索镜像  2.1.3 拉取镜像 2.1.4 删除镜像 2.2 容器相关命令 2.2.1 查看容器 2.2.2 创建与启动容器 2.2.3 停止与启动容器 2.2.4 文件拷贝 2.2.5 目录挂载

    2024年01月22日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包