elasticsearch snapshot快照备份到minio对象存储S3 —— 筑梦之路

这篇具有很好参考价值的文章主要介绍了elasticsearch snapshot快照备份到minio对象存储S3 —— 筑梦之路。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境说明

minio 最新版

elasticsearch 7.9

1. docker部署minio对象存储服务

# 单机版docker-compose.yml

version: '3'
services:
  minio:
    image: minio/minio
    hostname: "minio"
    ports:
      - 9000:9000 # api 端口
      - 9001:9001 # 控制台端口
    environment:
      MINIO_ROOT_USER: admin           #管理后台用户名
      MINIO_ROOT_PASSWORD: admin123    #管理后台密码,最小8个字符
    volumes:
      - /docker/minio/data:/data               #映射当前目录下的data目录至容器内/data目录
      - /docker/minio/config:/root/.minio/     #映射配置目录
      - /etc/localtime:/etc/localtime:ro
    command: server --console-address ':9001' /data  #指定容器中的目录 /data
    privileged: true
    restart: always
docker-compose up -d

docker-compose ps

访问minio web:http://ip:9001 ,创建用户和桶,示例如下:

minio_username:   elasticsearch
minio_password:   XuGPEJWH2Hg9CixejOAkXpu0d
minio_bucket:     es-bucket

2. elasticsearch安装s3插件并配置

# 在线安装插件

elasticsearch-plugin install repository-s3

# 设置访问minio的信息

elasticsearch-keystore add s3.client.default.access_key   #输入elasticsearch
elasticsearch-keystore add s3.client.default.secret_key   #输入XuGPEJWH2Hg9CixejOAkXpu0d

# 配置elasticsearch.yml

s3.client.default.endpoint: 192.168.100.100:9000
s3.client.default.protocol: http

重启ES服务

3. elasticsearch配置快照仓库并测试验证

# 配置快照仓库

PUT _snapshot/my_backup 

{ 

    "type":"s3", 

    "settings":{ 

        "bucket":"es-bucket", 

        "protocol":"http", 

        "disable_chunked_encoding":"true", 

        "endpoint":"192.168.100.100:9000" 

    } 
} 
# 备份所有索引

PUT _snapshot/my_backup/test1?wait_for_completion=true&pretty

# 查看所有备份

GET _snapshot/my_backup/_all?pretty

# 删除快照

DELETE _snapshot/my_backup/snapshot_2 

注意:

用 API 删除快照很重要,而不能用其他机制(比如手动删除,或者用 S3 上的自动清除工具)。因为快照是增量的,有可能很多快照依赖于过去的段。delete API 知道哪些数据还在被更多近期快照使用,然后会只删除不再被使用的段。 

但是,如果你做了一次人工文件删除,你将会面临备份严重损坏的风险,因为你在删除的是可能还在使用中的数据。

------------------------------其他命令参考

#备份所有索引
curl -XPUT http:///localhost:9200/_snapshot/backup/snapshot_all

#备份部分索引
curl -XPUT 'http://localhost:9200/_snapshot/backup/index-201807' -H 'Content-Type: application/json' -d '{ "indices": "index-201807" }'

备份多个索引:
{
   "indices": "products,index_1,index_2",
   "ignore_unavailable": true,
   "include_global_state": false
}


#查看快照信息
curl -XGET 'http://localhost:9200/_snapshot/backup/_all'?pretty

#恢复索引数据:
curl -XPOST 'http://localhost:9200/_snapshot/backup/index-201807/_restore

#查看恢复状态:
GET http://localhost:9200/_recovery/index-201807
GET http://localhost:9200/_recovery/

#删除一个快照存储桶:
curl -XDELETE localhost:9200/_snapshot/backup/index-201807?pretty


# 查看所有的仓库
GET /_snapshot/_all
# 查看某一个具体的仓库的快照情况
GET /_snapshot/es_s3_repository/_all?pretty
# 列出所有当前正在运行的快照以及显示他们的详细状态信息
GET /_snapshot/_status?pretty
# 列出所有当前正在运行的快照以及显示他们的详细状态信息
GET /_snapshot/es_s3_repository/_status?pretty
# 查看指定快照的详细状态信息即使不是正在运行
GET /_snapshot/es_s3_repository/snapshot_2/_status?pretty
#删除某一个快照
DELETE /_snapshot/es_s3_repository/snapshot_2

----------------------------

# 推荐的s3权限,如有疑问可以移步官网:https://www.elastic.co/guide/en/elasticsearch/plugins/6.5/repository-s3-repository.html{
  "Statement": [
    {
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::snap.example.com"
      ]
    },
    {
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::snap.example.com/*"
      ]
    }
  ],
  "Version": "2012-10-17"
}

4.设置快照策略SLM

参考:elasticsearch snapshot快照指定多个索引并行备份——筑梦之路_筑梦之路的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-699636.html

到了这里,关于elasticsearch snapshot快照备份到minio对象存储S3 —— 筑梦之路的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【笔记】Elasticsearch snapshot(快照)数据迁移

    0.简介         项目中需要进行Elasticsearch(以下简称ES)新旧集群切换,涉及到集群数据迁移。本篇笔记录了利用Elasticsearch snapshot特性进行数据迁移的关键步骤。 1.迁移前检查         在开始进行迁移前,做以下两点检查。           1)检查是否开启path.repo选项          

    2024年02月19日
    浏览(36)
  • VMware环境下使用存储的快照(CDP)功能做数据备份

    目前的IT环境中对数据安全性要求越来越高,核心业务系统的备份肯定是绝对必要的,可以说数据的备份在IT环境中越来越重要。 但是随着系统不断的发展备份上也会遇到一些问题,从我的角度大概遇到过这2种情况: 1.核心业务系统数据量巨大,就会遇到两个最明显的问题,

    2024年01月23日
    浏览(37)
  • k8s部署新版elasticsearch+kibana并配置快照备份

    版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16 Elasticsearch和Kibana是一对强大的开源工具,通常一起使用以构建实时数据分析和可视化解决方案。 Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上,并提供了一个分布式、可扩展的架构,用

    2024年02月13日
    浏览(35)
  • 13、HDFS Snapshot快照

    1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 4、HDFS-java操作类HDFSUtil及junit测试(HDFS的常见操作以及H

    2024年02月11日
    浏览(45)
  • HDFS中snapshot快照机制

    snapshot是数据存储的某一时刻的状态记录,备份(backup)则是数据存储的某一个时刻的副本 HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像,该镜像并不会随着源目录的改变而进行动态的更新 数据恢复 对重要的目录进行创建snapshot的操作,当用户误操作时,可以

    2024年02月13日
    浏览(84)
  • 大数据存储系统HDFS和对象存储(OOS/S3)的比较

      虽然Apache Hadoop以前都是使用HDFS的,但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的 Hadoop data warehouse 利用这个特性把数据存储在S3上而不是HDFS上。笔者曾经工作经历的大数据集群存储都是用HDFS,当前工作接触到对象存储S3,在实践中比较两者的不同之处。 HD

    2024年02月12日
    浏览(44)
  • Hadoop 集群中使用 S3(对象存储)文件系统

    Hadoop 自带 S3 依赖,位置如下: 但是这些依赖包默认不在 hadoop classpath 下面。可以使用以下两种方法引入这两个包: 修改hadoop的core-site.xml文件: s3的配置模板(记得修改成自己的 secret key 与 access key ) 更改完毕并重启集群后 测试hdfs dfs -ls s3a://hive0614/ 等命令操作 S3 中的文件

    2024年02月06日
    浏览(44)
  • s3fs挂载对象存储到本地

    S3FS是Google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语法 S3FS基于FUSE开发的文件系统,允许Linux和Mac OS 挂载S3的存储桶到本地文件系统,并保持对象原来格式。 只要支持S3存储协议的都支持挂载,比如minio、华为云OBS、阿里云OSS等 centos 安装

    2024年02月15日
    浏览(56)
  • aws对象存储s3基于lambda实现图片裁剪

    存储桶名称:wmmzz 1.存储桶策略设置 2. 创建lambda函数 点击跳转到IAM控制台,创建自定义角色,选择服务类型lambda,创建策略 输入策略下一步取名resize-policy,回到创建角色页面,搜索刚才创建的策略选中,再搜索AmazonS3FullAccess选中 点击下一步,输入角色名称resize-role,点击“创建角色

    2024年02月11日
    浏览(48)
  • 对象存储服务-MinIO基本集成

    MinIO 是一个 高性能的分布式对象存储服务 ,适合存储非结构化数据,如图片,音频,视频,日志等。对象文件最大可以达到5TB。 下载完毕后: 在当前minio目录下,会出现一个minio文件 然后在 /usr/local/minio/目录下,新建一个run.sh并编辑以下内容 vim run.sh,然后将以下内容保存

    2024年02月12日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包