打造自己的分布式MinIO对象存储

这篇具有很好参考价值的文章主要介绍了打造自己的分布式MinIO对象存储。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

MinIO是一个对象存储解决方案,它提供了一个与Amazon Web Services S3兼容的API,并支持所有核心S3特性。MinIO旨在部署在任何地方——公共云或私有云、裸机基础架构、协调环境和边缘基础架构。

分布式MinIO如何工作

Server Pool由多个Minio服务节点与其附属的多个磁盘构成。MinIO支持向现有MinIO集群中增加一个或多个Server Pool,从而实现水平扩容。

当MinIO中有多个可用的Server Pool时,单个对象总是写入其中的一个Server Pool,如果一个Server Pool发生故障,并不会影响其他Server Pool的读写。

minio server命令中通过指定HOSTNAME参数来表示一个Server Pool

下文将演示创建一个单独的Server Pool,包含2个minio服务器节点,每一个服务器节点拥有3个驱动器(磁盘),总共6块盘。

规划

一共2个minio服务器节点
oss{1...2}
172.26.150.86 LY-Orch-test-AP01  oss1
172.26.150.87 LY-Orch-test-AP02  oss2
每一个服务器节点拥有3个驱动器(磁盘)
data{1...3}

先决条件

1、网络和防火墙每个节点都应该能够完全双向地访问部署中的所有其他节点。
2、连续主机名minio使用扩展符号{x...y}在创建服务器池时表示一系列连续的MinIO主机。
3、带有顺序挂载点的本地JBOD存储多节点系统必须保持同步的时间和日期,以保持稳定的节点间操作和交互。
4、时间同步多节点系统必须保持同步的时间和日期,以保持稳定的节点间操作和交互。

说明:各个minio节点安装配置步骤保持一致

1、创建minio数据盘

mkfs.xfs /dev/sdb
mkfs.xfs /dev/sdc
mkfs.xfs /dev/sddmkdir -p /data/{data1,data2,data3}[root@hd-iov-l3db-oss02 ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Wed Mar 10 15:11:41 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/ol-root     /                       xfs     defaults        0 0
UUID=718976f7-a520-4a9f-8f90-e57ebc6e6abb /boot                   xfs     defaults        0 0
/dev/mapper/ol-swap     swap                    swap    defaults        0 0
UUID="c717af95-08c6-4fcd-9574-fee634d12564" /data/data1 xfs     defaults        0 2
UUID="9e4559e9-d1c0-4f0b-ba30-2a41b286240a" /data/data2 xfs     defaults        0 2
UUID="27995a2a-132f-4b71-9d4c-426d4e7cf8c1" /data/data3 xfs     defaults        0 2

2、MINIO SERVER 软件包下载与安装

打造自己的分布式MinIO对象存储

mount -a 
chmod 755 minio
mv minio /usr/bin/
groupadd oss
useradd -g oss -s /sbin/nologin oss
chmod 755 /data/
mkdir -p /oss/minio
chmod 755 /oss/
chown oss:oss -R /oss/minio/ /data/data*

3、配置 /etc/hosts 

 cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.26.150.86 LY-Orch-test-AP01  oss1
172.26.150.87 LY-Orch-test-AP02  oss2

4、创建服务环境文件

cat /etc/default/minio.conf 

MINIO_ROOT_USER=miniodba

MINIO_ROOT_PASSWORD=ivhsdiFFegg234FDvf#rf

MINIO_PROMETHEUS_AUTH_TYPE="public"

MINIO_VOLUMES="{1...2}:9000/data/data{1...3}"

MINIO_REGION_NAME="hd"

MINIO_BROWSER=on

MINIO_API_REQUESTS_MAX="1000"

MINIO_API_REQUESTS_DEADLINE="30s"

MINIO_OPTS="--console-address :9001"

5、Create the systemd Service File

cat /etc/systemd/system/minio.service

[Unit]

Description=MinIO

Documentation=

Wants=network-noline.target

After=network-noline.target

[Service]

WorkingDirectory=/oss/minio

User=oss

Group=oss

EnvironmentFile=-/etc/default/minio.conf

ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]";then echo \"Variable MINIO_VOLUEMS not set in /etc/default/minio\";exit 1;fi"

ExecStart=/usr/bin/minio server $MINIO_OPTS $MINIO_VOLUMES  

Restart=always

LimitNOFILE=655360

LimitNPROC=655360

TasksMax=infinity

TimeoutStopSec=infinity

SendSIGKILL=no

[Install]

WantedBy=multi-user.target

6、运行MinIO服务器进程

systemctl daemon-reload

systemctl start minio

systemctl status minio

7、MINIO CLIENT 软件包下载与安装

MINIO CLIENT:  

wget https://dl.min.io/client/mc/release/linux-amd64/mc

chmod 755 mc

mv mc /usr/bin/

8、配置mc alias 

mkdir -p /root/.mc

cat >> /root/.mc/config.json << EOF

{

        "version": "10",

        "aliases": {

                "ccsminio": {

                        "url": "

                        "accessKey": "miniodba",

                        "secretKey": "miniodba_9922.1xx15221ssPLUS",

                        "api": "S3v4",

                        "path": "auto"

                }

        }

}

EOF

9、mc 测试

[root@LY-Orch-test-AP01 ~]# mc alias list 

ccsminio

  URL       :

  AccessKey : miniodba

  SecretKey : ivhsdiFFegg234FDvf#rf

  API       : S3v4

  Path      : auto

  

[root@LY-Orch-test-AP01 ~]# mc mb  ccsminio/oss                                    

Bucket created successfully `ccsminio/oss`.

[root@LY-Orch-test-AP01 ~]# mc cp /root/openssh-8.6p1.tar.gz ccsminio/oss

/root/openssh-8.6p1.tar.gz:    1.70 MiB / 1.70 MiB ┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓┃ 35.66 MiB/s 0s

[root@LY-Orch-test-AP01 ~]#

10、console web 测试

访问  ,输入管理员账号密码

打造自己的分布式MinIO对象存储文章来源地址https://www.toymoban.com/news/detail-512907.html

到了这里,关于打造自己的分布式MinIO对象存储的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 学习笔记MinIo对象存储-Docker分布式集群搭建踩坑!

    ​ MinIO 是一款基于Go语言的高性能对象存储服务,在Github上已有39K+Star。它采用了Apache License v2.0开源协议,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。 本文将使用 MinIO 来自建一个对象存储服务用于存储图片。 ​ M

    2024年02月11日
    浏览(53)
  • 云原生 | 从零开始,Minio 高性能分布式对象存储快速入手指南

    [ 点击 👉 关注「 全栈工程师修炼指南」公众号 ] 希望各位看友多多支持【关注、点赞、评论、收藏、投币】,助力每一个梦想。 【 WeiyiGeek Blog\\\'s - 花开堪折直须折,莫待无花空折枝  】 作者主页: 【 https://weiyigeek.top 】 博客地址: 【 https://blog.weiyigeek.top 】 作者答疑学习交

    2024年02月08日
    浏览(59)
  • minio分布式文件存储

    基本介绍 什么是  MinIO         MinIO 是一款基于 Go 语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于 Apache License v2.0 开源协议,虽然轻量,却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用,例如

    2024年02月08日
    浏览(48)
  • 分布式文件存储MinIO-监控

    MinIO自身提供了关于集群状态和操作的相关的Prometheus SQL指标与支持Prometheus数据模型的监控指标收集工具进行搭配使用,无论是主机部署亦或是云上部署都可以进行集成。官方选定的第三方监控软件为Prometheus和InfluxDB,使用者可以根据各自公司对于监控设施的建设进行选择。

    2024年02月11日
    浏览(55)
  • Springboot整合minio组件-分布式文件存储

    一、快速开始 Minlo说明: Minio是Apcche旗下的一款开源的轻量级文件服务器,基于对象存储,协议是基于Apache License v2.0,开源可用于商务。 Minio主要用来存储非结构化的数据,类似文件,图片,照片,日志文件,各类备份文件等,按照官网描述,文件的大小从几KB到5TB。 Minio提

    2024年02月11日
    浏览(55)
  • OSS文件上传、MinIO分布式文件存储系统

    阿里云OSS上传图片 实现步骤: 1. 定义OSS相关配置 application-dev.yml application.yml 2. 读取OSS配置 在sky-common模块中,已定义 3. 生成OSS工具类对象 在sky-server模块 其中,AliOssUtil.java已在sky-common模块中定义 4. 定义文件上传接口 在sky-server模块中定义接口 MinIO分布式文件存储系统 MinI

    2024年01月24日
    浏览(49)
  • 【分布式文件存储】MinIO部署及实现文件上传下载

    目录 概述 MinIO集群部署 准备docker-compose.yml 测试启动 MinIO用户管理 Buckets管理  创建Buckets MinIO客户端 引入依赖   文件上传下载Demo 调用API碰到的问题 MinIO | 高性能, Kubernetes 原生对象存储 MinIO是全球领先的对象存储先锋,目前在全世界有数百万的用户。 高性能 ,在标准硬件

    2024年02月07日
    浏览(59)
  • 【分布式云储存】高性能云存储MinIO简介与Docker部署集群

    分布式存储服务一直以来是中大型项目不可或缺的一部分,一般常用的商用文件服务有七牛云、阿里云等等,自建的开源文件服务有FastDFS、HDFS等等。但是对于这些方案有的需要付费有些却太过于笨重,今天我们就分享一款轻量级完全可替代生产的高性能分布式储存服务Mini

    2024年02月07日
    浏览(64)
  • Vue中如何进行分布式存储与对象存储

    随着云计算和大数据时代的到来,分布式存储和对象存储越来越受到关注。在Vue中,我们可以使用不同的分布式存储和对象存储技术来存储和管理数据。本文将介绍Vue中如何进行分布式存储和对象存储。 分布式存储是指将数据分散存储在多台计算机中,以提高存储容量和性能

    2024年02月09日
    浏览(48)
  • 对象存储,从单机到分布式的演进

    关于数据存储的相关知识,请大家关注“数据存储张”,各大平台同名。 通过《什么是云存储?从对象存储说起》我们对对象存储的历史、概念和基本使用有了一个大概的认识。而且我们以Minio为例,通过单机部署的模式实际操作了一下对象存储的GUI,感受了一下对象存储的

    2024年02月07日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包