Springboot整合minio组件-分布式文件存储

这篇具有很好参考价值的文章主要介绍了Springboot整合minio组件-分布式文件存储。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、快速开始
Minlo说明:
  1. Minio是Apcche旗下的一款开源的轻量级文件服务器,基于对象存储,协议是基于Apache License v2.0,开源可用于商务。
  2. Minio主要用来存储非结构化的数据,类似文件,图片,照片,日志文件,各类备份文件等,按照官网描述,文件的大小从几KB到5TB。
  3. Minio提供了非常方便,友好的界面,并且文档也是非常丰富,具体可以参考它的文档:https://docs.min.io/cn/
  4. Minlo作用类似于FastDFS和阿里云的OSS进行对象存储
  5. 安装minlo服务器参考:https://blog.csdn.net/u010189683/article/details/108171562
1、添加依赖
<!--minio方案-->
<dependency>
	<groupId>io.minio</groupId>
	<artifactId>minio</artifactId>
	<version>7.0.2</version>
</dependency>
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-configuration-processor</artifactId>
	<optional>true</optional>
</dependency>
2、添加配置项
## minio配置 
minio:
   endpoint: http://192.168.179.131:9000/
   accessKey: admin
   secretKey: admin123456    
3、配置项和工具类
@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioConfig {

	private String endpoint;
	private String accessKey;
	private String secretKey;

	@Bean
	public MinioClient getMinioClient() throws InvalidEndpointException, InvalidPortException {
		MinioClient minioClient = new MinioClient(endpoint, accessKey, secretKey);
		return minioClient;
	}

}
@Component
public class MinioUtil {
    
    @Value("${minio.endpoint}")
    private String endpoint;
    @Value("${minio.accessKey}")
    private String accessKey;
    @Value("${minio.secretKey}")
    private String secretKey;

    private static final int DEFAULT_EXPIRY_TIME = 7 * 24 * 3600;

	private static MinioClient minioClient;

    @Autowired
    @SneakyThrows
    public MinioClient setMinioClient(){
         MinioClient minioClient = new MinioClient(endpoint, accessKey, secretKey);
         return minioClient;
    }

	/**
	 * 检查存储桶是否存在
	 */
    @SneakyThrows
	public boolean bucketExists(String bucketName){
		boolean flag = minioClient.bucketExists(bucketName);
        return flag ? true : false;
	}

	/**
	 * 创建存储桶
	 */
    @SneakyThrows
	public boolean makeBucket(String bucketName) {
		boolean flag = bucketExists(bucketName);
        if(flag) return false;
        minioClient.makeBucket(bucketName);
        return true;
	}

	/**
	 * 列出所有存储桶名称
	 */
    @SneakyThrows
	public List<String> listBucketNames() {
		List<Bucket> bucketList = listBuckets();
        return bucketList.stream().map(item->bucket.name()).collect(Collector.toList())
	}

	/**
	 * 列出所有存储桶
	 */
    @SneakyThrows
	public List<Bucket> listBuckets() {
		return minioClient.listBuckets();
	}

	/**
	 * 删除存储桶
	 */
    @SneakyThrows
	public boolean removeBucket(String bucketName) {
		boolean flag = bucketExists(bucketName);
        if(flag) return false;
        Iterable<Result<Item>> myObjects = listObjects(bucketName);
        for (Result<Item> result : myObjects) {
            Item item = result.get();
            // 有对象文件,则删除失败
            if (item.size() > 0) {
                return false;
            }
        }
        // 删除存储桶,注意,只有存储桶为空时才能删除成功。
        minioClient.removeBucket(bucketName);
        flag = bucketExists(bucketName);
        if (!flag) {
            return true;
        }
	}

	/**
	 * 列出存储桶中的所有对象名称
	 */
    @SneakyThrows
	public List<String> listObjectNames(String bucketName) {
		List<String> listObjectNames = new ArrayList<>();
		boolean flag = bucketExists(bucketName);
		if (flag) {
			Iterable<Result<Item>> myObjects = listObjects(bucketName);
			for (Result<Item> result : myObjects) {
				Item item = result.get();
				listObjectNames.add(item.objectName());
			}
		}
		return listObjectNames;
	}

	/**
	 * 列出存储桶中的所有对象
	 */
    @SneakyThrows
	public Iterable<Result<Item>> listObjects(String bucketName)  {
		boolean flag = bucketExists(bucketName);
        return flag?minioClient.listObjects(bucketName):null;
	}

	/**
	 * 通过文件上传到对象
	 */
    @SneakyThrows
	public boolean putObject(String bucketName, String objectName, String fileName){
		boolean flag = bucketExists(bucketName);
		if (flag) {
			minioClient.putObject(bucketName, objectName, fileName, null);
			ObjectStat statObject = statObject(bucketName, objectName);
			if (statObject != null && statObject.length() > 0) {
				return true;
			}
		}
		return false;

	}

	/**
	 * 通过InputStream上传对象
	 */
    @SneakyThrows
	public boolean putObject(String bucketName, String objectName, InputStream stream) {
		boolean flag = bucketExists(bucketName);
		if (flag) {
			minioClient.putObject(bucketName, objectName, stream, new PutObjectOptions(stream.available(), -1));
			ObjectStat statObject = statObject(bucketName, objectName);
			if (statObject != null && statObject.length() > 0) {
				return true;
			}
		}
		return false;
	}

	/**
	 * 以流的形式获取一个文件对象
	 */
    @SneakyThrows
	public InputStream getObject(String bucketName, String objectName){
		boolean flag = bucketExists(bucketName);
		if (flag) {
			ObjectStat statObject = statObject(bucketName, objectName);
			if (statObject != null && statObject.length() > 0) {
				InputStream stream = minioClient.getObject(bucketName, objectName);
				return stream;
			}
		}
		return null;
	}

	/**
	 * 以流的形式获取一个文件对象(断点下载)
	 */
    @SneakyThrows
	public InputStream getObject(String bucketName, String objectName, long offset, Long length){
		boolean flag = bucketExists(bucketName);
		if (flag) {
			ObjectStat statObject = statObject(bucketName, objectName);
			if (statObject != null && statObject.length() > 0) {
				InputStream stream = minioClient.getObject(bucketName, objectName, offset, length);
				return stream;
			}
		}
		return null;
	}

	/**
	 * 下载并将文件保存到本地
	 */
    @SneakyThrows
	public boolean getObject(String bucketName, String objectName, String fileName) {
		boolean flag = bucketExists(bucketName);
		if (flag) {
			ObjectStat statObject = statObject(bucketName, objectName);
			if (statObject != null && statObject.length() > 0) {
				minioClient.getObject(bucketName, objectName, fileName);
				return true;
			}
		}
		return false;
	}

	/**
	 * 删除一个对象
	 */
    @SneakyThrows
	public boolean removeObject(String bucketName, String objectName) {
		boolean flag = bucketExists(bucketName);
		if (flag) {
			minioClient.removeObject(bucketName, objectName);
			return true;
		}
		return false;
	}

	/**
	 * 删除指定桶的多个文件对象,返回删除错误的对象列表,全部删除成功,返回空列表
	 */
    @SneakyThrows
	public List<String> removeObject(String bucketName, List<String> objectNames){
		List<String> deleteErrorNames = new ArrayList<>();
		boolean flag = bucketExists(bucketName);
		if (flag) {
			Iterable<Result<DeleteError>> results = minioClient.removeObjects(bucketName, objectNames);
			for (Result<DeleteError> result : results) {
				DeleteError error = result.get();
				deleteErrorNames.add(error.objectName());
			}
		}
		return deleteErrorNames;
	}

	/**
	 * 生成一个给HTTP GET请求用的presigned URL。
	 * 浏览器/移动端的客户端可以用这个URL进行下载,即使其所在的存储桶是私有的。这个presigned URL可以设置一个失效时间,默认值是7天。
	 */
    @SneakyThrows
	public String presignedGetObject(String bucketName, String objectName, Integer expires) {
		boolean flag = bucketExists(bucketName);
        return bucketExists(bucketName) ? minioClient.presignedGetObject(bucketName, objectName, expires):null;
	}

	/**
	 * 生成一个给HTTP PUT请求用的presigned URL。
	 * 浏览器/移动端的客户端可以用这个URL进行上传,即使其所在的存储桶是私有的。这个presigned URL可以设置一个失效时间,默认值是7天。
	 */
    @SneakyThrows
	public String presignedPutObject(String bucketName, String objectName, Integer expires) {
		return bucketExists(bucketName) ? minioClient.presignedPutObject(bucketName, objectName, expires):null;
	}

	/**
	 * 获取对象的元数据
	 */
    @SneakyThrows
	public ObjectStat statObject(String bucketName, String objectName){
        return bucketExists(bucketName) ? minioClient.statObject(bucketName, objectName) : null;
	}

	/**
	 * 文件访问路径
	 */
    @SneakyThrows
	public String getObjectUrl(String bucketName, String objectName) {
		return bucketExists(bucketName) ? minioClient.getObjectUrl(bucketName, objectName) : "";
	}
}

文章来源地址https://www.toymoban.com/news/detail-668418.html

到了这里,关于Springboot整合minio组件-分布式文件存储的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • minio分布式文件存储

    基本介绍 什么是  MinIO         MinIO 是一款基于 Go 语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于 Apache License v2.0 开源协议,虽然轻量,却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用,例如

    2024年02月08日
    浏览(46)
  • 分布式文件系统使用——MinIO

    1.1 概念 常见的文件系统:FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 。 现在有个问题,一此短视频平台拥有大量的视频、图片,这些视频文件、图片文件该如何存储呢?如何存储可以满足互联网上海量用户的浏览。 分布式文件系统 就是海量用户查阅海量文件的方案。 通过概

    2024年02月12日
    浏览(40)
  • 分布式文件存储MinIO-监控

    MinIO自身提供了关于集群状态和操作的相关的Prometheus SQL指标与支持Prometheus数据模型的监控指标收集工具进行搭配使用,无论是主机部署亦或是云上部署都可以进行集成。官方选定的第三方监控软件为Prometheus和InfluxDB,使用者可以根据各自公司对于监控设施的建设进行选择。

    2024年02月11日
    浏览(52)
  • minio 分布式文件系统主从复制

    1. 在slave节点下载mc客户端工具 下载 2. 移动或复制mc文件到/usr/local/bin/文件夹 3. 赋值权限给 mc 文件 4. 查看mc客户端版本,看是否可用 5. 在slave服务器上配置minio_slave和minio_master,用于添加对master上minio的访问权限。 6. 查看当前节点服务 7. 复制主节点数据到子节点

    2024年02月13日
    浏览(40)
  • 1.使用分布式文件系统Minio管理文件

    文件系统 文件系统 是操作系统用于组织管理 存储设备(磁盘)或分区 上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索 文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去存取文件,用户通过操

    2024年01月22日
    浏览(40)
  • OSS文件上传、MinIO分布式文件存储系统

    阿里云OSS上传图片 实现步骤: 1. 定义OSS相关配置 application-dev.yml application.yml 2. 读取OSS配置 在sky-common模块中,已定义 3. 生成OSS工具类对象 在sky-server模块 其中,AliOssUtil.java已在sky-common模块中定义 4. 定义文件上传接口 在sky-server模块中定义接口 MinIO分布式文件存储系统 MinI

    2024年01月24日
    浏览(45)
  • spring boot + minio 分布式文件上传

    1、分布式文件系统 简单理解为:一个计算机无法存储海量的文件,通过网络将若干计算机组织起来共同去存储海量的文件,去接收海量用户的请求,这些组织起来的计算机通过网络进行通信。 好处: 一台计算机的文件系统处理能力扩充到多台计算机同时处理。 一台计算机

    2024年02月08日
    浏览(55)
  • 【学习笔记】minIO分布式文件服务系统

    1.1 minIO是什么? MinIO是专门为海量数据存储、人工智能、大数据分析而设计的对象存储系统。(早前流行的还有FastDFS) 据官方介绍,单个对象最大可存储5T,非常适合存储海量图片、视频、日志文件、备份数据和容器、虚拟镜像等。 采用golang语言编译 客户端和用户端交互采

    2024年02月07日
    浏览(40)
  • 【分布式文件存储】MinIO部署及实现文件上传下载

    目录 概述 MinIO集群部署 准备docker-compose.yml 测试启动 MinIO用户管理 Buckets管理  创建Buckets MinIO客户端 引入依赖   文件上传下载Demo 调用API碰到的问题 MinIO | 高性能, Kubernetes 原生对象存储 MinIO是全球领先的对象存储先锋,目前在全世界有数百万的用户。 高性能 ,在标准硬件

    2024年02月07日
    浏览(58)
  • 常用分布式文件系统(对象存储)对比-SeaweedFS、Minio

    常用分布式文件系统,相对比较热门的有Minio,SeaweedFS,FastDFS,ceph。主要对比一下Minio,SeaweedFS。 什么是SeaweedFS? SeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由 Go语言开发的分布式存储开源项目。它是用来存储文件的系统,并且与使用的语言无

    2024年02月03日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包