MinIO-设置数据校验分片数量(parity shard)

这篇具有很好参考价值的文章主要介绍了MinIO-设置数据校验分片数量(parity shard)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

介绍

什么是奇偶校验值?

设置奇偶校验值,是为了可用性和总可用存储量之间的平衡。较高的奇偶校验值以可用存储为代价提高了驱动器或节点故障的恢复能力;较低的奇偶校验值提供了最大限度的存储,同时降低了对驱动器或节点故障时的容忍度。

下表列出了由 1 个节点和 16 个 1TB 驱动器组成的 MinIO 部署中不同纠删码奇偶校验级别的结果:

Parity

总可用容量

存储使用率

读操作所需最小节点数量

写操作所需最小节点数量

EC: 4 (默认)

12 TB

0.750

12

12

EC: 6

10 TB

0.625

10

10

EC: 8

8 TB

0.500

8

9

存储类型分类

Minio支持两种存储类型:Reduced Redundancy类型 和 Standard类型。这两种类型可以通过环境变量定义。

可以通过“PutObject请求元数据标签” x-amz-storage-class,设置对象的存储类型。然后,MinIO 服务器通过将对象保存在特定数量的数据和奇偶校验驱动器中(根据Reduced Redundancy类型 和 Standard类型分别设置的奇偶校验值),来满足存储类的要求。

Standard类型的默认奇偶校验值 

擦除集大小

(Erasure Set Size)

Default Parity (EC:N)
4-5 EC:2
6-7 EC:3
8-16 EC:4
  • 如果 Reduced Redundancy奇偶校验值未设置,Standard奇偶校验值需要≥2
  • 如果 Reduced Redundancy奇偶校验值已设置,Standard奇偶校验值需要>Reduced Redundancy奇偶校验值
  • Standard奇偶校验值,需要满足:Parity Shards ≤ Data Shards

Reduced Redundancy类型默认奇偶校验值

默认值:1

  • 如果Standard奇偶校验值未设置,Reduced Redundancy奇偶校验值需要满足:Parity Shards ≤ Data Shards
  • 如果Standard奇偶校验值已设置,Reduced Redundancy奇偶校验值需要 < Standard奇偶校验值

配置参数-环境变量

存储类型环境变量设置格式

MINIO_STORAGE_CLASS_STANDARD=EC:parity
MINIO_STORAGE_CLASS_RRS=EC:parity

例如,设置MINIO_STORAGE_CLASS_STANDARD 奇偶校验值为3,MINIO_STORAGE_CLASS_RRS 奇偶校验值为2:

MINIO_STORAGE_CLASS_STANDARD=EC:3
MINIO_STORAGE_CLASS_RRS=EC:2
  • 如果设置了Standard类型奇偶校验值,并且上传object时未设置请求元数据“x-amz-storage-class”,MinIO将对object应用Standard存储类型。
  • 如果没有设置存储类型,上传object时设置了请求元数据“x-amz-storage-class”

参考

Erasure Coding — MinIO Object Storage for Linux

MinIO Server — MinIO Object Storage for Linux

MinIO 博客

https://github.com/minio/minio/blob/master/docs/erasure/storage-class/README.md文章来源地址https://www.toymoban.com/news/detail-739038.html

到了这里,关于MinIO-设置数据校验分片数量(parity shard)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【elasticsearch】 es状态查看节点分片信息:/_cat/shards

    在kibana查询: 查询结果: index:索引名称 shard:分片数 prirep:分片类型,p=pri=primary为主分片,r=rep=replicas为复制分片 state:分片状态,STARTED为正常分片,INITIALIZING为异常分片 docs:记录数 store:存储大小 ip:es节点ip node:es节点名称

    2024年02月11日
    浏览(36)
  • Sharding-JDBC分库分表-自动配置与分片规则加载原理-3

    Sharding JDBC自动配置的原理 与所有starter一样,shardingsphere-jdbc-core-spring-boot-starter也是通过SPI自动配置的原理实现分库分表配置加载,spring.factories文件中的自动配置类shardingsphere-jdbc-core-spring-boot-starter功不可没,他主要是自动创建了模式bean、事务类型bean和数据源bean,配置加载

    2024年02月10日
    浏览(34)
  • es sharding 文档数量超过最大限制,写入失败的4种解决方案

    es 插入数据的时候报错 failure in bulk execution: [0]: index [leopard_user.driver_work_detail_record], type [detail_info], id [xxx], message [ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=number of documents in the index cannot exceed 2147483519]]], 超过了2^31次方 解决方案: 方案一 重新创建一个

    2024年02月03日
    浏览(64)
  • 【MongoDB】集群搭建实战 | 副本集 Replica-Set | 分片集群 Shard-Cluster | 安全认证

    副本集 MongoDB副本集(Replica Set)是一组维护相同数据集的 MongoDB 实例,它可以提供数据的冗余和高可用性。 副本集由一个主节点(Primary)和多个从节点(Secondary)组成。 客户端所有写操作都会发送到主节点,主节点会记录oplog,然后将写操作同步到从节点。 从节点可以进行

    2024年02月05日
    浏览(34)
  • ES更改默认分片数量及副本

    ES更改默认分片数量及副本 KIBANA方式 POST _template/default_template { \\\"index_patterns\\\": [ \\\"*\\\" ], \\\"settings\\\": { \\\"number_of_shards\\\": 3, \\\"number_of_replicas\\\": 1 } } *代表所有索引 POST _template/microsvclog_template { \\\"index_patterns\\\": [ \\\"*microsvclog*\\\" ], \\\"settings\\\": { \\\"number_of_shards\\\": 3, \\\"number_of_replicas\\\": 1 } }

    2024年02月08日
    浏览(29)
  • Minio文件分片上传实现

    资源准备 MacM1Pro 安装Parallels19.1.0请参考 https://blog.csdn.net/qq_41594280/article/details/135420241 MacM1Pro Parallels安装CentOS7.9请参考 https://blog.csdn.net/qq_41594280/article/details/135420461 部署Minio和整合SpringBoot请参考 https://blog.csdn.net/qq_41594280/article/details/135613722 Minio Paralles虚拟机文件百度网盘获取

    2024年01月21日
    浏览(32)
  • 09 视频分片上传Minio和播放

    pom.xml application.yml com.example.web.dto.file.FileResp com.example.web.dto.file.MinioObject com.example.utils.FileMd5Util com.example.utils.MinioFileUtil com.example.blh.file.FileBlh com.example.web.rest.file.FileRest HTML效果 http://127.0.0.1:8081/test/upload.html resources/static/upload.html ckplayer ckplayer是一款在网页上播放视频的软件,

    2024年02月04日
    浏览(36)
  • springboot实现minio文件分片上传

    在Spring Boot中实现MinIO的文件分片上传涉及到几个关键步骤。MinIO是一个高性能的分布式对象存储服务,它兼容Amazon S3的API。分片上传主要用于上传大文件,将大文件分成多个部分,分别上传,最后再将这些部分合并成一个完整的文件。这样做的好处是提高了上传的可靠性,并

    2024年01月17日
    浏览(44)
  • SpringBoot + minio实现分片上传、秒传、续传

    MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储。它采用GNU AGPL v3开源协议,项目地址是https://github.com/minio/minio。 引用官网: MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。使用MinIO构建用于机器学习,分析和应用程序数据工

    2024年02月08日
    浏览(44)
  • MinIO (五) .net core实现分片上传

    开发环境 Win11 vs2022 appsettings.json添加配置项 注入代码 接下来是后端进行分片上传的代码示例,有两个,第一个是从官方考下来的代码示例,第二个是自己整理后的代码示例。 从官方考下来的代码示例 整理后的后端进行分片上传

    2024年02月03日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包