关于ES多磁盘目录

这篇具有很好参考价值的文章主要介绍了关于ES多磁盘目录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

测试提到给ES配置了许多数据存储目录,但是在实测当中发现数据基本上只往其中一块盘去写数据(监控了磁盘读写速率),询问是否可以并发写以便提高性能。

此前,我给ES配置多个数据目录(path.data)主要是为了增大存储上限,如果机器上配备有RAID卡直接使用存储卡做raid 0的单一大目录就十分便捷,无需考虑多目录的问题了。对测试遇到的问题试验及查证如下:

  • 一个shard只会分配在一个物理目录上面,它不会再被切分存储到多个目录盘上
  • 单索引具有足够的分片时,数据会写到多个盘(分片数 > data节点数)
  • 所以,多目录在一般情况下没有并发写的效果,多磁盘推荐使用raid 0,磁盘I/O可以均匀分布到所有磁盘。

查证官网说明

将path.data配置成多个路径,也即使用多个IO设备,对于增大总存储空间很有用,也有提升IO性能的效果。

Using multiple IO devices (by specifying multiple `path.data` paths) to hold the shards
on your node is useful for increasing total storage space, 
and improving IO performance, if that's a bottleneck for your Elasticsearch usage.

shard分配的基本逻辑:
多目录情况下,一个shard被分配到一个node上之后,node会挑选一块最佳目录(多数是空的)分配给这个shard存储数据文件。

前面提到raid 0是另一条路,但是raid 0是条带化存储数据,出现坏盘的情况就会全军覆没(对ES来说存在该节点的所有shard都丢失),官方推荐使用多目录。

因此,你的shard需要至少一个副本分片来保证数据不会丢失。文章来源地址https://www.toymoban.com/news/detail-774597.html

到了这里,关于关于ES多磁盘目录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch系列 - SpringBoot整合ES:组合多个查询条件 bool 查询

    01. ElasticSearch 布尔查询是什么? 在实际应用中,我们很有可能会查询多个值或字段。 一个 bool 查询由三部分组成: must:所有的语句都必须(must) 匹配,与 AND 等价。 must_not:所有的语句都不能(must not)匹配,与 NOT 等价。 should:至少有一个语句要匹配,与 OR 等价。 02.

    2023年04月08日
    浏览(72)
  • 【ElasticSearch】关于es跨域的问题

    本文目录 一、使用es的head插件 二、其他说明 在使用es的head插件时,默认的9100,需要访问es的默认端口9200时,会出现跨域问题,此时只需要修改一下es的配置文件即可。 在 elasticsearch.yml 中添加开启跨域的配置: 说明: http.cors.enabled 是否开启跨域 http.cors.allow-origin 允许谁访问

    2024年02月11日
    浏览(39)
  • 文档存储Elasticsearch系列--2 ES内部原理

    前言:ES作为nosql 的数据存储,为什么它在承载PB级别的数据的同时,又可以对外提高近实时的高效搜索,它又是通过什么算法完成对文档的相关性分析;又是怎么保证聚合的高效性; 1 ES 分布式文档存储: 1.1 文档存储: 所谓分布式文档存储,就是我们在想ES存入数据时,

    2024年02月11日
    浏览(40)
  • 关于Elasticsearch(es)中使用sql返回结果只有1000条

    es中返回的结果只有1000条,这是默认的,想要返回更多的结果,需要做两步: 1、设置max_result_window的大小 PUT indexName/_settings { “max_result_window”:20000 } max_result_window表示结果的最大数量 但是你这样设置完了之后,查询依旧还是1000条 2、查询的时候加上fetch_size 这表示页面上显

    2024年02月14日
    浏览(41)
  • 【Docker】docker | es | es配置密码 | elasticsearch配置密码

            1、docker部署es         2、docker默认无密码,现在需求需要增加安全性,需要增加密码 1、启动es镜像,参考 2、修改es配置 3、开启安全验证   3、重启docker 说明: 容器ID 4、进入到容器 5、生成证书1 说明: 一直回车即可 6、生成证书2 7、将证书移动到config 8、生

    2024年02月11日
    浏览(43)
  • Elasticsearch(ES)配置及优化

    在Elasticsearch中,索引的大小和存储能力取决于多个因素,包括文档大小、索引的分片数、硬件规格、查询负载和其他因素。 索引和分片配置:索引和分片的数量和配置会对查询并发性能产生影响。如果索引和分片的数量太少,可能会导致查询性能不佳,而如果数量过多,可

    2023年04月08日
    浏览(41)
  • docker安装部署Elasticsearch(ES)以及相关配置

    mysql用作持久化存储,ES用作检索 基本概念:index库type表document文档 index索引(相当于MySQL的数据库) 动词:相当于mysql的insert 名词:相当于mysql的db Type类型(相当于MySQL的数据表) 在index中,可以定义一个或多个类型 类似于mysql的table,每一种类型的数据放在一起 Document文档

    2024年01月16日
    浏览(50)
  • ES(Elasticsearch)8.x 以上启用自动安全配置,手动安全配置

    ES 8.x 以后,默认启用了自动安全配置,即 $ES_PATH_CONF/elasticsearch.yml 中默认的  xpack.security.enabled: false 变成了默认的 xpack.security.enabled: true ,启用elasticsearch 的安全配置。 自动进行以下安全配置: 为传输层和 HTTP 层生成 TLS 证书和密钥。 TLS 配置设置写入 elasticsearch.yml 。 为

    2024年01月19日
    浏览(40)
  • Es elasticsearch 十九 kibana 可视化配置图表 及功能 集群部署

    目录 Es kibana 可视化 下载zip 解压  bin/kibana.bat 启动 管理索引管理 吧logstash 存进来的数据 按照 xxx-* 方式 保存索引模式 通过 discove 配置可视化界面 图表数据实时刷新 时序图配置 饼图配置 表格数据配置 添加仪表盘 图表样例 使用后模拟绘制方法好看些 Grok 语法测试工具 集群

    2024年02月08日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包