Elasticsearch深入学习 (二) 索引创建及分片优化经验

这篇具有很好参考价值的文章主要介绍了Elasticsearch深入学习 (二) 索引创建及分片优化经验。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、索引与分片的关系

ES集群中索引可能由多个分片构成,并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片,我们可以处理不能在一个单一的服务器上面运行的大型索引。由于每个分片可以有多个副本,通过将副本分配到多个服务器,可以提高查询的负载能力。

二、分片的合适数量

分片的创建多少比较合适。分片可以按照集群的数量相乘5,例如有2台集群,那么分片设置的数量为10(number_of_shards)是比较合适,分片会均匀分配到所有的集群,每个集群节点都有5主5副的分片,10主,10副。

标准是每个节点5个分片。

为什么是每个节点单个索引最多五个分片?这是因为es官方为了保证节点的安全,而去设置的一个限制。一次检索,单个索引在一个节点上命中的分片数只能有5个。假如单个节点大于5个分片,则需要串行去处理数据了

分片的合适存储大小10G-30G。低于这个值不分片也行,ES集群默认的分片数是1,高于这个值的就要考虑继续分片了。

再高的就需要把索引的粒度再降低,别集中一个索引集中大量的数据

三、以存在索引如何优化分片

索引分片数在索引创建好了之后就不能调整了,只能重建索引。

四、指定分片数

ES版本7.6.0 每个版本的方式不同

PUT /_template/five_index
{
  "index_patterns": ["*"], //*是通配符,这里是全部
  "settings": {
    "number_of_shards": 集群数*5 //集群的数量*5 
  }
}

五、创建索引

#创建索引
PUT testindex
#检查全部索引
GET /_cat/indices?v
#检查指定索引
GET /_cat/shards/testindex?v=true

可以看见了创建了20个分片(10主10副)文章来源地址https://www.toymoban.com/news/detail-615842.html

es索引分片数,后端,elasticsearch,索引优化,索引与分片,Powered by 金山文档
es索引分片数,后端,elasticsearch,索引优化,索引与分片,Powered by 金山文档

到了这里,关于Elasticsearch深入学习 (二) 索引创建及分片优化经验的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch---查询es集群状态、分片、索引

    查看es集群状态: 如果?后面加上pretty,能让返回的json格式化。 加上?v的返回结果,如下: 解释如下: 查看es分片信息: 查看es分片信息,模糊匹配,比如匹配test: 返回信息如下: 解析如下: 查看状态为unassigned的es分片信息: 查看es索引 查看es所有索引: indices表示索引,是

    2024年02月02日
    浏览(41)
  • 深入理解Elasticsearch分片

    了解分片的基本原理,对Elasticsearch性能调优有帮助。 ES底层使用的是Lucene库,ES的分片(shard )是Lucene的索引,ES的索引是分片的集合,Lucene的索引是由多个段(segment)组成。 Per-segment search,也即 按段搜索 ,是Lucene中的概念。每个段本身就是一个倒排索引,Lucene中的索引除

    2024年01月22日
    浏览(40)
  • elasticSearch核心概念的介绍(十四):ES集群索引分片管理

    上一章节我们对ES的集群进行了搭建,有兴趣的朋友可以参考一下elasticSearch核心概念的介绍(十三):docker搭建ES集群 这里我们来介绍了ES集群索引的分片管理 ES集群索引分片管理 介绍 分片(shard):因为ES是个分布式的搜索引擎,所以索引通常都会分解成不同部分,而这些

    2023年04月27日
    浏览(56)
  • 【Elasticsearch】索引恢复(recovery)流程梳理之副本分片数据恢复

    也是因为应用新的集群状态触发recovery,进入index阶段 进入translog 阶段。先尝试重放本地的translog到global checkpoint 向primary shard发起start recovery的请求,请求包含replica的localCheckpoint+1。(如果第二步重放translog了,localCheckpoint自然也会增加) 如果开启了soft delete并且索引是7.4版本

    2024年01月20日
    浏览(46)
  • 04_手工画图剖析Elasticsearch核心概念:NRT、索引、分片、副本等

    2.elasticsearch的核心概念 (1)Near Realtime (NRT):近实时, 从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于es执行搜索和分析可以达到秒级 (2) cluster集群:包括多个节点, 每个节点属于哪个集群是通过一个配置(集群名称,默认是elasticsearch)来决定的, 对于中小型

    2024年02月09日
    浏览(54)
  • ES创建索引模板设置分片和副本数及时间格式问题

    创建索引模板设置分片和副本及时间格式问题 一、创建索引模板 二、插入测试数据 三、查看索引情况(cerebro可视化插件) 查看分片和副本情况 查看字段 四、通kibana查看数据 五、最后补充下kibana设置时间格式显示问题

    2024年02月16日
    浏览(39)
  • ElasticSearch系列 - 分片内部原理之动态更新索引、近实时搜索、持久化变更、段合并

    01. ElasticSearch 倒排索引是什么? Elasticsearch的倒排索引是一种数据结构,它将每个单词与包含该单词的文档列表相关联。倒排索引的优势在于它可以快速地进行全文搜索和相关性评分。 倒排索引由3个主要部分组成:词项、词汇表、倒排列表。其中词项是索引中最小的存储和查

    2024年02月05日
    浏览(44)
  • ElasticSearch7.3学习(十六)----RestHighLevelClient Java api实现索引的创建、删除、是否存在、关闭、开启

    注意:导入的包区别,不同的包创建索引的方式不同。博主亲身实践,具体体现在createIndexRequest.mapping()里面。读者可自行试验。  由此可以猜想一下: 可以看到上述两种方式导入的包的子类名是相同的,但是具体对索引的操作方式可能是不同的。具体的区别博主暂时还不清

    2024年02月16日
    浏览(58)
  • Elasticsearch基础篇(五):创建es索引并学习分析器、过滤器、分词器的作用和配置

    Elasticsearch 是一个分布式搜索和分析引擎,它使用JSON文档来存储数据。索引是Elasticsearch中数据的基本组织单元之一,下面是Elasticsearch索引相关的基本概念: 结构元素 Elasticsearch MySQL 数据库 索引(Index) 数据库(Database) 表格 类型(Type)* 表(Table) 记录/行 文档(Document)

    2024年02月03日
    浏览(91)
  • 轻松入门MySQL:深入学习数据库表管理,创建、修改、约束、建议与性能优化(3)

    在项目中,正确设置数据表的限定条件是数据存储过程中的关键一步。我们频繁需要创建和修改表以管理各种业务数据。让我们深入学习创建和修改数据表的方法,以产品信息表( product_info )为例。 创建数据表 首先,让我们了解产品信息表的结构: product_id product_name cate

    2024年02月20日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包