生产环境ES集群扩容及优化

这篇具有很好参考价值的文章主要介绍了生产环境ES集群扩容及优化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES集群优化

具体详情请看官方文档建议:https://www.elastic.co/guide/en/elasticsearch/reference/7.5/restart-cluster.html文章来源地址https://www.toymoban.com/news/detail-523025.html

1.先把elasticsearch的服务停掉
systemctl stop elasticsearch
kill -9 进程号
2.修改jvm.options配置文件下最大、最小内存限制
-Xms26g
-Xmx26g

官方文档建议是不要超过32g,最好保持在30g以内,26g最优
3.重启elasticsearch
建议是全部停了之后,一起启动集群
systemctl start elasticsearch

#注意 重启之前要先把重新分片的配置关掉,以免数据量太大,导致重启时,集群重新分片,等候时间长短不确定(有可能等个好几天)
4.配置
# 调整副本数量
curl -X PUT "localhost:9200/xxx" -H 'Content-Type: application/json' -d' 
{
    "number_of_replicas": 0
}'

# 调整分配并发,默认2
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d' 
{
    "persistent" : {
        "indices.recovery.max_concurrent_file_chunks": 10
    }
}'

# 调整分配速度限制, 默认40mb
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d' 
{
    "persistent" : {
        "indices.recovery.max_bytes_per_sec" : "2048mb"
    }
}'

#注意 集群起来后,要把配置还原
5.可供使用的查询地址
# 查看集群信息
http://localhost:9200/_cat/health?v

# 查看恢复进度
http://localhost:9200/_cat/recovery

#查看分片信息
http://localhost:9200/_cat/shards?v

#查看节点资源情况
http://localhost:9200/_cat/nodes?v&h=host,heap.current,heap.percent,heap.max,ram.max,disk.avail,node.role

#查看索引信息
http://localhost:9200/_cat/indices?v

#查看集群动态配置
http://localhost:9200/_cluster/settings?pretty

#查看副本数量
http://localhost:9200/_cat/indices?v

ES优化

  "index.refresh_interval": "60s",
  "index.translog.flush_threshold_size": "500mb",
  "index.translog.durability": "async",
  "index.merge.scheduler.max_thread_count": "1",
  "index.merge.policy.max_merge_at_once": "10",
  "index.merge.policy.max_merged_segment": "10gb",
  "index.merge.policy.segments_per_tier": "50",
  "index.merge.policy.floor_segment": "50mb",
  "index.number_of_replicas": "0"

到了这里,关于生产环境ES集群扩容及优化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ES主集群的优化参考点

    因为流量比较大, 导致ES线程数飙高,cpu直往上窜,查询耗时增加,并传导给所有调用方,导致更大范围的延时。如何解决这个问题呢? ES负载不合理,热点问题严重。ES主集群一共有几十个节点,有的节点上部署的shard数偏多,有的节点部署的shard数很少,导致某些服务器的

    2024年02月07日
    浏览(34)
  • ElasticSearch---查询es集群状态、分片、索引

    查看es集群状态: 如果?后面加上pretty,能让返回的json格式化。 加上?v的返回结果,如下: 解释如下: 查看es分片信息: 查看es分片信息,模糊匹配,比如匹配test: 返回信息如下: 解析如下: 查看状态为unassigned的es分片信息: 查看es索引 查看es所有索引: indices表示索引,是

    2024年02月02日
    浏览(41)
  • elasticsearch——ES集群分片不平衡处理

    在使用云上的一个ES集群的时候,发现搜索性能很差,查看分片情况,发现ES有12个节点,索引创建了10个分片,1个副本,最后20个分片全在其中3个节点上,分布不均衡,实际只消耗了3个节点的资源,所以性能很差,再次创建新的索引,发现仍然是这种情况,最后通过下面的命

    2024年02月13日
    浏览(39)
  • ES(ElasticSearch)快速入门和集群搭建

    ​ ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用kibana来测试,目的是对ES的使用方法及流程有个初步的认识。 创建index 索引库。包含若干相似结构的 Document 数据,相当于数据库的database。 语法: PUT /index_name 如: number_of_shards - 表示一个索引

    2024年02月07日
    浏览(53)
  • 【ElasticSearch】ES集群搭建、监控、故障转移

    单机的ES做数据存储与搜索,必然面临两个问题: 海量数据存储问题 单点故障问题 因此,考虑使用ES集群: 海量数据存储问题:将索引库从逻辑上拆分为N个分片(shard),存储到多个节点。如此,ES的存储能力就是所有节点存储能力的总和 单点故障问题:将分片数据 在不同

    2024年02月16日
    浏览(63)
  • 【elasticsearch】修改es集群的索引副本数量

    最近海外es集群进行调整,从3节点变成了单节点。所以需要将集群模式改为单点模式,并需要将es 集群的全部索引副本个数改为0,不然会有很多未分配的分片,导致集群状态为 yellow 。 1. 先将现有的index的副本数量为0个 此步骤是为了解决现有的索引副本数。 2. 创建模板匹配

    2024年02月11日
    浏览(49)
  • elasticsearch修改es集群的索引副本数量

    最近es集群进行调整,从2节点变成了单节点。所以需要将集群模式改为单点模式,并需要将es 集群的全部索引副本个数改为0,不然会有很多未分配的分片,导致集群状态为 yellow。 1. 先将现有的index的副本数量为0个 此步骤是为了解决现有的索引副本数。 2. 创建模板匹配所有

    2024年02月08日
    浏览(44)
  • ElasticSearch——详细看看ES集群的启动流程

    参考:一起看看ES集群的启动流程 本文主要从流程上介绍整个集群是如何启动的,集群状态如何从Red变成Green,然后分析其他模块的流程。 这里的集群启动过程指 集群完全重启时的启动过程,期间要经历 选举主节点、主分片、数据恢复 等重要阶段,理解其中原理和细节,对

    2024年02月01日
    浏览(44)
  • elasticSearch集群 springboot集成es 完全解析

    #编写compose.yml配置文件 #每个节点都创建一个elasticsearch.yml文件 用到的命令: systemctl start docker docker-compose up es和kibana版本必须一样 environment:配置容器内的环境变量 networks:创建一个名为elastic的局域网,让各节点以及kibana,es-head相互联系 network.host: 0.0.0.0:意为监听一切地址,可

    2024年02月03日
    浏览(45)
  • Elasticsearch(ES)配置及优化

    在Elasticsearch中,索引的大小和存储能力取决于多个因素,包括文档大小、索引的分片数、硬件规格、查询负载和其他因素。 索引和分片配置:索引和分片的数量和配置会对查询并发性能产生影响。如果索引和分片的数量太少,可能会导致查询性能不佳,而如果数量过多,可

    2023年04月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包