【ES实战】节点数据的清空

这篇具有很好参考价值的文章主要介绍了【ES实战】节点数据的清空。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

节点数据清空处理

ES数据节点清空处理,指的就是数据的迁移,将在数据节点A的数据迁移得到其他数据节点。
可以通过动态配置cluster.routing.allocation.exclude_ip,来实现,以下是举例的操作步骤:

1、查询集群原来的配置
curl -X GET "http://{ip}:{port}/_cluster/settings?pretty"

出于某种原因,集群中原来就已经排除了某些数据节点,这些配置在未确定的情况下保持不动,数据还是排除。

{
    "persistent": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip}"
                    }
                }
            }
        }
    },
    "transient": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip}"
                    }
                }
            }
        }
    }
}
2、清空节点数据

清空数据节点的数据,{ip}:集群任意节点IP,{port}:http服务端口号,{ip1},{ip2}:需要排除数据的IP,将原来配置需要排除数据的节点IP加上本次排除数据的节点IP,以逗号分隔。

curl -X PUT "http://{ip}:{port}/_cluster/settings?pretty" -H 'Content-Type: application/json' -d'
{
  "persistent" :{
      "cluster.routing.allocation.exclude._ip" : "{ip1},{ip2}"
   },
     "transient" :{
      "cluster.routing.allocation.exclude._ip" : "{ip1},{ip2}"
   }
}'

命令结果:

{
    "acknowledged": true,
    "persistent": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip1},{ip2}"
                    }
                }
            }
        }
    },
    "transient": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip1},{ip2}"
                    }
                }
            }
        }
    }
}

如果集群状态不好,命令可能超时。通过以下命令查询配置是否成功

curl -X GET "http://{ip}:{port}/_cluster/settings?pretty"

看结果中是否有配置的内容。

{
    "persistent": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip1},{ip2}"
                    }
                }
            }
        }
    },
    "transient": {
        "cluster": {
            "routing": {
                "allocation": {
                    "exclude": {
                        "_ip": "{ip1},{ip2}"
                    }
                }
            }
        }
    }
}
3、检查是否排空数据

检查数据节点上是否存在数据,结果中的IP列没有需要下线的IP,说明数据已经排尽,满足机器下线条件了。有的集群分片可能很多,可以将结果输出到文件查询。

curl -X GET "http://{ip}:{port}/_cat/shards?v&pretty&s=ip:desc"
index               shard prirep state   docs  store ip            node
config_s-20211108 1     r      STARTED    0   130b 192.168.1.1 es03-prd
config_s-20211108 2     r      STARTED    0   130b 192.168.1.1 es03-prd
config_s-20211108 0     p      STARTED    0   130b 192.168.1.1 es03-prd
.monitoring-data-2  0     r      STARTED    5 15.7kb 192.168.1.1 es03-prd
config_s-20211107 1     r      STARTED    0   130b 192.168.1.1 es03-prd
config_s-20211107 2     r      STARTED    0   130b 192.168.1.1 es03-prd
config_s-20211107 0     p      STARTED    0   130b 192.168.1.1 es03-prd
4、数据清空失败场景

1、集群中配置了require

GET /_cluster/settings

清空或者将需要删除节点去掉

PUT /_cluster/settings
{
  "persistent" :{
      "cluster.routing.allocation.require._ip" : null
   },
     "transient" :{
      "cluster.routing.allocation.require._ip" : null
   }
}

2、索引中配置了require

GET myindex/_settings

清空或者将需要删除节点去掉

PUT myindex/_settings
{
  "index.routing.allocation.require._ip": null
}
5、加快分片迁移

可以通过修改索引恢复的速度,和集群可以恢复的节点数进行控制。同时在均衡的数量主节点初始化的数量也会有影响。需要结合集群压力配置。不可以过大。

PUT _cluster/settings

{
  "persistent" :{
     "cluster.routing.allocation.node_concurrent_recoveries" : 20,
     "cluster.routing.allocation.node_initial_primaries_recoveries": 20,
     "cluster.routing.allocation.cluster_concurrent_rebalance": 20,
     "indices.recovery.max_bytes_per_sec":"80mb"
 
   },
     "transient" :{
     "cluster.routing.allocation.node_concurrent_recoveries" : 20,
     "cluster.routing.allocation.node_initial_primaries_recoveries": 20,
     "cluster.routing.allocation.cluster_concurrent_rebalance": 20,
     "indices.recovery.max_bytes_per_sec":"80mb"
   }
}

indices.recovery.max_bytes_per_sec默认40mb文章来源地址https://www.toymoban.com/news/detail-450423.html

到了这里,关于【ES实战】节点数据的清空的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker-compose部署6.8.23版本elasticsearch+es-head+kibana多节点集群及部分排错处理

    现阶段很多elasticsearch部署都是7版本之上的,但部分要求是6.8版本,俩者很多配置参数存在差异问题,elasticsearch有状态服务,kubernetes和docker启动有点麻烦,最好用docker-compose启动,可以保证数据稳定。 节点信息 hosts信息 192.168.121.137 es-master 192.168.121.138 es-node1 master执行,node改

    2024年02月14日
    浏览(42)
  • ElasticSearch第十八讲 ES-Master节点职责和ES是如何做到数据实时性的

    由主节点负责ping 所有其他节点,判断是否有节点已经挂掉 创建或删除索引 决定分片在节点之间的分配 稳定的主节点对集群的健康是非常重要的。虽然主节点也可以协调节点,路由搜索和从客户端新增数据到数据节点,但最好不要使用这些专用的主节点。一个重要的原则是

    2024年02月13日
    浏览(43)
  • 【运维知识大神篇】超详细的ELFK日志分析教程4(ES读写文档原理+集群角色+master节点与数据节点分离+Logstash安装部署+Logstash采集本地文件+采集Nginx日志)

    本篇文章继续给大家介绍ELFK日志分析的有关内容,我们的ES和Kibana都介绍的差不多了,所以本篇文章重点介绍Logstash的有关内容,介绍完毕后,我们的ELFK架构将初步形成,此外还有ES读写文档的原理,了解原理,更深层次的理解,使用ES,集群角色和master节点与数据节点分离,

    2024年02月02日
    浏览(56)
  • 项目实战:ES的增加数据和查询数据

    最近需要做一个有关查询聊天记录的功能,通过资料了解到使用ES可以方便我们快速查询内容。自己进行ES框架的搭建,感兴趣的可以看博客进行学习:https://blog.csdn.net/weixin_45309155/article/details/132686375?spm=1001.2014.3001.5501 ES搭建好之后就是应用了,下面就先总结一下关于最近在项

    2024年02月07日
    浏览(36)
  • Elasticsearch实战-数据同步(解决es数据增量同步)

    之前测试的数据都是一次从mysql导入到es,随着时间的推移,每天都有可能发生增删改查,不可能每次都全量同步,所以需要考虑增量同步问题。 缺点: 耦合性高,服务之间会相互影响 依赖消息队列的可靠性 启动:端口8099

    2024年02月11日
    浏览(69)
  • 大数据之LibrA数据库系统告警处理(ALM-12010 Manager主备节点间心跳中断)

    告警解释 当主Manager节点在7秒内没有收到备Manager节点的心跳信号时,产生该告警。 当主Manager节点收到备Manager节点的心跳信号后,告警恢复。 告警属性 告警参数 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理

    2024年02月06日
    浏览(42)
  • selenium+python:clear不生效时,处理清空input框内容

    做selenium自动化时,有时想清楚input框内的内容,但是使用clear却不生效,可以采用其他思路代替clear,就是使用键盘输入ctrl+a,再delete,这样就可以了

    2024年02月05日
    浏览(34)
  • 海量kafka数据入es速度优化处理

    主要是涉及到kafka 消费端到es 的数据处理 kafka端 1、批量消费(效果相当明显) 2、kafka 设置topic多分区,增加kafka的消费并行度(效果相当明显) es 端 1、采用批量插入,批量插入效率较单条插入效率高很多(效果相当明显,一次批量插入数据大小限制在5M内) 2、调整es 中索

    2024年02月12日
    浏览(61)
  • 【Elasticsearch】小白实战!ES使用Reindex迁移数据

    文章有点长,如果你想认真阅读,建议到我语雀文档上观看,格式友好 - ES 迁移工作 最近有一个需求是需要我负责将服务器A里的 ES 数据迁移到服务器B上,但是由于环境不通,所以就先在公司的测试环境和我本地上进行测试,因为之前没有接触过 ES 数据的迁移,所以上手时

    2024年02月05日
    浏览(40)
  • linux查看es节点使用情况,elasticsearch(es) 如何查看当前集群中哪个节点是主节点(master)

    elasticsearch 查看当前集群中的 master 节点是哪个需要使用 _cat 监控命令,具体如下。 查看方法 es 主节点确定命令,以 kibana 上查看示例如下: GET _cat/nodesv 返回结果示例如下: ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 172.16.16.188 52 99 5 2.59 1.70 1.45 mdi - elastic3

    2023年04月15日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包