1、节点服役
1、克隆准备其中一台节点
2、如果新节点的kafka有被log和datas文件夹要删除
3、修改/etc/hosts 配置新节点映射
1.1 执行负载均衡操作
vim topics-to-move.json
{"topic": "主题名称"}
{
"topics": [
{"topic": "first"}
],
"version": 1
}
生成负载均衡计划
注意
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3"
--generate
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate
可以复制这个作为存储计划,也可以自定义
1.2 创建副本存储计划
vim increase-replication-factor.json
执行存储计划
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute
1.3 验证副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify
查看主题详情
kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first
2、节点退役
1.1 执行负载均衡操作
vim topics-to-move.json
{"topic": "主题名称"}
{
"topics": [
{"topic": "first"}
],
"version": 1
}
生成负载均衡计划
注意kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2"
--generate
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" --generate
2.2 创建副本存储计划
vim increase-replication-factor.json
执行存储计划
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute
执行存储计划
kafka-reassign-partitions.sh --bootstrap-server hadoop100:9092 --reassignment-json-file increase-replication-factor.json --execute
2.3 验证副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify
查看主题详情文章来源:https://www.toymoban.com/news/detail-521969.html
kafka-topics.sh --bootstrap-server hadoop100:9092 --describe --topic first
文章来源地址https://www.toymoban.com/news/detail-521969.html
关闭想要退出的节点
$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.propertie
到了这里,关于kafka入门,节点服役和退役(新增节点和删除节点)(十二)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!