（二十六）大数据实战——kafka集群之Kraft模式安装与部署-Toy模板网

这篇具有很好参考价值的文章主要介绍了（二十六）大数据实战——kafka集群之Kraft模式安装与部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

本节内容主要介绍kafka3.0版本以后，一种新的kafka集群搭建模式看kraft，在该模式下，kafka高可用不在依赖于zookeeper，用 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。

正文

①解压kafka安装包到/opt/module/kafka-kraft目录下

- 命令：

mkdir -p /opt/module/kafka-kraft
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/kafka-kraft

（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式

②修改kafka目录下/opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft的配置文件server.properties

- server.properties配置文件目录（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式

- 服务器基础配置

############################# Server Basics #############################

# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller

# The node id associated with this instance's roles
node.id=1

# The connect string for the controller quorum
controller.quorum.voters=1@hadoop101:9093,2@hadoop102:9093,3@hadoop103:9093

（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式

- 对外暴露地址的配置

advertised.listeners=PLAINTEXT://hadoop101:9092

（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式

- 配置数据存储目录

log.dirs=/opt/module/kafka-kraft/kafka_2.12-3.0.0/data

（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式

③同步kafka的kraft模式安装包到hadoop102和hadoop103，并修改配置

- 同步kafka安装包

- 修改hadoop102的server.properties配置文件

- 修改hadoop103的server.properties配置文件

④初始化kafka-kraft集群数据目录

- 生成存储目录唯一 ID
bin/kafka-storage.sh random-uuid
- 用该ID格式化kafka集群的存储目录
bin/kafka-storage.sh format -t 4l-ahopRSLSJlH-qxczhYg -c /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties

⑤创建kafka集群启停脚本

- 在kafka的bin目录创建集群启停脚本my-kafka-kraft.sh

#! /bin/bash
case $1 in
"start"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------启动 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties"
 done
};;
"status"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo =============== $i ===============
 ssh $i jps
 done
};;
"stop"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------停止 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
 done
};;
esac

- 在hadoop101服务器创建my-kafka-kraft.sh脚本

（二十六）大数据实战——kafka集群之Kraft模式安装与部署,大数据,# MQ,# kafka,大数据,kafka,分布式