环境和安装包准备：
- 管理界面包：kafka-manager-1.3.3.7.zip (链接)
- kafka二进制包：kafka_2.13-3.5.0.tgz (链接)
- java包：jdk-8u291-linux-x64.tar.gz (链接)
| 节点IP | broker id |
|---|---|
| 10.10.10.10 | 0 |
| 10.10.10.11 | 1 |
| 10.10.10.12 | 2 |
安装java:
- 解压：tar -zxf jdk-8u291-linux-x64.tar.gz
- 编辑/etc/profile配置文件，文件末尾添加如下配置：
export JAVA_HOME=/usr/java/jdk1.8.0_333 #java解压目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
- 让配置生效source /etc/profile
- 查看是否安装成功：java -version
安装kafka:
- 解压kafka_2.13-3.5.0.tgz包，编辑config/zookeeper.properties配置文件：
# the directory where the snapshot is stored.
dataDir=/usr/local/kafka/zookeeper/data
#修改为自定义的zookeeper日志目录
dataLogDir=/usr/local/kafka/zookeeper/log
# the port at which the clients will connect
clientPort=2181
#注释掉
#maxClientCnxns=0
#设置连接参数，添加如下配置
#为zk的基本时间单元，毫秒
tickTime=2000
#Leader-Follower初始通信时限 tickTime*10
initLimit=10
#Leader-Follower同步通信时限 tickTime*5
syncLimit=5
#设置broker Id的服务地址
server.0=10.10.10.10:2888:3888
server.1=10.10.10.11:2888:3888
server.2=10.10.10.12:2888:3888
- 创建好对于目录和文件：
mkdir /usr/local/kafka/zookeeper/data -p
mkdir /usr/local/kafka/zookeeper/log -p
echo "0" > /usr/local/kafka/zookeeper/data/myid # zk集群id
- 编辑kafka配置文件config/zookeeper.properties，只需修改如下几项配置：
broker.id=0 # 需要修改为集群唯一
listeners=PLAINTEXT://10.10.10.10:2888:9092 # 填节点地址
zookeeper.connect=10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181 # 集群节点IP地址
启动服务：
-
启动zookeeper：
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties; echo $? -
启动kafka：
JMX_PORT=9988 bin/kafka-server-start.sh -daemon config/server.properties; echo $?
注意：先把集群所有节点的zookeeper启动起来，再启动kafka
功能验证：
- 创建3副本主题：
bin/kafka-topics.sh --create --topic perf-test --replication-factor 3 --partitions 3 --bootstrap-server 10.10.10.10:9092
- 生产消息：
bin/kafka-producer-perf-test.sh --topic perf-test --num-records 1000 --record-size 64 --throughput -1 --producer-props bootstrap.servers=10.10.10.10:9092
- 消费消息：
bin/kafka-consumer-perf-test.sh --topic perf-test --bootstrap-server 10.10.10.10:9092 --fetch-size 64 --messages 100000
配置可视化界面
- 解压包：kafka-manager-1.3.3.7.zip
- 修改conf/application.conf配置：
kafka-manager.zkhosts="10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181"
#kafka-manager.zkhosts=${?ZK_HOSTS} # 注释掉这行
- 启动服务：
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 & #不加-Dhttp.port，默认9000端口
-
登录页面，添加集群：文章来源：https://www.toymoban.com/news/detail-729601.html
文章来源地址https://www.toymoban.com/news/detail-729601.html
到了这里，关于kafka 3.5.0集群环境部署（使用自带的zookeeper）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
