下载软件
首先先下载kafka的包,kafka是apache基金会的一部分,官网下载
我原本下载的是最新的3.6.0,但是部署时发生了错误,所以回退到了2.6.0版本
安装包名:kafka_2.13-2.6.0.tgz,其中2.13是scala版本,因为kafka是用scala语言写的,2.6.0是kafka的版本
tar -xvzf kafka_2.13-2.6.0.tgz
把压缩包放到local目录解压
然后cd进入
cd kafka_2.13-2.6.0
可以看到压缩包内总共有这些内容:
其中etc是我新建的,不属于压缩包
bin里都是.sh文件,存放kafka的常用脚本
config里都是.properties文件,存放kafka的常用配置文件
libs里是kafka的依赖
LICENSE是kafka的许可证文件
logs里存放的是kafka执行后产生的日志文件,也不属于压缩包
NOTICE是kafka的声明文件
site-docs里是kafka相关文档的压缩包
配置环境
配置环境主要就是修改config目录里的几个配置文件
为了方便存档和复原,我这里不直接修改config中的文件,而是把配置文件复制到新建的etc目录,再修改etc中的properties
实际生产应该在不同机器上分别部署kafka,我这边在一台机器上部署三个broker,进行伪分布式部署
kafka集群需要使用zookeeper进行管理(2.8.0后已经不需要了,这里版本是2.6.0),所以除了kafka以外还需要进行zookeeper的配置。
那要复制的配置文件就是:
- zookeeper配置
- server配置*3
把相关的配置文件复制到etc目录
由于我是在同一台机器上部署三个broker,每个broker都需要自己的配置文件,所以server的配置文件总共要复制三份
cd config
cp zookeeper.properties ../etc/zookeeper.properties
cp server.properties ../etc/server-0.properties
cp server.properties ../etc/server-1.properties
cp server.properties ../etc/server-2.properties
然后修改配置文件
zookeeper.properties可以保持不变
三个server.properties是类似的
cd ../etc
vim zookeeper.properties
vim server-0.properties
broker.id分别设为0、1、2
#listeners=PLAINTEXT://:9092 这一行注释去掉,端口分别设为9092、9093、9094
下面log.dirs=/tmp/kafka-logs分别修改为log.dirs=/tmp/kafka-logs-0、log.dirs=/tmp/kafka-logs-1、log.dirs=/tmp/kafka-logs-2
保存退出
etc目录现在一共四个文件,都已经配置好了
启动kafka
首先启动zookeeper
cd ../bin
./zookeeper-server-start.sh ../etc/zookeeper.properties
然后在三个新窗口分别启动三个server
./kafka-server-start.sh ../etc/server-0.properties
./kafka-server-start.sh ../etc/server-1.properties
./kafka-server-start.sh ../etc/server-2.properties
在新窗口新建topic “test”
./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2
创建一个消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 localhost:9093 localhost:9094 --topic test
在新窗口创建一个生产者文章来源:https://www.toymoban.com/news/detail-780795.html
./kafka-console-producer.sh --broker-list localhost:9092 localhost:9093 localhost:9094 --topic test
然后我们在生产者发送的消息都能被消费者接收到
文章来源地址https://www.toymoban.com/news/detail-780795.html
到了这里,关于linux环境配置kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!