Kafka简介
💡 Tips:本文主要介绍在Linux系统中安装和使用Lafka的操作步骤。
安装Kafka
访问Kafka官网,下载安装包版本(https://kafka.apache.org/downloads),下载 kafka_2.12-3.3.2.tgz,前面的 2.12 是 Scala的版本号,后面的3.3.2是kafka的版本号。https://downloads.apache.org/kafka/3.3.2/kafka_2.12-3.3.2.tgz
下载后,按照命令进行安装:
cd /home/guozhong wget https://downloads.apache.org/kafka/3.3.2/kafka_2.12-3.3.2.tgz tar -zxvf kafka_2.12-3.3.2.tgz -C /opt/modules/app cd /opt/modules/app mv kafka_2.12-3.3.2 kafka chown -R hadoop ./kafka
启动Kafka
安装完成后,首先要启动Kafka。登录Linux系统(本教程使用已经创建的hadoop用户),打开一个终端,输入命令启动Zookeeper服务:
cd /opt/modules/app/kafka ./bin/zookeeper-server-start.sh config/zookeeper.properties
注意:执行完上面的命令后,终端窗口会返回一堆信息,然后停止不动了,没有回到shell命令提示符状态,这时,不要误以为是程序任务死掉了,而是Zookeeper服务器已经启动了,正处于运行状态下。所以,千万不要关闭该终端窗口,一旦关闭,Zookeeper服务就停止了。
请另打开一个终端,然后输入以下命令启动kafka服务:
cd /opt/modules/app/kafka ./bin/kafka-server-start.sh config/server.properties
同样的,执行上面的命令后,终端窗口也返回一堆信息,然后就会停止不动,没有回到shell命令提示符状态,同样不要以为死机了,而是Kafka服务器已经启动,正处于运行状态。所以不要关闭终端窗口。否则,关闭后Kafka服务就停止了。
当然,要想kafka在后台运行,可以采用在结尾增加"&"的命令:
cd /opt/modules/app/kafka ./bin/kafka-server-start.sh config/server.properties &
这样,Kafka启动后就会在后台运行,即使关闭了终端窗口,服务也一直在运行。
查看当前启动的服务:
[root@hadoop01 kafka]# jps 2711 Kafka 4600 Jps 2255 QuorumPeerMain
创建Topic
再打开第三个终端,然后输入以下命令,创建一个自定义名称为“testsender”的Topic:(这2.12版本之后的创建方式,老版本的创建方式命令不同,可以查看⚠️常见问题 说明)
./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092 Created topic testsender.
可执行如下命令,查看"testsender"的Topic是否已成功创建:
./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 testsender
启动生产者和消费者
启动生产者发送消息:
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testsender >hello >123456
启动消费者接收消息:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testsender --from-beginning 接收到消息: hello 123456
⚠️常见问题
解决zookeeper is not a recognized option问题
出现如下错误,这时不要慌
分析这个问题可能有两点:
第一点:当我们使用如下命令创建 topic 时,会报此错误。比如要创建一个名称为“testsender”的topic,当前安装的版本是2.12,这时我们要使用新版本的创建topic命令来执行,老版本是报以上错误的。
老版本的创建topic方式:
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testsender
我们采用新版本的创建topic方式:
./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092
第二点:如果采用新版本的创建方式还是报错,这时要考虑的问题多数在配置文件上,这个问题多数是因为:kafka 的配置文件和 zookeeper 的配置文件,我们都按照默认,并没有修改,这里可能需要修改就是这两个文件:kafka-server-start.sh 和 zookeeper-server-start.sh中默认的启动内存,初始值有点大,如果服务器的配置比较低的话,会报内存不足的错误,这个问题不太容易发现,这里我们可以把启动内存调小一点。
kafka-server-start.sh文件: Xms1G 调整为 Xms128M
默认:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}
修改后:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms128M" fi EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}
zookeeper-server-start.sh文件:Xmx512M 调整为 Xms128M
默认:
if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties" fi if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" fi EXTRA_ARGS=${EXTRA_ARGS-'-name zookeeper -loggc'}
修改为:文章来源:https://www.toymoban.com/news/detail-463407.html
if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties" fi if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx512M -Xms128M" fi EXTRA_ARGS=${EXTRA_ARGS-'-name zookeeper -loggc'}
接下来重启服务,再试一下:文章来源地址https://www.toymoban.com/news/detail-463407.html
./bin/kafka-topics.sh --create --topic testsender --bootstrap-server localhost:9092 Created topic testsender.
📗 参考资料
- https://dblab.xmu.edu.cn/blog/3956/
到了这里,关于Kafka在Linux下的安装和使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!