Kafka集群安装部署(超详细操作演示)—— Linux

这篇具有很好参考价值的文章主要介绍了Kafka集群安装部署(超详细操作演示)—— Linux。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

  • Kafka是一款分布式的去中心化的高吞吐低延迟订阅模式的消息队列系统。
  • RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错
  • Kafka多用于大数据体系,因其更加专注于数据的吞吐能力
  • Kafka多数都是运行在分布式(集群化)模式下,所以课程将以3台服务器,来完成Kafka集群的安装部署。

安装

前提条件:

  • 确保已经跟随前面的安装教程,安装并部署了JDKZookeeper服务

Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

没安装的可以看完之前的博客:
Linux系统安装部署Tomcat(超详细操作演示)
Zookeeper集群安装部署(超详细操作演示)

1、【在node1操作】 下载并上传Kafka的安装包

# 下载安装包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

也可以下载好,再上传:

rz

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq
查看是否上传成功:

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

2 、【在node1操作】 解压

# 此文件夹如果不存在需先创建
mkdir -p /export/server 

# 解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq
查看是否解压成功:
linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

3、【在node1操作】 修改Kafka目录内的config目录内的server.properties文件

cd /export/server/kafka/config
vim server.properties

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

# 指定broker的id
broker.id=1

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

Esc退出插入模式,输入/dirs 搜索:

# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

Esc退出插入模式,输入/connect 搜索:

# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

Esc退出插入模式,输入:wq 保存退出。

4、【在node1操作】node1kafka复制到node2node3

cd /export/server

# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

5、【在node2操作】

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=2

# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

Esc退出插入模式,输入:wq 保存退出。

6、【在node3操作】

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=3

# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

Esc退出插入模式,输入:wq 保存退出。

7、启动kafka

# 请先确保Zookeeper已经启动了
# 方式1:【前台启动】分别在node1、2、3上执行如下语句 (一般很少用!)
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2:【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

8、验证Kafka启动

# 在每一台服务器执行
jps

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

测试Kafka能否正常使用

1、创建测试主题

# 在node1执行,创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

2、运行测试,请在FinalShell中打开2个node1的终端页面

# 打开一个终端页面,启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面,在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

linux上搭建kafka集群搭建详细步骤,Linux,kafka,linux,java-rabbitmq

左边输入,右边能同步输出,就成功啦!文章来源地址https://www.toymoban.com/news/detail-771714.html

到了这里,关于Kafka集群安装部署(超详细操作演示)—— Linux的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper和kafka集群搭建步骤(超详细,易理解)

    目录 1.修改文件名 2.修改zoo.cfg配置文件内容 (1)找到#maxClientCnxns=60命令在下面添加 3.进入/tmp目录 (1)创建zookeeper目录 (2)进入zookeeper目录中创建myid文件,添加  \\\'  1  \\\';

    2024年02月15日
    浏览(61)
  • Linux 系统安装 Redis7 —— 超详细操作演示!

    数据库系列文章: 关系型数据库 : MySQL —— 基础语法大全 MySQL —— 进阶 非关系型数据库 : Redis 的安装与配置 Redis 基本命令(上) Redis 基本命令(下) 1.1 Redis 简介 Redis Re mote Di ctionary S erver , 远程字典服务 , 由意大利人 Salvatore Sanfilippo (又名 Antirez 开发, 是一个使用

    2024年02月06日
    浏览(54)
  • Gradio入门到进阶全网最详细教程[一]:快速搭建AI算法可视化部署演示(侧重项目搭建和案例分享)

    常用的两款AI可视化交互应用比较: Gradio Gradio的优势在于易用性,代码结构相比Streamlit简单,只需简单定义输入和输出接口即可快速构建简单的交互页面,更轻松部署模型。适合场景相对简单,想要快速部署应用的开发者。便于分享:gradio可以在启动应用时设置share=True参数

    2023年04月25日
    浏览(41)
  • Linux实战——Kafka集群安装部署

    Kafka是一款 分布式的、去中心化的、高吞吐低延迟、订阅模式 的消息队列系统。 同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。 Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。 Kafka多数都是运行在分布式(集群

    2023年04月09日
    浏览(53)
  • Kafka集群安装部署(自带zookeeper)

    •Kafka 将消息以 topic 为单位进行归纳。 • 将向 Kafka topic 发布消息的程序成为 producers. • 将预订 topics 并消费消息的程序成为 consumer. •Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker. producers 通过网络将消息发送到 Kafka 集群,集群向消费者提

    2024年02月10日
    浏览(48)
  • Gradio入门到进阶全网最详细教程[二]:快速搭建AI算法可视化部署演示(侧重参数详解和案例实践)

    相关文章:Gradio入门到进阶全网最详细教程[一]:快速搭建AI算法可视化部署演示(侧重项目搭建和案例分享) 在教程一中主要侧重讲解gradio的基础模块搭建以及demo展示,本篇文章则会侧重实际任务的搭建。 保持一贯作风简单展示一下如何使用 gradio的核心是它的gr.Interface函数,

    2023年04月26日
    浏览(51)
  • 免登陆 同步脚本 zookeeper kafka集群详细安装步骤

    一.免登陆配置 二.集群同步

    2024年02月08日
    浏览(48)
  • (二十六)大数据实战——kafka集群之Kraft模式安装与部署

    本节内容主要介绍kafka3.0版本以后,一种新的kafka集群搭建模式看kraft,在该模式下,kafka高可用不在依赖于zookeeper,用 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进 行 Kafka 集群管理。 ①解压kafka安装包到/opt/module/kafka-kraft目录下 - 命令: ②修改k

    2024年02月08日
    浏览(48)
  • (二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

    本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作者往期博客内容。新版本的kafka集群分

    2024年02月09日
    浏览(40)
  • kafka的详细安装部署

    Kafka是一个分布式流处理平台,主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发,现在由Apache Software Foundation维护和开发。 Kafka的核心是一个分布式发布-订阅消息系统,它可以处理大量的消息流,并将它们传递给多个消费者。Kafka的消息被组织成多个主题(T

    2024年01月17日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包