linux部署单机kafka(使用kafka自带zookeeper)

这篇具有很好参考价值的文章主要介绍了linux部署单机kafka(使用kafka自带zookeeper)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

部署说明

本文使用kafka单节点安装及配置,并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群,可以连单独的zookeeper,本文不涉及。文章来源地址https://www.toymoban.com/news/detail-565852.html

kafka下载

  1. 根据需要下载对应版本的安装包,下载地址:
    https://archive.apache.org/dist/kafka/
  2. 上传安装包并解压重命名(路径自定义):
    如:上传到 /opt 路径下
    解压和重命名:
cd opt
tar -zxvf kafka_2.12-2.5.0.tgz
mv kafka_2.12-2.5.0 kafka

修改zookeeper配置

vim kafka/config/zookeeper.properties
dataDir=/opt/kafka
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=100
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080

修改kafka配置

vim kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://192.168.111.111:9092
advertised.listeners=PLAINTEXT://192.168.111.111:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=192.168.111.111:2181
# 本机ip
host.name=192.168.111.111

启动zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties &

启动kafka

./kafka-server-start.sh ../config/server.properties &

到了这里,关于linux部署单机kafka(使用kafka自带zookeeper)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 单机部署Kafka和开启SASL认证以及基础命令使用

    ​ 操作系统:linux kafka:kafka_2.13-3.3.2 zookeeper:apache-zookeeper-3.7.1-bin 1.下载zookeeper和kafka安装包 2.解压 3.修改zookeeper配置文件并启动 修改zoo.cfg文件,增加以下命令 创建zk_server_jaas.conf文件(开启kafka sasl认证使用),文件内容 此外,认证过程需要导入kafka的依赖类,在下载的kafka

    2024年01月18日
    浏览(45)
  • 从0到一搭建Kafka-单机版-通过单机版zookeeper配置

    教程https://www.bilibili.com/video/BV1t34y1G7NW/ 首先得找到一些基本概念: Java 程序从源代码到运行主要有三步: 编译 :将我们的代码(.java)编译成虚拟机可以识别理解的字节码(.class) 解释 :虚拟机执行Java字节码,将字节码翻译成机器能识别的机器码 执行 :对应的机器执行二进

    2024年02月07日
    浏览(38)
  • CentOS7中新版本自带zookeeper搭建Kafka集群

    一、zookeeper在kafka中的具体作用     它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中,Kafka通过Zookeeper管理集群控制,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Con

    2024年02月08日
    浏览(75)
  • 单机部署zookeeper集群

    系统 CentOS 7.6 jdk jdk1.8.0_162 zookeeper zookeeper-3.6.2 zookeeper节点 客户端连接端口 交换信息端口 选举通信端口 数据目录 事务日志目录 2181 2181 2661 3661 ./2181/zkdata ./2181/zklogs 2182 2182 2662 3662 ./2182/zkdata ./2182/zklogs 2183 2183 2663 3663 ./2183/zkdata ./2183/zklogs 创建目录 解压安装包 修改配置文件

    2024年02月12日
    浏览(28)
  • 【Linux系统基础】(5)在Linux上集群化环境前置准备及部署Zookeeper、Kafka软件详细教程

    在前面,我们所学习安装的软件,都是以单机模式运行的。 后续,我们将要学习大数据相关的软件部署,所以后续我们所安装的软件服务,大多数都是以集群化(多台服务器共同工作)模式运行的。 所以,在当前小节,我们需要完成集群化环境的前置准备,包括创建多台虚

    2024年02月03日
    浏览(32)
  • k8s部署kafka,并使用zookeeper做注册中心

    kafka在3.x版本后增加KRaft作为自己的注册中心,可以不依赖外部的zk;这里上一篇已经部署好了zk,kafka依然使用zk作为注册中心。 这里使用kafka是为集成zipkin收发微服务接口链路日志数据,只需要部署1个实列即可够用。 编写脚本yaml vi kafka.yaml 执行部署 kubectl apply -f kafka.yaml 查

    2024年02月07日
    浏览(27)
  • 【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构(附部署实例)

    分布式应用管理框架 。 Zookeeper是个开源的,分布式的,为分布式框架提供协调服务的Apach项目。 主要用于解决分布式应用集群中 应用系统的一致性问题 。 作为 文件系统 ,用于注册各种分布式应用, 储存管理分布式应用的元信息 ; 作为 通知机制 ,如果节点或者服务本身的

    2024年02月08日
    浏览(49)
  • ZooKeeper 实战(一) 超详细的单机与集群部署教程(MacOS)

    ZooKeeper是一个提供包括配置维护、域名服务、分布式同步、组服务等功能的集中式服务。主要功能如下: 分布式锁:Zookeeper可以帮助开发人员实现分布式锁,用于控制多个节点的并发访问。通过Zookeeper的原子广播和顺序一致性特性,可以实现高效且可靠的分布式锁。 配置管

    2024年04月25日
    浏览(25)
  • kafka_2.12-2.3.1 自带zookeeper 关闭四字命令 添加Acl IP白名单

    一、关闭四字命令 1、启动zk的命令: ./bin/zookeeper-server-stop.sh 2、修改zookeeper配置文件 关闭4字命令 [root@xxx-189  kafka]# vi conf/zookeeper.properties # 关闭4字命令 4lw.commands.whitelist= 3、 启动zookeeper  ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 二、zookeeper设置ACL IP白名单 1、连

    2024年02月13日
    浏览(29)
  • 单机部署Kafka和开启SASL认证

    操作系统:linux apache-zookeeper-3.8.1-bin.tar.gz kafka_2.13-3.4.0.tgz 1.上传zookeeper 与kafka到 /opt 2、解压 tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz tar -zxvf  kafka_2.13-3.4.0.tgz mv apache-zookeeper-3.8.1-bin zookeeper mv kafka_2.13-3.4.0 kafka 3、修改zookeeper配置文件并启动 修改zoo.cfg,增加以下命令 创建zk_server_j

    2024年01月22日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包