linux环境配置kafka

这篇具有很好参考价值的文章主要介绍了linux环境配置kafka。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

下载软件

首先先下载kafka的包,kafka是apache基金会的一部分,官网下载

我原本下载的是最新的3.6.0,但是部署时发生了错误,所以回退到了2.6.0版本
安装包名:kafka_2.13-2.6.0.tgz,其中2.13是scala版本,因为kafka是用scala语言写的,2.6.0是kafka的版本

tar -xvzf kafka_2.13-2.6.0.tgz

把压缩包放到local目录解压
然后cd进入

cd kafka_2.13-2.6.0

可以看到压缩包内总共有这些内容:
linux环境配置kafka,linux,kafka,运维
其中etc是我新建的,不属于压缩包
bin里都是.sh文件,存放kafka的常用脚本
config里都是.properties文件,存放kafka的常用配置文件
libs里是kafka的依赖
LICENSE是kafka的许可证文件
logs里存放的是kafka执行后产生的日志文件,也不属于压缩包
NOTICE是kafka的声明文件
site-docs里是kafka相关文档的压缩包

配置环境

配置环境主要就是修改config目录里的几个配置文件
为了方便存档和复原,我这里不直接修改config中的文件,而是把配置文件复制到新建的etc目录,再修改etc中的properties
实际生产应该在不同机器上分别部署kafka,我这边在一台机器上部署三个broker,进行伪分布式部署
kafka集群需要使用zookeeper进行管理(2.8.0后已经不需要了,这里版本是2.6.0),所以除了kafka以外还需要进行zookeeper的配置。
那要复制的配置文件就是:

  • zookeeper配置
  • server配置*3

把相关的配置文件复制到etc目录
由于我是在同一台机器上部署三个broker,每个broker都需要自己的配置文件,所以server的配置文件总共要复制三份

cd config
cp zookeeper.properties ../etc/zookeeper.properties
cp server.properties ../etc/server-0.properties
cp server.properties ../etc/server-1.properties
cp server.properties ../etc/server-2.properties

然后修改配置文件
zookeeper.properties可以保持不变
三个server.properties是类似的

cd ../etc
vim zookeeper.properties
vim server-0.properties

broker.id分别设为0、1、2
#listeners=PLAINTEXT://:9092 这一行注释去掉,端口分别设为9092、9093、9094
linux环境配置kafka,linux,kafka,运维
下面log.dirs=/tmp/kafka-logs分别修改为log.dirs=/tmp/kafka-logs-0、log.dirs=/tmp/kafka-logs-1、log.dirs=/tmp/kafka-logs-2
保存退出

etc目录现在一共四个文件,都已经配置好了
linux环境配置kafka,linux,kafka,运维

启动kafka

首先启动zookeeper

cd ../bin
./zookeeper-server-start.sh ../etc/zookeeper.properties

然后在三个新窗口分别启动三个server

./kafka-server-start.sh ../etc/server-0.properties
./kafka-server-start.sh ../etc/server-1.properties
./kafka-server-start.sh ../etc/server-2.properties

在新窗口新建topic “test”

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2

创建一个消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 localhost:9093 localhost:9094 --topic test

在新窗口创建一个生产者

./kafka-console-producer.sh --broker-list localhost:9092 localhost:9093 localhost:9094 --topic test

然后我们在生产者发送的消息都能被消费者接收到
linux环境配置kafka,linux,kafka,运维文章来源地址https://www.toymoban.com/news/detail-780795.html

到了这里,关于linux环境配置kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据平台运维(hadoop入门(保姆篇))----概述及基本环境配置(HA-1)

    2022.12.4  大数据运维基础篇 本章主要是基础坏境配置 目录 前言  一、hadoop是什么? 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成  二、大数据技术体系                   2.1 HDFS 架构概述Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 2.2 YARN 架构概述 2.3 MapRed

    2024年02月08日
    浏览(51)
  • Linux 环境中redis查询数据的多种方法,linux 一行命令代替连接 + 查询,不得不看,运维必学

    1、第一种方法:我们可以先登录Linux服务器上,使用redis-cli 命令连接到redis 数据库,使用查询命令 查询我们想要的数据。 2、使用redis --help 查询redis中的参数,使用命令行中所带的 -e 参可以查询我们想要的数据。 2. 1、使用数据库连接命令 + -e + 数据库查询命令。 3、第三种

    2024年02月12日
    浏览(60)
  • Spark+Flink+Kafka环境配置

    一、准备工作 1.安装虚拟机 VMware 安装 CentOS 7, 选择mini版,英文,网络NAT。 http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso 重启网络服务, 确保自己能够ping通baidu,如果依旧不行可以直接reboot重启虚拟机 查看ip地址 2. 安装java 环境 3.安装scala 4.安装screen 5

    2024年04月12日
    浏览(41)
  • 超简洁步骤安装kafka(linux环境)

    一、查看jdk是否安装(如果没有安装,可自行百度安装) 二、安装zookeeper 1、Apache ZooKeeper官网下载安装包 2、通过rz命令将zookeeper安装包上传到linux 3、解压安装包 tar zxvf apache-zookeeper-3.7.1-bin.tar.gz 4、在zookeeper的conf目录下修改配置文件名(启动zookeeper的时候会去找zoo.cfg) mv

    2024年02月11日
    浏览(34)
  • Kafka_2.13-3.4.0环境的配置

    省略... 省略... [root@localhost java]# vi /etc/profile 在profile中添加如下内容:  使修改生效: 省略... 省略... 创建一个Java软连接,启动Kafka时需要,不然会出现启动报错:/bin/kafka-run-class.sh: line 258: exec: java: not found

    2024年02月11日
    浏览(38)
  • 在Linux上配置Spug自动化运维平台,实现公网远程访问

    Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。 本例演示搭建使用docker compose 方式安装Spug,并结合cpolar 内网穿透实现远程

    2024年02月07日
    浏览(39)
  • 系统运维-Rocky Linux9.0配置IP地址TCP/IP参数

    在Rocky9中,丢弃使用了传统的network 而使用新的NetworkManager管理方式 所有较之前的版本配置方式有所不同 先查看下未配置前现在的ip参数 可以看到现在是dhcp获取的192.168.252.151 现在配置一下静态: 更改 [ipv4] 那段: 更改完成后保存退出 接下来写入配置文件 再更新一下网卡配

    2024年02月11日
    浏览(58)
  • Linux环境下(Centos7) 下安装Kafka详细教程

    1.1 选择镜像: 清华镜像 阿里镜像 可以在上面两个地方选一个合适的镜像 1.2 安装步骤 创建文件夹: 进入文件夹: 下载镜像至新建的文件夹: 此处的zookeeper版本可能已经失效了,同学们可在镜像网站内选择合适的zookeeper版本,然后以此命令替换掉 镜像源下载即可。 解压下载

    2024年02月12日
    浏览(51)
  • Windows下安装单机Kafka环境及配置SASL身份认证

    zookeeper和kafka都是java开发的,所以安装前先安装1.8版本以上的jdk,并设置环境变量 JAVA_HOME=d:envJavajdk1.8.0_14 1.1 Apache ZooKeeper点击下载地址 Apache ZooKeeper,下载最新版本zookeeper压缩包,解压到本地 1.2 来到 conf文件夹下,复制一份 zoo_sample.cfg ,改名为 zoo.cfg 1.3 在安装目录下新

    2024年02月01日
    浏览(40)
  • Kafka3.0.0版本——集群部署(linux环境-centos7)

    三台服务器 服务器名称 服务器ip centos7虚拟机1 192.168.136.27 centos7虚拟机2 192.168.136.28 centos7虚拟机3 192.168.136.29 Zookeeper集群安装参考此博文链接:https://wwwxz.blog.csdn.net/article/details/129280956?spm=1001.2014.3001.5502 3.1、官网下载地址 官网下载地址:http://kafka.apache.org/downloads.html 3.2、下载

    2024年02月04日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包