centos7 安装部署kafka

这篇具有很好参考价值的文章主要介绍了centos7 安装部署kafka。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载

官网地址: https://kafka.apache.org/downloads
kafka 在 2.8 版本开始脱离 zookeeper,本文示例版本为 2.7.2。
centos7 安装部署kafka,Linux运维,kafka,分布式
选择图中标记的版本下载。

  • kafka-2.7.2.src.tgz 是源码格式,需要编译。
  • kafka_2.12-2.7.2.tgz、kafka_2.13-2.7.2.tgz 是二进制格式,其中 2.12 和 2.13 代表 scala 的版本。

二、解压

将下载的文件放到linux的 /usr/local 目录下,然后解压:

cd /usr/local
tar -zxvf kafka_2.13-2.7.2.tgz

三、配置

进入 kafka 的 config 目录下

cd /usr/local/kafka_2.12-2.7.2/config
ll

centos7 安装部署kafka,Linux运维,kafka,分布式

  • consumer.properties 是消费者的相关配置
  • producer.properties 是生产者的相关配置
  • server.properties 是 kafka 服务的配置
  • zookeeper.properties 是 zookeeper 的相关配置
    • zookeeper 中记录kafka的broker等信息

修改 server.properties 的配置。

vim /usr/local/kafka_2.12-2.7.2/config/server.properties

centos7 安装部署kafka,Linux运维,kafka,分布式
centos7 安装部署kafka,Linux运维,kafka,分布式
修改 zookeeper.properties 的配置

vim /usr/local/kafka_2.12-2.7.2/config/zookeeper.properties

centos7 安装部署kafka,Linux运维,kafka,分布式
修改完成保存退出

四、启动

进入 kafka 的安装目录

cd /usr/local/kafka_2.12-2.7.2/

启动 zookeeper

./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动 kafka

./bin/kafka-server-start.sh -daemon config/server.properties

查看是否启动成功

jps -l
或
ps -ef | grep zookeeper
ps -ef | grep kafka

centos7 安装部署kafka,Linux运维,kafka,分布式

五、kafka 操作

kafka/bin 目录:
centos7 安装部署kafka,Linux运维,kafka,分布式
kafka 整体有三大模块,分别为生产者producer、消费者consumer 和主题topic,其中 topic 是保存在kafka集群中的,producer 和 consumer 向集群中的 topic 中添加 events 以及消费 events,而针对这三大模块,在kafka的bin目录下,分别有对应的可执行脚本。

5.1 kafka-topics.sh

参数 说明
–bootstrap-server <String: server to connect to> 连接的kafka的broker的主机名称和端口号
–topic <String: topic> 操作的topic的名称
–create 创建topic
–delete 删除主题
–alter 修改主题
–list 查看所有主题
–describe 查看主题详细描述
–partitions <Integer: # of partitions> 设置分区数
–replication-factor <Integer:replication factor> 分区副本数,一般跟kafka节点数相同
–config <String: name=value> 更新系统默认的配置

使用 topic 控制台创建一个 topic

cd /usr/local/kafka_2.12-2.72/
./bin/kafka-topics.sh --bootstrap-server loaclhost:9092 --create --topic testTopic --partitions 1 --replication-factory 1
	# --bootstrap-server 表示要连接到哪台机器上
	# --create 表示要创建一个 topic
	# --topic 表示要创建的topic的名称,这里是 testTopic
	# --partitions 表示分区数
	# --replication-factory 表示副本数,不能大于 kafka 的节点数

5.2 kafka-console-consumer.sh

使用 consumer 控制台订阅 topic

cd /usr/local/kafka_2.12-2.72/
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic
	# --from-beginning 消费者订阅topic之前,生产者如果已经发布了一个event,这时消费者是拿不到这个event的,如果想要拿到之前已经发布的event,就加上该参数。

5.3 kafka-console-producer.sh

使用 producer 控制台发布 event

cd /usr/local/kafka_2.12-2.72/
./bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic testTopic
	# 在箭头后输入要发送的 event,每行代表一个 event

在 producer 中发布的 event,topic 的订阅者会接收到。
centos7 安装部署kafka,Linux运维,kafka,分布式
centos7 安装部署kafka,Linux运维,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-778875.html

到了这里,关于centos7 安装部署kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CentOS7部署Kafka

    1.安装jdk1.8 2.安装zookeeper 编辑内容 配置详解(与部署无关) –zookeeper :指定了kafka所连接的zookeeper服务地址 –topic :指定了所要创建主题的名称 –partitions :指定了分区个数 –replication-factor :指定了副本因子 –create :创建主题的动作指令 –bootstrap-server 指定了连接kafka集

    2024年02月03日
    浏览(24)
  • linux centos7系统离线部署mysql-8.0.35免安装版本

    在CentOS中默认安装有MariaDB,是MySQL的一个分支,主要由开源社区维护。 CentOS 7及以上版本已经不再使用MySQL数据库,而是使用MariaDB数据库。 如果直接安装MySQL,会和MariaDB的文件冲突。 因此,需要先卸载自带的MariaDB,再安装MySQL。 查看版本: 卸载 检查是否卸载干净: 注意:

    2024年01月18日
    浏览(36)
  • 3台Centos7快速部署Kafka集群

    首先,我要说,Kafka 是强依赖于 ZooKeeper 的,所以在设置 Kafka 集群之前,我们首先需要设置一个 ZooKeeper 集群。 部署ZooKeeper需要安装jdk yum install java-1.8.0-openjdk 安装完以后 下面是详细的步骤: 1.1 下载 ZooKeeper: 1.2 解压缩: 1.3 在每台机器上创建 myid 文件,并存放在一个特定的

    2024年02月08日
    浏览(30)
  • (Linux)Centos7.*版本安装配置Java环境、Tomcat、Nginx并打包部署SSM框架web系统

    目录 一、准备软件与安装包 (一)、必须的软件 1、点击下载Xshell 2、点击下载FileZilla (二)、准备安装包 1、点击下载JDK1.8Linux版本 2、点击下载Nginx 3、点击下载Tomcat   二、关于FileZilla软件的使用说明 (一)、FileZilla软件的打开和说明 (二)、配置服务器地址去连接服务器  三、X

    2023年04月25日
    浏览(44)
  • linux centos7部署telnet

    一、xinetd安装 telnet服务依赖于xinetd服务,所以需要首先安装xinetd服务 查看服务器是否安装有xinetd,如果已安装则进行下一步,没有则先安装xinetd服务 1、下载上传xinetd安装包 2、安装xinetd服务 3、启动xinetd服务 二、telnet安装 1、下载上传telnet安装包 第一个为telnet客户端安装包

    2024年02月10日
    浏览(21)
  • CentOS7安装部署Zookeeper

    Apache ZooKeeper 是一个分布式应用程序协调服务;用于维护配置信息、命名、提供分布式同步和组服务。 客户端-服务器模型 :ZooKeeper 遵循客户端-服务器模型,客户端可以向任何服务器节点发起请求。 数据模型 :采用类似文件系统的树形结构来存储数据,每个节点称为 ZNode。

    2024年02月04日
    浏览(37)
  • Linux系统(Centos7)部署JDK环境

    要想在将Java项目上线,则必须在Linux系统中部署Java项目,而要想Java项目在Linux系统中运行,则首先必须在LInux系统中部署JDK环境,具体步骤如下所示: 1.下载JDK8 JDK下载路径 目前官网下载jdk的时候需要登录,这边分享一个可以使用的账号,方便大家下载: 账号:913898356@qq.c

    2024年02月16日
    浏览(36)
  • linux centos7 django uwsgi 部署

    安装这里就不多说,直接配置问题及所遇到问题总结 django 项目 manage.py目录新建uwsgi.ini文件 uwsgi配置 [uwsgi] socket = 127.0.0.1:9000 # uwsgi直接访问用http,nginx访问用socket http= 127.0.0.1:9000 chdir = /usr/local/www/项目目录 wsgi-file = /usr/local/www/项目目录/项目目录/wsgi.py module = 项目目录.wsgi

    2024年01月21日
    浏览(32)
  • Linux系统【centos7】怎么手动部署网站?

    要手动部署网站在CentOS 7系统上,请按照以下步骤操作: 1. 安装Apache服务器 在终端中使用以下命令安装Apache服务器: ``` sudo yum install httpd ``` 2. 配置防火墙 设置防火墙规则以允许HTTP和HTTPS流量: ``` sudo firewall-cmd --permanent --add-service=http  sudo firewall-cmd --permanent --add-service=http

    2024年02月05日
    浏览(31)
  • centos7-docker安装与配置kafka+zookeeper+kafkamanager

    一、 默认 docker 环境已经 OK 拉镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka docker pull sheepkiller/kafka-manager 删镜像 docker rmi + 镜像 id 查看镜像 [root@build-science-system-services-03 ~]# docker images 二、运行相关容器 启动 zookeeper : docker run -d --name zookeeper -p 2191:2181 --restart=always

    2024年02月09日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包