Kafka版本滚动升级(不停机)

这篇具有很好参考价值的文章主要介绍了Kafka版本滚动升级(不停机)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

升级说明

升级Kafka集群的版本其实很简单,核心步骤只需要4步,但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此,笔者在本机搭了一个测试环境进行生产环境的版本升级测试。在开始之前,简要介绍一下测试环境的部署情况及目标:Kafka3.3.1测试环境,而目标是把该集群升级到3.4.0版本。

一、系统环境

Zookeeper集群
172.17.9.191
172.17.9.192
172.17.9.193
Kafka集群
172.17.9.191
172.17.9.192
172.17.9.193
现在Kafka版本:3.3.1,安装目录:/home/software/kafka_2.12-3.3.1
计划升级至版本:3.4.0,按照目录:/home/software/kafka_2.12-3.4.0

二、创建测试topic

1、创建测试topic


 1. /home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --create --replication-factor 3 --partitions 1 --topic first
 2.  
 3. /home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --create --replication-factor 1 --partitions 1 --topic second

2、查看测试topic

/home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --describe --topic first

3、查看集群中所有的topic

/home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --list

Kafka版本滚动升级(不停机)

三、升级步骤

1、安装新版本Kafka

先在172.17.9.191上面部署第一台3.4.0(新版本Kafka)。


 1. tar -zxvf kafka_2.12-3.4.0 -C /home/software/
 2. mkdir /home/software/kafka_2.12-3.4.0/datas
 3. cp /home/software/kafka_2.12-3.3.1/config/server.properties /home/software/kafka_2.12-3.4.0/config/server.properties

2、修改好配置
注意:修改配置3.4.0(升级版本)的server.properties,添加2行,其他配置保持不变,特别是数据存储目录,cp 3.3.1(旧版本)的配置


 1. cp /home/software/kafka_2.12-3.3.1/config/server.properties /home/software/kafka_2.12-3.4.0/config/server.properties
 2. vim /usr/local/kafka_2.-0.10.2.2/config/server.properties
 3. inter.broker.protocol.version=3.4.0
 4. log.message.format.version=3.4.0

3、停止新版本
注意:停止原版本的kafka,使用kafka自带stop脚本bin下的kafka-server-stop.sh或者kill掉


 1. /home/software/kafka_2.12-3.3.1/bin/kafka-server-stop.sh
 2. ps -ef | grep kafka

4、启动新版本
注意:启动3.4.0的Kafka,由于之前配置了环境变量,注意用3.4.0目录下的程序去启动kafka,启动之后查看日志,发现在同步数据。

 1. /home/software/kafka_2.12-3.4.0/bin/kafka-server-start.sh -daemon /home/software/kafka_2.12-3.4.0/config/server.properties
 2. tail -100 /home/software/kafka_2.12-3.4.0/logs/server.log
 3. cd datas/
 4. ll

Kafka版本滚动升级(不停机)

查看topic first:

/home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --describe --topic first

测试创建topic test1

/home/software/kafka_2.12-3.3.1/bin/kafka-topics.sh --bootstrap-server 172.17.9.191:9092 --create --replication-factor 3 --partitions 1 --topic test1

Kafka版本滚动升级(不停机)
注意:替换新版broker后,注意查看新版broker是否已经注册到zookeeper,所在机器上的的副本是否已经可用。确定可用之后再更新下一台broker。

5.看kafka在zookeeper中节点信息和查看方式
(1).先到zookeeper的bin下面
cd /home/software/zookeeper-3.8.1/bin
(2).执行命令./zkCli.sh
(3).输入命令 ls /,ls /kafka/topics可以看到topic信息。Kafka版本滚动升级(不停机)

再依次对剩下两台重复操作即可。
Kafka版本滚动升级(不停机)
Kafka版本滚动升级(不停机)文章来源地址https://www.toymoban.com/news/detail-435044.html

到了这里,关于Kafka版本滚动升级(不停机)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SpringBoot + K8S 中的滚动发布、优雅停机、弹性伸缩、应用监控、配置分离

    前言 配置 健康检查 滚动更新 弹性伸缩 Prometheus集成 配置分离 汇总配置 业务层面 运维层面 K8s + SpringBoot实现零宕机发布:健康检查+滚动更新+优雅停机+弹性伸缩+Prometheus监控+配置分离(镜像复用) 基于 Spring Boot + MyBatis Plus + Vue Element 实现的后台管理系统 + 用户小程序,支持

    2024年02月07日
    浏览(40)
  • 企业级实战 Spring Boot + K8S 中的滚动发布、优雅停机、弹性伸缩、应用监控、配置分离

    下面为大家介绍我司生产环境使用了3年的基于K8S的dev ops 配置实现 K8s + SpringCloud实现零宕机发版,优雅重启:健康检查+滚动更新+优雅停机+弹性伸缩+Prometheus监控+配置分离(镜像复用) 业务层面 项目依赖 pom.xml 使用 spring-boot-starter-actuator 镜像 存活、就绪检查 使用 prometheus

    2024年02月06日
    浏览(50)
  • springcloud微服务项目,通过gateway+nacos实现灰度发布(系统不停机升级)

    灰度发布的目的是保证系统的高可用,不停机,提升用户体验。在微服务系统中,原有系统不下线,新版系统与原有系统同时在线,通过访问权重在线实时配置,可以让少量用户先应用新版本功能,如果用户反馈存在问题,则下线新系统;如果反馈良好,则逐步加大新系统的

    2024年04月28日
    浏览(33)
  • 超维空间M1无人机使用说明书——53、ROS无人机二维码识别与降落——V2升级版本

    一、启动二维码识别与降落程序 未出现红色报错,表明程序运行正常 launch文件详解 launch文件启动了四个节点,节点作用如下 二、视频演示 视频演示: 二维码降落

    2024年02月03日
    浏览(48)
  • HDFS集群滚动升级以及回滚相关

    在hadoop v2中,HDFS支持namenode高可用(HA),使得不停机升级HDFS变的可行。注:从hadoop2.4.0开始才支持滚动升级 因此为了在不停机的情况下升级hdfs集群,必须使用HA设置集群 在HA集群中,有两个或多个namenode,许多DataNode,一下journalnode和一下zookeepernode JN相对稳定,在大多数情况

    2024年02月14日
    浏览(39)
  • IP-guard安全查看器升级说明

             目前IP-guard Android安全查看器Office文档预览功能基于腾讯TBS引擎免费授权的SDK实现,由于腾讯相关进行功能服务调整,自2023年4月13日起,免费授权的SDK文档功能下线,所有基于该SDK开发的App不再支持打开Office文档,IP-guard Android安全查看器也会受到影响。(详细说

    2023年04月09日
    浏览(53)
  • kafka的Docker镜像使用说明(wurstmeister/kafka)

    在hub.docker.com网站上,Star最多的kafka镜像是wurstmeister/kafka,今天一起来实践这个镜像,使用此镜像搭建kafka环境,并且生产和消费消息; https://developer.aliyun.com/article/988818 操作系统:CentOS7 Docker:24.0.2 docker-compose:v2.18.1 在docker-compose.yml所在的文件夹下,执行命令 docker compose

    2024年04月12日
    浏览(27)
  • kafka安装说明以及在项目中使用

    1、 本次实验,采用kafka版本为 3.4.0 2、我们首先需要了解一下,一个 Kafka 集群是由下列几种类型的节点构成的,它们充当着不同的作用: Broker 节点 :即 代理节点 ,是 Kafka 中的工作节点,充当消息队列的角色, 负责储存和处理消息 ,每个 Broker 都是一个独立的 Kafka 服务器

    2024年02月12日
    浏览(55)
  • 关于前端框架vue2升级为vue3的相关说明

    一些框架需要升级 当前(202306) Vue 的最新稳定版本是 v3.3.4 。Vue 框架升级为最新的3.0版本,涉及的相关依赖变更有: 前提条件:已安装 16.0 或更高版本的Node.js(摘) 必须的变更:核心库vue@23、路由vue-router@34、状态管理vuex@34 构建工具链: Vue CLI Vite(摘) 状态管理: Vuex Pi

    2024年02月15日
    浏览(47)
  • 升级php版本(简单明了,轻松升级php任意版本)

    1、查看当前php版本 2、查看当前所有php安装包 查看是否有你需要的版本,如果没有: 使用 Remi 存储库:Remi 存储库是一个第三方存储库,提供了广泛的 PHP 版本和扩展包。你可以按照以下步骤安装并启用 Remi 存储库: 3、查看是否升级

    2024年04月26日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包