kafka伪集群部署,使用docker环境拷贝模式

这篇具有很好参考价值的文章主要介绍了kafka伪集群部署,使用docker环境拷贝模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

线上启动容器的方式是复制容器的运行环境出来,然后进行运行脚本的形式

1:在home/kafka目录下创建如下目录

kafka伪集群部署,使用docker环境拷贝模式,kafka,docker,分布式

2:复制kafka1容器内的数据/bitnami/kafka/data,直接放在1992_data里面,同理,复制kafka2容器内的数据/bitnami/kafka/data,直接放在2992_data里面,复制kafka3容器内的数据/bitnami/kafka/data,直接放在3992_data里面

3:注意在/bitnami/kafka/data有个文件meta.properties有如下信息

kafka伪集群部署,使用docker环境拷贝模式,kafka,docker,分布式

确保全部kafka集群id相同,节点id不同

4:制kafka1容器内的数据/opt/bitnami/kafka,直接放在kafka_1992里面的一个文件夹kafka_2.12-3.3.1下,需使用如下命令从正在正常运行的容器中复制出来 ,然后压缩,发送到生产环境相应目录,再解压

kafka伪集群部署,使用docker环境拷贝模式,kafka,docker,分布式

5:修改/opt/bitnami/kafka目录下发送到生产环境的解压后的的文件/home/kafka/kafka_19092/kafka_2.12-3.3.1/config/kraft目录下的server.properties文件如下

kafka伪集群部署,使用docker环境拷贝模式,kafka,docker,分布式文章来源地址https://www.toymoban.com/news/detail-729134.html

6:在/home/kafka/kafka_19092/kafka_2.12-3.3.1目录下运行如下命令即可启动kafka

./bin/kafka-server-start.sh config/kraft/server.properties

7:改成后台启动命令

nohup ./bin/kafka-server-start.sh config/kraft/server.properties &

8:改成自启,创建一个启动脚本,例如kafka-server.sh,包含以下内容:

#!/bin/bash
export KAFKA_HOME=<Kafka安装目录>
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/kraft/server.properties

将脚本复制到/etc/init.d/目录下,并给予其可执行权限:

sudo cp kafka-server.sh /etc/init.d/ sudo 
chmod +x /etc/init.d/kafka-server.sh

到了这里,关于kafka伪集群部署,使用docker环境拷贝模式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式应用:Zookeeper 集群与kafka 集群部署

    目录 一、理论 1.Zookeeper   2.部署 Zookeeper 集群 3.消息队列  4.Kafka 5.部署 kafka 集群 6.Filebeat+Kafka+ELK 二、实验 1.Zookeeper 集群部署 2.kafka集群部署 3.Filebeat+Kafka+ELK 三、问题          1.解压文件异常 2.kafka集群建立失败 3.启动 filebeat报错 4.VIM报错 5. kibana无法匹配 四、总结

    2024年02月14日
    浏览(56)
  • zookeeper+kafka分布式消息队列集群的部署

    目录 一、zookeeper 1.Zookeeper 定义 2.Zookeeper 工作机制 3.Zookeeper 特点 4.Zookeeper 数据结构 5.Zookeeper 应用场景 (1)统一命名服务 (2)统一配置管理 (3)统一集群管理 (4)服务器动态上下线 6.Zookeeper 选举机制 (1)第一次启动选举机制 (2)非第一次启动选举机制 7.部署zookeepe

    2024年02月14日
    浏览(47)
  • 【简单认识zookeeper+kafka分布式消息队列集群的部署】

    Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已

    2024年02月13日
    浏览(40)
  • Kafka集群部署 (KRaft模式集群)

    KRaft 模式是 Kafka 在 3.0 版本中引入的新模式。KRaft 模式使用了 Raft 共识算法来管理 Kafka 集群元数据。Raft 算法是一种分布式共识算法,具有高可用性、可扩展性和安全性等优势。 在 KRaft 模式下,Kafka 集群中的每个 Broker 都具有和 Zookeeper 类似的角色。每个 Broker 都参与管理

    2024年02月03日
    浏览(35)
  • 使用Docker Swarm部署RabbitMQ+HAProxy高可用集群(三节点-镜像模式)

    当前规划中,只启动一个HAProxy服务,主要用来做RabbitMQ节点的负载均衡和代理,但是HAProxy可能会出现单点故障,后续需要启动多个HAProxy节点,然后结合Keepalived来进行 设置虚拟IP 做故障转移 节点名称 节点主机名 IP地址 角色 运行服务 cluster01 cluster01 192.168.12.48 Docker Swarm Mana

    2024年02月14日
    浏览(43)
  • Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)

    相关软件下载准备:(推荐) 虚拟机运行环境:VMware 16.1.1 映像文件:CentOS-7-x86_64-DVD-1810.iso 远程登录工具:Xshell-7.0.0090.exe Xftp传输工具:Xftp-7.0.0111p.exe 首先掌握VMware的下载与安装,有linux学习基础的同学可以略看。 参考链接:https://mp.weixin.qq.com/s/CUiauodcjCFPIXEFEx8fOw 【软件名

    2024年02月09日
    浏览(44)
  • 手动部署Kraft模式Kafka集群

    IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka_2.12-3.5.1 172.29.145.183 iamdemo3 Centos7.9 kafka_2.12-3.5.1 下载安装包 kafka安装包官网下载 下载完成后上传到服务器/opt目录下解压 生成集群随机uuid 配置kafka集群的kraft模式参数 使用集群

    2024年02月05日
    浏览(40)
  • 【Kafka】docker部署Kafka集群

    目录 Kafka概述 Kafka集群docker部署流程 简述 环境准备 部署流程  参考文献           以下概述Kafka内的几个核心概念,可参考官方文档,有兴趣可读:kafka.apache.org Topic与日志         Topic 就是数据主题,是数据记录发布的地方,可以用来区分业务系统。Kafka 中的 Topics 总是

    2024年02月12日
    浏览(75)
  • 四种部署模式的优缺点(单机、集群、分布式、微服务)

    单机 部署含义:所有的业务全部写在一个项目中,部署服务到一台服务器上。 单机 部署优点:方便开发、学习成本低,方便部署。 单机 部署缺点:当一个模块出现问题,整个系统全部停止更新。 集群 部署含义:集群就是单机的“复制”,同一个业务,部署在多个服务器上

    2024年02月04日
    浏览(55)
  • 部署HDFS集群(完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包)

    目录 前置 一、上传解压 (一 )上传 (二)解压 二、修改配置文件 (一)配置workers文件 (二)配置hadoop-env.sh文件 (三)配置core-site.xml文件 (四)配置hdfs-site.xml文件 三、分发到hp2、hp3, 并设置环境变量 (一)准备数据目录    (二)配置环境变量 四、创建数据目录,并

    2024年04月14日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包