kafka---- zookeeper集群搭建

这篇具有很好参考价值的文章主要介绍了kafka---- zookeeper集群搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.准备工作:
##准备3个节点,要求配置好主机名称,服务器之间系统时间保持一致
##注意/etc/hostname 和/etc/hosts 配置主机名称(在这个里我准备Prac-zk-133, Prac-zk-134 , Prac-zk-135二节点)
vim  /etc/hosts #保证可以通过主机名互通 添加格式为IP  主机名称
## 比如
172.16.144.133 Prac-zk-133
172.16.144.134 Prac-zk-134
172.16.144.135 Prac-zk-135
## 测试
ping ip 
ping 主机名
##注意关闭防火墙
# 1. 启动防火墙
systemctl start firewalld
# 2.  关闭防火墙
systemctl stop firewalld
# 3. 重启防火墙
systemctl restart firewalld
# 4.查看防火墙状态
systemctl status firewalld
# 5. 开启禁用的防火墙
systemctl disable firewalld

##特别注意以下操作3个节点要同时进行操作哦!
2.上传zk到三台服务器节点
## 复制到其他机器 暂时测试不好用
#scp zookeeper-3.4. 6. tar.gz 192. 168.11.222: /usr/local /software/ 
## 上传到/usr/local/software
cd /usr/local/software
##注意我这里解压到/usr/local下
## 2.1进行解压: 
tar -zxvf  zookeeper-3.4.6.tar.gz -C /usr/local/
cd /usr/local/
# 2.2重命名: 
mv zookeeper-3.4.6 zookeeper
# 2.3修改环境变量:
vim ~/.bash_profile 

##这里要添加zookeeper的全局变量 jdk如果不会装,可以看之前文章
export JAVA_HOME=/usr/local/jdk1.8
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=.:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

## 2.4刷新环境变量:
source  ~/.bash_profile  

# 2.5到zookeeper 下修改配置文件:
# 2.5.1首先到指定目录: 
cd /usr/local/zookeeper/conf
# 2.5.2然后复制zoo_sample.cfg文件, 复制后为zoo.cfg:
mv zoo_sample.cfg zoo.cfg
# 2.5.3然后修改两处地方,最后保存退出:
vim /usr/local/zookeeper/conf/zoo.cfg
# (1)修改数据的dir 存储数据的地方
dataDir=/usr/local/zookeeper/data

# (2) 修改集群地址
server.0=Prac-zk-133:2888:3888
server.1=Prac-zk-134:2888:3888
server.2=Prac-zk-135:2888:3888


## 2.5.4 增加服务器标识配置,需要2步骤,第一是创建文件夹和文件, 第二是添加配置内容:
# (1)创建文件夹: 
mkdir /usr/local/zookeeper/data
# (2)创建文件myid路径应该创建在/usr/local/zookeeper/data 下面,如下:
vim /usr/local/zookeeper/data/myid
# 注意这里每台服务 器的myid文件内容不同,分别修改里面的值为0, 1, 2;与我们之前的zoo.cfg配置文件里:
# server.0, server.1, server.2 顺序相对应,然后保存退出;
# 2.7到此为止,Zookeeper集群环境大功告成!启动zookeeper命令
启动路径: cd /usr/local/zookeeper/bin (也可在任意目录,因为配置了环境变量)
执行命令: zkServer.sh start (注意这里3台机器都要进行启动,启动之后可以查看状态)
./zkServer.sh start-foreground   # 有日志的打印的启动
查看状态: zkServer.sh status (在三个节点上检验zk的mode,会看到一个leader和俩个 follower)
关闭 : zkServer.sh stop
## zkCli.sh进入zookeeper客户端
Hostname Ip Root
Prac-zk-133 172.16.144.133 root
Prac-zk-134 172.16.144.134 root
Prac-zk-135 172.16.144.135 root

172.16.144.133 Prac-zk-133
172.16.144.134 Prac-zk-134
172.16.144.135 Prac-zk-135

zkServer.sh start-foreground 使用它启动会出现地址已在使用

Zookeeper启动失败(java.net.BindException: 地址已在使用

端口被占用了,把2181端口改成别的就可以

lsof -i:2181 #查到进程
kill -s 9 2715 #然后杀掉上面的进程

如果只是使用zkServer.sh stop会停不干净,后续继续研究,方法在上

zoo.cfg配置说明
tickTime : 时间单位
initLimit follower与leader 同步数据的时间(initLimit*tickTime))
Synclimit 心跳检测最大延迟时间。
dataDir 默认情况下,zookeeper的事务日志 和 数据快照 都会保存在 dataDir 目录下.
dataLogDir log日志存储目录,默认dataDir下
clientPort 客户端与服务端建立连接的端口号,默认2181文章来源地址https://www.toymoban.com/news/detail-680669.html

到了这里,关于kafka---- zookeeper集群搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker 搭建 zookeeper、kafka 集群

    首先创建一个自定义网络,后续的所有容器都放入同一个内网中,容器之间还可以通过容器名称进行直接访问,在后续的配置中只需要写明容器名称即可,会自动找到对应的IP地址,防止重启容器后IP地址发生变化时,还要去修改配置文件的操作 创建目录 启动zookeeper 进入zo

    2024年02月10日
    浏览(39)
  • kafka3.4.0集群搭建(无zookeeper)

    注意:低版本需要安装zookeeper,在2.8及以上可移除zookeeper 前往官网下载 !!!不要下载src文件 1.解压文件 tar xzf kafka_2.13-3.4.0.tgz 进入文件 cd kafka_2.13-3.4.0 进入 cd config/kraft 2.修改server.properties以下属性 vim server.properties 3.我们需要在启动服务器之前创建kafka集群id。执行下列命令

    2024年02月03日
    浏览(39)
  • 基于Zookeeper搭建Kafka高可用集群(实践可用)

    目录 一、Zookeeper集群搭建 1.1 下载  解压 1.2 修改配置 1.3 标识节点 1.4 启动集群 1.5 集群验证 二、Kafka集群搭建 2.1 下载解压 2.2 拷贝配置文件 2.3 修改配置 2.4 启动集群 2.5 创建测试主题 2.6 写入数据测试 为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有

    2024年02月09日
    浏览(42)
  • Zookeeper和kafka集群搭建步骤(超详细,易理解)

    目录 1.修改文件名 2.修改zoo.cfg配置文件内容 (1)找到#maxClientCnxns=60命令在下面添加 3.进入/tmp目录 (1)创建zookeeper目录 (2)进入zookeeper目录中创建myid文件,添加  \\\'  1  \\\';

    2024年02月15日
    浏览(62)
  • CentOS7中新版本自带zookeeper搭建Kafka集群

    一、zookeeper在kafka中的具体作用     它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中,Kafka通过Zookeeper管理集群控制,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Con

    2024年02月08日
    浏览(87)
  • 【运维】Kafka高可用: KRaft(不依赖zookeeper)集群搭建

    本文主要介绍了 kafka raft集群架构: 与旧架构的不同点,有哪些优势,哪些问题 架构成员有哪些,怎么规划。 三节点集群安装、启动与测试 在旧的架构中 Kafka集群包含 多个broker节点和一个ZooKeeper 集群 。如上图集群结构:4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在

    2024年02月03日
    浏览(41)
  • ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

    大致流程:将nginx 服务器(web-filebeat)的日志通过filebeat收集之后,存储到缓存服务器kafka,之后logstash到kafka服务器上取出相应日志,经过处理后写入到elasticsearch服务器并在kibana上展示。 一、集群环境准备 二、搭建zookeeper集群 前提条件:三台机器分别修改时区、关闭防火墙

    2024年02月04日
    浏览(48)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(53)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(40)
  • Zookeeper集群 + Kafka集群

    目录 一、概述 (一)Zookeeper概述 1.Zookeeper 定义 2.Zookeeper 工作机制 3.Zookeeper 特点 (1)组成 (2)全局数据一致 (3)更新请求顺序执行 (4)数据更新原子性 (5)实时性 4.Zookeeper 数据结构 5.Zookeeper 应用场景 (1)统一命名服务 (2)统一配置管理 (3)统一集群管理 (4)服

    2024年01月24日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包