ansible部署kafka集群

这篇具有很好参考价值的文章主要介绍了ansible部署kafka集群。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ansible部署kafka集群

其中一台作为Ansible的母机并命名为ansible,另外三台云主机命名为node1、node2、node3,通过附件中的/ansible/ansible.tar.gz软件包在ansible节点安装Ansible服务;使用这一台母机,编写Ansible脚本(在/root目录下创建example目录作为Ansible工作目录,部署的入口文件命名为cscc_install.yaml),编写Ansible脚本使用roles的方式对其他三台云主机进行安装kafka集群的操作(zookeeper和kafka的安装压缩包在gpmall-single.tar.gz压缩包中,将zookeeper和kafka的压缩包解压到node节点的/opt目录下进行安装)。

自行配置/etc/hosts文件(根据实际情况修改)

10.196.110.10 node1
10.196.110.20 node2
10.196.110.30 node3
第一种方式
mkdir -p example/roles/kafka/{files,handlers,meta,tasks,templates,vars}

第二种方式
ansible-galaxy init kafka  #初始化

下载需要的文件

curl -O http://10.0.0.1/ansible.tar.gz
tar xf ansible.tar.gz 
yum install -y ansible/packages/*

curl -O http://10.0.0.1/gpmall-single.tar.gz
tar xf gpmall-single.tar.gz
cp gpmall-single/zookeeper-3.4.14.tar.gz /root/example/roles/kafka/files
cp gpmall-single/kafka_2.11-1.1.1.tgz /root/example/roles/kafka/files

写一个yum源文件安装java
cat >> /root/example/roles/kafka/files/yum.repo <<EOF
[centos]
name=centos
baseurl=http://10.0.0.1/Competition_2021/centos/
gpgcheck=0
enabled=1
EOF
vim /etc/ansible/hosts
最后加上
[node]
node1  node_id=1
node2  node_id=2
node3  node_id=3

在example文件下面编写cscc_install.yaml文件

---
- hosts: node
  remote_user: root
  roles:
    - kafka

在example/roles/kafka/tasks/下面编写main.yaml

---
    - shell: rm -f /etc/yum.repos.d/*
    - copy: src=yum.repo dest=/etc/yum.repos.d/yum.repo
    - yum: name=java* state=installed
    - unarchive: src=zookeeper-3.4.14.tar.gz dest=/opt/
    - file: path=/tmp/zookeeper/  state=directory
    - shell: echo "{{node_id}}" > /tmp/zookeeper/myid
    - template: src=zoo.cfg.j2 dest=/opt/zookeeper-3.4.14/conf/
    - shell: cd /opt/zookeeper-3.4.14/bin && ./zkServer.sh restart
    - shell: cd /opt/zookeeper-3.4.14/bin && ./zkServer.sh status
    - unarchive: src=kafka_2.11-1.1.1.tgz dest=/opt/
    - template: src=server.properties.j2  dest=/opt/kafka_2.11-1.1.1/config
/server.properties
    - shell: /opt/kafka_2.11-1.1.1/bin/kafka-server-start.sh -daemon /opt/k
afka_2.11-1.1.1/config/server.properties

zookeeper模板

vim example/roles/kafka/templates/zoo.cfg.j2
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181
{% for host in ansible_play_batch %}
server.{{ loop.index }}={{ host }}:2888:3888
{% endfor %}

kafka模板

vim example/roles/kafka/templates/server.properties.j2

broker.id={{node_id}}  
listeners=PLAINTEXT://{{inventory_hostname}}:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect={% for host in ansible_play_batch %}{{ host }}:2181,{% endfor %}
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

树形结构

example/
├── cscc_install.yaml
├── group_vars
└── roles
    └── kafka
        ├── files
        │   ├── kafka_2.11-1.1.1.tgz
        │   ├── yum.repo
        │   └── zookeeper-3.4.14.tar.gz
        ├── handlers
        ├── meta
        ├── tasks
        │   └── main.yaml
        ├── templates
        │   ├── server.properties.j2
        │   └── zoo.cfg.j2
        └── vars

运行文章来源地址https://www.toymoban.com/news/detail-814433.html

ansible-playbook  cscc_install.yaml 

到了这里,关于ansible部署kafka集群的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 部署SeaTunnel分布式集群

    深入理解SeaTunnel:易用、高性能、支持实时流式和离线批处理的海量数据集成平台 SeaTunnel Engine 是 SeaTunnel 的默认引擎。SeaTunnel的安装包中已经包含了SeaTunnel Engine的所有内容。 在/etc/profile.d/seatunnel.sh中配置环境变量 SeaTunnel Engine 支持两种设置 jvm 选项的方式。 将 JVM 选项添加

    2024年02月09日
    浏览(45)
  • GreenPlum分布式集群部署实战

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月08日
    浏览(42)
  • 分布式消息流处理平台kafka(一)-kafka单机、集群环境搭建流程及使用入门

    kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是,LinkedIn虽然有了数据库和其他系统可以用来存储数据,但是缺乏一个可以帮助处理持续数据流的组件。 所以在设计理念上,开发者不想只是开发一个能够存储数据的系统,如关系数据库、Nosql数据库、搜索引擎等

    2024年02月16日
    浏览(49)
  • 大数据学习06-Spark分布式集群部署

    配置好IP vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改主机名 vi /etc/hostname 做好IP映射 vim /etc/hosts 关闭防火墙 systemctl status firewalld systemctl stop firewalld systemctl disable firewalld 配置SSH免密登录 ssh-keygen -t rsa 下载Scala安装包 配置环境变量 添加如下配置 使环境生效 验证 Spark官网 解压 上

    2024年02月10日
    浏览(66)
  • 大数据学习02-Hadoop分布式集群部署

    操作系统:centos7 软件环境:jdk8、hadoop-2.8.5 1.下载VMware,建议支持正版 2.安装到Widows目录下任意位置即可,安装目录自定义。打开VMware,界面如下: 3.创建虚拟机 创建虚拟机—选择自定义 这一步按照默认的配置就好 选择系统,安装程序光盘映像文件iso,这里需要下载cenos镜像

    2024年02月16日
    浏览(60)
  • minio分布式集群安装部署实战详细手册

    Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。基于Apache License v2.0开源协议的对象存储项目,采用Golang实现,客户端支Java,Python,Javacript, Golang语言。 其设计的主要目标是作为私有云对象存储的标准方案。主要用于存储海量的图片,视频,文档等。非常适合于存储

    2024年02月12日
    浏览(36)
  • JMeter分布式集群---部署多台机器进行性能压力测试

    有些时候,我们在进行压力测试的时候,随着模拟用户的增加,电脑的性能(CPU,内存)占用是非常大的,为了我们得到更加理想的测试结果,我们可以利用jmeter的分布式来缓解机器的负载压力,分布到多台机器同时运行。 1.Jmeter分布式执行原理: 1、Jmeter分布式测试时,选择

    2024年02月11日
    浏览(40)
  • 分布式运用之Filebeat+Kafka+ELK 的服务部署

    Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,

    2024年02月06日
    浏览(44)
  • Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)

    相关软件下载准备:(推荐) 虚拟机运行环境:VMware 16.1.1 映像文件:CentOS-7-x86_64-DVD-1810.iso 远程登录工具:Xshell-7.0.0090.exe Xftp传输工具:Xftp-7.0.0111p.exe 首先掌握VMware的下载与安装,有linux学习基础的同学可以略看。 参考链接:https://mp.weixin.qq.com/s/CUiauodcjCFPIXEFEx8fOw 【软件名

    2024年02月09日
    浏览(45)
  • 分布式数据库Apache Doris HA集群部署

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年02月06日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包