Kafka集群部署

这篇具有很好参考价值的文章主要介绍了Kafka集群部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


  Kafka是一个高吞吐量、基于ZooKeeper(ZooKeeper维护Kafka的broker信息)的分布式发布订阅信息系统,它可以处理消费者在网站中的所有动作(网页浏览,搜索和其他用户的行动)流数据。通常情况下,使用Kafka构建系统或应用程序之间的数据管道,用来转换或响应实时数据,使数据能够及时地进行业务计算,得出相应结果。

一、Kafka集群部署

  1. 下载Kafka
    访问Apache资源网站下载Linux操作系统的Kafka安装包kafka_2.11-2.0.0.tgz。

注意:还没有下载安装包的,下载地址可以去这里查看:大数据相关常用软件下载地址集锦

  1. 上传Kafka安装包
    使用SecureCRT远程连接工具连接虚拟机Spark01,在存放应用安装包的目录/export/software/下执行“rz”命令上传Kafka安装包。

  2. 安装Kafka
    在虚拟机Spark01中,通过解压缩的方式安装Kafka,将Kafka安装到存放应用的目录/export/servers/。
    tar -zxvf /export/software/kafka_2.11-2.0.0.tgz -C /export/servers/

  3. 修改配置文件server.properties
    在Kafka安装目录下的config目录,执行“vi server.properties”命令编辑Kafka配置文件server.properties,配置Kafka的相关参数。

broker.id=0
listeners=PLAINTEXT://spark01:9092
log.dirs=/export/data/kafka
zookeeper.connect=spark01:2181,spark02:2181,spark03:2181/kafka
  • broker.id:broker的全局唯一编号,每个kafka节点的编号值不能重复。
  • listeners:定义外部连接者通过指定主机名和端口号访问开放的Kafka服务。
  • log.dirs:存储Kafka日志存储目录。
  • zookeeper.connect:配置ZooKeeper集群地址。
  1. 分发Kafka安装包
    为了便于快速配置集群中其它服务器,将虚拟机Spark01中的Kafka安装目录分发到虚拟机Spark02和Spark03。
scp -r /export/servers/kafka_2.11-2.0.0/ root@spark02:/export/servers/
scp -r /export/servers/kafka_2.11-2.0.0/ root@spark03:/export/servers/

Kafka安装包分发完成后,需要分别在虚拟机Spark02和虚拟机Spark03中修改配置文件内容,将参数broker.id的值分别修改为“1”和“2”,参数listeners的值分别修改为“PLAINTEXT://spark02:9092”和“PLAINTEXT://spark03:9092”。

二、启动Kafka集群

  启动Kafka集群时,需要确保ZooKeeper集群是正常启动的。下面分别在虚拟机Spark01、Spark02和Spark03的Kafka安装目录下,执行启动Kafka命令。如下图所示:
kafka集群配置,大数据,Linux,kafka,java,大数据
kafka集群配置,大数据,Linux,kafka,java,大数据
kafka集群配置,大数据,Linux,kafka,java,大数据
  好了,Kafka的集群部署我们就讲到这里了,这几篇主要针对大数据集群环境的搭建进行了讲解,包括创建虚拟机、Linux操作系统的安装与配置、安装JDK、ZooKeeper集群部署、Hadoop集群部署、Spark集群部署、HBase集群部署以及Kafka集群部署。通过这几篇的学习,希望读者熟悉大数据集群环境的搭建流程,并掌握ZooKeeper、Hadoop、Spark、HBase和Kafka集群的部署,为后续项目的开展奠定基础。

转载自:https://blog.csdn.net/u014727709/article/details/130918183
欢迎start,欢迎评论,欢迎指文章来源地址https://www.toymoban.com/news/detail-622659.html

到了这里,关于Kafka集群部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Kafka】docker部署Kafka集群

    目录 Kafka概述 Kafka集群docker部署流程 简述 环境准备 部署流程  参考文献           以下概述Kafka内的几个核心概念,可参考官方文档,有兴趣可读:kafka.apache.org Topic与日志         Topic 就是数据主题,是数据记录发布的地方,可以用来区分业务系统。Kafka 中的 Topics 总是

    2024年02月12日
    浏览(80)
  • 基于Confluent Kafka部署Kafka Connect集群,Kafka Connect集群加载debezium插件

    Confluent Kafka的下载地址: https://www.confluent.io/download/ 下载社区免费版本: 核心参数如下所示: /data/src/confluent-7.3.3/etc/schema-registry/connect-distributed.properties /data/src/confluent-7.3.3/bin/connect-distributed connect-distributed的脚本内容如下所示,可以不需要修改 如果需要导出kafka connector的j

    2024年02月10日
    浏览(39)
  • Kafka集群部署 (KRaft模式集群)

    KRaft 模式是 Kafka 在 3.0 版本中引入的新模式。KRaft 模式使用了 Raft 共识算法来管理 Kafka 集群元数据。Raft 算法是一种分布式共识算法,具有高可用性、可扩展性和安全性等优势。 在 KRaft 模式下,Kafka 集群中的每个 Broker 都具有和 Zookeeper 类似的角色。每个 Broker 都参与管理

    2024年02月03日
    浏览(37)
  • Kafka集群部署

      Kafka是一个高吞吐量、基于ZooKeeper(ZooKeeper维护Kafka的broker信息)的分布式发布订阅信息系统,它可以处理消费者在网站中的所有动作(网页浏览,搜索和其他用户的行动)流数据。通常情况下,使用Kafka构建系统或应用程序之间的数据管道,用来转换或响应实时数据,使

    2024年02月14日
    浏览(35)
  • 【Kafka】概述与集群部署

    定义 kafka是一种分布式的,基于发布/订阅的消息队列 (MessageQueue)。它可以处理消费者在网站中的所有动作流数据。 Kafka是一个开源的分布式事件流平台(Event StreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。(既想处理消息队列,又想处

    2024年02月04日
    浏览(68)
  • Kafka 集群部署

    目录 1、环境准备 2、搭建ZooKeeper集群 配置文件 节点标记 环境变量 启动集群 数据同步测试 故障测试 3、搭建 Kafka 集群 配置文件 环境变量 配置其他机器 启动服务 4、集群测试 创建 Topic 显示 Topic 配置 创建 Producer 创建consumer 删除Topic 查看Zookeeper元数据 一个Broker就是一个ka

    2024年01月20日
    浏览(31)
  • ansible部署kafka集群

    其中一台作为Ansible的母机并命名为ansible,另外三台云主机命名为node1、node2、node3,通过附件中的/ansible/ansible.tar.gz软件包在ansible节点安装Ansible服务;使用这一台母机,编写Ansible脚本(在/root目录下创建example目录作为Ansible工作目录,部署的入口文件命名为cscc_install.yaml),编

    2024年01月22日
    浏览(44)
  • Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构、部署实例

    Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。 Zookeeper集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。 全局数据一致:每个Server保

    2024年02月08日
    浏览(50)
  • 【kafka】kafka重要的集群参数配置

    对于实际应用的生产环境中,需要尽量先规划设计好集群,避免后期业务上线后费力调整。在考量部署方案时需要通盘考虑,不能仅从单个维度上进行评估,下面是几个重要的维度的考量和建议: 这里重点说说操作系统的因素。Linux系统比其他系统(特别是Windows系统)更加适

    2024年02月07日
    浏览(35)
  • linux安装搭建配置docker,mysql,nacos,redis哨兵集群,kafka,elasticsearch,kibana,IK分词器,安装Rabbitmq,安装并配置maven

    目录 搭建docker 1.2安装yum工具  1.3更新阿里镜像源 1.4下载docker 1.5关闭防火墙 1.6启动docker 1.7查看docker版本 1.8配置阿里云镜像 1.8.1 创建文件夹 1.8.2在文件夹内新建一个daemon.json文件 1.8.3重载文件 1.9重启docker 2安装MySQL 3安装nacos 3.1拉取nacos镜像并启动 3.2启动nacos命令 3.3命令敲完

    2024年02月03日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包