Kubernetes 1.28.2安装配置kafka集群及UI for Kafka

这篇具有很好参考价值的文章主要介绍了Kubernetes 1.28.2安装配置kafka集群及UI for Kafka。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文详述了在kubernetes 1.28.2下安装配置kafka群集及安装配置开源免费的UI for Kafka 图形化web界面管理kafka的步骤。Kafka版本是最新的3.6.1。 本文用于测试环境,如用于生产,请自行调整。

  1. 安装Kafka-Operator

创建命名空间:

kubectl create namespace kafka

下载https://strimzi.io/install/latest?namespace=kafka并重命名为kafka-install.yaml,执行安装

kubectl create -f kafka-install.yaml -n kafka

创建kafka集群

下载https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml

以下红色的是修改或增加的内容:(增加了namespace, 增加了nodePort和修改了storage class的名称,本测试环境使用了Minio的CSI的directpv-min-io作为storage class)

apiVersion: kafka.strimzi.io/v1beta2

kind: Kafka

metadata:

  name: my-cluster

  namespace: kafka

spec:

  kafka:

    version: 3.6.1

    replicas: 3

    listeners:

      - name: plain

        port: 9092

        type: internal

        tls: false

      - name: tls

        port: 9093

        type: internal

        tls: true

      - name: external # 增加外部访问用的listener

        port: 9094 #端口

        type: nodeport # nodeport类型

        tls: false

        configuration:

          bootstrap:

            nodePort: 32094 # 指定nodeport端口,不指定会随机分配

    config:

      offsets.topic.replication.factor: 1

      transaction.state.log.replication.factor: 1

      transaction.state.log.min.isr: 1

      default.replication.factor: 1

      min.insync.replicas: 1

      inter.broker.protocol.version: "3.6"

    storage:

      type: jbod

      volumes:

      - id: 0

        type: persistent-claim

        size: 1Gi

        class: directpv-min-io   

        deleteClaim: false       

  zookeeper:

    replicas: 3

    storage:

      type: persistent-claim

      size: 1Gi

      class: directpv-min-io

      deleteClaim: false

  entityOperator:

    topicOperator: {}

    userOperator: {}

kubectl apply -f kafka-persistent-single.yaml

kubectl get pod -n kafka

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

kubectl get svc -n kafka

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

 kubectl get deploy -n kafka

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

生产数据:

kubectl -n kafka run kafka-producer -ti \

--image=quay.io/strimzi/kafka:0.39.0-kafka-3.6.1 \

--rm=true --restart=Never -- bin/kafka-console-producer.sh \

--bootstrap-server my-cluster-kafka-bootstrap:9092 \

--topic my-topic

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

消费数据:

kubectl -n kafka run kafka-consumer -ti \

--image=quay.io/strimzi/kafka:0.39.0-kafka-3.6.1 \

--rm=true --restart=Never \

-- bin/kafka-console-consumer.sh \

--bootstrap-server my-cluster-kafka-bootstrap:9092 \

--topic my-topic --from-beginning

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

也可以手工进入container内部运行命令,下面以生产数据为例:

kubectl get pod kafka-producer -o jsonpath='{.spec.containers[*].name}' -n kafka

查询到container名称也为:kafka-producer

kubectl exec -it kafka-producer -n kafka -c kafka-producer -- /bin/sh

cd bin

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

手工生产数据:

./kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9092 --topic my-topic

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

2. 安装UI for Kafka:

Github网址:

GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management

临时测试:

docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

永久运行:

vi ui-kafka.yml内容如下:

services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: true
    volumes:
      - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

创建目录及文件:

mkdir kui

cd kui

touch config.yml

chmod 777 config.yml

mkdir -p /etc/kafkaui

touch /etc/kafkaui/dynamic_config.yaml

chmod 777 /etc/kafkaui/dynamic_config.yaml

cd ~

启动 ui-kafka container:

docker-compose -f ui-kafka.yml up -d

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

查看启动的container:

docker container ls|grep kafka

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

然后在浏览器运行:(192.168.249.10是kubernetes cluster的master node的ip)

http://192.168.249.10:8080/

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

添加kafka cluster:

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

查看Message:

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

基于浏览器Produce message:

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

修改name: kafkas.kafka.strimzi.io,kubernetes,kafka,容器

参考网址:

Quickstarts

GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management

使用Strimzi-Kafka-Operator搭建kafka集群 | 爪哇君-Java技术栈文章来源地址https://www.toymoban.com/news/detail-842930.html

到了这里,关于Kubernetes 1.28.2安装配置kafka集群及UI for Kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • linux安装搭建配置docker,mysql,nacos,redis哨兵集群,kafka,elasticsearch,kibana,IK分词器,安装Rabbitmq,安装并配置maven

    目录 搭建docker 1.2安装yum工具  1.3更新阿里镜像源 1.4下载docker 1.5关闭防火墙 1.6启动docker 1.7查看docker版本 1.8配置阿里云镜像 1.8.1 创建文件夹 1.8.2在文件夹内新建一个daemon.json文件 1.8.3重载文件 1.9重启docker 2安装MySQL 3安装nacos 3.1拉取nacos镜像并启动 3.2启动nacos命令 3.3命令敲完

    2024年02月03日
    浏览(56)
  • 【kafka-ui】支持kafka with kraft的可视化集群管理工具

    本文在kafka3.3.1版本基础上进行测试 在早期使用kafka的时候一般使用Kafka Tool或者kafka eagle,前者为桌面软件,后者为浏览器软件。总体来说体验一般,但是还比较够用。 但是从kafka3.3.1开始,已经正式抛弃zookeeper使用自己的仲裁器了,但是上述两种kafka可视化工具的更新好像并

    2024年02月02日
    浏览(84)
  • 【kafka】kafka重要的集群参数配置

    对于实际应用的生产环境中,需要尽量先规划设计好集群,避免后期业务上线后费力调整。在考量部署方案时需要通盘考虑,不能仅从单个维度上进行评估,下面是几个重要的维度的考量和建议: 这里重点说说操作系统的因素。Linux系统比其他系统(特别是Windows系统)更加适

    2024年02月07日
    浏览(32)
  • 三节点kafka集群配置

    1. 创建数据目录 2. 三台服务器创建myid文件,分别写入1 2 3 3. 配置hosts 4. 配置zookeeper配置文件 5. 启动zookeeper 查看日志kafka1 kafka2 kafka3 是服务器的主机名 6. 查看zookeeper状态 查看第一台 查看第二台 查看第三台 1. 创建数据目录 2. hosts文件配置zookeeper时已配置 3.配置kafka配置文件

    2024年02月03日
    浏览(31)
  • 部署kafka集群后创建主题超时Timed out waiting for a node assignment. Call:createTopics (kafka.admin.TopicCommand

    一、起初无非就是更改server.properties中的配置,以下三项 1.14.247.152的server.properties 159.75.241.252的server.properties 112.74.188.40的server.properties 二、分别在三台服务器的bin目录下启动kafka 三、jps命令查看状态启动成功后,连接kafka并创建topics 报错: 大概意思是等待分配结点超时。 查

    2023年04月19日
    浏览(41)
  • 【Kafka系列】生产级集群参数配置

    目录 1. 概述 2. Bocker 端参数 2.1 存储相关配置 2.2 Zookeeper 相关配置 2.3 Brocker 连接相关配置 2.4 Topic 管理相关配置 2.5 数据存留 相关配置 3. Topic 级别参数 4. JVM 参数 5. 操作系统参数 6. 小结 本文将从 Bocker 端参数、Topic 级别参数、JVM 端参数、操作系统级别参数分别介绍 Kafka 集群

    2024年02月22日
    浏览(37)
  • Kafka实战:集群SSL加密认证和配置(最新版kafka-2.7.0)

    前言概述 JavaSSL认证 ​ SSL(Secure Socket Layer安全套接层),及其继任者传输层安全(Transport ;ayer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。 Kerberos认证 + ACL鉴权 Kerberos是一种网络认证协议,其设计目标是通过密钥系统为

    2024年02月05日
    浏览(54)
  • 安装Zookeeper和Kafka集群

    本文介绍如何安装Zookeeper和Kafka集群。为了方便,介绍的是在一台服务器上的安装,实际应该安装在多台服务器上,但步骤是一样的。 从官网上下载安装包: 解压: 创建目录 zk1 ,然后添加如下配置: zk1/myid : zk1/zk.config : 对于 zk2 和 zk3 也重复同样的步骤,并修改相应的配置

    2023年04月17日
    浏览(31)
  • Kafka(一)使用Docker Compose安装单机Kafka以及Kafka UI

    对于Kafka中经常用到的术语,可参考confluent的官方文档,这里不再赘述。 镜像选择Docker Hub上使用最多的bitnami Kafka,主要注意的点是环境变量和Kafka配置的映射关系 Additionally, any environment variable beginning with KAFKA_CFG_ will be mapped to its corresponding Apache Kafka key. For example, use KAFKA_CFG

    2024年02月08日
    浏览(52)
  • Linux实战——Kafka集群安装部署

    Kafka是一款 分布式的、去中心化的、高吞吐低延迟、订阅模式 的消息队列系统。 同RabbitMQ一样,Kafka也是消息队列。不过RabbitMQ多用于后端系统,因其更加专注于消息的延迟和容错。 Kafka多用于大数据体系,因其更加专注于数据的吞吐能力。 Kafka多数都是运行在分布式(集群

    2023年04月09日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包