Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

相关文章

• kafka topic多分区乱序问题

  [root@centos6 bin]# ./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 6 --topic test1 Created topic test1. [root@centos6 kafka]# cat produce_kafka.py  from kafka import KafkaProducer from kafka.errors import KafkaError import os producer = KafkaProducer(bootstrap_servers=[\\\'127.0.0.1:9092\\\']) # Asynchronous by de

  2024年02月06日

  浏览(51)

• kafka修改Topic副本数和分区数

  一 .修改Kafka Topic副本数 1.bin/kafka-topics.sh --zookeeper gw04:2181,gw05:2181,gw06:2181 --create --partitions 3 --replication-factor 3 --topic bms_clean_dwm_es11_yb ##新建测试topic bms_clean_dwm_es11_yb 2.bin/kafka-topics.sh --zookeeper gw04:2181,gw05:2181,gw06:2181 --topic bms_clean_dwm_es11_yb --describe ##查看Topic详情如下: Topic:bms_cle

  2023年04月09日

  浏览(57)

• Docker中Kafka容器创建/更新Topic支持多分区

  自行通过docker部署好kafka，并启动相关容器。 假设Topic为http_capture。 检测Kafka运行正常后，如果Topic为http_capture的主题存在，则更新分区为5个，若不存在Topic，则新建。

  2024年04月26日

  浏览(45)
• 

  kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费

  原创/朱季谦 接触kafka开发已经两年多，也看过关于kafka的一些书，但一直没有怎么对它做总结，借着最近正好在看《Apache Kafka实战》一书，同时自己又搭建了三台kafka服务器，正好可以做一些总结记录。 本文主要是记录如何在kafka集群服务器上创建topic，查看topic列表、分区、

  2024年02月03日

  浏览(47)
• 

  kafka中topic的部分分区leader为none，怎样解决？

    （以Hadoop的topic为例） 进入Zookeeper客户端查看kafka存储的信息，/kafka/brokers/topics/hadoop/partitions/1/state get /kafka/brokers/topics/hadoop/partitions/1/state 查看到 {\\\"controller_epoch\\\":33,\\\"leader\\\":-1,\\\"version\\\":1,\\\"leader_epoch\\\":25,\\\"isr\\\":[3]}  leader为-1，固分区的leader为none 修改/kafka/brokers/topics/hadoop/partitions/

  2024年02月03日

  浏览(47)

• Kafka中的主题（Topic）和分区（Partition）是什么？它们之间有什么关系？

  在Kafka中，主题（Topic）和分区（Partition）都是用于组织和存储消息的概念，它们有密切的关系。 主题（Topic）：主题是消息的逻辑分类。可以将主题理解为一个逻辑上的消息容器，类似于一个消息类别或者话题。在Kafka中，生产者（Producer）将消息发布到特定的主题，而消费

  2024年02月15日

  浏览(45)
• 

  全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)

  最近在学习kafka相关的知识，特将学习成功记录成文章，以供大家共同学习。 首先要注意的是， Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。 在 Kafka 中， Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。 物理上

  2024年01月25日

  浏览(43)
• 

  kafka 基础概念、命令行操作（查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、 查看消费者组 、更新消费者的偏移位置）

  kafka官网 Broker   一台kafka服务器就是一个broker，可容纳多个topic。一个集群由多个broker组成； Producer   生产者，即向kafka的broker-list发送消息的客户端； Consumer   消费者，即向kafka的broker-list订阅消息的客户端； Consumer Group   消费者组是 逻辑上的一个订阅者 ，由多个

  2024年02月01日

  浏览(61)
• 

  详解kafka中的消息日志文件：Topic消息分类、partition分区、segment分段、offset偏移量索引文件

  Kafka是一种高吞吐量的基于zookeeper协调的以集群的方式运行的分布式发布订阅消息系统，支持分区（partition）、多副本（replica），具有非常好的负载均衡能力和处理性能、容错能力。Kafka采用发布/订阅模型，消息生产者将消息发送到Kafka的消息中心（broker）中，然后消费者从

  2024年02月03日

  浏览(89)

• kafka topic迁移方案及过程记录（待整理）

  kafka的topic如果一开始没有做合理拆分，在业务不断膨胀的情况下，容易产生消息堆积，问题难以定位排查。以下是几种不同情况下做拆分或迁移的方案 一、发送者不变、topic不变、新增consumer group 二、新增发送者、从原topic拆出部分消息作为新topic、consumer group不变 三、新增

  2024年02月15日

  浏览(49)