kafka-副本扩容

这篇具有很好参考价值的文章主要介绍了kafka-副本扩容。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

kafka-副本扩容

创建 主题

./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test2
Created topic test2.

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
__consumer_offsets
test2

./bin/kafka-topics.sh --bootstrap-server localhost:9092  --describe --topic test2
Topic: test2    TopicId: WdrAo9N9QkuhV0kWGvhV7w PartitionCount: 1       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: test2    Partition: 0    Leader: 3       Replicas: 3     Isr: 3

副本扩容

使用 /bin/kafka-reassign-partitions.sh 进行副本扩容


$ echo '{"version":1,"partitions":[{"topic":"test2","partition":0,"replicas" :[1,2,3]}]}' > increase-replication-factor.json

./bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 --reassignment-json-file increase-replication-factor.json --execute
Current partition replica assignment

{"version":1,"partitions":[{"topic":"test2","partition":0,"replicas":[3],"log_dirs":["any"]}]}

Save this to use as the --reassignment-json-file option during rollback
Successfully started partition reassignment for test2-0

./bin/kafka-topics.sh --bootstrap-server localhost:9092  --describe --topic test2
Topic: test2    TopicId: WdrAo9N9QkuhV0kWGvhV7w PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: test2    Partition: 0    Leader: 3       Replicas: 1,2,3 Isr: 3,1,2

可以发现副本数已经变成3个文章来源地址https://www.toymoban.com/news/detail-544577.html

到了这里,关于kafka-副本扩容的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • kafka--kafka的基本概念-副本概念replica

    Broker 表示实际的物理机器节点 Broker1中的绿色P1表示主分片Broker2中的蓝色P1表示副本分片,其余类似,就是主从的概念,如果一个Broker挂掉了,还有其它的节点来保证数据的完整性 P可以看做分区 同一时间点,绿色P1 和紫色P1 不会完全一致,存在一个同步的过程 绿色部分处理

    2024年02月12日
    浏览(39)
  • KafKa 分区,副本实战

    5个broker (1主4从) 安装目路/config/server.properties, 额外复制4份为 server-2.properties,server-3.properties,server-4.properties,server-5.properties 主要配置不同 server.properties server-2.properties server-3.properties server-4.properties server-5.properties 运行这5个broker 创建一个主题test,8个分区,3个副本 bootstrap

    2024年02月11日
    浏览(38)
  • kafka入门(九):副本

    副本 副本(Replica),指的是分布式系统对数据和服务提供的一种冗余方式。 Kafka通过多副本机制实现故障自动转移,在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。 kafka 副本之间是 一主多从的关系。 其中 leader 副本负责处理读写请求,follower 副本只负责与 le

    2024年01月22日
    浏览(34)
  • Kafka-副本数量设置

    指的是存活的副本数量 ISR 机制的另外一个相关参数是  min.insync.replicas  , 可以在 broker 或者主题级别进行配置,代表 ISR 列表中至少要有几个可用副本。 这里假设设置为 2,那么当可用副本数量小于该值时,就认为整个分区处于不可用状态。此时客户端再向分区写入数据时候

    2024年02月14日
    浏览(32)
  • Kafka-服务端-副本机制

    Kafka从0.8版本开始引入副本(Replica)的机制,其目的是为了增加Kafka集群的高可用性。 Kafka实现副本机制之后,每个分区可以有多个副本,并且会从其副本集合(Assigned Replica,AR)中选出一个副本作为Leader副本,所有的读写请求都由选举出的Leader副本处理。 剩余的其他副本都作为F

    2024年01月24日
    浏览(44)
  • kafka之五----副本同步

    kafka每个分区下使用多副本冗余实现高可用性,多副本之间有一个leader,多个follower,它们之间的数据同步依赖3个重要属性: LEO:日志末端的位移(log end offset),标识当前日志文件中下一条待写入的消息的offset HW:高水位值(High Watermark),定义了消息可见性,标识了一个特

    2023年04月09日
    浏览(37)
  • kafka入门(八):副本

    副本 副本(Replica),指的是分布式系统对数据和服务提供的一种冗余方式。 Kafka通过多副本机制实现故障自动转移,在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。 kafka 副本之间是 一主多从的关系。 其中 leader 副本负责处理读写请求,follower 副本只负责与 leader

    2024年01月25日
    浏览(36)
  • kafka入门(十):副本数据同步

    副本 副本(Replica),指的是分布式系统对数据和服务提供的一种冗余方式。 Kafka通过多副本机制实现故障自动转移,在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。 失效副本 在ISR集合之外,也就是处于同步失效或功能失效(比如副本处于非存活状态)的副本统

    2024年01月22日
    浏览(45)
  • Kafka架构篇 - 多副本机制

    副本是分布式系统中对 数据 和 服务 提供的一种冗余方式。为了对外提供可用的服务,往往会对 数据 和 服务 进行副本处理。 数据副本:在不同的节点持久化同一份数据,当某个节点存储的数据丢失时,可以从副本中读取数据,这是分布式系统解决数据丢失问题的最有效的

    2024年02月08日
    浏览(45)
  • Kafka的分区和副本机制

    Kafka的分区和副本机制是分布式消息系统中的重要概念,它们在数据一致性和容错方面起到了关键作用。下面我将详细介绍这两个机制的工作原理和底层实现思路,并通过Java源码示例和分析来加深理解。 Kafka分区机制 Kafka的分区机制是按照一定规则将主题(Topic)中的消息分

    2024年02月01日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包