一:数据倾斜,导致各个分区数据不均匀。最终导致kafka堵塞,数据消费不动。
第一步:先停掉kafka中,上游和下游的代码,对分配数据较多的分区进行重新分配。
https://cloud.tencent.com/developer/article/1755177文章来源:https://www.toymoban.com/news/detail-814781.html
二:重新修改进入kafka的代码,防止进行后期继续发生数据倾斜。
可以设置一个新的列,根据这个列进行hash。文章来源地址https://www.toymoban.com/news/detail-814781.html
三:kafka默认自动存储在zk中。如果想存储到其他地方,例如mysql,需要手动进行修改。
到了这里,关于kafka(一:分区数据不均衡(数据倾斜),分区分配策略)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!