主要是涉及到kafka 消费端到es 的数据处理
kafka端
1、批量消费(效果相当明显)
2、kafka 设置topic多分区,增加kafka的消费并行度(效果相当明显)
es 端
1、采用批量插入,批量插入效率较单条插入效率高很多(效果相当明显,一次批量插入数据大小限制在5M内)
2、调整es 中索引的副本为0(效果相当明显,es无需做主副分片的复制,减少插入数据请求等待时间)
以下图为kibana中调整索引xxxx的副本数文章来源地址https://www.toymoban.com/news/detail-523722.html
文章来源:https://www.toymoban.com/news/detail-523722.html
到了这里,关于海量kafka数据入es速度优化处理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!