kafka 将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。
数据清理的方式
1、删除
log.cleanup.policy=delete启用删除策略
直接删除,删除后的消息不可恢复。可配置以下两个策略:
#清理超过指定时间清理: log.retention.hours=16
#超过指定大小后,删除旧的消息: log.retention.bytes=1073741824
为了避免在删除时阻塞读操作,采用了copy-on-write形式的实现,删除操作进行时,读取操作的二分查找功能实际是在一个静态的快照副本上进行的,这类似于 Java 的 CopyOnWriteArrayList。
2、压缩
将数据压缩,只保留每个 key 最后一个版本的数据。
首先在 broker 的配置中设置log.cleaner.enable=true启用 cleaner,这个默认是关闭的。文章来源:https://www.toymoban.com/news/detail-509444.html
在 topic 的配置中设置log.cleanup.policy=compact启用压缩策略。文章来源地址https://www.toymoban.com/news/detail-509444.html
到了这里,关于kafka 是如何清理过期数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!