根据官方给出的kafka引擎文档,做一个实践记录。
官方地址:https://clickhouse.tech/docs/zh/engines/table-engines/integrations/kafka/
1、特性介绍
clickhouse支持kafka的表双向同步,其中提供的为Kafka引擎。
其大致情况为如下情况:Kafka主题中存在对应的数据格式,Clickhouse创建一个Kafka引擎表(即相当于一个消费者),当主题有消息进入时,获取该消息,将其进行消费,然后物化视图同步插入到MergeTree表中。
该引擎还支持反向写入到Kafka中,即往Kafka引擎表中插入数据,可以同步到Kafka中(同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中)。
下面为Kafka Engine的一些配置:
Kafka SETTINGS
kafka_broker_list = 'localhost:9092',
kafka_topic_list = 'topic1,topic2',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow',
kafka_row_delimiter = '\n',
kafka_schema = '',
kafka_num_consumers = 2
必填参数(例如topic、kafka集群、消费者组等):文章来源:https://www.toymoban.com/news/detail-793055.html
-
kaf文章来源地址https://www.toymoban.com/news/detail-793055.html
到了这里,关于Clickhouse Engine kafka 将kafka数据同步clickhouse的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!