Clickhouse Engine kafka 将kafka数据同步clickhouse

• 大数据

根据官方给出的kafka引擎文档，做一个实践记录。

官方地址：https://clickhouse.tech/docs/zh/engines/table-engines/integrations/kafka/

1、特性介绍

clickhouse支持kafka的表双向同步，其中提供的为Kafka引擎。

其大致情况为如下情况：Kafka主题中存在对应的数据格式，Clickhouse创建一个Kafka引擎表（即相当于一个消费者），当主题有消息进入时，获取该消息，将其进行消费，然后物化视图同步插入到MergeTree表中。

该引擎还支持反向写入到Kafka中，即往Kafka引擎表中插入数据，可以同步到Kafka中（同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中）。

下面为Kafka Engine的一些配置：

Kafka SETTINGS
  kafka_broker_list = 'localhost:9092',
  kafka_topic_list = 'topic1,topic2',
  kafka_group_name = 'group1',
  kafka_format = 'JSONEachRow',
  kafka_row_delimiter = '\n',
  kafka_schema = '',
  kafka_num_consumers = 2

必填参数（例如topic、kafka集群、消费者组等）：

  • kaf

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/6e793e513c.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐