linq

1. 背景 笔者带领的团队在自研的大数据平台XSailboat 上进行专家策略规则的计算管道开发时，遇到这样一种情形： 计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置…

1，概念 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对…

目录 1 配置Broker 1.1 Broker的配置 broker.id=0 listerers zookeeper.connect log.dirs log.dir=/tmp/…

目录 一、kafka概述 1.1为什么需要消息队列（MQ） 1.2常见的中间 1.3消息队列的优点 1.4消息队列的两种模式 1.5 Kafka 定义 1.6 Kafka 的特性 …

1 实时流式计算 1.1 概念 一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持…

文章目录 0.前言 1.集成示例 官方教程 示例1： 示例2： 配置 Kerberos 支持 虚拟列 参考文档 0.前言 ClickHouse为了方便与Kafka集成，提供了一个名…

从kafka读取数据并入库 层级结构 主类 配置类(config) 监听类(liston) mapper类(mapper) service service的实现类 实体类（vo） …

丢失消息有 3 种不同的情况，针对每一种情况有不同的解决方案。 生产者丢失消息的情况消费者丢失消息的情况Kafka 弄丢了消息生产者丢失消息的情况生产者(Producer) 调用s…

Kafka事务 producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要…

目录 1、添加POM依赖 2、API使用说明 3、序列化器 3.1 使用预定义的序列化器 3.2 使用自定义的序列化器 4、容错保证级别 4.1 至少一次 的配置 4.2 精确一次…

一碰就头疼的 Kafka 消息重复问题，立马解决！ 一、前言 整理下消息重复的几个场景： Kafka 幂等性 Producer Kafka 事务 消费端幂等 二、案例：Kafka …

kafka-shell工具 背景 日志 log 一.启动kafka->(start-kafka) 二.停止kafka->(stop-kafka) 三.创建topic-&…