kafka
-
如何保证Kafka不丢失消息
丢失消息有 3 种不同的情况，针对每一种情况有不同的解决方案。 生产者丢失消息的情况消费者丢失消息的情况Kafka 弄丢了消息生产者丢失消息的情况生产者(Producer) 调用s…
-
52、Flink的应用程序参数处理-ParameterTool介绍及使用示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
关于Kafka事务处理的详细讲解
Kafka事务 producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要…
-
记一次线上kafka重复消费的问题解决及思考
目录 问题 排查原因 生产者原因 消费者可能原因 1. 重复消息被分到同一消费者的同一批次处理 2. 重复消息被分到同一消费者的不同批次处理 3. 重复消息被几乎同时分到不同消费者…
-
Kafka(二）原理详解
一 、kafka核心总控制器（Controller） 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它…
-
kafka springBoot 配置
1、properties 配置 control.command.kafka.enabled=true control.command.kafka.bootstrap-servers…
-
ELK+kafka+filebeat企业内部日志分析系统
1、组件介绍 1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTf…
-
6.2、Flink数据写入到Kafka
目录 1、添加POM依赖 2、API使用说明 3、序列化器 3.1 使用预定义的序列化器 3.2 使用自定义的序列化器 4、容错保证级别 4.1 至少一次 的配置 4.2 精确一次…
-
Kafka学习
Kafka的消息通过主题（topic）进行分类 主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区，…
-
flinkcdc同步完全量数据就不同步增量数据了
flinkcdc同步完全量数据就不同步增量数据了 使用flinkcdc同步mysql数据，使用的是全量采集模型 startupOptions(StartupOptions.earl…
-
Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine
PartitionLeaderSelector 通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLead…
-
Kafka
目录 1、Kafka简要描述 1.1、kafka 1.2 消息队列 1.3、为什么需要消息队列 1.4 kafka架构 1.5 分布式模型 1.6 Kafka网址 2、Kafka集…
-
「查缺补漏」 Kafka 核心知识梳理
这篇文章干货很多，希望你可以耐心读完。 Kafka 基础知识15问 Kafka 是什么, 适应场景有哪些? Kafka 是一个分布式的流式处理平台，用于实时构建流处理应用。主要应用…
-
【Kafka每日一问】kafka三种压缩方式差别?
Kafka 提供了三种压缩算法，分别是GZIP、Snappy 和 LZ4。 这三种压缩算法的差异主要在以下方面： 压缩比：GZIP 压缩比最高，DEFLATE 算法，但压缩和解压缩…
-
Kafka延迟队列的实现方式
在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。Apache Kafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文…
