kafka
-
flink 从kafka读取数据报错
报错: Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartB…
-
38、Flink 的CDC 格式：canal部署以及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Springboot Kafka整合（开发实例、连接、配置TOPICS、发送消息）—官方原版
一、概念 Spring for Apache Kafka项目将Spring的核心概念应用于基于Kafka的消息传递解决方案的开发。我们提供了一个“模板”作为发送消息的高级抽象。 二…
-
Kafka入门到精通
一、简介 1.1、消息队列简介 1.1.1、什么是消息队列 消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。来看一下…
-
kafka 的 ack 的三种机制
Kafka的消息确认（acknowledgment）机制用于确保生产者发送的消息已经成功被Kafka Broker接收并存储。Kafka提供了三种不同级别的消息确认机制，可以根据需…
-
【消息队列】细说Kafka消费者的分区分配和重平衡
消费方式 我们直到在性能设计中异步模式，一般要么是采用pull，要么采用push。而两种方式各有优缺点。 pull ：说白了就是通过消费端进行主动拉去数据，会根据自身系统处理能力去…
-
python消息队列4种方法及使用场景
Python 有许多消息队列实现，其中一些最流行的包括： 一：RabbitMQ 是一个高度可靠的消息队列系统，用于发送和接收消息，支持多种消息协议。一个开源的消息队列系统，具有高可…
-
kafka消费多个topic的使用
kafka消费多个topic的使用 我们在业务中难免遇到一个kafka消费多个topic的消息，本文帮助大家如何在业务中用一个类消费多个topic消息 一、不同kafka的不同to…
-
kafka之消费者（Consumer）
1、kafka消费者消费方式 kafka 的消费者（Consumer）采用 pull 的方式主动从 broker 中拉取数据，这种不足之处会有：当 broker 中…
-
kafka启动报错：java.lang.ClassNotFoundException:kafka.security.auth.SimpleAclAuthorizer
一、问题描述 某次现场启动kafka服务时报错如下：java.lang.ClassNotFoundException:kafka.security.auth.SimpleAclAu…
-
Kafka 知识总结之消费者简单使用
目录 简述 一. kafka消费者 二. 构建测试工程 三. offset提交 3.1. 手动提交offset 3.2. 按照分区消费 3.3. 指定offset消费 3.4. 按…
-
kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式
一、前言（Kafka 集群中的节点类型） 1、本次实验，采用kafka版本为 3.4.0 2、我们首先需要了解一下，一个 Kafka 集群是由下列几种类型的节点构成的，它们充当着不…
-
【flink番外篇】13、Broadcast State 模式示例（完整版）
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka事务
Kafka事务是2017年Kafka 0.11.0.0引入的新特性。类似于数据库的事务。Kafka事务指的是生产者生产消息以及消费者提交offset的操作可以在一个原子操作中，要么…
-
kafka监控工具Kafka-eagle安装
1. Kafka-Eagle简介 在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区…
