kafka
-
kafka管理工具之kafka-ui的环境搭建笔记
由于项目需要kafka支持认证功能，就把kafka升级到3.2.0了。之前一直使用的kafka tools(现在叫Offset Explorer，个人使用免费，商用付费)，…
-
Kafka中的max-poll-records和listener.concurrency配置
1、max-poll-records是什么 max-poll-records是Kafka consumer的一个配置参数，表示consumer一次从Kafka broker中拉取的…
-
SpringBoot 集成 Kafka 配置
原生模式 org.apache.kafka kafka-clients 3.0.0 自定义分区器 /** * 自定义分区器 * * @Author: chen yang * @Da…
-
在Docker中安装kafka遇到问题记录
命令含义解答： 在docker安装kafka的时候，启动kafka的时候会执行下面语句： docker run -d –log-driver json-file –log-op…
-
Windows 10 也能安装Kafka？这篇教程让你轻松掌握！
🎉🎉欢迎来到我的CSDN主页！🎉🎉 🏅我是尘缘，一个在CSDN分享笔记的博主。📚&#…
-
Kafka的启动、关闭及相关命令
Kafka是一个分布式流处理平台，用于构建可扩展的、高吞吐量的实时数据流应用程序。在使用Kafka时，我们需要了解如何启动和关闭Kafka服务以及相关的命令。本文将详细介绍Kafk…
-
kafka的基本使用–学习笔记
catalyst引擎 作用：将SparkSql转换成spark rdd任务提交进行计算 解析器 将sparksql代码解析成语法树(未解析的逻辑查询计划) 分析器 将语法树解析成解…
-
【kafka】记录用———–1
主题（topic）：消息的第一次分类 根据人为的划分条件将消息分成不同的主题 主题的划分是人为的根据不同的任务情景去划分 比如，我们有两个主题，一个是”订单”…
-
4.3、Flink任务怎样读取Kafka中的数据
目录 1、添加pom依赖 2、API使用说明 3、这是一个完整的入门案例 4、Kafka消息应该如何解析 4.1、只获取Kafka消息的value部分 4.2、获取完整Kafka…
-
Java开发 – Canal进阶之和Redis的数据同步
前言 Canal在数据同步中是非常常见的，一般我们会用它来做MySQL和Redis之间、MySQL和ES之间的数据同步，否则就是手动通过代码进行同步，造成代码耦合度高的问题，这并不…
-
kafka处理大量消息积压tips —— 筑梦之路
一、consumer导致kafka积压了大量消息 场景： 1. 如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数， 同时提升消费者组的消费者…
-
接收Kafka数据并消费至Hive表
1 Hive客户端方案 将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。 步骤： 创建Hive表： 使用Hi…
-
Kafka消息发送失败的常见原因及解决方案
一、Kafka消息发送失败的常见原因及解决方案 1.1、网络故障 网络故障是Kafka消息发送失败的最常见原因之一。当网络出现故障时，Kafka就无法将消息发送到目标主题或…
-
kafka 动态扩容现有 topic 的分区数和副本数
文章目录 @[toc] 创建一个演示 topic 生产一些数据 使用消费者组消费数据 增加分区 无新数据产生，有旧数据未消费 有新数据产生，有旧数据未消费 增加副本 创建 json…
-
如何查看Kafka的Topic消费情况
Linux kafka常用命令 1 kafka常用命令 1.1 启动kafka nohup ./kafka-server-start.sh ../config/server.pro…
