kafka
-
@KafkaListener 详解及消息消费启停控制
参考：Kafka参数 一、@KafkaListener注解 @KafkaListener(id = “11111”, groupId = “demo-group”,topics =…
-
分布式 – 消息队列Kafka：Kafka 消费者消息消费与参数配置
文章目录 1. Kafka 消费者消费消息 01. 创建消费者 02. 订阅主题 03. 轮询拉取数据 2. Kafka 消费者参数配置 01. fetch.min.bytes 0…
-
【Kafka】Kafka客户端认证失败：Cluster authorization failed.
背景 kafka客户端是公司内部基于spring-kafka封装的 spring-boot版本：3.x spring-kafka版本：2.1.11.RELEASE 集群认证方式：S…
-
Windows系统下快速启动Kafka
目录 一、获取Kafka 二、启动KAFKA环境 2.1 启动zookeeper服务 2.2 启动Kafka服务 2.3 验证 Kafka 服务是否正常工作 三、操作Kafka 3…
-
实时计算大作业kafka+zookeeper+storm+dataV
第一章 总体需求 1.1.课题背景 近年来，大数据称为热门词汇，大数据分析随着互联网技术的发展愈加深入电商营销之 中，越来越多的电商企业利用大数据分析技术，利用信息化对产业发展营销…
-
Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)
前言 在官方文档的描述中，API FlinkKafkaConsumer和FlinkKafkaProducer将在后续版本陆续弃用、移除，所以在未来生产中有版本升级的情况下，新API…
-
ElasticStack日志分析平台－ES 集群、Kibana与Kafka
一、Elasticsearch 1、介绍： Elasticsearch 是一个开源的分布式搜索和分析引擎，Logstash 和 Beats 收集的数据可以存储在 Elasticse…
-
用好 kafka，你不得不知的那些工具
前言 工欲善其事，必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程，以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。 kafka 部署架构 一个…
-
Kafka中的auto-offset-reset配置
Kafka这个服务在启动时会依赖于Zookeeper，Kafka相关的部分数据也会存储在Zookeeper中。如果kafka或者Zookeeper中存在脏数据的话（即错误数据），这…
-
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
前言 本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在…
-
java:Kafka生产者推送数据与消费者接收数据（参数配置以及案例）
1.生产者推送数据 常用参数 bootstrap.servers：Kafka集群中的Broker列表，格式为host1:port1,host2:port2,…。生产者会从这些Bro…
-
kafka原理五之springboot 集成批量消费
目录 前言 一、新建一个maven工程，添加kafka依赖 二、yaml配置文件 三、消息消费 手动提交非批量消费 String 类型接入 使用注解方式获取消息头、消息体 手动…
-
深入理解Spring Kafka中@KafkaListener注解的参数与使用方式
Apache Kafka作为一个强大的消息代理系统，与Spring框架的集成使得在分布式应用中处理消息变得更加简单和灵活。Spring Kafka提供了@KafkaListener…
-
架构必备能力——kafka的选型对比及应用场景
系列文章目录 上手第一关，手把手教你安装kafka与可视化工具kafka-eagle Kafka是什么，以及如何使用SpringBoot对接Kafka 架构必备能力——kafka的…
-
kafka删除topic消息的三种方式
kafka删除topic消息的三种方式 方法一：快速配置删除法（确保topic数据不要了） 1.kafka启动之前，在server.properties配置delete.topic…
