kafka
-
Kafka内容分享(七)：Kafka 数据清理和配额限速
目录 一、Kafka中数据清理（Log Deletion） 1.1、日志删除 1.1.1、定时日志删除任务 1.1.2、基于时间的保留策略 1.1.2.1、设置topic 5秒删除…
-
微服务探索之路06篇k8s配置文件Yaml部署Redis使用Helm部署MongoDB和kafka
1 安装Redis 1.1创建配置文件redis.conf 切换到自己的目录下如本文是放在/home/ubuntu下 cd /home/ubuntu vim redis.conf …
-
【flink番外篇】17、DataStream 和 Table集成-仅插入流Insert-Only示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka——配置文件详解
目录 1、server.properties 2、producer.properties 3、consumer.propertis 4、server.properties模板 1、…
-
kafka3.6.0部署
部署zk https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeepe…
-
【Spring Boot】集成Kafka实现消息发送和订阅
文章目录 一，新建Spring Boot 1，Maven配置 2，无法识别为SpringBoot项目 3，无效的源发行版 4，无法访问SpringApplication 5，运行直…
-
Flink SQL 任务消费Kafka写hudi的性能调优总结
背景 2023年双11高峰之际，实时平台有一个消费Kafka写hudi的Flink SQL类型的实时任务，每天Kafka流入的高峰时段有近350万/分钟的流入量，而任务的消费速率平…
-
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/Child
运行 flink job用application模式运行时 flink run-application -t yarn-application /opt/flink/flink-j…
-
prometheus监控kafka
一、前言 关于对kafka的监控，要求高的话可以使用kafka-exorter和jmx-exporter一起收集监控数据，要求不高的情况下可以使用kafka-exporter…
-
项目Es、kafka、mysql容量评估方案和服务器资源预估方案
目录 1、Es 评估计划 一个接口jmeter压测qps 1万, logstash 读取日志文件写入es Logstash配置 Es容量变化前后差值/1万 * 1.67 * （1+…
-
Spring Boot中使用Kafka时遇到“构建Kafka消费者失败“的问题
在使用Spring Boot开发应用程序时，集成Apache Kafka作为消息队列是一种常见的做法。然而，有时候在配置和使用Kafka时可能会遇到一些问题。本文将探讨在Sprin…
-
Kafka学习—4、消费者（分区消费、分区平衡策略、offset、漏消费和重复消费）
1、消费者 1.1 Kafka消费方式 1、pull（拉）模式：consumer采用从broker中主动拉取数据。 2、push（推）模式：Kafka没有采用这种方式。因为brok…
-
Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问
目录 1. Kafka配置Kerberos 2. 客户端操作Kafka 3. Java API操作Kafka 4. StructuredStreaming操作Kafk…
-
部署Kafka
kafka：kafka_2.13-3.5.1 NOTE: Your local environment must have Java 8+ installed. Apache Ka…
-
Kafka 的 Consumer Group 解读
作为一份笔记，本文再次梳理一下 Kafka 的 Consumer Group。我们知道，一个 Topic 往往会有多个 Partition，一条消息只会被写到一个 Kafka 的 …
