kafka
-
启动zookeeper和kafka时 kafka无法启动或者闪退
目录 一.问题: kafka无法启动或者kafka启动以后 kafka进程自动挂掉 二.解决办法: 1.关闭kafka和zookeeper(先关kafka再关zookeeper) …
-
10款优秀的Kafka管理工具分享
Kafka是一种高性能、可扩展的分布式消息队列系统，被广泛应用于大规模数据流处理和实时数据传输场景。有效地管理和监控Kafka集群对于确保其可靠性和性能至关重要。在本文中，我将分享…
-
Kafka在美团数据平台的实践
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…
-
Kafka实战进阶：一篇详解与互联网实战PDF指南，带你深入Apache Kafka的世界
前言 Apache Kafka是由Apache软件基金会开发的一款开源消息系统项目，主要使用Scala语言编写。该项目旨在为处理实时数据提供一个统一、高通量、低等待的平台。Kafk…
-
大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）
第 1 章：数据仓库 1.1 数据仓库概述 1.1.1 数据仓库概念 1、数据仓库概念： 为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程…
-
Kafka篇——生产者端发送消息配置汇总(ACK配置、重试间隔设置以及发送消息缓冲机制)干货满满！细节满满！
ACK配置 生产者同步发送消息的时候，生产者在获得集群返回的ACK前会一直阻塞，那么集群什么时候给生产者返回ACK呢？ 在Kafka中，ACK（Acknowledgement）是一…
-
Kafka消费流程
Kafka消费流程 消息是如何被消费者消费掉的。其中最核心的有以下内容。 1、多线程安全问题 2、群组协调 3、分区再均衡 1.多线程安全问题 当多个线程访问某个类时，这个类始终都…
-
【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步
何为FLINK-CDC？ CDC是Change Data Capture的缩写，中文意思是变更数据获取，flink-cdc的作用是，通过flink捕获数据源的事务变动操作记录，包括…
-
Springboot：kafka运行成功，报错InvalidTopicException
官方说法：The client has attempted to perform an operation on an invalid topic. For example the…
-
kafka消费不到数据问题
出问题现象 最近项目使用到了kafka，别的系统作为生产者，我们系统作为消费者，但是经常出现消费者消费一段时间就不消费了，根本就触发不了kafkaListener的拉取动作。换一个…
-
数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql/hive配置）
配置背景 我使用的root用户，懒得加sudo 所有文件夹在/opt/module 所有安装包在/opt/software 所有脚本文件在/root/bin 三台虚拟机：hadoo…
-
Kafka-服务端-ControllerChannelManager、ControllerContext、ControllerBrokerRequestBatch
ControllerChannelManager Controller Leader通过发送多种请求管理集群中的其他Broker,KafkaController使用Controll…
-
Kafka怎么保证消息发送不丢失
前言 Kafka发送消息是异步发送的，所以我们不知道消息是否发送成功，所以会可能造成消息丢失。而且Kafka架构是由生产者-服务器端-消费者三种组成部分构成的。要保证消息不丢失，那…
-
Kafka中的Topic
在Kafka中，Topic是消息的逻辑容器，用于组织和分类消息。本文将深入探讨Kafka Topic的各个方面，包括创建、配置、生产者和消费者，以及一些实际应用中的示例代码。 1….
-
Kafka 万字精讲｜工作五年这些你都知道吗？
文章目录 前言 一、Kafka 简介 1.1 事件流平台 1.2 Kafka 主要概念和术语 1.3 Zookeeper 二、Kafka 集群搭建和使用 2.1 使用 Docker…
