kafka
-
分布式消息流处理平台kafka(一)-kafka单机、集群环境搭建流程及使用入门
1.kafka概述 1.1 kafka的前世今生 kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是，LinkedIn虽然有了数据库和其他系统可以用来存储数据…
-
SpringBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表
SpringBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表 更多优秀文章，请扫码关注个人微信公众号或搜索“程序猿小杨”添加。 一、背景 因…
-
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
文章目录 业务实现之编写写入ODS层业务代码 一、代码逻辑和架构图
-
【Kafka架构及应用】
Kafka的架构和运行原理 Kafka是一个分布式流处理平台，它由以下几个核心组件组成： Broker：Kafka集群中的一个节点，负责接收、存储和转发消息。 Topic：消息的逻…
-
面试官问我：线程锁导致的kafka客户端超时，如何解决？
本文分享自华为云社区《线程锁导致的kafka客户端超时问题》，作者： 张俭 。 问题背景 有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程 我们先…
-
云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍
作者：娜米 云消息队列 Kafka 版为什么需要做无代码转储 云消息队列 Kafka 版本身是一个分布式流处理平台，具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理…
-
Kafka生产者示例：发送JSON数据到Kafka Topic
Kafka生产者示例：发送JSON数据到Kafka Topic Kafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。本文将深入浅出地介绍如何使用Kafka生产者发送J…
-
flink k8s sink到kafka报错 Failed to get metadata for topics
可能出现的3种报错 — 报错1 Failed to get metadata for topics […]. org.apache.kafka.common.errors.T…
-
命令消费kafka报错(id: -1 rack: null) disconnected
CDP 717环境使用kafka-console-consumer 命令消费kafka报错如下 23/03/28 09:19:07 WARN clients.NetworkClie…
-
RocketMQ和Kafka的区别，以及如何保证消息不丢失和重复消费
消息队列RocketMQ和Kafka的区别 性能（单台） 语言 多语言支持客户端 优缺点 RocketMQ 十万级 java java 模型简单、接口易用，在阿里有大规模应用 文档…
-
Kafka公网访问
文章目录 一、背景 二、需求 三、调研 四、配置内外网访问 一、背景 kafka机器只有内网IP，没有绑定外网网卡，但是可以在防火墙或通过其他有公网IP的设备上进行公网IP+端口的…
-
Kafka 的消息格式：了解消息结构与序列化
Kafka 作为一款高性能的消息中间件系统，其消息格式对于消息的生产、传输和消费起着至关重要的作用。本篇博客将深入讨论 Kafka 的消息格式，包括消息的结构、序列化与反序列化，以…
-
为什么每一个爬虫工程师都应该学习 Kafka
这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。 一个简单的需求 假设我们需要写一个微博爬虫，老板给的需求如下： 开…
-
kafkak集群的安装部署
一、前期准备 1. 三台主机都需要安装好jdk 2. 三台主机都要配置好zookeeper 3. 准备好kafka压缩包 二、kafka集群的安装 1. 上传压缩包 2. 解压 …
-
集成Kafka：HBase与Kafka的集成和应用
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多企业和组织采用了分布式系统。HBase和Kafka是两个非常重要的分布式系统，它们在数…
