kafka
-
37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
kafka 偏移量的类型与提交方式
kafka checkpoint 在流处理中，“checkpoint” 通常指的是将应用程序的状态保存到可靠的存储系统中，以便在发生故障或应用程序需要重启时能够从先前的状态中恢复。…
-
5、kafka监控工具Kafka-Eagle介绍及使用
Apache Kafka系列文章 1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试 2、java调用kafka api 3、kafka重要概念介紹及示例 4、kaf…
-
kafka CommitFailedException异常
大家好，我是三叔，很高兴这期又和大家见面了，一个奋斗在互联网的打工人。 记一次kafka生产Bug：CommitFailedException kafka消费端消费消息出现多次同一…
-
kafka下载与安装教程
一、下载安装zookeeper：https://downloads.apache.org/zookeeper 本次使用kafka_2.12-2.8.1.tgz内置zookeeper…
-
简单聊聊Kafka的Consumer
Consumer 我们知道消息队列一般有两种实现方式,(1)Push(推模式) (2)Pull(拉模式)，那么 Kafka Consumer 究竟采用哪种方式进行消费的呢？其实 K…
-
关于flink重新提交任务，重复消费kafka的坑
异常现象1 按照以下方式设置backend目录和checkpoint目录，fsbackend目录有数据，checkpoint目录没数据 env.getCheckpointConfi…
-
Kafka 原理篇
作者：码哥字节 今天我们来深入讲解 Kafka 的架构和实现原理。我将从架构和细节入手，以生动的图深入讲解 Kafka 的实现原理。 我想很多同学之前可能已经看过很多 Kafka …
-
Kafka快速入门
Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间…
-
消息队列之王——Kafka
Zookeeper 在学习kafka之前，我们需要先学习Zookeeper，那Zookeeper是什么呢？Zookeeper是一个开源的分布式的，为分布式框架提供协调服务…
-
【中间件】消息中间件之Kafka
一、概念介绍 Apache Kafka是一个分布式流处理平台，用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流，并能实时地将这些数据流传输到另一个系统或…
-
Kafka – Topic 消费状态常用命令
新建 Topic ./kafka-topics –zookeeper 166.188.xx.xx –create –topic flink_source –partitio…
-
kafka介绍
发布-订阅消息传递 →在这种类型的消息传递系统中，消息被发送到一个主题，然后广播给对该主题感兴趣的所有订阅者。 点对点消息传递 →在这种类型的消息传递系统中，消息被发送到特定的目的…
-
单机部署Kafka和开启SASL认证以及基础命令使用
版本 操作系统：linux kafka：kafka_2.13-3.3.2 zookeeper：apache-zookeeper-3.7.1-bin 部署 1.下载zookeep…
-
大数据之使用Flink消费Kafka中topic为ods
目录 前言 题目： 一、读题分析 二、处理过程 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题 – 电商数据处理 – 实时数据…
