kafka
-
Kafka与Pulsar差异深入探讨
Kafka Apache Kafka实现了一个经典的分布式系统。为了处理一个分区的数据，Kafka将整个分区数据存储在每个节点（即Broker）中，该节点负责计算和存储。一个分区可…
-
从kafka读取数据并入库(mysql)
从kafka读取数据并入库 层级结构 主类 配置类(config) 监听类(liston) mapper类(mapper) service service的实现类 实体类（vo） …
-
linux 消息发布工具-kafka
下载地址：https://mirrors.cnnic.cn/apache/kafka 一、系统构成 在整个消息发布流程中，kafka作为一个中间件对系统的运行提供了解耦、削峰、异步…
-
Kafka消费不到数据
1.首先停止kafka： kafka.sh stop 2.查看/config/server.properties看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -…
-
【kafka】使用docker启动kafka
1.环境准备 docker拉取zookeeper镜像 docker pull zookeeper:3.4.14 创建zookeeper容器，默认端口号为2181 docker ru…
-
如何保证Kafka不丢失消息
丢失消息有 3 种不同的情况，针对每一种情况有不同的解决方案。 生产者丢失消息的情况消费者丢失消息的情况Kafka 弄丢了消息生产者丢失消息的情况生产者(Producer) 调用s…
-
52、Flink的应用程序参数处理-ParameterTool介绍及使用示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
关于Kafka事务处理的详细讲解
Kafka事务 producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要…
-
记一次线上kafka重复消费的问题解决及思考
目录 问题 排查原因 生产者原因 消费者可能原因 1. 重复消息被分到同一消费者的同一批次处理 2. 重复消息被分到同一消费者的不同批次处理 3. 重复消息被几乎同时分到不同消费者…
-
Kafka(二）原理详解
一 、kafka核心总控制器（Controller） 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它…
-
kafka springBoot 配置
1、properties 配置 control.command.kafka.enabled=true control.command.kafka.bootstrap-servers…
-
ELK+kafka+filebeat企业内部日志分析系统
1、组件介绍 1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTf…
-
6.2、Flink数据写入到Kafka
目录 1、添加POM依赖 2、API使用说明 3、序列化器 3.1 使用预定义的序列化器 3.2 使用自定义的序列化器 4、容错保证级别 4.1 至少一次 的配置 4.2 精确一次…
-
Kafka学习
Kafka的消息通过主题（topic）进行分类 主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区，…
-
flinkcdc同步完全量数据就不同步增量数据了
flinkcdc同步完全量数据就不同步增量数据了 使用flinkcdc同步mysql数据，使用的是全量采集模型 startupOptions(StartupOptions.earl…
