kafka
-
【flink番外篇】10、对有状态或及时 UDF 和自定义算子进行单元测试
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志
前言 Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka…
-
kafka基础知识总结
一、Kafka的基础 1、什么是kafka? Kafka是一个由Apache软件基金会开发的分布式流处理平台。它最初是为LinkedIn设计的,用于处理大规模的实时日志数据流。Ka…
-
Kafka 中 SASL ACL SSL 到底分别代表什么意思
Kafka 中 SASL ACL SSL 分别代表什么意思 auth: huangyichun date: 2023-5-11 序 看各类帖子都没能指出这些到底是什么意思,他们是冲…
-
从 MySQL 到 DolphinDB,Debezium + Kafka 数据同步实战
Debezium 是一个开源的分布式平台,用于实时捕获和发布数据库更改事件。它可以将关系型数据库(如 MySQL、PostgreSQL、Oracle 等)的变更事件转化为可观察的流…
-
55、Flink之用于外部数据访问的异步 I/O介绍及示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
59、Flink CEP – Flink的复杂事件处理介绍及示例(完整版)
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
Kafka生产问题总结及性能优化实践
1、消息丢失情况 消息发送端: (1)acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据…
-
消息队列选型:Kafka 如何实现高性能?
在分布式消息模块中,我将对消息队列中应用最广泛的 Kafka 和 RocketMQ 进行梳理,以便于你在应用中可以更好地进行消息队列选型。另外,这两款消息队列也是面试的高频考点。 …
-
SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka
最近做的一个项目,使用的是pg数据库,公司没有成熟的DCD组件,为了实现数据变更消息发布的功能,我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数…
-
消息队列zookeeper集群+kafka
消息队列zookeeper集群+kafka kafka 3.0之前依赖于zookpeeper zookeeper开源分布式架构,提供协调服务(Apache项目) 基于观察者模式设计…
-
Kafka 多线程消费者
Kafka 多线程消费者 多线程方案 Kafka 0.10.1.0 后,Kafka Consumer 变为双线程的设计 : 用户主线程 : 启动 Consumer 的 main 心…
-
Kafka 分级存储在腾讯云的实践与演进
导语 腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享,从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案…
-
Zookeeper+Kafka集群
1 Zookeeper 1.1 Zookeeper概述 Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 分布式系统管理框架,主要用来解决分布式…
-
kafka的原理及集群部署详解
消息队列分类 点对点 组成:消息队列(Queue)、发送者(Sender)、接收者(Receiver) 特点:一个生产者生产的消息只能被一个接受者接收,消息一旦被消费,消息就不在消…
