flink
-
Flink的高可用性与容量扩展
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的高可用性和容量扩展是其在大规模生产环境中的关键特性。在本文…
-
Flink的MySQL集成与应用
1.背景介绍 在大数据时代，数据处理和分析的需求日益增长。为了更高效地处理和分析大量数据，许多大数据处理框架和工具已经诞生。Apache Flink是一种流处理框架，它可以处理实时…
-
记一次模糊查询踩坑 Flink+ES
模糊查询优化 Flink+ES 公司需要对商品名称进行模糊模糊查询，考虑到商品表存量数据千万级，直接数据库模糊查询效率肯定极其低下，所以选择使用ElasticSearch对商品信息…
-
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
背景 问题是笔者最近在使用FlinkCDC2.3.0捕获MySQL binlog日志时遇到的，MySQL使用的阿里云的RDS，MysqlCDC使用读账号以Initinal模式，任务…
-
【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
在FlinkSQL客户端中执行FlinkCDC，使用mysql连接的时候，报如下问题（Flink版本1.13.6）： Flink SQL> CREATE TABLE demo…
-
ClickHouse 与 Flink 整合：流处理与时间序列分析
1.背景介绍 时间序列数据是指以时间为维度、数值为值的数据，是目前互联网、物联网、金融、制造业等各个领域中最为重要的数据类型之一。随着大数据技术的发展，时间序列数据的存储、查询、分…
-
基于scala使用flink将kafka数据写入mysql示例
使用Flink消费Kafka中ChangeRecord主题的数据，统计每三分钟各设备状态为“预警”且未处理的数据总数。将结果存入MySQL的shtd_industry.threem…
-
Flink 内容分享(八)：Flink CDC的概览和使用
目录 什么是CDC 什么是Flink CDC Flink CDC 前生今世 Flink CDC 1.x Flink CDC 2.x Flink CDC 3.x Flink CDC使…
-
Flink-容错机制
Flink中的容错机制 流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996 起来当然比人要容易得多，不过希望“永远运…
-
hudi介绍和使用
1.hudi的介绍 Hudi 是什么 Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存…
-
相比于其他流处理技术，Flink的优点在哪？
Apache Flink 是一个开源的流处理框架，用于在高吞吐量和低延迟的情况下进行大规模数据流的处理。Flink 以其在流处理领域的性能而闻名，相比于其他流处理技术，Flink …
-
【flink番外篇】21、Flink 通过SQL client 和 table api注册catalog示例
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…
-
轻松通关Flink第34讲：Flink 和 Redis 整合以及 Redis Sink 实现
上一课时我们使用了 3 种方法进行了 PV 和 UV 的计算，分别是全窗口内存统计、使用分组和过期数据剔除、使用 BitMap / 布隆过滤器。到此为止我们已经讲了从数据清洗到水印…
-
Flink CDC数据同步
背景 随着信息化程度的不断提高，企业内部系统的数量和复杂度不断增加，因此，数据库系统的同步问题已成为越来越重要的问题。 缓存失效 在缓存中缓存的条目(entry)在源头被更改或者被…
-
流式计算框架比较：Apache Flink vs. Apache Stor
1.背景介绍 流式计算是一种处理大规模数据流的技术，它可以实时处理大量数据，并提供快速的分析和决策。在大数据时代，流式计算已经成为了一种重要的技术手段，它可以帮助企业更快地响应市场…
