flink
-
Flink与ApacheKafka集成
1.背景介绍 在大数据领域，流处理和事件驱动架构已经成为关键技术。Apache Flink 和 Apache Kafka 是流处理和事件驱动架构的两个重要组件。Flink 是一个流…
-
Flink + Iceberg打造流批一体的数据湖架构
一、背景 1、数据仓库架构 从Hive表出仓到外部系统（ClickHouse、Presto、ES等）带来的复杂性和存储开发等额外代价，尽量减少这种场景出仓的必要性。…
-
实时Flink的基本数据结构与类型
1.背景介绍 在大数据处理领域，实时数据处理是一项至关重要的技术。Apache Flink是一个流处理框架，可以用于实时数据处理和分析。在Flink中，数据结构和类型是关键的组成部…
-
Flink CEP实现10秒内连续登录失败用户分析
1、什么是CEP？ Flink CEP即 Flink Complex Event Processing，是基于DataStream流式数据提供的一套复杂事件处理编程模型。你可以把他…
-
Flink中的流式Window和RollingWindow
1.背景介绍 在大数据处理领域，流式计算是一种实时处理数据的方法，它可以处理大量数据流，并在数据到达时进行实时分析和处理。Apache Flink是一个流式计算框架，它支持大规模数…
-
Apache NiFi and Apache Flink: A Deep Dive into RealTime Stream Processing
1.背景介绍 随着数据量的增长，实时数据处理变得越来越重要。实时流处理是一种处理大规模实时数据流的技术，它可以在数据到达时进行处理，而不是等待所有数据收集后进行批量处理。这种技术在…
-
Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较
大数据开发离不开各种框架，我们通过学习 Apache Hadoop、Spark 和 Flink 之间的特征比较，可以从侧面了解要学习的内容。众所周知，Hadoop vs Spark…
-
FlinkSQL对接MySQL CDC写入数据到Hive
环境搭配 想要针对公司集群环境学习一下Flink对接MySQL CDC写入Hive的方法，并对过程进行记录。公司环境为CDH 6.3.2搭建的集群，MySQL使用的是AWS RDS…
-
Flink Checkpoint 超时问题详解
第一种、计算量大，CPU密集性，导致TM内线程一直在processElement，而没有时间做CP【过滤掉部分数据；增大并行度】 代表性作业为算法指标-用户偏好的计算，需要对用户在…
-
Flink-SQL 写入PostgreSQL 问题汇总
1.主键字段为空问题 错误信息 org.apache.flink.table.api.TableException: Column ‘bus_no’ is NOT NULL, …
-
Flink的可读性与可维护性
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的可读性和可维护性是其在实际应用中的关键特点。在本文中，我们…
-
Flink往Starrocks写数据报错：too many filtered rows
Bug信息 Caused by: com.starrocks.data.load.stream.exception.StreamLoadFailException: { “TxnI…
-
Flink与ApacheAirflow集成
1.背景介绍 在大数据处理领域，流处理和批处理是两个非常重要的领域。Apache Flink 是一个流处理框架，Apache Airflow 是一个工作流管理器。在实际应用中，我们…
-
【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的
文章目录 一. 一条flink sql 二. 源码流程图示 1. flink connector的实现逻辑 2. flink sql的转换逻辑 三、flink sql 调用conn…
-
Flink应用实时数据质量检查
1.背景介绍 随着大数据时代的到来，实时数据处理和分析变得越来越重要。Apache Flink是一个流处理框架，用于处理大规模实时数据。在大数据处理中，数据质量是关键因素，影响了数…
