flink
-
【Flink】FlinkRuntimeException: Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘
执行flinkcdc 报错 错误明细： io.debezium.DebeziumException: org.apache.flink.util.FlinkRuntimeExcep…
-
深入理解 Flink（三）Flink 内核基础设施源码级原理详解
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
-
【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】
【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Produc…
-
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广…
-
Flink窗口与水位线
简介 Flink是一个分布式流处理框架，具有高性能、高可靠性和可扩展性。Flink支持实时和批处理，可以处理无限数据流和有限数据集。它提供了丰富的API和工具，可以方便地进行数据转…
-
flink数据延迟原因及详细处理方案
Flink数据延迟的原因有很多，可能是程序自身存在问题，也可能是外部因素造成的，下面列举一些可能的原因和相应的处理方案： 数据输入环节问题：可能是数据来源的数据增长速度过快，导致f…
-
大数据学习之Flink算子、了解DataStream API（基础篇一）
DataStream API （基础篇） 注： 本文只涉及DataStream 原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其…
-
Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】
最近需求，仅想提高sink2es的qps，所以仅调节了sink2es的并行度，但在调节不同算子并行度时遇到一些问题，找出问题的根本原因解决问题，并分析整理。 实例代码 –SET …
-
【基础篇】四、本地部署Flink
文章目录 1、本地独立部署会话模式的Flink 2、本地独立部署会话模式的Flink集群 3、向Flink集群提交作业 4、Standalone方式部署单作业模式 5、Standa…
-
dinky+flink+doris实时架构全流程demo
一、版本 doris：doris-1.2.3-rc02 flink：flink1.4.6 dinky：0.7.2 jdk：1.8.0_191 mysql：5.7 二、安装doris…
-
hadoop3.2.4集成flink 1.17.0
前言 flink安装部署有三种方式 local:单机模式，尽量不使用 standalone: flink自带集群，资源管理由flink集群管理，开发环境测试使用，不需要hadoop…
-
【异常】ES报错ElasticsearchStatusException：missing authentication credentials for REST request
一、报错内容 Exception in thread “main” ElasticsearchStatusException[Elasticsearch exception [ty…
-
轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了 Flink 作为生产…
-
Flink 中KeyBy、分区、分组的正确理解
1.Flink中的KeyBy 在Flink中，KeyBy作为我们常用的一个聚合类型算子，它可以按照相同的Key对数据进行重新分区，分区之后分配到对应的子任务当中去。 源码解析 ke…
-
记一次Flink通过Kafka写入MySQL的过程
一、前言 总体思路：source –>transform –>sink ,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成…
