flink

前言        今天一天争取搞完最后这一部分，学完赶紧把 Kafka 和 Flume 学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个 80%~90% 才能差不多找个工…

文章目录 一. flink的内存管理 1.Jobmanager的内存模型 2.TaskManager的内存模型 2.1. 模型说明 2.2. 通讯、数据传输方面 2.3. 框架、任…

一、写在前面 在实际的生产环境中，我们经常会把Flink处理的数据写入MySQL、Doris等数据库中，下面以MySQL为例，使用JDBC的方式将Flink的数据实时数据写入MyS…

Flink之FileSink将数据写入parquet文件 在使用FileSink将数据写入列式存储文件中时必须使用forBulkFormat,列式存储文件如ORCFile、Parq…

阿里云实时计算Flink版是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能…

背景 2023年双11高峰之际，实时平台有一个消费Kafka写hudi的Flink SQL类型的实时任务，每天Kafka流入的高峰时段有近350万/分钟的流入量，而任务的消费速率平…

运行 flink job用application模式运行时 flink run-application -t yarn-application /opt/flink/flink-j…

（一）直接部署（手动测试用，不推荐） Flink on Native Kubernetes 目前支持 Application 模式和 Session 模式，两者对比 Applica…

写在前面 基于前面对Flink基础的学习，本章在对基础知识点的了解基础上，开始尝试使用Flink进行更进一步的应用。本周在工作中，同事遇到了使用Flink中两阶段提交的机制，因此，…

Windows上部署flink1.17 flink的下载链接 进入页面后下滑找到Apache Flink，然后找到对应版本，之后点击Binaries 找到xxx-bin-scala…

1. 时间语义 这里先介绍一下什么是时间语义，时间语义在Flink中是一种很重要的概念，下面介绍的水位线就是基于时间语义来讲的。 在Flink中我们提到的时间语义一般指的是事件时间…

一、flink-connector-kakfa 1. kafka配置文件 kafka jaas必须配置，如果缺少，则报一下错误。 Caused by: java.lang.Ille…