大数据
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子: 例如一个加法算子,第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是,相同的输入都会得到相同的结果,与次数无关。…
-
FlinkAPI开发之容错机制
概述 在Flink中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。 检查点(Checkpoint) 检查点的保存 周期性的触发保存 “随时存档”确实恢复起来方便…
-
大数据计算,如何优化SQL?
📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10年DB…
-
hiveserver负载均衡配置
一.安装nginx 参数我的另一篇文章:https://mp.csdn.net/mp_blog/creation/editor/135152478 二.配置nginx服务参数 wo…
-
基于大数据的城市交通数据可视化分析系统
大家可以帮忙点赞、收藏、关注、评论啦 👇🏻👇🏻👇🏻 精彩专栏推荐订阅:在 下方专栏 …
-
dbeaver默认驱动安装位置
dbeaver连接hive、presto等引擎,dbeaver会默认根据自身配置的maven下载相关jar,那么,如果想要分享这个下载的jar包给其他人或者自己使用,…
-
Flink+Paimon多流拼接性能优化实战
目录 (零)本文简介 意外收获: (一)背景 (二)探索梳理过程 (三)源码改造 (四)修改效果 1、JOB状态 2、Level5的dataFile总大小 3、数据延迟 4、关联率…
-
Hadoop搭建
一、伪分布式搭建 1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 更改 BOOTPROTO=static ONBOOT=…
-
CentOS7中安装ElasticSearch
文章目录 检测是否安装了Elasticsearch 安装JDK 下载java 配置 下载Elasticsearch 解压安装Elasticsearch 修改配置文件 启动Elast…
-
最新版Flink CDC MySQL同步MySQL(一)
1.概述 Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connec…
-
最新版海豚调度dolphinscheduler-3.1.3安装部署详细教程
0 背景 本文基于Ambari集群搭建最新版本的海豚调度dolphinscheduler-3.1.3版本,后续会尝试整合到Ambari中。 1 安装准备 安装dolphinsche…
-
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用 1)框架介绍与引入 1.1.🚀 什么是 StreamPark …
-
vmware虚拟机配置网络:win7
1.实现虚拟机与本地主机互通:ping一下 操作如下图: 2.虚拟机适配器设置(这里是重点) 3.主机IP设置 4.设置虚拟机IP 此ip和本地主机的VMnet1的ip可以是…
-
java与大数据:Hadoop与MapReduce
Hadoop和MapReduce是由Apache软件基金会开发和维护的开源项目。它们的出现主要是为了解决传统的数据处理工具无法处理大数据量的局限性。 首先,让我们深入了解一下Had…
-
Kafka 命令行操作
版本:3.6.1 1 kafka-topics.sh Create, delete, describe, or change a topic. 创建、删除、描述或更改主题。 Opt…
