大数据

大数据挖掘与技术部分 基本概念： 数据预处理是指在进行数据分析和建模之前，对原始数据进行清洗、转换、集成和规约等操作的过程。数据预处理的目的是提高数据的质量，使数据更加适合进行分析…

0. 思维导图 1. 简单介绍一下Flink♥♥   Flink是一个分布式的计算框架，主要用于对有界和无界数据流进行有状态计算，其中有界数据流就是值离线数据，有明确的开始和结束时…

#环境介绍# 本地电脑window10 IntelliJ IDEA Community Edition 2023.2.3 虚拟机集群Hadoop3.1.4：master/slave…

RDD的持久化 RDD缓存 当RDD被重复使用，或者计算该RDD比较容易出错，而且需要消耗比较多的资源和时间的时候，我们就可以将该RDD缓存起来。 主要作用: 提升Spark程序的…

注：此文章是在mysql8版本的前提下编写的。 在我们使用springcloud在连接mysql数据库时，有时会碰到如下这种异常： Exception in thread “mai…

一、背景         Hive中的数据需要同步到pg供在线使用，通常sqoop具有数据同步的功能，但是sqoop具有一定的问题，比如对数据的切分碰到数据字段存在异常的情况下，数…

文章目录 Integration系列表引擎 一、HDFS 二、MySQL

文章目录 （143）NameNode内存配置 （144）NN心跳并发配置 （145）开启回收站 参考文献 （143）NameNode内存配置 每个文件块（的元数据等）在内存中大概 …

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客 【大数据进阶第三阶段之Hive…

文章目录 HDFS 写数据流程 HDFS 读数据流程 HDFS 节点距离计算 HDFS 机架感知 HDFS NN和2NN工作机制 HDFS FsImage镜像文件 HDFS Edi…

Hive数据存储格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么区别？为什么绝大多数都使用ORCFile、Parquet格…

文章目录 Hadoop环境搭建 1.安装VMware 2.centos软硬件安装 2.1硬件部分 2.2软件部分 3.主机IP和名称配置 3.1 IP配置 3.2主机名配置 4.测…

Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。…