大数据

文章目录 一、Hadoop 组成 Hadoop1.x 、2.x 、3.x 的区别 HDFS架构概述 MapReduce架构概述 YARN架构概述 二、常用端口号 三、常用的配置文件…

目录 云计算 一、云计算的基本概念 二、云计算的分类 (一) IaaS (二) SaaS (三) PaaS 三、云环境的分类、云计算的四种部署模式 (一)公有云 (二)私有云 (三…

一、协同过滤算法的基本原理 协同过滤算法（Collaborative Filtering） 是比较经典常用的推荐算法，它是一种完全依赖用户和物品之间行为关系的推荐算法。我们从它的名…

系列文章目录 上手第一关，手把手教你安装kafka与可视化工具kafka-eagle Kafka是什么，以及如何使用SpringBoot对接Kafka 架构必备能力——kafka的…

一、版本信息 Flink：1.16.1 二代码实现 pom文件如下 4.0.0 com.wys flink 1.0.0 jar 8 8 UTF-8 1.16.1 2.3.0 1.7…

第 1 章：Hadoop概述 1.1 Hadoop是什么 1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决，海量数据的存储和海量数据的分析计算问…

按颜色区分转换： 绿色是单 RDD 窄依赖转换 黑色是多 RDD 窄依赖转换 紫色是 KV 洗牌型转换 黄色是重分区转换 蓝色是特例的转换 单 RDD 窄依赖转换 MapParti…

摘 要 伴随着居民生活水平的提高，人们更加追求物质和精神上的生活，出门旅行便成为一种寻常的休闲活动，随着人们旅行范围遍布全球，航空出游变成为了主流旅行方式。由于目前航班信息种类繁多…

大数据Vue项目必备|Window下安装并使用nvm（含卸载node、卸载nvm、全局安装npm） 一、卸载旧版本 如果已经安装了node，那么需要先卸载node，如果没有安装那可…

传统批次处理方法 【1】持续收取数据（kafka等），以window时间作为划分，划分一个一个的批次档案（按照时间或者大小等）； 【2】周期性执行批次运算（Spark/Stom等）…

Spark Core spark核心：包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量 学习链接：https://mp.weixin.qq.com/s/caCk3mM…

需要本项目的可以私信博主！！！ 本项目包含：PPT，可视化代码，项目源码，配套Hadoop环境（解压可视化），shell脚本，MapReduce代码，文档以及相关说明教程，大数据集…