spark
-
Spark—RDD介绍
文章目录 1.Spark核心编程 2.RDD介绍 2.1.RDD基本原理 2.2 RDD特点 1.弹性 2.分布式 ：数据存储在大数据集群的不同节点上 3.数据集 ：RDD封装了计…
-
2024.1.3 Spark架构角色和提交任务流程
目录 一 . Yarn的角色回顾 二、Spark提交任务流程 1、Spark On Standalone 2. Spark on Yarn 三. Spark 比MapRe…
-
深入理解 Spark（四）Spark 内存管理模型
Spark 中的内存管理和资源管理模型 Executor 进程作为一个 JVM 进程，其内存管理建立在 JVM 的内存管理之上，整个大致包含两种方式：堆内内存和堆外内存。 一个 E…
-
Spark Core进阶知识
小知识: 大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!! 结果数据的核对方式: 1- 在离线文件中直接ctrl+F搜索关键内容核对(不常用) 2- 一般原始数据…
-
Spark基础学习–基础介绍
1. Spark基本介绍 1.1 定义 Spark是可以处理大规模数据的统一分布式计算引擎。 1.2 Spark与MapReduce的对比 在之前我们学习过MapReduce，同样…
-
数据标准与数据仓库：实现企业级数据管理
1.背景介绍 数据标准和数据仓库是企业级数据管理中的两个关键概念。数据标准确定了数据的格式、结构和语义，使得不同来源的数据能够相互兼容和整合。数据仓库则是一个用于存储、管理和分析企…
-
Spark—RDD算子(单值类型转换算子)
文章目录 1.RDD算子介绍 2.转换算子 2.1 Value类型 2.1.1 map 2.1.2 mapPartitions 2.1.3 mapPartitionsWithInd…
-
大数据毕业设计基于spark的酒店管理系统-可视化大屏展示
前言 本系统是选择面向对象的Java语言开发，通过SpringBoot框架进行设计，使用关系型数据库MySQL存储数据，结合spark对酒店系统的各种数据如酒店客房信息、价格信…
-
史上最全的大数据开发八股文【自己的吐血总结】
自我介绍 我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等…
-
Spark 【Spark SQL（一）DataFrame的创建、保存与基本操作】
前言 今天学习Spark SQL，前面的RDD编程要想熟练还是得通过项目来熟练，所以先把Spark过一遍，后期针对不足的地方再加强，这样效率会更高一些。 简介 …
-
Spark and Machine Learning: A Comprehensive Guide to Building Intelligent Applications with Spark
1.背景介绍 Spark and Machine Learning: A Comprehensive Guide to Building Intelligent Applicati…
-
数据仓库与数据集成：实现高效的数据分析
1.背景介绍 数据仓库和数据集成是现代数据科学和数据分析的核心技术。数据仓库是一种用于存储、管理和分析大量结构化数据的系统，而数据集成是将来自不同来源的数据进行整合、清洗和转换的过…
-
Spark编程实现简例
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。 输入文件A的样例如下：…
-
Spark SQL五大关联策略
1、五种连接策略 选择连接策略的核心原则是尽量避免shuffle和sort的操作，因为这些操作性能开销很大，比较吃资源且耗时，所以首选的连接策略是不需要shuffle和sort的h…
-
计算机毕业设计选题分享-spark 手机销售数据的可视化分析系统44127（赠送源码数据库）JAVA、PHP，node.js，C++、python，大屏数据可视化等
spark 手机销售数据的可视化分析系统 摘 要 信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于站在的角度存在偏差，人们经常能够获得不同类型…
