spark
-
Java项目开发：基于spark的新闻推荐系统的设计与实现
欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。 文章目录 前言 一、项目介绍 二、开发环境 三、功能介绍 数据库设计概述 数据库表的设计 四、核心代码 五…
-
Spark 完全分布式的安装和部署
目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修改 …
-
Flink高手之路2-Flink集群的搭建
文章目录 Flink高手之路2-Flink集群的搭建 一、Flink的安装模式 1.本地local模式 2.独立集群模式standalone 3.高可用的独立集群模式standal…
-
解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘
探寻SQL的背后机制 前言 在数据领域，SQL（Structured Query Language）是一门广泛使用的语言，用于查询和处理数据。你可能已经使用过诸如MySQL、Hiv…
-
Spark SQL函数定义
目录 窗口函数 SQL函数分类 Spark原生自定义UDF函数 Pandas的UDF函数 Apache Arrow框架基本介绍 基于Arrow完成Pandas DataFrame和…
-
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节
文章目录 一. Spark SQL Command Line Options(命令行参数) 二. The hiverc File 1. without the -i 2. .hiv…
-
性能优化：Spark SQL中的谓词下推和列式存储
Apache Spark是一个强大的分布式计算框架，Spark SQL是其一个核心模块，用于处理结构化数据。性能优化是大数据处理中的一个关键问题，本文将深入探讨Spark SQL中…
-
Spark高级特性 (难)
Spark高级特性 (难) 闭包 /* * 编写一个高阶函数，在这个函数要有一个变量，返回一个函数，通过这个变量完成一个计算 * */ @Test def test(): Unit…
-
Spark与Cassandra的集成与数据存储
Apache Spark和Apache Cassandra是大数据领域中两个重要的工具，用于数据处理和分布式数据存储。本文将深入探讨如何在Spark中集成Cassandra，并演示…
-
Spark优化和问题
优化 spark sql 优化 在配置SparkSQL任务时指定executor核心数 建议为4 (同一executor[进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两…
-
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②
👨🎓👨🎓博主：发量不足 个人简介：耐心，自信来源于你强大的思想和知识基础！！ 📑📑…
-
Spark编程基础期末复习
选择题 1. spark 的四大组件下面哪个不是 (D) A.Spark Streaming B Mlib C Graphx D Spark R 2.下面哪个端口不是 spark …
-
SparkSQL使用MySQL中的数据进行写操作时出现的错误：无法解析 org.apache.spark.sql.AnalysisException
在使用SparkSQL时，当尝试使用MySQL中的数据进行写操作时，可能会遇到 org.apache.spark.sql.AnalysisException 无法解析的错误。这个错…
-
Spark在Windows下的环境搭建及pyspark的使用
一、JDK的安装 Spark是一个用于大数据处理的开源框架，它是用Scala编写的，而Scala是一种运行在Java虚拟机（JVM）上的编程语言，因此它依赖于Java的…
-
Spark核心–RDD介绍
一、RDD的介绍rdd 弹性分布式数据集 是spark框架自己封装的数据类型，用来管理内存数据 数据集： rdd数据的格式 类似Python中 [] 。 hive中的…
![[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②](/img/80/564f66a5de794bb2a022a0bd193eecbd.png)
