Spark 下载、安装与配置

• 大数据

文章目录

  • Spark 简介
  • 一，Spark 下载
  • 二，Spark 安装
  • 三，Spark 配置
    • Spark环境配置

Spark 简介

Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。

在这里插入图片描述

一，Spark 下载

1.进入spark官网：https://spark.apache.org/

在这里插入图片描述

2.单击download标签，进入下载页

在这里插入图片描述3.单击 spark-3.3.2-bin-hadoop3.tgz 进入版本下载页

在这里插入图片描述

4.单击链接开始下载

在这里插入图片描述

二，Spark 安装

1.将下载好的spark包上传到centos中

在这里插入图片描述

在这里插入图片描述

2.上传完成后进行解压到/opt目录中，执行命令：tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt

在这里插入图片描述

三，Spark 配置

Spark环境配置

1.执行命令：vi etc/profile

在这里插入图片描述

2.添加如下内容

# Spark 环境变量
export SPARK_HOME=/opt/spark-3.3.2
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

在这里插入图片描述

3.执行 !wq ，保存后退出

4.更新环境变量配置，执行命令：source etc/profile

5.执行命令：spark-shell，检查配置是否成功

在这里插入图片描述

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/172390b18e.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐

  • Lua语法基本使用 前端

    Lua语法基本使用

    🍓 简介：java系列技术分享(👉持续更新中…🔥) 🍓 初衷:一起学习、一起进步、坚持不懈 🍓 如果…

    1天前
  • h5键盘弹起遮挡输入框的处理 前端

    h5键盘弹起遮挡输入框的处理

    一、前言： 混合开发中遇到一个问题，有些型号的安卓机和ios机型，输入框唤起键盘后，输入框会被键盘遮挡，需要手动滑动才能漏出来，影响用户体验 二、解决办法: 1.ios和andro…

    1天前
  • 15套前端经典实战项目大合集，小白练手必备实战项目 前端

    15套前端经典实战项目大合集，小白练手必备实战项目

    15套前端经典实战项目大合集，悄悄练习，你会惊艳所有人。 今日我以内卷为荣，明日内卷以我为荣，不管学习哪门语言都要做出实际的东西来，这个实际的东西就是项目。 这里整理了15前端经典…

    1天前
  • idea中yml文件没有提示解决办法 前端

    idea中yml文件没有提示解决办法

    两步解决yml文件不显示提示，yaml文件显示提示问题 1、在插件中心，先下载下图两个插件 2、在Editor=》File Types新增文件类型，文件名匹配规则需要将yaml和y…

    1天前

  • [lighttpd]lighttpd配置http强制跳转https

    参考链接 HowToRedirectHttpToHttps – Lighttpd – lighty labs lighttpd版本 / # lighttpd…

    前端 1天前

  • 【开发工具】从eclipse到idea的过度

    背景 随着eclipse相比以前性能慢了不少，idea在开发工具领域越战越猛，市场份额也逐年增加，其体验得了软件工程师的热爱。 概要 本文只是做了一个简要的记录，简单描述下本人从e…

    前端 1天前
  • 橘子学ES实战操作01之集群模式如何实现快照备份 前端

    橘子学ES实战操作01之集群模式如何实现快照备份

    我们知道ES中通过副本在一定意义上实现了数据的备份和高可用。但是我们说万一副本数据丢失了，不小心被rm -f了，你就说逆天不逆天吧，此时要实现数据真正意义上的备份就要使用到快照机制…

    1天前
  • Java-IDEA 启动Tomcat控制台中文乱码解决 前端

    Java-IDEA 启动Tomcat控制台中文乱码解决

    1、中文乱码原因   基本上大家安装的windows系统本地语言都是选择中文（不会有人选择英文吧？不会吧？不会吧？），也就是GBK编码；而IDEA或者Tomcat日志使用的是UTF…

    1天前

  • ES如何搜索两个索引

    在Elasticsearch（ES）中，索引是存储和查询数据的地方，而联合查询是查询多个索引的能力。当你在ES中查询时，可以指定要查询的索引。 如果你要查询两个不同的索引，你可以在…

    前端 1天前
  • Metaphor（EXA） 基于大语言模型的搜索引擎 前端

    Metaphor（EXA） 基于大语言模型的搜索引擎

    文章目录 关于 Metaphor 使用示例 关于 Metaphor Metaphor是基于大语言模型的搜索引擎，允许用户使用完整的句子和自然语言搜索，还可以模拟人们在互联网上分享和…

    1天前