spark
-
Spark实战：Spark读取Excel文件
文章目录 一、实战概述 二、excel数据源转成csv 三、Spark读取csv文件 （一）启动spark-shell （二）Spark读取csv生成df （三）查看df内容 四、…
-
基于spark的电影推荐系统，包括基于ALS、LFM的离线推荐、实时推荐
完整项目地址：https://download.csdn.net/download/lijunhcn/88463162 基于spark的电影推荐系统，包括基于ALS、LFM的离线推…
-
【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver
一、背景 kerberos认证是比较底层的认证，掌握好了用起来比较简单。 kettle完成kerberos认证后会存储认证信息在jvm中，之后直接连接hive就可以了无需提供额外的…
-
一文带你读懂：数据集市、数据仓库、数据湖
hello宝子们…我们是艾斯视觉擅长ui设计和前端开发10年+经验！希望我的分享能帮助到您！如需帮助可以评论关注私信我们一起探讨！致敬感谢感恩！ 一文带你读懂：数据集市…
-
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark 1、版本要求 由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本 Spark和Had…
-
Spark: 检查数据倾斜的方法以及解决方法总结
1. 使用Spark UI Spark UI提供了一个可视化的方式来监控和调试Spark作业。你可以通过检查各个Stage的任务执行时间和数据大小来判断是否存在数据倾斜。 任务执行…
-
基于Python和Spark的大数据音乐推荐系统的设计与实现
基于Python和Spark的大数据音乐推荐系统的设计与实现 摘 要 随着科学技术的发展，人们对服务的要求也越来越高。为了能提高管理者的管理效能，现在的音乐推荐管理必须要脱离…
-
在pycharm中使用PySpark第三方包时调用python失败，求教
python版本是3.12 输入代码： from pyspark import SparkConf,SparkContext # 在PySpark中调用python解释器 impo…
-
Spark与IoT与智能设备
1.背景介绍 随着互联网的普及和技术的不断发展，物联网(IoT)已经成为了我们生活中不可或缺的一部分。智能设备、自动化、大数据等技术已经深入到我们的生活中，为我们提供了更方便、更智…
-
Spark期末考试练习题
一、单选题 1. 下面的端口不是 Spark 自带的服务端口的是___________。 A. 8080 B. 4040 C. 8090 D. 18080 2. 下面的描述不是 R…
-
高可用分布式部署Spark、完整详细部署教程
前言 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架。 Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapRed…
-
hudi搭建【大数据比赛长期更新】
hudi搭建 题目分析 本任务需要使用root用户完成相关配置，具体要求如下： 1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/softwar…
-
Hive中数组array的相关应用
array()：创建一个数组。split(string,delimiter)：按指定字符分隔字符串成数组。 select array(1,3,5) c1,split(‘a,c,b’…
-
基于Python+Spark的热门旅游景点数据可视化分析系统的设计与实现
🔥作者：雨晨源码🔥 💖简介：java、微信小程序、安卓；定制开发，远程调试 代码讲解，文档指导，ppt制作💖 精彩专…
-
Spark写入kafka（批数据和流式）
Spark写入（批数据和流式处理） Spark写入kafka批处理 写入kafka基础 # spark写入数据到kafka from pyspark.sql import Spar…
