spark
-
使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
在大数据处理中，PySpark 提供了强大的工具来处理海量数据，特别是在数据清洗和转换方面。本文将介绍如何使用 PySpark 进行数据清洗，并将数据格式转换为 JSON 格式的实…
-
【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】
【Kafka-3.x-教程】专栏： 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Produc…
-
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广…
-
【漫画可视化大屏系统】基于Spark的国漫推荐系统源码
目录 一、整体目录： 文档含项目摘要、前言、技术介绍、可行性分析、流程图、结构图、ER属性图、数据库表结构信息、功能介绍、测试致谢等约1万字等 二、运行截图 三、代码部分（示范…
-
Hadoop/HDFS/MapReduce/Spark/HBase重要知识点整理
本复习提纲主要参考北京大学计算机学院研究生课程《网络大数据管理与应用》课程资料以及厦门大学计算机科学系研究生课程 《大数据技术基础》相关材料整理而成，供广大网友学习参考，如有版权问…
-
SpringBoot 使用 Spark
文章目录 读取 txt 文件 读取 csv 文件 读取 MySQL 数据库表 读取 Json 文件 中文输出乱码 前提： 可以参考文章 SpringBoot 接入 Spark Sp…
-
Hive引擎MR、Tez、Spark
Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的就是MR。 MapReduce：是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 Hive on …
-
软工大数据实验（手把手教你入门Hadoop、hbase、spark）
写在最前面，如果你只是来找答案的，那么很遗憾，本文尽量避免给出最后结果，本文适合Linux0基础学生，给出详细的环境配置过程，实验本身其实很简单，供大家一起学习交流。 实验1 1．…
-
未来趋势：Spark在人工智能和物联网领域的发展前景
未来趋势：Spark在人工智能和物联网领域的发展前景 随着技术的不断进步，大数据、人工智能（AI）和物联网（IoT）已经成为推动数字化转型的三大核心力量。在这三大领域中，Apach…
-
数据清洗【大数据比赛长期更新】
数据清洗 1.题目分析 使用Scala编写spark工程代码，将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的，均要求按照yyyy…
-
hive on spark集群环境部署（彻底摆脱做毕设没环境）
#所需安装包下载路径 (1)mysql rpm包路径：https://downloads.mysql.com/archives/community/ connect路径：https…
-
Python大数据之PySpark(三)使用Python语言开发Spark程序代码
文章目录 使用Python语言开发Spark程序代码 总结 后记 使用Python语言开发Spark程序代码 Spark Standalone的PySpark的搭建—-…
-
大数据系统常用组件理解（Hadoop/hive/kafka/Flink/Spark/Hbase/ES）
一.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。 Hadoop的核心是yarn、HD…
-
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
1、前言 本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上…
-
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
文章目录 1、Hadoop 2、HDFS 3、HIVE 4、HBase 5、Spark 1、Hadoop Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供…
