spark
-
【Spark精讲】Spark on Hive性能优化
目录 第一章 1.1 集群配置概述 1.2 集群规划概述 第二章 Yarn配置 2.1 Yarn配置说明 yarn.nodemanager.resource.memory-mb y…
-
公有云中的数据仓库和大数据处理
1.背景介绍 随着互联网和数字化的发展，数据量不断增加，数据处理和分析成为企业和组织的关键能力。数据仓库和大数据处理技术在这个背景下崛起，成为关键技术之一。公有云在这个过程中也发挥…
-
SparkSql—用户自定义函数UDF&&UDAF
文章目录 1.UDF 2.UDAF 2.1 UDF函数实现原理 2.2需求:计算用户平均年龄 2.2.1 使用RDD实现 2.2.2 使用UDAF弱类型实现 2.2.3 使用UDA…
-
Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 是一个快速、通用、可扩展的大数据处理引擎。它提供了一个高级的编程接口，可以在分布式环境中对大规模数据进行处理和分析。 Spark 的基本概念包括： Res…
-
Spark的数据分区策略与分区器
1.背景介绍 1. 背景介绍 Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易用的编程模型。Spark的核心组件是Spark应用…
-
计算机毕业设计选题推荐，spark 手机销售数据的可视化分析系统 44127（赠送源码数据库 ）上万套实战教程手把手教学JAVA、PHP，node.js，C++、python、数据可视化等
spark 手机销售数据的可视化分析系统 摘 要 信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于站在的角度存在偏差，人们经常能够获得不同类型…
-
Kafka 多线程消费者
Kafka 多线程消费者 多线程方案 Kafka 0.10.1.0 后，Kafka Consumer 变为双线程的设计 : 用户主线程 : 启动 Consumer 的 main 心…
-
Spark内容分享(二十五)：Spark读写Iceberg在腾讯的实践和优化
目录 Apache Iceberg介绍 1. Apache Iceberg-表格式 2. Iceberg表的组成 3. Iceberg表的ACID特性 4. Iceberg Evo…
-
Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理
近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi，过程中出现了一些问题，也通过了其他办法进行解决，现将整个过程的思路进行总结，以供大家共同学习进步。 问…
-
Spark Structured Streaming使用教程
文章目录 1、输入数据源 2、输出模式 3、sink输出结果 4、时间窗口 4.1、时间窗口 4.2、时间水印（Watermarking） 5、使用例子 Structured St…
-
Spark分布式集群搭建
Spark分布式集群搭建 这里的Spark分布式集群是以我上一篇文章发的Hadoop分布式集群为基础搭建的，都是在UbuntuKylin系统中搭建的。过几天发Centos上的分布式…
-
理解 Spark 写入 API 的数据处理能力
这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用，支持的格式包括 CSV、JSON 或 Parquet。流程根据选…
-
Spark与Hive的集成与互操作
Apache Spark和Apache Hive是大数据领域中两个非常流行的工具，用于数据处理和分析。Spark提供了强大的分布式计算能力，而Hive是一个用于查询和管理大规模数据…
-
Spark—SparkSQL介绍
一、SparkSQL介绍 1、Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hiv…
-
Spark与PySpark(1.概述、框架、模块)
目录 1.Spark 概念 2. Hadoop和Spark的对比 3. Spark特点 3.1 运行速度快 3.2 简单易用 3.3 通用性强 3.4 可以允许运行在很多地方 4….
