spark
-
Spark升级中对log4j的一些思考
背景 最近在做Spark版本的升级(由spark3.1升级到spark3.5)，其实单纯从spark升级涉及到的log4j来说，并没有什么能够记录的， 但是由于公司内部做了Spar…
-
【Spark面试】Spark面试题&答案
目录 1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 2、Spark为什么比MapReduce块？（☆☆☆☆☆） 3、简单说一下hadoop和spark的shuffl…
-
万字详解数据仓库、数据湖、数据中台和湖仓一体
文章目录 一、前言 二、概念解析 1. 数据仓库 2. 数据湖 3. 数据中台 三、具体区别 1. 数据仓库 VS 数据湖 2. 数据仓库 VS 数据中台 3. 总结 四、湖仓一体…
-
大数据之使用Flink消费Kafka中topic为ods
目录 前言 题目： 一、读题分析 二、处理过程 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题 – 电商数据处理 – 实时数据…
-
Spark Local环境部署
目录 1:规划： 1：想法： 2： 版本 2:spark配置文件部署 1:上传Spark安装包到/export下面 2:解压下载的Spark安装包并且改名 …
-
Spark与时间序列分析
1.背景介绍 时间序列分析是一种处理和分析时间顺序数据的方法，主要用于预测、趋势分析、季节性分析和残差分析。随着数据规模的增加，传统的时间序列分析方法已经无法满足需求，因此需要采用…
-
Spark SQL 日期时间转换指南
Spark SQL 日期时间转换指南 在Spark SQL中，日期时间的处理是非常重要的。本文将介绍如何在Spark SQL中进行日期时间转换操作，并提供相应的源代码示例。 将字符…
-
利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践
利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践 基于Spark的房价数据分析预测推荐系统 引言 技术栈 功能概述 项目实现 1. 数据爬取与处理 2. 大数据分…
-
Spark与 Mesos集成
1.背景介绍 Spark与 Mesos 集成是一种高效的大数据处理方案，它可以充分利用 Mesos 的资源调度能力，以及 Spark 的高性能计算能力。这种集成方案可以实现大数据应…
-
Spark 增量抽取 Mysql To Hive
题目要求： 抽取ds_db01库中customer_inf的增量数据进入Hive的ods库中表customer_inf。根据ods.user_info表中modified_time…
-
java.lang.ClassNotFoundException: org.slf4j.impl.StaticLoggerBinder
本地开发spark项目时，测试案例运行时出现以下错误： Exception in thread “main” java.lang.NoClassDefFoundError: org…
-
数据仓库的数据仓库灾备与恢复：保证数据仓库的可用性和稳定性
1.背景介绍 数据仓库是企业中大量的历史数据的集中存储和管理系统，它的数据量巨大，数据更新频繁，对企业业务的稳定运行具有重要的支持作用。因此，保证数据仓库的可用性和稳定性是企业业务…
-
大数据处理技术Spark
发一下我三天肝完的菜菜项目过程，林子雨老师的课大作业。介绍配环境，以及遇到的各种问题，方便自己以后万一转码回来重头学。 内容有虚拟机配置，ubuntu安装，创建项目，hadoop部…
-
数据仓库表级血缘应用
数仓血缘应用（一）：表血缘热度 文章目录 数仓血缘应用（一）：表血缘热度 前言 一、价值衡量指标——应用层 二、血缘节点应用——热度 1、指标透传（应用层——>数仓） 2、指…
-
cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not
JDK21 Spark3.5.0 使用JDK21做spark开发 启动代码出现 Exception in thread “main” java.lang.I…
