scala

大数据之Scala简介

大数据之Scala简介一、Scala介绍 1、Scala语言特点 2、Scala和Java的关系 3、Scala的环境搭建 4、简单的Scala程序介绍 5、Scala的编译命令…

大数据 1天前

后端

Windows下安装Scala（以Scala 2.11.12为例） Scala简介产生背景发展历史主要功能一、Scala2.11.12官网下载二、Scala2.11.12…

1天前

大数据

大家好，我是百思不得小赵。创作时间：2022 年 6 月 7 日博客主页： 🔍点此进入博客主页 —— 新时代的农民工 🙊 —— 换一种思维逻辑去…

1天前

后端

目录一、安装准备二、Scala下载安装三、Idea 创建Scala项目一、安装准备在安装之前，确保你的电脑上装有Jdk 8（Jdk 1.8），且环境变量配置正确。如果没有…

1天前

大数据

数据倾斜分类 join 其中一个表数据量小，key比较集中分发到某一个或几个reduce的数据远高于平均值大表与小表，空值过多这些空值都由一个reduce处理，处理慢 gr…

1天前

大数据

前言 flink安装部署有三种方式 local:单机模式，尽量不使用 standalone: flink自带集群，资源管理由flink集群管理，开发环境测试使用，不需要hadoop…

1天前

大数据

数据清洗 1.题目分析使用Scala编写spark工程代码，将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的，均要求按照yyyy…

1天前

大数据

前言在官方文档的描述中，API FlinkKafkaConsumer和FlinkKafkaProducer将在后续版本陆续弃用、移除，所以在未来生产中有版本升级的情况下，新API…

1天前

大数据

仓库地址 https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结 spark3.0 以后，不再支持 sc…

1天前

大数据

1. 首先，需要准备maven的环境配置，我的idea是2021版本，（新版应该差不多）下载maven的版本包，建议去官网下载Maven – Maven Releases Hi…

1天前

曾经红遍一时的Scala 想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。可如…

大数据 1天前

大数据

目录一、Spark 1. Spark的优点： 2. Spark中的组件 3. Spark 和 Hadoop 对比 4. Spark 运行模式二、Spark WordCount …

1天前