scala
-
mac安装 scala 详细教程（包含在 idea 上使用，以及scala插件安装）
目录 一 下载解压 二 配置环境变量 三 测试 scala 四 idea 编写 scala 文件 1. 安装插件 scala 插件 2. 使用 idea 创建 scala 工程 …
-
spark之action算子学习笔记(scala,pyspark双语言)
目录 一、collect 二、count 三、first 四、take 五、takeOrdered 六、countByKey 七、foreach 八、简单案例 九、一个综合案例 9…
-
基于scala使用flink将kafka数据写入mysql示例
使用Flink消费Kafka中ChangeRecord主题的数据，统计每三分钟各设备状态为“预警”且未处理的数据总数。将结果存入MySQL的shtd_industry.threem…
-
[机器学习、Spark]Spark MLlib实现数据基本统计
👨🎓👨🎓博主：发量不足 📑📑本期更新内容：Spark MLlib基本统计 &#x…
-
简单使用Spark、Scala完成对天气数据的指标统计
目录 一、前言 & 什么是Spark？ & 什么是Scala 二、数据准备（数据类型的转换） 三、Spark部分 1、使用Spark完成数据中的“风级”，“风向…
-
全国职业院校技能大赛-大数据 离线数据处理模块-指标计算
赛题来源2023年全国职业院校技能大赛赛题第1套任务B中指标计算模块 子任务三：指标计算 编写Scala代码，使用Spark计算相关指标。 注：在指标计算中，不考虑订单信息表中or…
-
Flink项目实战篇 基于Flink的城市交通监控平台（下）
系列文章目录 Flink项目实战篇 基于Flink的城市交通监控平台（上） Flink项目实战篇 基于Flink的城市交通监控平台（下） 文章目录 系列文章目录 4. 智能实时报警…
-
大数据之使用Flink消费Kafka中topic为ods
目录 前言 题目： 一、读题分析 二、处理过程 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题 – 电商数据处理 – 实时数据…
-
你知道Scala编程语言吗？Scala基础教程【建议收藏】
系列文章目录 作者：i阿极 作者简介：Python领域新星作者、多项比赛获奖者：博主个人首页 😊😊😊如果觉得文章不错或能帮助到你学习…
-
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（1）
目录 前言 题目： 一、读题分析 二、处理过程 1.采用SparkSQL使用max函数找到最大的日期然后转换成时间类型在变成字符串 2.这里提供除了SQL方法外的另一种过滤不满足条…
-
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
文章目录 前言 一、读题分析 二、使用步骤 1.导入配置文件到pom.xml 2.代码部分 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理…
-
Spark中使用scala完成数据抽取任务 — 总结
如题 任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个…
-
Scala编程 读取Kafka处理并写入Redis
部分知识（可略过） Kafka Kafka是一种分布式流处理平台，它是一个高吞吐量、可扩展、持久化的消息队列系统，用于处理实时数据流。Kafka的核…
-
Flink项目实战篇 基于Flink的城市交通监控平台（上）
系列文章目录 Flink项目实战篇 基于Flink的城市交通监控平台（上） Flink项目实战篇 基于Flink的城市交通监控平台（下） 文章目录 系列文章目录 1. 项目整体介绍…
![[机器学习、Spark]Spark MLlib实现数据基本统计](/img/6a/4e90faccccfc6fbee05942c06ac7487e.jpeg)
