hadoop
-
【Hadoop】DataNode 详解
🍁 博主 “开着拖拉机回家”带您 Go to New World.✨🍁 🦄 个人主页——🎐开…
-
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间） 1）需求 2）实现 1）需求 使用 Hive 自带函数 将 13位 时间戳转成年月日时分秒（北京时间…
-
大数据毕业设计选题推荐-热门旅游景点数据分析-Hadoop-Spark-Hive
✨作者主页：IT研究室✨ 个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学…
-
平台治理开发在Apache Hadoop中的应用
1.背景介绍 Apache Hadoop是一个开源的分布式存储和分析平台，它可以处理大量数据并提供快速的数据查询能力。在大数据时代，平台治理是一项至关重要的技术，它可以帮助企业更好…
-
Hadoop-MapReduce-源码跟读-ReduceTask阶段篇
一、源码下载 下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧 Index of /dist/hadoop/core 二、Reducer类 …
-
大数据存储与处理技术之Spark
1、Spark简介 • Spark最初由美国加州伯克利大学（UC Berkeley）的AMP实验室于2009年开发，是基于 内存 计算的大数据并行计算框架，可用于构建大型的、低延迟…
-
MapReduce是Hadoop的一个核心组件，它是一个编程模型和计算框架
MapReduce是Hadoop的一个核心组件，它是一个编程模型和计算框架，用于处理和生成大数据集。MapReduce模型将大数据处理任务分解为两个阶段：Map阶段和Reduce阶…
-
大数据技术——Flume简介&安装配置&使用案例
文章目录 1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3….
-
学会大数据基础，一篇就够了
第 2 章-大数据处理架构 Hadoop 1 hadoop 生态系统 1 Hadoop的三大组件 1) HDFS分布式文件管理系统 超大数据存储 流式存储 2) MapRuduce…
-
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
目录 一、将HDFS副本数设置为3 1、什么是HDFS副本数？ 2.将副本数设置为3 二、基于MapReduce框架开发wordcount程序 1、什么是MapReduce框架？ …
-
Hadoop之Yarn 详细教程
1、yarn 的基本介绍和产生背景 YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行 MapReduce、Tez、Spark 等多种计算…
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile：追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
-
用户认证-Kerberos的介绍和使用(Hadoop、Hive、数仓流程、Presto、Kylin集成配置)
文章目录 介绍 概述 基本概念 认证原理 优点和缺点 安装和使用 安装Kerberos相关服务 修改配置文件 初始化KDC数据库 修改管理员权限配置文件 启动Kerberos相关服…
-
Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较
大数据开发离不开各种框架，我们通过学习 Apache Hadoop、Spark 和 Flink 之间的特征比较，可以从侧面了解要学习的内容。众所周知，Hadoop vs Spark…
-
深入理解 Hadoop （一）网络通信架构与源码浅析
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
