hadoop
-
2024.1.15 Spark 阶段原理,八股,面试题
目录 1. 简述什么是Spark? 2. 简述Spark的四大特点 3. 简述Spark比Mapreduce执行效率高的原因 4. 简述Spark on Yarn的两种部署模式的区…
-
10 Hadoop的安全模式及权限介绍
1、HDFS工作流程 启动NameNode，NameNode加载fsimage到内存，对内存数据执行edits log日志中的事务操作。 文件系统元数据内存镜像加载完毕，进行fsi…
-
HIve安装配置（超详细）
文章目录 Hive安装配置 一、Hive安装地址 二、Hive安装部署 1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/so…
-
【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事
系列文章目录 【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事 【SQL开发实战技巧】系列（二）：简单单表查询 【SQL开发实战技巧】系列（三）：SQL排序的那些事 【…
-
【云平台技术】Hadoop全分布式安装与配置
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置…
-
关于hive on spark部署后insert报错Error code 30041问题
报错问题描述 ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.e…
-
【Hadoop】YARN容量调度器详解
🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 🪁…
-
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
说明: 本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。 1.环境说明 1.1 ip规…
-
HDFS相关API操作
文章目录 API文档 环境配置 API操作 准备工作 创建文件夹 文件上传 文件下载 文件删除 文件的更名和移动 获取文件详细信息 API文档 HDFS API官方文档：https…
-
HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究
文章目录 前言 需要回答的首要问题 DataNode端基于Netty的WebHDFS Service的实现 基于重定向的文件写入流程 写入一个大文件时WebHDFS和Hadoop …
-
HDFS中的NAMENODE元数据管理（超详细）
元数据管理 元数据是什么 元数据管理概述 内存元数据 元数据文件 fsimage内存镜像文件 edits log编辑日志 namenode加载元数据文件顺序 元数据管理相关目录文件…
-
hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)
hadoop fs -help rm 查看rm命令作用 hadoop fs 查看命令 1. 创建文件夹： # hdfs前缀也是可以的。更推荐hadoop hadoop fs -mk…
-
还在做 Hadoop 生态？那我祝你一帆风顺
上回说到，我决定走出大数据的围城，用另一种视角审视与复盘行业。 文章发出后收到很多读者的反馈，其中呼声比较高的一条是希望我能聊聊大数据的行业前景与思考。针对这个问题，后面我会分享一…
-
Hadoop 安装与配置
创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户，并使用/bin/bash 作为shell 虚拟机打开成功后，打开终端Terminal，开始创建hadoop用…
-
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
一.问题重现 SQL 错误 [2] [08S01]: Error while processing statement: FAILED: Execution Error, retu…
