hadoop

Ubuntu18.04安装教程 1.环境与镜像准备 虚拟机选用vmware：https://www.vmware.com/cn/products/workstation-pro/w…

一.准备工作 搭建好VMware Workstation Pro（我这里装的版本是16） 二.新建虚拟机hadoop01 搭建hadoop集群需要三台虚拟机 1.新建虚拟机——>自…

运行start-sh.all发现了如图的问题 也是搞了很久搜了很多教程，发现很多人并不是大毛病而是很多小细节出了错误。 首先检查如下hadoop-env.sh ，core-site…

        在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名； 文件夹父路径是由参数hive.metastore.warehouse.d…

文章目录 一、函数 1.1 函数简介 1.2 单行函数 1.2.1 算术运算函数 1.2.2 数值函数 1.2.3 字符串函数 1.2.4 日期函数 1.2.5 流程控制函数 1….

文章目录 前言 一、工具介绍 二、mapreduce数据处理 1.数据集准备  2.要求：对不同洲的平均温度处理–得到各大洲的平均温度 2.1 mapper阶段 2.2…

文章目录 一、collect_set()/collect_list() 二、实际运用 把同一分组的不同行的数据聚合成一个行 用下标可以随机取某一个 聚合后的中的值用‘|’分隔开 使…

文章目录 1. 复现错误 2. 分析错误 3. 解决问题 3.1 下载Hadoop 3.2 配置Hadoop 3.3 下载winutils 3.4 配置winutils 1. 复现…

配置Hive使用Spark执行引擎 Hive引擎 概述 兼容问题 安装Spark Spark配置 Hive配置 HDFS上传Spark的jar包 执行测试 速度对比 Hive引擎 …

实验目的 1、理解HDFS在Hadoop体系结构中的角色 2、熟悉使用HDFS操作常用的Shell命令 3、熟悉HDFS操作常用的Java API 实验平台 1、操作系统：Wind…

第 1 章：MapReduce概述 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 Ma…

目录 准备： 一、在虚拟机软件安装Linux 1、新建虚拟机： 2、选择安装源： 3、选择客户机操作系统： 4、定义虚拟机名称和选择虚拟机和操作系统将要安装的位置： 5、指定磁盘容…

我们在学大数据的时候hadoop是躲避不开的地方，所以如何在linux中部署hadoop，下面就是手把手教你如何部署hadoop。你只要复制粘体，然后按enter键就可以了。 准备…

1. 安装docker 确保电脑已经安装docker docker安装过程可自行查找资料，mac下docker可以使用brew命令安装 安装之后，查看docker版本，确认安装成功…