hadoop

你好# 大数据基础编程、实验和教程案例（实验七） 14.5 实验五：MapReduce 初级编程实践 本实验对应第 9 章的内容。 14.7.1 实验目的 （1）掌握使用 Spar…

collect_set函数 今天又get到一个小技能，掌握了hive一个关于列转行专用函数 collect_set函数。 在这里做个学习笔记。 collect_set是Hive内置…

文章目录 一、实战概述 二、实战步骤 （一）创建图书数据库 （二）创建国别分区的图书表 （三）在本地创建数据文件 （四）按分区加载数据 1、加载中文书籍数据到`country=cn…

目录 一、说明 二、Hive安装与配置 1.上传文件并解压 2.修改目录名称 3.配置hive环境变量 4.删除冲突jar包 5.启动hadoop集群 6.初始化元数据库并启动 三…

更多资料获取 📚 个人网站：ipengtao.com 在当今的数据驱动世界中，处理大规模数据是一项重要的任务。Hadoop 是一个广泛使用的开源框架，用于存储和处理…

MapReduce 运行原理 MapReduce简介 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。 MapReduce分成…

1. SSH 无密登录配置 1.1 配置 ssh （1）基本语法 ssh 另一台电脑的IP地址 （2）ssh 连接时出现 Host key verification failed …

1. 为什么需要构建源码 因为hadoop的可执行文件 是在专门的机器上编译的 其中native库 不一定能适用于每个机器 导致在启动hadoop过程中 出现烦人的警告 WARN …

1、启动hadoop：start-all.sh。 2、启动mysql：support-files/mysql.server start。 3、启动hive：hive。 4、在hiv…

一、Hive 认识 1. Hive 应用 问题：公司的经营状况？ 主题一：财务 现金流 指标1.1：净现金流入/流出量 指标1.2：现金转换周期 预算执行状况 指标2.1：预算内成…

这里写目录标题 一、实战描述 二、提出任务 三、完成任务 （一）准备数据文件 1、在虚拟机上创建文本文件 2、将文本文件上传到HDFS指定目录 (二)实现步骤 1、启动Hive M…

配置核心文件 core-site.xml 编辑core-site.xml(进入hadoop文件夹内) vim etc/hadoop/core-site.xml ———-…