hadoop
-
大数据学习的第一课-大数据概论和技术原理
目录 大数据概论 大数据概念 为什么会有大数据 大数据的4v特征 大数据的来源 云计算与大数据 大数据发展历史 大数据技术原理 大数据的存储技…
-
【Hadoop】HA高可用搭建保姆级教程(大二学长的万字笔记)
知识目录 一、写在前面🎈 二、集群准备🍟 2.1 集群规划 2.2 集群解释 三、说明🔑 3.1 主机名说明 3.2 用户名说明 3…
-
Hive创建外部表详细步骤
① 在hive中执行HDFS命令:创建/data目录 hive命令终端输入: hive> dfs -mkdir -p /data; 或者在linux命令终端输入: hdfs …
-
【Hadoop】完全分布式集群搭建
知识目录 一、前言 二、配置三台虚拟机 2.1 克隆三台虚拟机 2.2 配置克隆的虚拟机 2.3 使用Xshell连接虚拟机 2.4 配置SSH免密登录 三、Hadoop集群准备 …
-
构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置
前言 在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的…
-
Hadoop的安装实验报告
一、实验目的 1. 掌握Linux虚拟机的安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能。鉴于目前很多读者正在使用Windows操作系统,因此,为了完成本书的后续…
-
掌握大数据–Hive全面指南
1.Hive简介 2.Hive部署方式 3.Hive的架构图 4.Hive初体验 5.Hive SQL语法–DDL操作数据库 1.Hive简介 Apache Hive是…
-
权限管理-Ranger的介绍和使用(集成Hive)
文章目录 概述 介绍 目标 支持的框架 权限模型 架构 系统插件 安装 环境说明 创建系统用户和Kerberos主体 安装RangerAdmin 数据库环境准备 安装RangerA…
-
【大数据实训】基于Hive的北京市天气系统分析报告(二)
博主介绍:✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ &#…
-
Hive 优化总结
Hive优化 本质:HDFS + MapReduce 问题原因: 倾斜: 分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。) group by:有…
-
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
文章目录 Docker的介绍及安装 Docker的介绍 基于平台 Docker的安装 检验系统是否符合安装条件以及更新软件列表 安装Docker及测试 Docker镜像构建及Had…
-
Redis与Hadoop集成
1.背景介绍 随着大数据时代的到来,数据的规模和复杂性不断增加,传统的数据库和数据处理技术已经无法满足需求。为了更有效地处理大量数据,人们开始研究和开发新的数据处理技术和架构。Re…
-
Hadoop HA集群两个NameNode都是standby或者主NameNode是standby,从NameNode是active的情况集锦
文章目录 背景 架构 HDFS HA配置 错误原因 解决方案 方案一 方案二 方案三(首先查看自己各参数文件是否配置出错) 后记 补充 failover transitionToA…
-
Hive的基本SQL操作(DDL篇)
目录 编辑 一、数据库的基本操作 1.1 展示所有数据库 1.2 切换数据库 1.3 创建数据库 1.4 删除数据库 1.5 显示数据库信息 1.5.1 显示数据库信息 1.5….
-
启动 AWS Academy Learner Lab【教学】(Hadoop实验)
🔥博客主页: A_SHOWY🎥系列专栏:力扣刷题总结录 数据结构 云计算 第一部分 创建实例过程 首先,需要创建3台EC2,一台作主…
