hadoop
-
hive中array相关函数总结
目录 hive官方函数解释 示例 实战 hive官方函数解释 hive官网函数大全地址： hive官网函数大全地址 Return Type Name Description arr…
-
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（一）
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例，已成功搭建完全分布式集群，并测试跑实例。 1.安装CentOS 7.6虚拟机 1.1安装完虚…
-
大数据之数据治理架构 —— Atlas
文章目录 什么是数据治理？ 什么是 Atlas? Atlas 的作用 Atlas 架构 Atlas 架构解析 Atlas 大数据集群搭建 JDK 与 Hadoop 搭建 MySQL…
-
Hive-concat
concat_ws 是 Hive 中的一个函数，用于在给定分隔符的情况下连接字符串数组或字符串。它的语法如下： concat_ws(separator, const1, const…
-
Zookeeper使用
Zookeeper Apache ZooKeeper 简介/快速入门 ZooKeeper是一个集中的服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都以…
-
NameNode是Hadoop Distributed File System（HDFS）中的主服务器
NameNode是Hadoop Distributed File System（HDFS）中的主服务器，负责管理文件系统的元数据。以下是NameNode的具体职责： 文件系统的一致…
-
Hive08
一 分区表 1 概念： 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所 有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要…
-
第1关：数据清洗MapReduce综合应用案例 — 招聘数据清洗
根据提示，在右侧编辑器补充代码，对数据按照一定规则进行清洗。 数据说明如下：data.json； 数据所在位置：/root/data/data.json； { “id”:4, “c…
-
大数据技术之Hadoop
相关导论大数据相关导论 首先我们要知道一切皆数据 数据的作用 从海量数据中提取出有效的价值信息, 实现数据的商业化, 价值化, 给企业的决策者或者运营人员提供数据支…
-
基于Spring Boot的校园外卖点餐系统设计与实现开题报告
题 目 基于Spring Boot的校园外卖点餐系统设计与实现 学 院 班 级 学生姓名 学 号 指导教师 日 期 开题报告内容：选题的目的、意义，国…
-
hive库操作示例
hive库操作示例 1、常规表 创建数据库 CREATE DATABASE mydatabase; 使用数据库 USE mydatabase; 创建表 CREATE TABLE m…
-
深入Hadoop安全性：保护Hadoop集群的关键技术
1.背景介绍 Hadoop是一个分布式文件系统(HDFS)和分布式数据处理框架(MapReduce)的集合，用于处理大规模数据。随着Hadoop的普及和广泛应用，安全性变得越来越重…
-
hadoop的安装教程（ Ubuntu 系统）
目录 一、创建hadoop用户 二、更新apt 三、安装SSH、配置SSH无密码登陆 四、安装Java环境 五、安装 Hadoop 六、检验jdk、hadoop的安装成果 七、…
-
【大数据】Hive入门➕安装（尚硅谷大数据Hive 3.1.3教程）
目录 前言 一、Hive入门 1.1. Hive本质 1.2. Hive架构原理 二、Hive3.1.3安装 1. 最小化安装部署（仅适合学习测试） 2. 安装MySQL 3. 卸…
-
大数据存储系统HDFS和对象存储(OOS/S3)的比较
虽然Apache Hadoop以前都是使用HDFS的，但是当Hadoop的文件系统的需求产生时候也能使用S3。Netflix的 Hadoop data warehouse 利用…
