hadoop
-
深入理解 Hadoop （一）网络通信架构与源码浅析
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.Ho…
-
如何使用Hive或者HadoopMR访问表格存储中的表
使用教程 更新时间：2023-12-14 09:58 本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。 数据准备 在表格存储中准备一张数据表pet，name…
-
Hadoop-5-HDFS常用命令
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件…
-
Hive内核调优(二)
Hive内核调优(二) 1.3 Hive 日志说明 SQL调优过程中需要结合Hive日志分析性能瓶颈，如下是对关键日志进行说明。 1.3.1 运行日志 运行态日志主要包括HiveS…
-
HDFS 常用命令
HDFS 常用命令 HDFS (Hadoop Distributed File System) 是 Hadoop 分布式文件系统，以下是一些 HDFS 常用命令： 低版本 hado…
-
HDFS系统权限详解
一，HDFS超级用户 启动namenode的用户就是HDFS中的超级用户 如图所示 HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致 但是不同的是，两个系统的…
-
HBase与Hadoop：HBase与Hadoop的集成与使用
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了一种自动分区、自动同步的数据存储方式，可…
-
hadoop面试题
0. 思维导图 1. HDFS 1. HDFS的架构♥♥ HDFS主要包括三个部分，namenode,datanode以及secondary namenode。这里主要讲一下他…
-
jdbc通过kerberos认证连接hive
pom依赖添加hive-jdbc 根据实际情况添加依赖，主要看服务器hive版本 org.apache.hive hive-jdbc 2.1.1-cdh6.3.2 org.slf4…
-
Hadoop下载安装(物理机)
1、下载Hadoop安装包## http://archive.apache.org/dist/hadoop/common 2、解压安装Hadoop 将hadoop-2-7.4.ta…
-
【HIVE】数据的定义与操作
文章目录 前言 一、Hive基本数据类型 二、Hive集合数据类型 三、Hive数据定义与操作 1.创建数据库 2.查看数据库 3.删除数据库 4.创建表 5.修改表 6.删除表 …
-
hadoop YARN详解
YARN 概念 YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaste…
