hdfs
-
学会大数据基础，一篇就够了
第 2 章-大数据处理架构 Hadoop 1 hadoop 生态系统 1 Hadoop的三大组件 1) HDFS分布式文件管理系统 超大数据存储 流式存储 2) MapRuduce…
-
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
目录 一、将HDFS副本数设置为3 1、什么是HDFS副本数？ 2.将副本数设置为3 二、基于MapReduce框架开发wordcount程序 1、什么是MapReduce框架？ …
-
HDFS基本命令
目录 1.上传文件到HDFS文件系统 2.-appendToFile：追加一个文件到已经存在的文件末尾 3.查看HDFS文件系统中的文件 4.查看上传到HDFS文件系统中指定文件…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hadoop-5-HDFS常用命令
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件…
-
HDFS 常用命令
HDFS 常用命令 HDFS (Hadoop Distributed File System) 是 Hadoop 分布式文件系统，以下是一些 HDFS 常用命令： 低版本 hado…
-
HDFS系统权限详解
一，HDFS超级用户 启动namenode的用户就是HDFS中的超级用户 如图所示 HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致 但是不同的是，两个系统的…
-
Pyspark读写csv,txt,json,xlsx,xml,avro等文件
1. Spark读写txt文件 读： df = spark.read.text(“/home/test/testTxt.txt”).show() +————-+ |…
-
HDFS读写数据流程、NameNode与DataNode工作机制
文章目录 HDFS 写数据流程 HDFS 读数据流程 HDFS 节点距离计算 HDFS 机架感知 HDFS NN和2NN工作机制 HDFS FsImage镜像文件 HDFS Edi…
-
HDFS Federation前世今生
一 背景 熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的HD…
-
HDFS及各组件功能介绍
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式…
-
hadoop与hdfs
第2章 大数据处理架构Hadoop 简介 Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce Hadoo…
-
2024.1.3 Spark架构角色和提交任务流程
目录 一 . Yarn的角色回顾 二、Spark提交任务流程 1、Spark On Standalone 2. Spark on Yarn 三. Spark 比MapRe…
-
Hadoop的基础操作
Hadoop的基础操作 HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。 HDFS采用主从架构，其中由一个NameNode和多…
