hdfs
-
学完了Hadoop,我总结了这些重点
文章目录 一、Hadoop 组成 Hadoop1.x 、2.x 、3.x 的区别 HDFS架构概述 MapReduce架构概述 YARN架构概述 二、常用端口号 三、常用的配置文件…
-
大数据开发之Hadoop(完整版+练习)
第 1 章:Hadoop概述 1.1 Hadoop是什么 1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决,海量数据的存储和海量数据的分析计算问…
-
HDFS的基本操作(创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件)
文章目录 前言 一、HDFS的相关命令 1、在HDFS创建目录 2、查看当前目录 3、查看目录与子目录 4、查看文件的内容 5、创建文件 6、上传和拷贝文件 7、追加数据到HDFS…
-
hadoop-hdfs简介及常用命令详解(超详细)
文章目录 前言 一、HDFS概述 1. HDFS简介 2. HDFS架构 3. HDFS文件操作 二、HDFS命令介绍 1. hdfs命令简介 2. HDFS命令的基本语法 3. …
-
【Hadoop】高可用集群搭建
知识目录 一、写在前面💕 二、Zookeeper安装✨ 三、Hadoop配置✨ 四、Hadoop HA自动模式✨ 五、HA脚本分享✨ 七、结语💕 一…
-
从零开始了解大数据(七):总结
系列文章目录 从零开始了解大数据(一):数据分析入门篇-CSDN博客 从零开始了解大数据(二):Hadoop篇-CSDN博客 从零开始了解大数据(三):HDFS分布式文件系统篇-C…
-
【Hadoop】HDFS API 操作大全
🍁 博主 “开着拖拉机回家”带您 Go to New World.✨🍁 🦄 个人主页——🎐开…
-
使用python语言编写Hadoop Mapreduce程序
本教程使用python语言编写一个简单的mapreduce程序:单词计数 mapper.py 将下面的代码保存在文件 /home/hadoop/workspace/mapper.p…
-
[hadoop全分布部署]安装Hadoop、验证Hadoop①
👨🎓👨🎓博主:发量不足 个人简介:耐心,自信来源于你强大的思想和知识基础!! 📑📑…
-
Hadoop——HDFS的Java API操作(文件上传、下载、删除等)
1、创建Maven项目 2、修改pom.xml文件 org.apache.hadoop hadoop-common 2.7.0 org.apache.hadoop hadoop-h…
-
查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下 使用Hive的DESCRIBE FORMATTED命令。 具体步骤如下: 打开Hive终端,并连接到Hive数据库。 运行以下命令,将表名…
-
深入理解 Hadoop (二)HDFS架构演进
深入理解 Hadoop (一)网络通信架构与源码浅析 深入理解 Hadoop (二)HDFS架构演进 深入理解 Hadoop (三)HDFS文件系统设计实现 深入理解 Hadoop…
-
【HDFS】HDFS 的常用命令
HDFS 的常用命令 1.操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 新建文件1.4 上传文件1.5 将本地文件移动到 HDFS1.6 下载文件1.7 查看文件1…
-
大数据大作业(课程设计)
题目:信息爬取字数统计及可视化 内容及要求: 配置Hadoop平台; 利用爬虫技术爬取任一门户网站新闻栏目一定时间段内的新闻信息,保存为一个或多个文件并上传到Hadoop平台以本人…
-
大数据技术之Hadoop:使用命令操作HDFS(四)
目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八…
