hdfs
-
使用python语言编写Hadoop Mapreduce程序
本教程使用python语言编写一个简单的mapreduce程序：单词计数 mapper.py 将下面的代码保存在文件 /home/hadoop/workspace/mapper.p…
-
[hadoop全分布部署]安装Hadoop、验证Hadoop①
👨🎓👨🎓博主：发量不足 个人简介：耐心，自信来源于你强大的思想和知识基础！！ 📑📑…
-
Hadoop——HDFS的Java API操作（文件上传、下载、删除等）
1、创建Maven项目 2、修改pom.xml文件 org.apache.hadoop hadoop-common 2.7.0 org.apache.hadoop hadoop-h…
-
查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下 使用Hive的DESCRIBE FORMATTED命令。 具体步骤如下： 打开Hive终端，并连接到Hive数据库。 运行以下命令，将表名…
-
深入理解 Hadoop （二）HDFS架构演进
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
-
【HDFS】HDFS 的常用命令
HDFS 的常用命令 1.操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 新建文件1.4 上传文件1.5 将本地文件移动到 HDFS1.6 下载文件1.7 查看文件1…
-
大数据大作业（课程设计）
题目：信息爬取字数统计及可视化 内容及要求： 配置Hadoop平台； 利用爬虫技术爬取任一门户网站新闻栏目一定时间段内的新闻信息，保存为一个或多个文件并上传到Hadoop平台以本人…
-
大数据技术之Hadoop：使用命令操作HDFS（四）
目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八…
-
头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 – Hadoop安装与伪分布式集群搭建）
第1关：配置开发环境 – JavaJDK的配置 第2关：配置开发环境 – Hadoop安装与伪分布式集群搭建 第3关：HDFS系统初体验 注： 1 头歌《…
-
改变hive的端口8020到9000。（SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse）
文章目录 问题：SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse/t_s…
-
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
1、DataX简介 1.1 DataX概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、O…
-
大数据编程实验二：熟悉常用的HDFS操作
实验目的 1、理解HDFS在Hadoop体系结构中的角色 2、熟悉使用HDFS操作常用的Shell命令 3、熟悉HDFS操作常用的Java API 实验平台 1、操作系统：Wind…
-
hdfs dfs 命令学习实践
1、hdfs dfs -ls 查看目录或文件 参数： [-C] [-d] [-h] [-R] [-t] [-S] [-r] [-u] [ …] 参数释义： -C 仅显示…
-
HDFS相关API操作
文章目录 API文档 环境配置 API操作 准备工作 创建文件夹 文件上传 文件下载 文件删除 文件的更名和移动 获取文件详细信息 API文档 HDFS API官方文档：https…
-
HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究
文章目录 前言 需要回答的首要问题 DataNode端基于Netty的WebHDFS Service的实现 基于重定向的文件写入流程 写入一个大文件时WebHDFS和Hadoop …
![[hadoop全分布部署]安装Hadoop、验证Hadoop①](/img/58/b33b508a9d32459e912a978d48874699.png)
