hadoop
-
[Hadoop高可用集群]数仓工具之Hive的安装部署(超级详细,适用于初学者)
[Hadoop]数仓工具Hive的安装部署 📕作者:喜欢水星记 🏆系列:Hadoop高可用集群 🔋收藏:本文记录我搭建过程供大家学习…
-
Hive用户自定义函数之UDF开发
在进行大数据分析或者开发的时候,难免用到Hive进行数据查询分析,Hive内置很多函数,但是会有一部分需求需要自己开发,这个时候就需要自定义函数了,Hive的自定义函数开发非常方便…
-
Hadoop——HDFS的Java API操作(文件上传、下载、删除等)
1、创建Maven项目 2、修改pom.xml文件 org.apache.hadoop hadoop-common 2.7.0 org.apache.hadoop hadoop-h…
-
查看hive表储存在hdfs的哪个目录下
查看hive表储存在hdfs的哪个目录下 使用Hive的DESCRIBE FORMATTED命令。 具体步骤如下: 打开Hive终端,并连接到Hive数据库。 运行以下命令,将表名…
-
hive 报错return code 40000 from org.apache.hadoop.hive.ql.exec.MoveTask解决思路
参考学习 https://github.com/apache/hive/blob/2b57dd27ad61e552f93817ac69313066af6562d9/ql/src/j…
-
深入理解 Hadoop (二)HDFS架构演进
深入理解 Hadoop (一)网络通信架构与源码浅析 深入理解 Hadoop (二)HDFS架构演进 深入理解 Hadoop (三)HDFS文件系统设计实现 深入理解 Hadoop…
-
基于Hive旅游数据的分析与应用 Hadoop+SpringBoot+Vue 前后端分离【毕业设计.课程设计·文档报告·代码讲解·安装调试】
⛄博主介绍:⚡全栈开发工程师,精通Web前后端技术、数据库、架构设计。专注于Java、Python、机器学习、大数据、爬虫等技术领域和小程序领域的开发,毕业设计、课程设计项目中主要…
-
大数据Hadoop完全分布式及心得体会
文章目录 前言 认识hadoop,根据所学知识完成作业,并总结本学期心得体会。 一、认识hadoop 二、一课一得作业讲解 实现步骤 1. 搭建集群 2. 模拟生成新能源车辆数据编…
-
hadoop的基础操作——Hadoop中创建、修改、查看、删除文件夹及文件
一、实验目的 熟练掌握常用的hadoop shell命令 二、实验内容 1.学习在开启、关闭Hadoop 2.学习在Hadoop中创建、修改、查看、删除文件夹及文件 3.学习…
-
【HDFS】HDFS 的常用命令
HDFS 的常用命令 1.操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 新建文件1.4 上传文件1.5 将本地文件移动到 HDFS1.6 下载文件1.7 查看文件1…
-
hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive出现报错 Error: Error while processing statement: FAILED: Execution Error, return code 2 f…
-
大数据大作业(课程设计)
题目:信息爬取字数统计及可视化 内容及要求: 配置Hadoop平台; 利用爬虫技术爬取任一门户网站新闻栏目一定时间段内的新闻信息,保存为一个或多个文件并上传到Hadoop平台以本人…
-
Hadoop 原理及架构详解
### README 本文是基于黑马程序员的 Hadoop 网课的前半部分整理的笔记,主要介绍了相关操作与组件架构。 视频网址:01-课程内容大纲与学习目标_哔哩哔哩_bilibi…
-
Hadoop问题:start-all.sh显示未找到命令
在sbin文件夹下是start-all.sh可以运行的,但是到了别的文件夹下就不行了,于是想到了是文件路径问题,因为hadoop环境是和java环境一起配置的导致sbin写成了bi…
-
大数据技术之Hadoop:使用命令操作HDFS(四)
目录 一、创建文件夹 二、查看指定目录下的内容 三、上传文件到HDFS指定目录下 四、查看HDFS文件内容 五、下载HDFS文件 六、拷贝HDFS文件 七、HDFS数据移动操作 八…
