hadoop
-
一文让你学明白Hadoop《大数据技术之Hadoop》详细知识总结
思维导图： 一：Hadoop的简介 简介： Hadoop是由Apache基金会所开发的一个开源的分布式存储和处理大数据的框架，可以在计算机集群中进行大规模数据集的的存储和处理，并提…
-
【hive】Hive中的大宽表及其底层详细技术点
简介: 在大数据环境中，处理大规模数据集是常见的需求。为了满足这种需求，Hive引入了大宽表（Large Wide Table）的概念，它是一种在Hive中管理和处理大量列的数据表…
-
Hadoop 实战 | 词频统计WordCount
词频统计 通过分析大量文本数据中的词频，可以识别常见词汇和短语，从而抽取文本的关键信息和概要，有助于识别文本中频繁出现的关键词，这对于理解文本内容和主题非常关键。同时，通过分析词在…
-
通过Web的方式访问HDFS
要通过web访问HDFS（Hadoop分布式文件系统），你可以使用Hadoop提供的Web界面来管理和监控HDFS。 默认情况下，Hadoop提供了以下两个主要的Web界面： HD…
-
【大数据】Hive 表中插入多条数据
Hive 表中插入多条数据 在 Hive 中，我们可以使用 INSERT INTO 语句向表中插入数据。当我们需要插入多条数据时，有多种方式可以实现。本文将介绍如何在 Hive 表…
-
Hadoop的DataNode无法启动的解决方案
Hadoop重启一次，里面的数据需要重新导入，发现无法导入数据，查看jps发现是DataNode没有启动，重新启动发现也无法启动，原因是前面重新启动NameNode，里面的文件格式…
-
【sentry 到 ranger 系列】一、Sentry 的 Hive 鉴权插件
文章目录 一、前景引入 二、Sentry 对 Hive 【授权】的接管 2.1、权限数据的产生 2.2、插件源码跟踪 2.3、Thrift 接口跟踪 三、Sentry 对 Hive…
-
2024.1.7 Spark SQL , DataFrame
目录 一 . SparkSQL简介 二 . Spark SQL与HIVE的异同 三 . DataFrame 1. 创建 DataFrame 2. RDD转换DataFrame …
-
使用Java API操作HDFS
（1）实验原理 使用Java API操作HDFS的实验原理如下： 配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xm…
-
Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh.
出现错误： Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh. 原因分析 ＇ERROR: Can…
-
Sqoop数据导入到Hive表的最佳实践
将数据从关系型数据库导入到Hive表是大数据领域中的常见任务之一，Sqoop是一个强大的工具，可以帮助实现这一目标。本文将提供Sqoop数据导入到Hive表的最佳实践，包括详细的步…
-
Hadoop分布式文件系统(二)
目录 一、Hadoop 1、文件系统 1.1、文件系统定义 1.2、传统常见的文件系统 1.3、文件系统中的重要概念 1.4、海量数据存储遇到的问题 1.5、分布式存储系统的核心属…
-
Hadoop中HBase命令行操作
HBase提供了Shell命令行，功能类似于Oracle、MySQL等关系库的SQL Plus窗口那样，用户可以通过命令行模式进行创建表、新增和更新数据，以及删除表的操作。 采用的…
-
Hadoop之Hbase安装和配置
文章目录 Hadoop之HBase安装和配置 1、确保Hadoop已安装/配置 1.1 启动Hadoop 1.2 查看Hadoop版本（要兼容Hbase） 2、HBase安装 2….
-
Hadoop作业篇(一）
一、选择题 1. 以下哪一项不属于Hadoop可以运行的模式__C____。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 C. 互联模式 不属于H…
