hadoop
-
HDFS及各组件功能介绍
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式…
-
Windows下安装Hive
Windows 下安装Hive 一、hive与hadoop的兼容选择 hive官网下载地址：https://archive.apache.org/dist/hive/ hadoop…
-
hadoop与hdfs
第2章 大数据处理架构Hadoop 简介 Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce Hadoo…
-
Hadoop3.1.3安装教程单机伪分布式配置
本教程使用 Ubuntu 18.04 64位 作为系统环境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可），请自行安装系统。装好了 Ubuntu …
-
HIVE运行卡死没反应的亲测解法
Query ID = root_20230914161708_a293bd1f-62bb-4a28-a477-97f71fc745b4 Total jobs = 3 Launchi…
-
Hadoop YARN CGroup 实践
文章目录 Hadoop YARN Cgroups 实践 什么是 cgroups cgroups 概念 YARN 使用 cgroups 背景 cgroups 在 YARN 中的工作原…
-
SpringBoot 3 集成Hive 3
前提条件: 运行环境：Hadoop 3.* + Hive 3.* + MySQL 8 ，如果还未安装相关环境，请参考：Hive 一文读懂 Centos7 安装Hadoop3 单…
-
Hadoop-MapReduce使用说明
一、MapReduce是什么？ MapReduce是一个开源的分布式软件框架，可以让你很容易的编写程序（继承Mapper和Reducer，重写map和reduce方法）去处理大数据…
-
HADOOP的配置
一，集群和分布式的概念 hadoop+java1.8:链接：https://pan.baidu.com/s/1yTlgLGzz6Ow-YWU-CeF68w 提取码：aoag –来自…
-
hive 问题解决 Class path contains multiple SLF4J bindings
hive输入命令时出现日志冲突提示（问题不复杂，是个warn，强迫症解决，做项目经常遇到，项目里是处理maven。这里处理方法思路类似。） 问题： SLF4J: …
-
深入理解Apache Hadoop的分布式存储
1.背景介绍 分布式存储是大数据处理领域中的一个重要话题。随着数据量的增加，单机存储和计算的能力已经无法满足需求。因此，分布式存储和计算技术变得越来越重要。Apache Hadoo…
-
hadoop期末复习
参考：尚硅谷-B站-hadoop3.x教程 尚硅谷大数据Hadoop教程，hadoop3.x搭建到集群调优，百万播放_哔哩哔哩_bilibili 1.集群部署规划主要修改那几个配置…
-
实现高效的大数据处理：Apache Hadoop的核心原理
1.背景介绍 大数据处理是当今信息技术中最热门的话题之一。随着互联网的发展，数据的产生和增长速度已经超越了我们的预期。根据IDC的预测，全球数据量将达到44ZB(Zettabyte…
-
通过docker-compose安装hadoop
通过docker-compose安装hadoop 1、 hadoop2.X与3.X的区别 本次安装使用的是hadoop3.3.6版本，安装之前首先介绍下hadoop2.X与3.X的…
-
Hadoop简介：开启大数据处理之门
随着信息技术的飞速发展，数据呈现爆炸式增长，传统的数据处理方式已无法满足日益增长的数据需求。在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门…
