hadoop
-
Hadoop原理介绍
目录 HDFS 分布式存储介绍 组成 架构图 分块存储 NameNode管理元数据 SecondaryNameNode辅助管理元数据 三大机制 读写数据流程 读数据流程 写数据流程…
-
大数据处理技术考试题库（自主整理）
解释大数据？（（4V特性））大量、多样、高速、价值密度低（展开论述） （1）数据量大（Volume）：大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个…
-
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率 背景 方案1:regexp_extract 方案2:instr 方案3:locate 方案4:like 方案5: r…
-
搭建伪分布式Hadoop
文章目录 一、Hadoop部署模式 （一）独立模式 （二）伪分布式模式 （三）完全分布式模式 二、搭建伪分布式Hadoop （一）登录虚拟机 （二）上传安装包 （三）配置免密登录 …
-
掌握大数据–Hadoop全面指南
在讲Hadoop之前我们需要知道一个问题：为什么我们学习大数据要学习Hadoop 不卖关子 原因如下： 1. 分布式存储：Hadoop提供了分布式存储系统，最著名的是Hadoop …
-
Hadoop YARN HA 集群安装部署详细图文教程
目录 一、YARN 集群角色、部署规划 1.1 集群角色–概述 1.2 集群角色–ResourceManager（RM） 1.3 集群角色–N…
-
头歌大数据MapReduce基础编程
文章目录 第1关：合并去重 任务描述 相关知识 编程要求 测试说明 示例代码 第1关：第2关：整合排序 任务描述 相关知识 编程要求 测试说明 示例代码 第3关：信息挖掘 任务描述…
-
Hive常见报错与解决方案
背景 公司近期上火山云，hive、hadoop、tez等都有较大的版本升级，继而引发了 一系列的报错。现将遇到的报错内容以及相应解决方法列出来，供大家参考。 关于版本： 组件 升级…
-
基于Hadoop、大数据的银川市蔬菜价格信息监测系统–43001（免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、文案
摘 要 随着互联网与移动互联网迅速普及，网络上的信息数量相当庞大，人们对获取感兴趣的信息需求越来越大,银川市蔬菜价格信息成为一个热门。然而银川市蔬菜价格信息的表示相当复杂，己有的…
-
Python 使用Hadoop 3 之HDFS 总结
Hadoop 概述 Hadoop 是一个由Apache 软件基金会开发的分布式基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进…
-
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
本案例软件包：链接：https://pan.baidu.com/s/1zABhjj2umontXe2CYBW_DQ 提取码：1123（若链接失效在下面评论，我会及时更新）. 目录…
-
关于黑马hive课程案例FineBI中文乱码的解决
文章目录 问题描述 情况一的解决 情况二的解决 ETL数据清洗知识 社交案例参考代码 结果展示 问题描述 情况1：FineBI导入表名中文乱码，字段内容正常 情况2：FineBI导…
-
Ubuntu 16.04——Hadoop集群安装配置
Hadoop集群安装配置 Hadoop集群安装配置 环境 节点配置 配置前提 修改主机名 Master 配置 配置PATH变量 配置集群/分布式环境 修改配置文件 （1）修改 wo…
-
MapReduce and Hadoop: An InDepth Look at the Relationship
1.背景介绍 大数据是当今世界最热门的话题之一，它指的是那些以前无法使用传统数据库和数据处理技术来处理的数据。这些数据通常是非结构化的，例如社交网络的用户行为数据、传感器数据、图像…
-
搭建Hadoop过程的问题与网络排错思路
虚拟机复制问题 在复制搭建三台虚拟机的时候，没有让虚拟机关机而是选择挂起，在挂起的时候虚拟机文件是只读状态的，应用层的软件VMware不能修改其中的参数，这样会导致虚拟机的MAC地…
