hadoop
-
[Hive] INSERT OVERWRITE DIRECTORY要注意的问题
在使用Hive的INSERT OVERWRITE语句时,需要注意以下问题: 数据覆盖:INSERT OVERWRITE语句会覆盖目标目录中的数据。因此,在执行该语句之前,请确保目标…
-
Hive数据倾斜的原因以及常用解决方案
在Hadoop平台的hive数据库进行开发的时候,数据倾斜也是比较容易遇到的问题,这边文章对数据倾斜的定义以及产生的原因、对应的解决方案进行学习。 一、数据倾斜的定义 数据倾斜:数…
-
大数据项目实战-招聘网站职位分析
目录 第一章:项目概述 1.1项目需求和目标 1.2预备知识 1.3项目架构设计及技术选取 1.4开发环境和开发工具 1.5项目开发流程 第二章:搭建大数据集群环…
-
大数据Hadoop之——部署hadoop+hive+Mysql环境(window11)
目录 一、安装JDK8 1)JDK下载地址 2)设置环境变量 二、Hadoop安装(window10环境) 1)下载Hadoop3.1.3 2)Hadoop配置环境变量 3)在ha…
-
Hadoop3教程(十五):MapReduce中的Combiner
文章目录 (103)Combiner概述 什么是Combiner Combiner有什么用处 Combiner有什么特点 如何自定义Combiner (104)Combiner合并…
-
大数据之旅–Hadoop入门
内容大纲介绍 Hadoop框架国内外应用 Hadoop的架构图 Hadoop集群环境 Hadoop集群使用–页面访问 一、Hadoop框架国内外应用 国外 Yahoo的Hadoop…
-
虚拟机进不去登陆界面一直转圈
说明:我的出现的问题是防火墙未关闭 问题示例:虚拟机进不去,如图: 解决方法:在下图界面点击e进入内核 点击向下方向键找到linux16,在最后先空格再补充selinux=0(意思…
-
数据库安全-Redis未授权&Hadoop&Mysql&未授权访问&RCE 漏洞复现
目录 数据库安全-&Redis&Hadoop&Mysql&未授权访问&RCE 定义 漏洞复现 Mysql-CVE-2012-2122 漏洞 …
-
Linux配置hadoop文件报错 ERROR: JAVA
目录 一、hadoop配置文件的一些报错情况 1、ERROR: JAVA_HOME is not set and could not be found (1)查看我们的jdk所在的…
-
Python报错socket.gaierror: [Errno 11001] getaddrinfo failed
目录 错误描述 原因 解决 错误描述 在连接使用Hadoop时报错——socket.gaierror: [Errno 11001] getaddrinfo failed 原因 …
-
第01讲:大话 Hadoop 生态圈
从故事开始:一个电商平台的用户行为分析需求 最近,就职于一家电商公司的小李遇到了一些麻烦事,因为领导突然给他布置了一个任务,要把他们电商平台里所有的用户在 PC 端和 App 上的…
-
HIVE调优方式(大全)
压缩方式: HIVE压缩方式: 概述:压缩方式就类似于windows的压缩包,可以降低传输,提高磁盘利用率. 区分压缩协议好坏的参考纬度: 1.压缩比,即:压缩后文件大小 2.解压…
-
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!)
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!) Linux搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapr…
-
HDFS读写流程详细过程
HDFS读写流程详细过程 HDFS的定义 一、组成架构 二、优缺点 三、读流程 四、NameNode和SeconderyNameNode 五、写流程 HDFS的定义 HDFS(Ha…
-
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)
系列文章目录 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 【大数据实时数据同步】超级详细的生产环境OG…
