hive
-
SQL:数据去重的三种方法
1、使用distinct去重 distinct用来查询不重复记录的条数,用count(distinct id)来返回不重复字段的条数。用法注意: distinct【查询字段】,必须…
-
Hive讲课笔记:内部表与外部表
文章目录 零、学习目标 一、导言 二、内部表 1.1 什么是内部表 1.1.1 内部表的定义 1.1.2 内部表的关键特性 1.2 创建与操作内部表 1.2.1 创建并查看数据库 …
-
HiveSQL基础命令02
目录 一、分区表 1.新建分区表 2.向分区表插入数据 1.静态分区 2.动态分区 3.创建多级分区 二、分桶表 1.新建原表 2.建立分桶表并按照sid排序 3.向分桶表插入数据…
-
2024.1.15 Spark 阶段原理,八股,面试题
目录 1. 简述什么是Spark? 2. 简述Spark的四大特点 3. 简述Spark比Mapreduce执行效率高的原因 4. 简述Spark on Yarn的两种部署模式的区…
-
HIve安装配置(超详细)
文章目录 Hive安装配置 一、Hive安装地址 二、Hive安装部署 1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/so…
-
关于hive on spark部署后insert报错Error code 30041问题
报错问题描述 ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.e…
-
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 1.环境说明 1.1 ip规…
-
hive数据库操作,hive函数,FineBI可视化操作
1、数据库操作 1.1、创建数据库 create database if not exists myhive; use myhive; 1.2、查看数据库详细信息 desc dat…
-
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
一.问题重现 SQL 错误 [2] [08S01]: Error while processing statement: FAILED: Execution Error, retu…
-
Hive实战:分科汇总求月考平均分
文章目录 一、实战概述 二、提出任务 三、完成任务 (一)准备数据 1、在虚拟机上创建文本文件 2、上传文件到HDFS指定目录 (二)实现步骤 1、启动Hive Metastore…
-
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
注意:该项目只展示部分功能,如需了解,评论区咨询即可。 本文目录 1 设计背景 2设计意义 3 系统展示 3.1 页面展示 3.2 视频展示 4 更多推荐 5 部分功能代码 1 设…
-
云计算与大数据之间的羁绊(期末不挂科版):云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark
文章目录 前言: 一、云计算 1.1 云计算的基本思想 1.2 云计算概述——什么是云计算? 1.3 云计算的基本特征 1.4 云计算的部署模式 1.5 云服务 1.6 云计算的关…
-
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
文章目录 Hadoop 安装 Hive 安装 Hive On Spark 与 Spark On Hive 区别 Hive On Spark Spark On Hive 部署 Hiv…
-
Hive实战:词频统计
一、实战概述 在本次实战任务中,我们的目标是在大数据环境下利用Hive工具进行词频统计。以下是详细步骤和关键操作的优化描述: 数据源准备: 将测试用的文本文件test.txt上传到…
-
Hive权限管理
Hive权限管理 1、hive授权模型介绍 (1)Storage Based Authorization in the Metastore Server 基于存储的授权 ̵…
