hive
-
Hive创建外部表详细步骤
① 在hive中执行HDFS命令：创建/data目录 hive命令终端输入： hive> dfs -mkdir -p /data; 或者在linux命令终端输入： hdfs …
-
Hive实战：网址去重
文章目录 一、实战概述 二、提出任务 三、完成任务 （一）准备数据 1、在虚拟机上创建文本文件 2、上传文件到HDFS指定目录 （二）实现步骤 1、启动Hive Metastore…
-
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
前言 在当今的数据驱动时代，构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark，以搭建一个完整的…
-
掌握大数据–Hive全面指南
1.Hive简介 2.Hive部署方式 3.Hive的架构图 4.Hive初体验 5.Hive SQL语法–DDL操作数据库 1.Hive简介 Apache Hive是…
-
权限管理-Ranger的介绍和使用(集成Hive)
文章目录 概述 介绍 目标 支持的框架 权限模型 架构 系统插件 安装 环境说明 创建系统用户和Kerberos主体 安装RangerAdmin 数据库环境准备 安装RangerA…
-
【大数据实训】基于Hive的北京市天气系统分析报告(二)
博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ &#…
-
Hive 优化总结
Hive优化 本质：HDFS + MapReduce 问题原因： 倾斜： 分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。) group by：有…
-
Hive SQL 中ARRAY或MAP类型数据处理：lateral view explode()/posexplode()——行转列函数
前言：在对表数据进行批量处理过程中，常常碰上某个字段是一个array或者map形式的字段，一列数据的该字段信息同时存在多个值，当我们需要取出该数组中的每一个值实现一一对应关系的时候…
-
hive分位函数percentile和percentile
hive分位函数percentile和percentile_approx误区和解决方案 先说结论 percentile和percentile_approx对分位数的计算是不同的！！…
-
Hive的基本SQL操作（DDL篇）
目录 编辑 一、数据库的基本操作 1.1 展示所有数据库 1.2 切换数据库 1.3 创建数据库 1.4 删除数据库 1.5 显示数据库信息 1.5.1 显示数据库信息 1.5….
-
hive beeline参数及示例用法
beeline 是一个用于连接 HiveServer2 的命令行工具。 一、beeline参数 使用beeline -u可以指定连接的URL。 例如，beeline -u jdbc…
-
二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘
一、目的 在Hive的with嵌套语句时，HQL报错Line 2:5 Ambiguous table alias ‘t2’ 二、报错详情 org.apach…
-
基于Hadoop的MapReduce网站日志大数据分析（含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts）
需要本项目的可以私信博主！！！ 本项目包含：PPT，可视化代码，项目源码，配套Hadoop环境（解压可视化），shell脚本，MapReduce代码，文档以及相关说明教程，大数据集…
-
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
首先，如果想要在hive 3.1.3上使用spark 3.0.0，不可避免地要重新编译hive 如果只是配置了hive-site.xml和spark-defaults.conf，那…
-
接收Kafka数据并消费至Hive表
1 Hive客户端方案 将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。 步骤： 创建Hive表： 使用Hi…
