hive
-
DBeaver连接hive
1.新建hive连接 其中主机填写hive所在节点地址，端口10000为默认，数据库名不填则是默认default数据库，用户名密码填写hadoop集群中能操作hdfs的用户和密码。…
-
Hive基础知识（九）：Hive对数据库表的增删改查操作
1. 创建表 1）建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name #EXTERNAL：外部的 [(col_name …
-
Sqoop数据迁移工具
概述 Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数…
-
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
文章目录 一. hive高可用原理说明 1. Hive MetaStore HA 2. hive server HA 二. hive高可用实现 1. 配置 2. beeline链接…
-
Hive使用shell调用命令行特殊字符处理
1.场景分析 数据处理常用hive -e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试…
-
Spark On Hive原理和配置
目录 一、Spark On Hive原理 （1）为什么要让Spark On Hive？ 二、MySQL安装配置（root用户） （1）安装MySQL…
-
Hive行转列[一行拆分成多行/一列拆分成多列]
场景： hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A322…
-
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
文章目录 什么是数仓仓库建模？ ER 模型 三范式 维度建模 事实表 事实表类型 维度表 维度表类型 数仓分层 ODS 源数据层 ODS 层表示例 DWD 明细数据层 DWD 层表…
-
Hive —- 文件格式和压缩
Hive —- 文件格式和压缩 1. Hadoop压缩概述 2. Hive文件格式 1. Text File 2. ORC 3. Parquet 3. 压缩 1. Hi…
-
大数据HIVE
启动Hive 启动集群组件 cd /export/onekey ./start-all.sh 终端链接Hive 进入到/export/server/hive-2.1.0/bin目录…
-
hive和presto的求数组长度函数区别及注意事项
1、任务 获取邮箱字符串’@’后字符串 ，求长度 2、hive & spark-sql 求数组长度的函数 size hive & spark-sql 求…
-
Hive on Spark环境搭建
文章目录 Hive 引擎简介 环境配置 （ssh已经搭好） JDK准备 Hadoop 准备 配置集群 启动集群 LZO压缩配置 Hive 准备 Hive 元数据配置到 MySQL …
-
Hive运算符和函数
day04 函数和运算符 1、运算符 建表和数据 create external table ext_table( id int, name string, age int, s_…
-
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发，锁的原理是 一张表简称A表，我们对A表做查询操作的时候，就会获取到 A表的S锁(共享锁), 如果对A表做alter 等…
-
Apache Hive 简介
目录 一、 Apache Hive 架构图 （一） Hive 的本质 （二） Hive 架构图 二、 Hive 的三种部署方式 三、 数据仓库和数据库的区别 四、 数仓经…
![Hive行转列[一行拆分成多行/一列拆分成多列]](/img/6c/49747b5c83b84ed0a10c4b5525e157f4.png)
