hive
-
【004hive基础】hive的文件存储格式与压缩
文章目录 一.hive的行式存储与列式存储 二. 存储格式 1. TEXTFILE 2. ORC格式 3. PARQUET格式 ing 三. Hive压缩格式 1. mr支持的压缩…
-
HIVE SQL实现分组字符串拼接concat
在Mysql中可以通过group_concat()函数实现分组字符串拼接，在HIVE SQL中可以使用concat_ws()+collect_set()/collect_list(…
-
hive进行base64 加密解密函数
加密 select base64(cast(‘abcd’ as binary)) YWJjZA== 解密 — 直接解密（结果字段格式为比binary格式） select unba…
-
Hive简介
Apache Hive简介 什么是分布式SQL? 通过分布式的方式，执行SQL语句，获取分析结果。 Hive的优势 通过java或者python直接操作MapReduce，也可以做…
-
Hive导入数据的五种方法
在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名； 文件夹父路径是由参数hive.metastore.warehouse.d…
-
sqllineage解析sql列级血缘并提交到datahub
目录 版本信息 操作记录 安装datahub v0.10.0 datahub 快速部署 元数据摄取 通过sqlline获取指定sql文件中HiveSQL的字段级血缘关系，并将结果提…
-
hive插入动态分区数据时，return code 2报错解决
目录 一、完整报错 二、原因 2.1、动态分区问题 2.2、语句占用内存问题 三、其他 一、完整报错 Error while pro…
-
HIVE SQL regexp
《平凡的世界》评分不错，《巴黎圣母院》改变成的电影不错，还有<>也蛮好看。 如何使用regexp_extract®exp_replace函数将以上文本中所…
-
大数据Hive–函数
文章目录 一、函数 1.1 函数简介 1.2 单行函数 1.2.1 算术运算函数 1.2.2 数值函数 1.2.3 字符串函数 1.2.4 日期函数 1.2.5 流程控制函数 1….
-
改变hive的端口8020到9000。（SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse）
文章目录 问题：SemanticException Unable to determine if hdfs://node1:8020/user/hive/warehouse/t_s…
-
【hive】列转行—collect
文章目录 一、collect_set()/collect_list() 二、实际运用 把同一分组的不同行的数据聚合成一个行 用下标可以随机取某一个 聚合后的中的值用‘|’分隔开 使…
-
hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask
今天向分区表插入数据 insert into table——–的时候 执行完报错了:FAILED: Execution Error, retur…
-
配置Hive使用Spark执行引擎
配置Hive使用Spark执行引擎 Hive引擎 概述 兼容问题 安装Spark Spark配置 Hive配置 HDFS上传Spark的jar包 执行测试 速度对比 Hive引擎 …
-
Hive中hash函数及md5函数
目录 hive中的hash函数 实例 hive 中md5函数 hive中sha2函数 补充 hive中的hash函数 Hive中的HASH函数用于将任意长度的字符串或二进制数据映射…
-
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
文章目录 简介 概述 作用 特性 数据存储、计算引擎插件化 实时流批一体 数据表演化（Table Evolution） 模式演化（Schema Evolution） 分区演化（Pa…
