hive
-
Hive Case When与IF的用法（嵌套、混合使用）
1、CASE WHEN 1.1、CASE WHEN 语法 case when 条件表达式 then 条件成立，结果1 else 条件不成立，结果2 end 1.2、单个条件 1.2…
-
Hive数据清洗中常见的几个函数
Hive数据清洗中常见的几个字符串处理函数 1.空格处理 trim() 2.字符串分割 split() 3.无用符处理 regexp_replace() 4.字符串拼接 conca…
-
mongodb数据同步到hive
背景 用户需求: 需要将 mongodb 的数据同步到 hive 表，共 2 亿+条数据，总数据量约 30G 查阅一些博客后，大致同步方法有以下几种 手动+离线 对于比较小的数据，…
-
Hive 表权限授权
近期，总给其他部门的人开数据表权限，如果单独给每一个用户开权限，有点杂乱也不太好管理，所以抽空理了一下hive数据表权限相关的知识点。 目录 目录 参数配置 角色创建删除 授权及回…
-
【数据开发】大数据平台架构，Hive / THive介绍
1、大数据引擎 大数据引擎是用于处理大规模数据的软件系统， 常用的大数据引擎包括Hadoop、Spark、Hive、Pig、Flink、Storm等。 其中，Hive是一种基于Ha…
-
Hive之set参数大全-15
指定 HiveServer2 使用的认证方式 hive.server2.authentication 是 Hive 中的一个参数，用于指定 HiveServer2 使用的认证方式。…
-
【系统学习Hive常用知识】
文章目录 前言 一、Hive是什么？ 二、Hive安装配置 1.hive包安装 2、配置Hive元数据存储到MySQL 3、Hive服务部署 三、Hive数据操作 1、DDL数据定…
-
Hive之函数篇（使用函数看这篇足够了）
目录 查询函数相关信息： （1）查看系统所有的内置函数 （2）查看string相关的所有函数 （3）查询某个函数的详细信息 单行函数： （1）算数运算函数： （2）数值函数： （3…
-
初学者部署Ambari及通过Ambari安装hadoop相关组件
目录 1.准备工作 1.2初始化配置 1.2.1设置主机名 1.2.2HOSTS文件 1.2.3关闭防火墙和selinux 1.2.4免密配置(单台机器也需要) 1.2.5修改yu…
-
已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
文章目录 问题描述 解决方案 问题描述 今天在跑hive sql的时候，报错;FAILED: Execution Error, return code 1 from org.apa…
-
HIVE笔记
表关联 内连接（INNER JOIN） 返回两个表中满足关联条件的记录。 SELECT * FROM t1 INNER JOIN t2 ON t1.col1 = t2.col2; …
-
【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化
【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客 【大数据进阶第三阶段之Hive…
-
Hive数据存储格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么区别？为什么绝大多数都使用ORCFile、Parquet格式？
Hive数据存储格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么区别？为什么绝大多数都使用ORCFile、Parquet格…
-
详解数据仓库之拉链表（原理、设计以及在Hive中的实现）
最近发现一本好书，读完感觉讲的非常好，首先安利给大家，国内第一本系统讲解数据血缘的书！点赞！近几天也会安排朋友圈点赞赠书活动(ง•̀_•́)ง 0x00 前言 本文将会谈一谈在数据…
-
【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）
【大家好，我是爱干饭的猿，本文重点介绍Spark SQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。 后续会继续分享其他重要知识点总结，如果喜…
