hive
-
【数据开发】Hive 多表join中的条件过滤与指定分区
1、条件过滤 left join 中 on 后面加条件 where 和 and 的区别 1、 on条件是在生成临时表时使用的条件，它不管and中的条件是否为真，都会保留左边表中的全…
-
Hive分区表实战 – 多分区字段
文章目录 一、实战概述 二、实战步骤 （一）创建学校数据库 （二）创建省市分区的大学表 （三）在本地创建数据文件 1、创建四川成都学校数据文件 2、创建四川泸州学校数据文件 3、创…
-
Hive06
HIVE 查询语句 1 查询语句语法： SELECT [ALL | DISTINCT] select_expr, select_expr, … FROM table_refer…
-
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（1）
目录 前言 题目： 一、读题分析 二、处理过程 1.采用SparkSQL使用max函数找到最大的日期然后转换成时间类型在变成字符串 2.这里提供除了SQL方法外的另一种过滤不满足条…
-
Hive-SQL语法大全
Hive SQL 语法大全 基于语法描述说明 CREATE DATABASE [IF NOT EXISTS] db_name [LOCATION] ‘path’; SELECT e…
-
dolphin上MySQL到hive、seatunnel任务创建
dolphin上MySQL到hive、seatunnel任务创建： 1.先获取所需数量的taskCode Long taskCode = getClient().opsForPro…
-
Flink SQL –Flink 整合 hive
1、整合 # 1、将依赖包上传到flink的lib目录下 flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar # 2、重启flink集群 …
-
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
文章目录 前言 一、读题分析 二、使用步骤 1.导入配置文件到pom.xml 2.代码部分 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理…
-
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率 背景 方案1:regexp_extract 方案2:instr 方案3:locate 方案4:like 方案5: r…
-
Hive常见报错与解决方案
背景 公司近期上火山云，hive、hadoop、tez等都有较大的版本升级，继而引发了 一系列的报错。现将遇到的报错内容以及相应解决方法列出来，供大家参考。 关于版本： 组件 升级…
-
分布式数据库·Hive和MySQL的安装与配置
一、版本要求：Hadoop:hadoop-2.10.1、MySQL：mysql-8.0.35、 HIVE：apache-hive-3.1.2、MySQL驱动：mysql-conne…
-
关于黑马hive课程案例FineBI中文乱码的解决
文章目录 问题描述 情况一的解决 情况二的解决 ETL数据清洗知识 社交案例参考代码 结果展示 问题描述 情况1：FineBI导入表名中文乱码，字段内容正常 情况2：FineBI导…
-
Spring系列二：基于XML配置bean
💞基于XML配置Bean 💖通过类型获取bean 💖通过指定构造器配置bean 💖通过p名称空间配置bean &#x…
-
2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题
目录 1 . 简述下分布式和集群的区别 2. Hadoop的三大组件是什么? 3. 请简述hive元数据服务配置的三种模式? 4. 数据库与数据仓库的区别? 5. 简述下数据仓库经…
-
Hive学习（13）lag和lead函数取偏移量
hive里面lag函数 在数据处理和分析中，窗口函数是一种重要的技术，用于在数据集中执行聚合和分析操作。Hive作为一种大数据处理框架，也提供了窗口函数的支持。在Hive中，Lag…
