hive
-
Flink SQL –Flink 整合 hive
1、整合 # 1、将依赖包上传到flink的lib目录下 flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar # 2、重启flink集群 …
-
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
文章目录 前言 一、读题分析 二、使用步骤 1.导入配置文件到pom.xml 2.代码部分 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理…
-
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率
Hive SQL判断一个字符串中是否包含字串的N种方式及其效率 背景 方案1:regexp_extract 方案2:instr 方案3:locate 方案4:like 方案5: r…
-
Hive常见报错与解决方案
背景 公司近期上火山云，hive、hadoop、tez等都有较大的版本升级，继而引发了 一系列的报错。现将遇到的报错内容以及相应解决方法列出来，供大家参考。 关于版本： 组件 升级…
-
分布式数据库·Hive和MySQL的安装与配置
一、版本要求：Hadoop:hadoop-2.10.1、MySQL：mysql-8.0.35、 HIVE：apache-hive-3.1.2、MySQL驱动：mysql-conne…
-
关于黑马hive课程案例FineBI中文乱码的解决
文章目录 问题描述 情况一的解决 情况二的解决 ETL数据清洗知识 社交案例参考代码 结果展示 问题描述 情况1：FineBI导入表名中文乱码，字段内容正常 情况2：FineBI导…
-
Spring系列二：基于XML配置bean
💞基于XML配置Bean 💖通过类型获取bean 💖通过指定构造器配置bean 💖通过p名称空间配置bean &#x…
-
2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题
目录 1 . 简述下分布式和集群的区别 2. Hadoop的三大组件是什么? 3. 请简述hive元数据服务配置的三种模式? 4. 数据库与数据仓库的区别? 5. 简述下数据仓库经…
-
Hive学习（13）lag和lead函数取偏移量
hive里面lag函数 在数据处理和分析中，窗口函数是一种重要的技术，用于在数据集中执行聚合和分析操作。Hive作为一种大数据处理框架，也提供了窗口函数的支持。在Hive中，Lag…
-
hiveSql解析DolphinScheduler调度系统7位crontab表达式
背景 先说下我们数仓大致的数据链路。 各个业务系统的数据库 -> hive -> doris -> 报表/邮件/系统 hive里ods层几乎所有的数据都依赖于从业…
-
hive/sparksql/presto 时区转换和时间类型转换
时间相关函数 hive 字符串与timestamp转换 select cast(current_timestamp() as string),cast(‘2023-07-28 09…
-
猿创征文｜Hadoop大数据技术
Hadoop大数据技术 Hadoop背景 Hadoop生态圈 Hadoop模式 HDFS 概述 优点 缺点 基本组成 NameNode Secondary NameNode Dat…
-
Hadoop Hbase Hive 版本对照一览
这里写目录标题 一、Hadoop 与 Hbase 版本对照 二、Hadoop 与 Hive 版本对照 官网内容记录，仅供参考 一、Hadoop 与 Hbase 版本对照 二、Had…
-
Hive：聚合函数、GROUP BY、ORDER BY、LIMIT、执行顺序和JOIN、函数
1.聚合函数 常见的聚合函数：Count、Sum、Max、Min和Avg 特点：不管原始数据多少条，聚合之后只有一条 Count(column)返回某列的行数，不包括NULL值 2…
-
【SQL相关】Hive中空值与Null的判断及处理
1.空值与null的区别 null没有被分配任何值或对象，表示这个字段没有被赋值或者值是未知的，占空间，不会被count()函数统计； 空值表示这个…
