hive
-
hiveSql解析DolphinScheduler调度系统7位crontab表达式
背景 先说下我们数仓大致的数据链路。 各个业务系统的数据库 -> hive -> doris -> 报表/邮件/系统 hive里ods层几乎所有的数据都依赖于从业…
-
hive/sparksql/presto 时区转换和时间类型转换
时间相关函数 hive 字符串与timestamp转换 select cast(current_timestamp() as string),cast(‘2023-07-28 09…
-
猿创征文｜Hadoop大数据技术
Hadoop大数据技术 Hadoop背景 Hadoop生态圈 Hadoop模式 HDFS 概述 优点 缺点 基本组成 NameNode Secondary NameNode Dat…
-
Hadoop Hbase Hive 版本对照一览
这里写目录标题 一、Hadoop 与 Hbase 版本对照 二、Hadoop 与 Hive 版本对照 官网内容记录，仅供参考 一、Hadoop 与 Hbase 版本对照 二、Had…
-
Hive：聚合函数、GROUP BY、ORDER BY、LIMIT、执行顺序和JOIN、函数
1.聚合函数 常见的聚合函数：Count、Sum、Max、Min和Avg 特点：不管原始数据多少条，聚合之后只有一条 Count(column)返回某列的行数，不包括NULL值 2…
-
【SQL相关】Hive中空值与Null的判断及处理
1.空值与null的区别 null没有被分配任何值或对象，表示这个字段没有被赋值或者值是未知的，占空间，不会被count()函数统计； 空值表示这个…
-
Hive中处理中文乱码问题的解决方法
中文乱码是在处理大数据时经常遇到的问题之一，尤其是在使用Hive进行数据分析和查询时。本文将介绍一些解决Hive中文乱码问题的方法，并提供相应的源代码示例。 设置Hive的字符集编…
-
【大数据笔记】java jdbc连接hive数据库；java hive连接kerberos
一、java jdbc连接hive数据库（jdbc连接普通hive数据库） 1、pom.xml配置 org.apache.hive …
-
hiveserver2经常挂断的原因
hiveserver2经常挂断的原因 HiveServer2 经常挂断可能有多种原因，以下是一些可能导致挂断的常见原因： 资源不足：HiveServer2 需要足够的内存和 CPU…
-
Hive insert插入数据与with子查询
1. insert into 与 insert overwrite区别 insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert…
-
HashData湖仓一体方案：方案概览与Hive数据同步
随着云计算、大数据、AI的发展和普及，各行各业的业务场景日益复杂，数据呈现出大规模、多样性的特点，企业对数据仓库的需求也进一步拓展至对多元化数据实时处理的场景。 数据湖是多元数据存…
-
毕设：《基于hive的音乐数据分析系统的设计与实现》
文章目录 环境启动 一、爬取数据 1.1、歌单信息 1.2、每首歌前20条评论 1.3、排行榜 二、搭建环境 1.1、搭建JAVA 1.2、配置hadoop 1.3、配置Hadoo…
-
Hive实战：统计总分与平均分
文章目录 一、实战概述 二、提出任务 三、完成任务 （一）准备数据文件 1、在虚拟机上创建文本文件 2、将文本文件上传到HDFS指定目录 （二）实现步骤 1、启动Hive Meta…
-
2024年计算机专业大数据选题推荐✅（最新、最全、最容易通过的选择）
文章目录 前言 参考题目： 技术栈 后端框架SpringBoot 前端框架Vue 持久层框架MyBaitsPlus 系统测试 系统测试目的 系统功能测试 系统测试结论 为什么选择我…
-
Hive 动态分区以及分区以及中文分区字段
Hive 动态分区 hive 提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 1、配置参数 1.1 主要配置参数 以下为 Hive 动态分区涉及的…
