数据仓库
-
seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行踩坑记录
seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行报错解决，解决的报错如下： 1、java.lang.NoClassDefFoundErro…
-
Hive DDL语法
Hive的语法和MySQL大部分都相同 一、数据库操作 1.1、创建数据库 CREATE DATABASE [IF NOT EXISTS] database name [COMME…
-
可路由计算引擎实现前置数据库
很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在持续增加。一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长…
-
从0到1搭建数据仓库流程
从0到1搭建数仓，可以概括为6个步骤：业务探查、技术选型、规范制定、主题域划分、数仓分层、模型建设。 一、业务探查 梳理公司业务系统，业务关心的指标，开发过的需求。一般业务关心的数…
-
hive文件存储格式orc和parquet详解
hive支持的文件类型：textfile、sequencefile（二进制序列化文件）、rcfile（行列式文件）、parquet、orcfile（优化的行列式文件） 一、orc文…
-
Hive中生成自增序列的常用方法
在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。 最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的…
-
阿里云-数据仓库-数据分析开发神器-ODPS
一、 ODPS 基本面-F10 1、什么是ODPS？ 1、开发数据处理服务(Open Data Processing Service，简称ODPS)，2016年后更名MaxComp…
-
一文带你读懂：数据集市、数据仓库、数据湖
hello宝子们…我们是艾斯视觉擅长ui设计和前端开发10年+经验！希望我的分享能帮助到您！如需帮助可以评论关注私信我们一起探讨！致敬感谢感恩！ 一文带你读懂：数据集市…
-
Storm的数据库与ETL集成: 实时数据处理与传统数据仓库协同
1.背景介绍 实时数据处理在大数据时代具有重要意义。传统的数据仓库和ETL技术主要面向批处理，而实时数据处理则需要一种更加高效、实时的处理方式。Apache Storm是一个开源的…
-
[Hive] INSERT OVERWRITE DIRECTORY要注意的问题
在使用Hive的INSERT OVERWRITE语句时，需要注意以下问题： 数据覆盖：INSERT OVERWRITE语句会覆盖目标目录中的数据。因此，在执行该语句之前，请确保目标…
-
从一个SQL打印全年日历漫谈数据仓库中时间操作场景的重点写法
文章目录 前言 一、我如何快速确定今年是否是闰年的😣 二、 我如何从DATE类型数据获取年、月(月初&月末)、周、日、时、分、秒信息🤯 三、…
-
数据仓库面试题
1 思维导图&数仓常见面试题 2 题目 1. 数据仓库是什么？ 数据仓库是一个面向主题的（订单、支付、退单等）、集成的（整合多个信息源的大量数据）、非易失的（一般不会进…
-
HIVE调优方式(大全)
压缩方式: HIVE压缩方式: 概述:压缩方式就类似于windows的压缩包,可以降低传输,提高磁盘利用率. 区分压缩协议好坏的参考纬度: 1.压缩比,即:压缩后文件大小 2.解压…
-
数据仓库与数据科学的结合
1.背景介绍 数据仓库和数据科学是两个与数据处理和分析密切相关的领域。数据仓库主要关注于存储和管理大量历史数据，以支持企业决策和分析，而数据科学则关注于利用这些数据来发现隐藏的模式…
-
「SQL面试题库」 No
🍅 1、专栏介绍 「SQL面试题库」是由 不是西红柿 发起，全员免费参与的SQL学习活动。我每天发布1道SQL面试真题，从简单到困难，涵盖所有SQL知识点，我敢保证…
![[Hive] INSERT OVERWRITE DIRECTORY要注意的问题](/img/47/4543ec8a5e0d476faf70a9ab57832ba8.jpeg)
