数据仓库
-
数据仓库——分层原理
目录 一、什么是数据仓库 二、数仓建模的意义,为什么要对数据仓库分层? 三、ETL 四、技术架构 五、数仓分层架构 数仓逻辑分层 1、数据引入层(ODS,Operational D…
-
4 Paimon数据湖之Hive Catalog的使用
更多Paimon数据湖内容请关注:https://edu.51cto.com/course/35051.html Paimon提供了两种类型的Catalog:Filesystem …
-
【Kafka架构及应用】
Kafka的架构和运行原理 Kafka是一个分布式流处理平台,它由以下几个核心组件组成: Broker:Kafka集群中的一个节点,负责接收、存储和转发消息。 Topic:消息的逻…
-
第三十七部分:DMP数据平台开发的数据仓库与ETL
1.背景介绍 1. 背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统,它通常用于支持决策过程。ETL(Extract、Transform、Load)是数据仓库中的一种数据处…
-
hive库操作示例
hive库操作示例 1、常规表 创建数据库 CREATE DATABASE mydatabase; 使用数据库 USE mydatabase; 创建表 CREATE TABLE m…
-
【大数据】Hive入门➕安装(尚硅谷大数据Hive 3.1.3教程)
目录 前言 一、Hive入门 1.1. Hive本质 1.2. Hive架构原理 二、Hive3.1.3安装 1. 最小化安装部署(仅适合学习测试) 2. 安装MySQL 3. 卸…
-
【数据仓库与联机分析处理】多维数据模型
目录 一、数据立方体 二、数据模型 (一)星形模型 (二)雪花模式 (三)事实星座模式 三、多维数据模型中的OLAP操作 (一)下钻 (二)上卷 (三)切片 (四)切块 (五)转轴…
-
Hive的几种排序方式、区别,使用场景
一、几种排序和区别 Hive 支持两种主要的排序方式:ORDER BY 和 SORT BY。除此之外,还有 DISTRIBUTE BY 和 CLUSTER BY 语句,它们也在排…
-
数据仓库的数据仓库灾备与恢复:保证数据仓库的可用性和稳定性
1.背景介绍 数据仓库是企业中大量的历史数据的集中存储和管理系统,它的数据量巨大,数据更新频繁,对企业业务的稳定运行具有重要的支持作用。因此,保证数据仓库的可用性和稳定性是企业业务…
-
【数据仓库与联机分析处理】数据仓库工具Hive
目录 一、Hive简介 (一)什么是Hive (二)优缺点 (三)Hive架构原理 (四)Hive 和数据库比较 二、MySQL的安装配置 三、Hive的安装配置 1、下载安装包 …
-
【数据库原理】(38)数据仓库
数据仓库(Data Warehouse, DW)是为了满足企业决策分析需求而设计的数据环境,它与传统数据库有明显的不同。 一.数据库仓库概述 定义: 数据仓库是一个面向主题的、集成…
-
熟悉 Hive 的基本操作
4、实验步骤 (一)创建一个内部表 stocks,字段分隔符为英文逗号,表结构下所示。 col_name data_type exchange string symbol stri…
-
数据仓库表级血缘应用
数仓血缘应用(一):表血缘热度 文章目录 数仓血缘应用(一):表血缘热度 前言 一、价值衡量指标——应用层 二、血缘节点应用——热度 1、指标透传(应用层——>数仓) 2、指…
-
【大数据】Doris 构建实时数仓落地方案详解(一):实时数据仓库概述
本系列包含: Doris 构建实时数仓落地方案详解(一):实时数据仓库概述 Doris 构建实时数仓落地方案详解(二):Doris 核心功能解读 Doris 构建实时数仓落地方案详…
-
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.0.4 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 A…
