数据仓库
-
数据仓库内容分享(四):滴滴大数据成本治理实践
目录 01 滴滴大数据成本治理总体框架 1. 滴滴数据体系 2. 滴滴大数据资产管理平台 3. 滴滴大数据成本治理总体框架 02 Hadoop 成本治理实践 03 ES 成本治理实…
-
数据仓库-相关概念
简介 数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据,并将其组织成易于查询和分析…
-
今天又get到一个小技能,collect
collect_set函数 今天又get到一个小技能,掌握了hive一个关于列转行专用函数 collect_set函数。 在这里做个学习笔记。 collect_set是Hive内置…
-
ClickHouse与数据仓库集成
1.背景介绍 在当今的数据驱动经济中,数据仓库是企业和组织中非常重要的组件。数据仓库用于存储、管理和分析大量的结构化和非结构化数据,以支持决策和业务操作。随着数据的增长和复杂性,数…
-
构建高效数据生态:数据库、数据仓库、数据湖、大数据平台与数据中台解析
在数字化的浪潮中,一套高效的数据管理系统是企业竞争力的核心。从传统的数据库到现代的数据中台,每一种技术都在数据的旅程中扮演着关键角色。本文将深入探讨数据库、数据仓库、数据湖、大数据…
-
hive中map相关函数总结
目录 hive官方函数解释 示例 实战 hive官方函数解释 hive官网函数大全地址: hive官网函数大全地址 Return Type Name Description map…
-
【数据仓库】BI看板DataEase入坑指南
开头夸夸国产开源BI软件DataEase,支持常见各种报表,还支持图表联动和上下级钻取,超赞有木有!!! 再来为什么说入坑,源码启动各种不服啊。本地…
-
Hive实战:计算总分与平均分
这里写目录标题 一、实战描述 二、提出任务 三、完成任务 (一)准备数据文件 1、在虚拟机上创建文本文件 2、将文本文件上传到HDFS指定目录 (二)实现步骤 1、启动Hive M…
-
一文了解数据库,数据仓库,数据湖,数据集市,数据湖仓
目录 一、定义 1. 数据库(Database) 2. 数据仓库(Data Warehouse) 3. 数据湖(Data Lake) 4. 数据集市(Data Mart) 5. 数…
-
2023-DataWorks数仓开发手册收藏版
DataWorks开发规范 1 数仓基本概念 1.4.1 ods数据源层表命名规范 1.4.2 dim维表层表命名规范 1.4.3 dwd数据明细层表命名规范 1.4.3 dws…
-
ClickHouse与其他数据库的对比
目录 1 与传统关系型数据库的对比 1.1 性能差异 1.2 数据模型差异 1.3 适用场景差异 2 与其他列式存储数据库的对比 2.1 Apache Cassandra 2.2…
-
hive–给表名和字段加注释
1.建表添加注释 CREATE EXTERNAL TABLE `test`( `loc_province` string comment ‘省份’, `loc_city` stri…
-
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别,以及OVERWRITE哪些隐藏的坑
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别,以及 overwrite 在分区表和非分区表中使用时的注意事项。 概要 1.hive中insert…
-
Hive简述
Hive的产生背景 数据库擅长事务性的工作,但不擅长分析型的工作,所以应要求就产生了数据仓库。 数据仓库相当于集成化数据管理的平台,从多个数据源抽取有价值的数据,在仓库内转换和流动…
-
【数据开发】Hive 多表join中的条件过滤与指定分区
1、条件过滤 left join 中 on 后面加条件 where 和 and 的区别 1、 on条件是在生成临时表时使用的条件,它不管and中的条件是否为真,都会保留左边表中的全…
