数据仓库
-
HashData湖仓一体方案:方案概览与Hive数据同步
随着云计算、大数据、AI的发展和普及,各行各业的业务场景日益复杂,数据呈现出大规模、多样性的特点,企业对数据仓库的需求也进一步拓展至对多元化数据实时处理的场景。 数据湖是多元数据存…
-
离线数据仓库-关于增量和全量
数据同步策略 数据仓库同步策略概述 一、数据的全量同步 二、数据的增量同步 三、数据同步策略的选择 数据仓库同步策略概述 应用系统所产生的业务数据是数据仓库的重要数据来源,我们需要…
-
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
文章对应的博客园链接:点击这里 文章目录 0. B站相关课程链接 和 搭建数据仓库资源及脚本下载 食用指南:建议先把博客整体看一遍之后再进行操作 文章最后有常见问题及解决方法 1….
-
向量数据库Weaviate使用教程(安装+使用)
Weaviate-use 由于官网的教程写得比较复杂,所以笔者写一个简单的例子,注意:本教程只作简单使用(这个例子只是举个例子,并未追求好的检索效果)。github地址 可以看ju…
-
Hive 动态分区以及分区以及中文分区字段
Hive 动态分区 hive 提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。 1、配置参数 1.1 主要配置参数 以下为 Hive 动态分区涉及的…
-
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
文章对应的博客园链接:点击这里 文章目录 0. B站相关课程链接 和 搭建数据仓库资源及脚本下载 食用指南:建议先把博客整体看一遍之后再进行操作 文章最后有常见问题及解决方法 1….
-
hive中collect
在Hive中,collect_list是一个聚合函数,用于将同一分组内的值收集到一个列表中。它将每个分组内的数值或表达式的结果收集到一个数组中,并返回一个包含这些值的数组作为结果。…
-
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
文章对应的博客园链接:点击这里 文章目录 0. B站相关课程链接 和 搭建数据仓库资源及脚本下载 食用指南:建议先把博客整体看一遍之后再进行操作 文章最后有常见问题及解决方法 1….
-
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
文章对应的博客园链接:点击这里 文章目录 0. B站相关课程链接 和 搭建数据仓库资源及脚本下载 食用指南:建议先把博客整体看一遍之后再进行操作 文章最后有常见问题及解决方法 1….
-
数据仓库模型设计:从架构到实践的全方位指南
前言 随着数字化时代的快速发展,数据已经成为企业和组织的核心资产。数据仓库作为组织中管理和分析数据的关键平台,其建设规范对于确保数据的准确性和完整性至关重要。 一、…
-
Hive HWI 配置
前言 1、下载安装好hive后,发现hive有hwi界面功能,研究下是否可以运行,于是使用hive –service hwi命令启动hwi界面报错。 启动hwi功能 2、访问192…
-
Hive字符串截取函数substr详解
Hive中的substr函数可以用来截取字符串的一部分,并返回截取后的结果。该函数有三个参数:第一个参数是要截取的字符串,第二个参数是截取的起始位置(从1开始),第三个参数是截取的…
-
数据库,数据仓库,数据湖
数据仓库四层分层 ODS——原始数据层:存放原始数据 ODS层即操作数据存储,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层;…
-
Hive内核调优(三)
Hive内核调优(三) 1.6 参数调优案例 1.6.1 OBS 数据操作最佳实践 如何识别OBS流控 从yarn日志里面找到某一个map的syslog日志,打开查看ObsClie…
-
DataGrip连接hive教程
前言 虽然hive官方提供了两种的客户端,但是页面不友好、智能程度低,因此我们往往使用能够提供良好图形页面的第三方客户端。 一、hive可视化客户端 常见类型:DataGrip、D…
