数据仓库
-
hive中struct相关函数总结
目录 hive官方函数解释 示例 实战 hive官方函数解释 hive官网函数大全地址：添加链接描述 Return Type Name Description struct str…
-
数据湖-hudi概述
前言 数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先…
-
大数据导论期末复习知识汇总
目录 一、大数据概述 （一）数据和信息 （二）数据的组织形式和生命周期： （三）数据转化为信息的过程： （四）数据的价值 （五）大数据的内涵 （六）大数据的5V特性 （七）数据产生…
-
Hive09
HIVE函数 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upp…
-
【hive】hive修复分区或修复表 以及msck命令的使用
【hive】hive修复分区或修复表 以及msck命令的使用 文章目录 【hive】hive修复分区或修复表 以及msck命令的使用 问题原因： 解决方法： msck命令解析： 例…
-
如何使用 Hive 进行自然语言处理
1.背景介绍 自然语言处理(NLP，Natural Language Processing)是人工智能领域的一个重要分支，其主要目标是让计算机能够理解、生成和翻译人类语言。自然语言…
-
数据仓库与Hadoop：如何实现大规模数据处理
1.背景介绍 数据仓库和Hadoop都是处理大规模数据的重要技术，它们在现代数据科学和人工智能中发挥着至关重要的作用。数据仓库是一种用于存储和管理大量历史数据的系统，主要用于数据分…
-
Hive的四种排序方法
Hive的四种排序方法 hive排序方法,hive的排序方式 hive有四种排序方法: ORDER BY 、SORT BY 、DISTRIBUTE BY 、CLUSTER BY 0…
-
Hive数据仓库应用课后题及答案
《Hive数据仓库应用》课后习题 Hive简介 一、填空题 1．数据仓库的目的是构建面向分析的集成化数据环境。 2．Hive是基于Hadoop的一个数据仓库工具。 3．数据仓库分…
-
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
目录 0.lateral view简介 1.行转列 需求1: 需求2: 2.列转行 解题思路: 0.lateral view简介 hive函数 lateral view 主要…
-
ETL基础概念及要求详解
ETL基础概念及要求详解 概念 ETL与ELT 数据湖与数据仓库 ETL应用场景 ETL具体流程及操作要求 抽取 清洗 转换 加载 ETL设计模式 SQL+脚本语言 ETL工具设计…
-
FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）
文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址 1、业务需求 目前项目有主数据系统和N个业务系统，为…
-
【Hive
1、 计算资源配置 1.1 Yarn资源配置 1.2 MapReduce资源配置 2、 Explain查看执行计划（重点） 2.1 Explain执行计划概述 2.2 基本语法 2…
-
Hive创建分区表并插入数据
业务中经常会遇到这种需求：数据每天全量更新，但是要求月底将数据单独保存一份以供后期查询某月节点的信息。这时就要考虑用到Hive的分区表实现，即按照月份创建分区表，相当于新的月份数据…
-
【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix
一、配置Mit kerberos 1.1 下载安装MIT KERBEROS客户端 MIT KERBEROS 下载较新的版本即可。 下载之后一路默认安装即可。注意：不要修改软件安装位…
