大数据
-
一文带你了解MySQL之锁
目录 一、解决并发事务带来问题的两种基本方式 1.1 一致性读(Consistent Reads) 1.2 锁定读(Locking Reads) 1.2.1 共享锁和独占锁 1.2…
-
springboot3.2 整合 mybatis-plus
springboot3.2 整合 mybatis-plus springboot3.2 正式发布了 迫不及待地的感受了一下 结果在整个mybatis-plus 的时候遇到了如下报错…
-
Flink实战(1)-了解Flink
😄伙伴们,好久不见!这里是 叶苍ii ❀ 作为一名大数据博主,我一直致力于分享最新的技术趋势和实战经验。近期,我在参加Flink的…
-
【004hive基础】hive的文件存储格式与压缩
文章目录 一.hive的行式存储与列式存储 二. 存储格式 1. TEXTFILE 2. ORC格式 3. PARQUET格式 ing 三. Hive压缩格式 1. mr支持的压缩…
-
1.1完全分布式Hadoop署集群
完全分布式Hadoop署集群 大家好,我是行不更名,坐不改姓的宋晓刚,下面将带领大家从基础到小白Hadoop学习,跟上我的步伐进入Hadoop的世界。 微信:15319589104…
-
pyspark笔记:读取 & 处理csv文件 (pyspark DataFrame)
pyspark cmd上的命令 1 读取文件 1.1 基本读取方式 pyspark中是惰性操作,所有变换类操作都是延迟计算的,pyspark只是记录了将要对数据集进行的操作 只有需…
-
Flink 数据集类型
现实世界中,所有的数据都是以流式的形态产生的,不管是哪里产生的数据,在产生的过程中都是一条条地生成,最后经过了存储和转换处理,形成了各种类型的数据集。如下图所示,根据现实的数据产生…
-
大数据工作岗位需求分析
目录 一、大数据工作岗位需求分析 1.1 大数据开发工程师 1.2 大数据研发工程师 1.3 大数据平台开发工程师 1.4 大数据分析工程师 1.5 数据挖掘工程师 1.6 大数据…
-
流式数据湖存储技术,Apache Paimon是什么?
流式数据湖存储技术,Apache Paimon是什么? 00 导读 01 什么是 Apache Paimon 02 开放的数据格式 03 大规模实时更新 04 数据表局部更新 05…
-
Flink 系列文章汇总索引
Flink 系列文章 一、Flink 专栏 本专栏系统介绍某一知识点,并辅以具体的示例进行说明。 本专栏的文章编号可能不是顺序的,主要是因为写的时候顺序没统一,但相关的文章又引入了…
-
分布式是大数据处理的万能药?
前言:分布式是大数据处理的万能药?今天叶秋学长跟大家一起探讨这个问题~ 使用分布式集群来处理大数据是当前的主流,将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性…
-
Doris(一)-简介、架构、编译、安装和数据表的基本使用
目录 1、Doris简介 2、Doris网址 3、Doris架构 3、编译和安装 3.1、软硬件需求 3.2、编译 3.2.1、安装Docker环境 3.2.2、使用Docker …
-
【大数据】Doris 构建实时数仓落地方案详解(三):Doris 实时数仓设计
本系列包含: Doris 构建实时数仓落地方案详解(一):实时数据仓库概述 Doris 构建实时数仓落地方案详解(二):Doris 核心功能解读 Doris 构建实时数仓落地方案详…
-
【大数据&AI人工智能】HBase 高可用、高性能原理讲解:LSM Tree / 数据压缩 Minor Compaction和Major Compaction / Bloom Filter/Cache
【大数据&AI人工智能】HBase 高可用、高性能原理讲解:LSM Tree / 数据压缩 Minor Compaction和Major Compaction / Bloo…
-
VMware虚拟机安装Win11最详细过程以及遇到的这台电脑无法运行Windows11的问题
VMware虚拟机安装Win11最详细过程以及遇到的这台电脑无法运行Windows11的问题 一 、在使用VMware虚拟机安装,以及Win11系统下载。 1. 到VMware官网…
