hadoop
-
Hive数据存储格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么区别？为什么绝大多数都使用ORCFile、Parquet格式？
Hive数据存储格式有哪些？TextFile、SequenceFile、RCFile、ORCFile、Parquet有什么区别？为什么绝大多数都使用ORCFile、Parquet格…
-
虚拟机上搭建Hadoop运行环境
文章目录 Hadoop环境搭建 1.安装VMware 2.centos软硬件安装 2.1硬件部分 2.2软件部分 3.主机IP和名称配置 3.1 IP配置 3.2主机名配置 4.测…
-
【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）
【大家好，我是爱干饭的猿，本文重点介绍Spark SQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。 后续会继续分享其他重要知识点总结，如果喜…
-
【湖仓一体尝试】MYSQL和HIVE数据联合查询
爬了两天大大小小的一堆坑，今天把一个简单的单机环境的流程走通了，记录一笔。 先来个完工环境照： mysql+hadoop+hive+flink+iceberg+trino 得益于I…
-
Hive命令调优大全
– explain语法查询** – explain解析执行计划 – 以下优化为hive层面优化,常开**** – 读取零拷贝 set hive.exec.orc.zerocopy=…
-
Hadoop原理
Hadoop框架 分布式文件存储 – HDFS 即Hadoop内提供分布式数据存储的文件系统 分布式计算框架 – MapRe…
-
第1关：Hive 的 Alter Table 操作
相关知识 为了完成本关任务，你需要掌握： 1.Alter Table 命令 Alter Table 命令 Alter Table 命令 可以在 Hive 中修改表名，列名，列注释，…
-
hive在执行elect count(*) 没有数据显示为0（实际有数据）
set hive.compute.query.using.stats=false; 是 Hive 的一个配置选项。它的含义是禁用 Hive 在执行查询时使用统计信息。 在 Hive…
-
-bash: hadoop: 未找到命令
安装Hadoop时，环境变量已经配置完成，查看Hadoop版本是否安装完成时报错： -bash: hadoop: 未找到命令 1.问题原因：没把Hadoop命令添加至执行路径。 2…
-
Hadoop全分布式搭建
ctrl+alt切换定位到物理机/虚拟机 可以用物理机截图 # 检查内存 free -h # 检查磁盘空间 df -h # 检查 Java 版本 java -version 需要传…
-
hive怎么更新数据
要在Hive中更新数据，你可以使用INSERT OVERWRITE或INSERT INTO语句。 使用INSERT OVERWRITE语句时，首先需要创建一个临时表，将需要更新的数…
-
Kafka 多线程消费者
Kafka 多线程消费者 多线程方案 Kafka 0.10.1.0 后，Kafka Consumer 变为双线程的设计 : 用户主线程 : 启动 Consumer 的 main 心…
-
Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理
近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi，过程中出现了一些问题，也通过了其他办法进行解决，现将整个过程的思路进行总结，以供大家共同学习进步。 问…
-
大数据平台/大数据技术与原理-实验报告–部署全分布模式HBase集群和实战HBase
实验名称 部署全分布模式HBase集群和实战HBase 实验性质 （必修、选修） 必修 实验类型（验证、设计、创新、综合） 综合 实验课时 2 实验日期 2023.11.07-20…
-
搭建完全分布式Hadoop
文章目录 一、Hadoop集群规划 二、在主节点上配置Hadoop （一）登录虚拟机 （二）设置主机名 （三）主机名与IP地址映射 （四）关闭与禁用防火墙 （五）配置免密登录 （六…
