hadoop
-
Hadoop入门详解以及Hadoop集群搭建
一、Hadoop概念 hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。hadoop充分利用了集群的威力进行…
-
【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述
本系列包含： Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述 Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读 Doris 构建实时数仓落地方案详…
-
Hive 安装与部署
目录 1 安装 MySql 2 安装 Hive 3 Hive 元数据配置到 MySql 4 启动 Hive 5 Hive 常用交互命令 6 Hive 常见属性配置 Hive 官网 …
-
Hive 建表客户端报错 missing EOF at “/“
在创建表时，我使用的是idea客户端，报了如下错误 org.apache.hadoop.hive.ql.parse.ParseException:line 6:48 missing…
-
hive sql 拆解字段
在Hive SQL中，拆解字段通常涉及到字符串操作，如将一个包含多个部分的字符串拆解成多个独立的字段。可以使用内置的字符串函数来实现这个目标。以下是一些常见的用于拆解字段的字符串函…
-
Sqoop与Kafka的集成：实时数据导入
将Sqoop与Kafka集成是实现实时数据导入和流处理的关键步骤之一。Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。本文将深…
-
Hadoop 相关介绍
目录 一、Hadoop介绍 二、Hadoop 架构 1、 Hadoop 1.x 架构 2、Hadoop 2.x 3.x 架构 三、HDFS介绍 1、HDFS架构 2、HDFS 特点…
-
[Spark、hadoop]Spark Streaming整合kafka实战
目录 一．KafkaUtils.createDstream方式 二．KafkaUtils.createDirectStream方式 温习 Kafka是由Apache软件基金会开发…
-
分布式计算 第五章 大数据多机计算：Hadoop
文章目录 分布式计算 第五章 大数据多机计算：Hadoop 5.2 大数据和分布式的基础概念 5.2.1 从硬件思考大数据 5.1.2 从软件角度看大数据 5.1.3 分布式 DI…
-
Java+MySql+hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐（赠源码）
摘 要 在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于…
-
Hadoop(05) HBase2.5.5安装和编程实践指南
HBase是一个基于Apache Hadoop的分布式、可扩展、面向列的NoSQL数据库系统。它被设计用于处理大规模数据集，并提供快速的读写访问性能。 以下是HBase的一些关键特…
-
CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建
前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop…
-
Hadoop HDFS分布式文件系统（介绍以及基础操作命令）
目录 一、为什么需要分布式存储？ 二、分布式的基础架构分析 三、HDFS基础架构 1.HDFS简介 四、HDFS集群启停命令 1.一键启停脚本 2.单进程启停 五、HDFS基本操…
-
hive報錯：hive程序報錯：FAILED: ParseException line 6:32 character ‘\‘ not supported here
hive報錯：hive程序報錯：FAILED: ParseException line 6:32 character ‘’ not supported here 具體bug hiv…
-
Linux环境安装Hadoop
（1）下载Hadoop安装包并上传 下载Hadoop安装包到本地，并导入到Linux服务器的/opt/software路径下 （2）解压安装包 解压安装文件并放到/opt/modu…
![[Spark、hadoop]Spark Streaming整合kafka实战](/img/72/9633f3bb7c3643d0a6989e51c0470ac6.gif)
