hadoop
-
Clojure 实战(4)：编写 Hadoop MapReduce 脚本
Hadoop简介 众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。它是Apache基金会下的开源…
-
Hadoop——Windows系统下Hadoop单机环境搭建
为了便于开发，我在本地Windows系统进行Hadoop搭建。 我使用的版本：hadoop-2.7.0。其他版本也可，搭建流程基本一样，所以参考这个教程一般不会有错。 1、下载安装…
-
Hive数据库：嵌入、本地、远程全攻略（下）
先介绍一下本地模式和远程模式： 当使用本地模式时，Hive将其元数据存储在本地数据库（例如MySQL）中，使其成为一个独立的数据处理系统。在本地模式中，Hive的配置文件（hive…
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子： 例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。…
-
最详细HDFS常用命令作用及截图
Hdfs dfs -appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat ：用于查看分布式文件系统中指定文件里面的内容； 两个命令…
-
Hive复杂数据类型(array类型、map类型、struct类型)
目录 一、array类型 1.查询array内包含的指定词信息 2.查询array中元素的个数 3.查询array内指定序号信息 …
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子： 例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。…
-
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive
说明 Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建 下载 https://archive.apache.or…
-
基于大数据的城市交通数据可视化分析系统
大家可以帮忙点赞、收藏、关注、评论啦 👇🏻👇🏻👇🏻 精彩专栏推荐订阅：在 下方专栏 …
-
SparkSQL和Hive语法差异
SparkSQL和Hive语法差异 1、仅支持Hive SparkSQL关联条件on不支持函数rand() 创建零时表时，Spark不支持直接赋值null Spark无法读取字段类…
-
Hadoop搭建
一、伪分布式搭建 1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 更改 BOOTPROTO=static ONBOOT=…
-
java与大数据：Hadoop与MapReduce
Hadoop和MapReduce是由Apache软件基金会开发和维护的开源项目。它们的出现主要是为了解决传统的数据处理工具无法处理大数据量的局限性。 首先，让我们深入了解一下Had…
-
hive语法
DDL 1.数据库操作 （1）创建库 create database db_hive1; （2）显示库 show databases; show database like …
-
基于Linux环境下搭建Hadoop3.3.5伪分布式集群
目录 架构设计： 一、下载hadoop安装包 二、解压及构建软连接 三、 修改配置文件 1. 配置workers文件 //hadoop02中叫slaves 2. 修改hadoo…
-
Hadoop—20.网站日志分析项目案例（详解）
目录 一、导入数据 1、启动hadoop 2、在hdfs下创建文件夹hadoop_class 3、查询文件夹是否创建成功 4、在hadoop_class下创建一个文件夹存放总数据…
