hadoop
-
基于Hadoop的气象分析大屏可视化
一、项目介绍 气象分析大屏可视化系统主要功能模块包括后台首页,系统用户(管理员),模块管理(日照时数,平均相对湿度,年降水量,平均气温,贵阳气象分析,气温对比),采取面对对象的开发…
-
2-1.Hadoop大数据集群搭建之—本地模式
Hadoop运行模式主要包括三种:本地模式、伪分布式模式以及完全分布式模式。 1. 本地模式(Local/Standalone Mode):在这种模式下,Hadoop作为一个独立的…
-
Hive行转列[一行拆分成多行/一列拆分成多列]
场景: hive有张表armmttxn_tmp,其中有一个字段lot_number,该字段以逗号分隔开多个值,每个值又以冒号来分割料号和数量,如:A3220089:-40,A322…
-
虚拟机安装hadoop,hbase(单机伪集群模式)
虚拟机安装Hadoop,Hbase 工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,…
-
【大数据毕设】基于Hadoop的音乐管理系统论文(三)
博主介绍:✌全网粉丝6W+,csdn特邀作者、博客专家、大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ &#x…
-
【HDFS实战】HDFS上的数据均衡
HDFS上的数据均衡简介 文章目录 HDFS上的数据均衡简介 重新平衡多DN之间的数据 相关命令 重新平衡单DN内磁盘间的数据 相关命令 Plan Execute Query Ca…
-
Hive —- 文件格式和压缩
Hive —- 文件格式和压缩 1. Hadoop压缩概述 2. Hive文件格式 1. Text File 2. ORC 3. Parquet 3. 压缩 1. Hi…
-
大数据HIVE
启动Hive 启动集群组件 cd /export/onekey ./start-all.sh 终端链接Hive 进入到/export/server/hive-2.1.0/bin目录…
-
大数据02-HDFS的使用和基本命令
目录 Hadoop分布式文件系统 HDFS简介 HDFS的体系结构 HDFS的使用和基本命令 学习参考 Hadoop分布式文件系统 HDFS简介 HDFS(Hadoop Dis…
-
Hive on Spark环境搭建
文章目录 Hive 引擎简介 环境配置 (ssh已经搭好) JDK准备 Hadoop 准备 配置集群 启动集群 LZO压缩配置 Hive 准备 Hive 元数据配置到 MySQL …
-
基于hadoop高校固定资产管理系统-计算机毕设 附源码74965
hadoop高校固定资产管理系统 摘 要 在信息飞速发展的今天,网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布,为此,高校固定资产管理系统开…
-
Hive运算符和函数
day04 函数和运算符 1、运算符 建表和数据 create external table ext_table( id int, name string, age int, s_…
-
并行计算与大规模数据处理:Hadoop与Spark
1.背景介绍 大数据是指由于互联网、物联网等新兴技术的发展,数据量巨大、高速增长、多源性、不断变化的数据。大数据处理技术是指利用计算机科学技术,对大规模、高速、多源、不断变化的数据…
-
Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3
文章目录 @[TOC](文章目录) 前置配置 vm设置 虚拟机创建(hadoop1,hadoop2,hadoop3) linux前置配置(三个机器都要设置) 1.设置主机名 2.设…
-
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发,锁的原理是 一张表简称A表,我们对A表做查询操作的时候,就会获取到 A表的S锁(共享锁), 如果对A表做alter 等…
