Hadoop3.X集群安装

• 大数据
服务器 运行角色
hadoop01 namenode、datanode、resourcemanager、nodemanager
hadoop02        

secondarynamenode、datanode、nodemanager

hadoop03

 datanode、nodemanager

基础环境准备

安装包、源码包下载

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/

Hadoop3.X集群安装

准备三台主机

Hadoop3.X集群安装

hosts映射

vi /etc/hosts

Hadoop3.X集群安装

JDK1.8安装

JDK1.8

配置ssh免密登录

ssh免密登录

上传安装包、解压安装包

创建工作目录（三台）

Hadoop3.X集群安装

上传、解压安装包（hadoop01）

上传到software目录下

#解压
tar zxvf hadoopXXX.tar.gz -C /export/server/

配置hadoop系统环境变量

输入命令：

vi /etc/profile


#添加以下内容
export HADOOP_HOME=/usr/software/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，刷新环境变量

source /etc/profile

hadoop安装包目录结构

目录 说明
bin Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。
etc Hadoop配置文件所在的目录
include 对外提供的编程库头文件(具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
lib 该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。
sbin Hadoop各个模块编译后的jar包所在的目录。
share Hadoop各个模块编译后的jar包所在的目录。

配置hadoop集群主要的配置文件进行配置

配置文件

 功能描述
hadoop-env.sh 配置Hadoop运行所需的环境变量
yarn-env.sh 配置Yarn运行所需的环境变量
core-site.xml Hadoop核心全局配置文件，可在其他配置文件中引用
hdfs-site.xml HDFS配置文件，继承core-site.xml配置文件
mapred-site.xml MapReduce配置文件，继承core-site.xml配置文件
yarn-site.xml Yarn配置文件，继承core-site.xml配置文件

编辑hadoop配置文件

hadoop-env.sh

cd /export/server/hadoop-3.3.0/etc/hadoop/
vi hadoop-env.sh

添加以下内容

#配置JAVA_HOME
export JAVA_HOME=/usr/software/jdk1.8.0_241
#设置用户以执行对应角色shell命令
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export TARN_RESOURCEMANAGER_USER=root
export TARN_NODEMANAGER_USER=root

yarn-site.xml，添加以下内容

        
                yarn.resourcemanager.hostname
                hadoop01.itcast.cn
        
        
                yarn,nodemanager.aux-services
                mapreduce_shuffle
        
        
                yarn.scheduler.minimum-allocation-mb
                512
        
        
                yarn.scheduler.maximum-allocation-mb
                2048
        
        
                yarn.nodemanager.vmem-pmem-ratio
                4

core-site.xml，添加以下内容

        #hdfs文件系统访问地址
        
                fs.defaultFS
                hdfs://hadoop01.itcast.cn:8020
        
        #hadoop本地数据存储目录 format是自动生成
        
                hadoop.tmp.dir
                /export/data/hadoop
        
        #在Web UI访问HDFS使用的用户名
        
                hadoop.http.staticuser.user
                root

hdfs-site.xml，添加以下内容

        
                dfs.namenode.secondary.http-address
                hadoop02.itcast.cn:9868

 mapred-site.xml，添加以下内容

        
                mapreduce.framework.name
                yarn
        
        
                yarn.app.mapreduce.am.env
                HADOOP_MAPRED_HOME=${HADOOP_HOME}
        
        
                mapreduce.reduce.env
                HADOOP_MAPRED_HOME=${HADOOP_HOME}

vi workers，添加以下内容

hadoop01.itcast.cn
hadoop02.itcast.cn
hadoop03.itcast.cn

Hadoop3.X集群安装

分发安装包scp同步到其他机器

cd /export/server/
scp -r hadoop-3.3.0 root@hadoop02:/export/server/
scp -r hadoop-3.3.0 root@hadoop03:/export/server/

NameNode format 初始化操作

首次启动HDFS时，必须对其进行初始化操作

format本质上是对HDFS进行清理和准备工作

命令：hdfs namenode -format

hadoop启动和关闭

每次手动启动关闭一个进程

HDFS集群：

        hdfs –daemon start namenode | datanode | secondarynamenode

        hdfs –daemon stop namenode | datanode | secondarynamenode

YARN集群：

        yarn –daemon start resourcemanager | nodemanager

        yarn –daemon stop resourcemanager | nodemanager

start-all.sh

Hadoop3.X集群安装

Hadoop3.X集群安装

Hadoop3.X集群安装

安装成功

或者看日志查看是否安装成功

Hadoop3.X集群安装

在Windows中配置hosts

C:\Windows\System32\drivers\etc

Hadoop3.X集群安装

Hadoop3.X集群安装

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/a2820f4341.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐