2023年全国大数据职业技能大赛！！！想要更多资料私信我哦

• 大数据

Hadoop3.X 完成分布式安装部署

需要三台虚拟机

所有相关安装包在Master节点的/opt/software目录下

解压到 /opt/module目录下

命令中要求使用绝对路径

一、 JDK安装

  • 在master操作

1、解压jdk
tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/
2、修改配置文件

  1. 修改 etc下的profile文件：vi /etv/profile

添加配置文件(里面原本的内容不可以删除，在最后一行按 o 输入，修改完成先按 Esc 再输入 :wq （ :wq : 退出并保存）)：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

  1. 使文件生效：source /etc/profile ，使用 java -version命令验证

 023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

3、免密登录

  1. 修改/etc/hosts 文件(三台虚拟机都需要)：vi /etc/hosts ，将slave1和slave2的ip添加到里面（查看IP的命令：ip addr）:

  2. 023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

  3. 在master上输入:

    ssh-keygen -t rsa 然后连续按下三次回车然后输入命令(若遇到需要输入yes或者no 输入yes) ssh-copy-id master 按下回车后输入master所对应的虚拟机密码 ssh-copy-id slave1 按下回车后输入slave1所对应的虚拟机密码 ssh-copy-id slave2 按下回车后输入slave2所对应的虚拟机密码

    验证方式：输入 ssh slave1 不需要输入密码即可

    023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

二、hadoop集群环境搭建

  1. 将hadoop解压到/opt/module下

tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

  1. 修改配置文件

修改文件位于：/opt/module/hadoop-3.1.3/etc/hadoop

可以直接：cd /opt/module/hadoop-3.1.3/etc/hadoop

需要修改的配置文件有5个：

1，core-site.xml（核心配置文件）

2，hdfs-site.xml（HDFS配置文件）

3，mapred-site.xml（MapReduce配置文件）

4，yarn-site.xml（YARN配置文件）

5，hadoop-env.sh

6，yarn-env.sh

7，workers （该文件中添加的内容结尾不允许有空格，文件中不允许有空行）

1、配置文件

1，core-site.xml（核心配置文件）

vi core-site.xml
        
        fs.defaultFS
        hdfs://master:9000


        
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data

​

2，hdfs-site.xml（HDFS配置文件）

vi hdfs-site.xml
    
        dfs.namenode.http-address
        master:9870
    
    
        dfs.namenode.secondary.http-address
        slave2:9868
    
    
        dfs.replication
        2
  

3，mapred-site.xml

vi mapred-site.xml
    
        mapreduce.framework.name
        yarn
  

4，yarn-site.xml

vi yarn-site.xml（YARN配置文件）
yarn.nodemanger.anx-services
mapreduce_shuffle


yarn.resourcemanager.hostname
master


yarn.nodemanger.vmen-check-enable
false

5，hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212

6，yarn-env.sh

vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212

7，workers

vi workers
master
slave1
slave2
2、配置环境变量
vi /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
​
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
​
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3、给slave1和slave2分发配置文件

  1. 分发jdk

scp -r /opt/module/jdk1.8.0_212/ root@slave1:/opt/module/
scp -r /opt/module/jdk1.8.0_212/ root@slave2:/opt/module/

  1. 分发环境变量配置文件

scp -r /etc/profile root@slave1:/etc/profile
scp -r /etc/profile root@slave2:/etc/profile

  1. 分发hadoop

scp -r /opt/module/hadoop-3.1.3/ root@slave1:/opt/module/
scp -r /opt/module/hadoop-3.1.3/ root@slave2:/opt/module/

  1. 使slave1和slave2的配置文件生效

切换到slave1和slave2 输入命令 source /etc/profile

输入java -version 查看是否成功023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

4、启动Hadoop集群

  1. 初始化NameNode(在master)

hdfs namenode -format

023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

  1. 启动hdfs和yarn

start-all.sh

master 节点下输入 jps 显示以下内容023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

slave1节点下输入jps显示以下内容

023年全国大数据职业技能大赛！！！想要更多资料私信我哦"

配置完成！

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/a5432742d6.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐