Hadoop全分布式搭建

• 大数据

ctrl+alt切换定位到物理机/虚拟机

可以用物理机截图

Hadoop全分布式搭建

# 检查内存 free -h

# 检查磁盘空间 df -h

# 检查 Java 版本 java -version

Hadoop全分布式搭建

Hadoop全分布式搭建

需要传输jdk文件，就需要共享文件夹：挂载操作，然后，再次进入 /mnt/hgfs 查看 （注意：挂载后必须要再次进入/mnt/hgfs才能查看到共享的文件夹）

Hadoop全分布式搭建

验证安装成功

Hadoop全分布式搭建

使用ip addr和hostname指令获得ip地址和主机名

192.168.146.129 zyq-virtual-machine

192.168.146.130 slave1-virtual-machine

192.168.146.131 slave2-virtual-machine

ip地址ping的通

Hadoop全分布式搭建

nano ~/.bashrc

export JAVA_HOME=~/Public/opt/java/jdk1.8.0_251  

export PATH=$PATH:$JAVA_HOME/bin  

export HADOOP_HOME=~/Public/opt/hadoop/hadoop-3.3.6  

export PATH=$PATH:$HADOOP_HOME/bin

source ~/.bashrc

Hadoop全分布式搭建

问题：

解压安装了jdk1.8.0_251这个版本的Java，但是查看版本

~/Public/opt/java$ java -version

openjdk version “11.0.21” 2023-10-17

解决：

首先，使用以下命令添加一个新的 Java 可选项：

sudo update-alternatives --install /usr/bin/java java /path/to/your/jdk1.8.0_251/bin/java 1

将 `/path/to/your/jdk1.8.0_251` 替换为你实际安装 Oracle JDK 1.8.0_251 的路径。

选择新的 Java 版本

然后，运行以下命令选择你刚刚添加的 Java 版本：

sudo update-alternatives --config java

sudo -i进入root模式

exit退出

Hadoop全分布式搭建

sudo -E /home/zyq/Public/opt/hadoop/hadoop-3.3.6/bin/hdfs namenode -format

Hadoop全分布式搭建

格式化成功

sudo -E /home/zyq/Public/opt/hadoop/hadoop-3.3.6/sbin/start-dfs.sh

Hadoop全分布式搭建

Hadoop全分布式搭建

Hadoop全分布式搭建

Hadoop全分布式搭建、、、、、、、、、、、、、、、、、、、分割、、、、、、、、、、、、、、、、、、

参考：Ubuntu搭建全分布式Hadoop – huhy – 博客园 (cnblogs.com)

按照这篇使用root不太容易出用户名的问题，但是如果第一次做真的有些迷惑迷茫。

重做 

192.168.146.134 master

192.168.146.133 slave1

192.168.146.135 slave2

问题：ssh设置免密登录出现permission denied问题

Hadoop全分布式搭建

解决：用root身份就要额外设置root密码，而不是用用户身份的密码，无语。网上怎么没人说。

Hadoop全分布式搭建

并且要查看 /etc/ssh/sshd_config 中配置： PermitRootLogin，设为yesHadoop全分布式搭建

问题：

master ping slave2不通；ssh slave2报错ssh: Could not resolve hostname slave2: Temporary failure in name resolution

解决：

重启systemd-resolved服务：有时重启服务可以解决临时的解析问题，

systemctl restart systemd-resolved

ps：copy 公钥私钥的时候别忘了ssh-copy-id 自己。

运行start_dfs.sh之后进入网址master ip:9870

Hadoop全分布式搭建

可以通过stop_dfs.sh关闭

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/d1b9cf93fe.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐