Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

配置核心文件

core-site.xml

编辑core-site.xml(进入hadoop文件夹内)

vim etc/hadoop/core-site.xml
--------------------------------------------------------

    
    
        fs.deaultFS
        hdfs://hadoop100:8020
    
    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    
    
    
        hadoop.http.staticuser.user
        root
    

----------------------------------------------------------

hdfs-site.xml

vim etc/hadoop/hdfs-site.xml
---------------------------------------------------------

    
    
        dfs.namenode.http-address
        hadoop100:9870
    
    
    
        dfs.namenode.secondary.http-address
        hadoop102
    

----------------------------------------------------------

yarn-site.xml

vim etc/hadoop/hdfs-site.xml
----------------------------------------------------------

    
        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
    
        
            varn.resourcemanager.hostname
            hadoop101
        
    
        
            varn.nodemanager.eny-whitelist
            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOPYARN_HOME.HADOOP_MAPRED_HOME
        

-----------------------------------------------------------

mapred-site.xml

vim etc/hadoop/mapred-site.xml
-----------------------------------------------------------

    
        
            mapreduce.framework.name
            yarn
        

-----------------------------------------------------------

配置完后要分发给其他服务器，可以使用之前写的分发脚本xsync进行快速分发

配置workers(各集群节点)

vim etc/hadoop/workers
-----------------------------------------------------------
hadoop102
hadoop103
hadoop104
-----------------------------------------------------------

启动集群

如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意:格式化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停上 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化）

hdfs namenode -format

启动hdfs

sbin/start-dfs.sh

在配置了ResourceManager(hadoop103)的节点启动YARN

sbin/start-yarn.sh

web查看HDFS的NameNode：

浏览器输入：http://hadoop102:9870

web查看YARN的ResourceManager

浏览器输入: http://hadoop103:8088

集群基本测试

上传文件到集群

hadoop fs -mkdir /xxx
hadoop fs -put /xxx

查看HDFS在磁盘存储文件内容

cd /hadoop-3.1.3/data/dfs/data/current/BP-349999175-192.168.10/current/finalized/subdiro/subdir0
cat blk_1073741825

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/a0936927bb.html