Windows下安装Hive

Windows 下安装Hive

一、hive与hadoop的兼容选择

hive官网下载地址：https://archive.apache.org/dist/hive/

hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/

以hive-2.3.5为例

1、下载apache-hive-2.3.5-src.tar.gz

2、解压后，查看apache-hive-2.3.5-src/pom.xml文件

​ 部分内容如下(line 141: 2.7.2

即，hive-2.3.5对应的hadoop版本号是2.7.2

参考资料： https://blog.csdn.net/m0_67401228/article/details/123936108

二、JDK安装

jdk版本：jdk1.8.0_211

1、下载解压至自定义路径下

2、环境变量配置，依次点击我的电脑-属性-高级系统设置-环境变量-新建系统变量，如下图所示：

编辑系统变量Path，添加如下图所示两个值（最好将其复制到文本上编辑）

3、检测是否安装成功

打开cmd, 输入命令java -version 如下图所示：

三、安装Hadoop

1、下载hive-2.3.5对应版本的hadoop-2.7.2.tar.gz 文件，并解压至自定义目录下

2、Hadoop环境变量配置

​ 参考JDK环境变量配置，如下图所示：

​ 编辑系统变量Path，添加如下图所示值(和jdk的path操作一样):

3、测试

​ 打开cmd输入命令: hadoop ,正常应如下图所示：

4、新建目录

​ 在D:\software\hadoop-2.7.2目录下新建data/dfs/namenode与data/dfs/datanode 两个目录文件夹，如下图所示：

5、修改配置文件

进入目录：D:\software\hadoop-2.7.2\etc\hadoop 下：

修改core-site.xml文件,添加如下代码:

    
        fs.defaultFS
        hdfs://localhost:9000
    

修改hdfs-site.xml文件，并将datanode和namenode改为自己的目录：

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        /D:/software/hadoop-2.7.2/data/dfs/namenode
    
    
        dfs.datanode.data.dir
        /D:/software/hadoop-2.7.2/data/dfs/datanode
    

修改mapred-site.xml.template文件,将文件重命名为：修改mapred-site.xml，并添加如下代码：

    
        mapreduce.framework.name
        yarn
    

修改yarn-site.xml文件,并添加如下内容：

	
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

修改hadoop-env.cmd文件设置java目录：

@rem The java implementation to use.  Required.
set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk1.8.0_211

位置如下：

6、下载winutils

​ 由于hadoop不能直接直接在windows环境下启动，需要依赖hadoop的winutils

​ 这里给出两个下载路径首先是 githttps://github.com/cdarlint/winutils

​ 如果大家在git上下载不下来，或者下载慢，这里提供一个百度网盘的下载路径 https://pan.baidu.com/s/1a5et7e6oLir2dgABPJkgqg?pwd=yyds

下载好之后，挑选和你hadoop相同的版本，将bin中的内容直接拷贝到你安装的hadoopbin目录下，有重复的替换即可。

​ 原文链接：https://blog.csdn.net/weixin_43850384/article/details/126007016

7、格式HDFS，启动Hadoop

​ 格式化HDFS，打开cmd，输入命令

hadoop namenode -format

看到successfully证明成功初始化。

之后切换到hadoop安装目录下的sbin目录(D:\software\hadoop-2.7.2\sbin)，输入以下内容：

start-all.cmd

会依次弹出四个命令框，分别为namenode、datanode、resourcemanager、nodemanager

浏览器输入：http://localhost:50070/ 注意:hadoop-3.x版本地址是：http://localhost:9870

8、测试文件上传

​ 切换到hadoop下的bin目录，输入

hadoop fs -mkdir /test

随意上传一个文件:hdfs dfs -put “你的文件路径” /test

hadoop dfs -put /D:/tmp/info.log /test

四、HVIE安装

1、下载apache-hive-2.3.5-bin.tar.gz 文件，并解压至自定义目录下，并重命名为hive-2.3.5

​ 注意当前版本没有cmd命令可以从以前的版本拷贝至相同的目录下

2、Hive环境变量配置

​ 参考JDK环境变量配置，如下图所示：

​ 编辑系统变量Path，添加如下图所示值(和jdk的path操作一样):

3、新建目录

​ 创建如下四个空目录：

D:\software\hive-2.3.5\data_hive\operation_logs
D:\software\hive-2.3.5\data_hive\querylog
D:\software\hive-2.3.5\data_hive\resources
D:\software\hive-2.3.5\data_hive\scratch

4、MySql驱动配置

​ 将mysql-connector-java-5.1.47-bin.jar复制到D:\software\hive-2.3.5\lib目录下，如下图

5、修改配置文件

​ 进入D:\software\hive-2.3.5\conf目录下：

​ 将 hive-log4j2.properties.template 重命名为 hive-log4j2.properties

​ 将 hive-exec-log4j2.properties.template 重命名为 hive-exec-log4j2.properties

​ 修改hive-env.sh文件 ，将hive-env.sh.template文件重命名为hive-env.sh

​ 新增以下内容，路径注意修改为自己的

# Set HADOOP_HOME to point to a specific hadoop install directory
 HADOOP_HOME=D:\software\hadoop-2.7.2

# Hive Configuration Directory can be controlled by:
 export HIVE_CONF_DIR=D:\software\hive-2.3.5\conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
 export HIVE_AUX_JARS_PATH=D:\software\hive-2.3.5\lib

​ 修改hive-site.xml文件，hive-default.xml.template文件重名为hive-site.xml

​ 路径注意修改为自己的

  
    hive.exec.local.scratchdir
    D:/software/hive-2.3.5/data_hive/scratch
    Local scratch space for Hive jobs
  
  
    hive.downloaded.resources.dir
    D:/software/hive-2.3.5/data_hive/resources/${hive.session.id}_resources
    Temporary local directory for added resources in the remote file system.
  

​ 6、创建数据库（mysql5.7.*）

​ 创建数据库，注意字符集和排序规则的设置属性

7、再次编辑hive-site.xml文件配置数据库

​ 注意改成自己的

  
    javax.jdo.option.ConnectionPassword
    password6
    password to use against metastore database
  
  
    javax.jdo.option.ConnectionUserName
    root
    Username to use against metastore database
  
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://localhost:13305/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    
  
  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
    Driver class name for a JDBC metastore
  

8、测试

​ 启动hadoop

​ 进入D:\software\hadoop-2.7.2\sbin目录下，点击start-dfs.cmd启动两个窗口服务即成功

​ 初始化hive数据库

​ 打开cmd输入下面命令：

hive --service schematool -dbType mysql -initSchema

​ 9、启动hive操作数据库

​ 开的cmd命令窗口，输入：hive 如下图进入hive

​