使用docker快速搭建hive环境

hostnamectl set-hostname hive-master

写在前面

想练练Hive SQL，但是没有hive shell环境。现在只有一台空的CentOS 7机子，一想要弄jdk、hadoop、mysql、hive就头疼。

于是在网上找了找，发现用docker部署hive会快很多，在此记录一下部署过程。

以下过程每一步在文末都附有参考文档，出错的朋友可以去看对应的参考文档。

步骤

安装docker

安装git，配置github。因为用的是github上大佬写好的docker compose服务，所以要git clone下来。

部署hive

使用hive命令行

收尾工作

一、安装docker

要用到docker和docker-compose，我们依次来安装

安装docker

如果你之前安装过 docker，请先删掉

yum remove docker docker-common docker-selinux docker-engine

1

安装一些依赖

yum install -y yum-utils device-mapper-persistent-data lvm2

1

拉取docker-ce.repo

wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo

1

把软件仓库地址替换为 TUNA:

sed -i ‘s+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+’ /etc/yum.repos.d/docker-ce.repo

1

最后安装（默认安装的是最新版docker）:

yum makecache fast

yum install docker-ce

启动docker，设为开机自启，查看docker版本

systemctl start docker

systemctl enable  docker

docker version

至此，不报错的话，docker就安装好了

• 安装Docker Compose

  curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  

  chmod +x /usr/local/bin/docker-compose
  
  
  ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
  
  
  docker-compose --version

  配置docker国内镜像源（可选）https://www.cnblogs.com/reasonzzy/p/11127359.html

  我在后面pull docker镜像时，速度很慢，所以又配了一下国内镜像加速源，可配可不配。

  # 添加Docker阿里云镜像仓库
  cat > /etc/docker/daemon.json << EOF
  {
  "registry-mirrors": ["https://xigtegnc.mirror.aliyuncs.com"]
  }
  EOF

  部署Hive

  准备工作都做完了，可以开始部署Hive了。

  docker-hive

  用的是大佬写好的docker-hive。

  开始部署

  依次执行以下命令

  git clone git@github.com:big-data-europe/docker-hive.git
  
  # 注：本文所有docker-compose都是在docker-hive目录下执行的
  cd docker-hive
  
  # 这步在后台起一个hive，元数据库用的是postgresql
  # 会费一点时间，需要耐心等待
  docker-compose up -d
  
  

  等上面命令运行完成后，可以执行docker-compose ps命令查看正在运行的镜像。

  下图是我运行这个命令的截图：

  

  可以看到有namenode、datanode、hive等，表示部署成功了。

  使用Hive命令行

  依次执行以下步骤

  

  查询结果：

  

  二、配置Docker编排工具docker-compose （最重要）

1，下载Docker-compose

下载Docker-Compose（下载完毕就是一个文件docker-compose-Linux-x86_64）

下载完成后将 docker-compose-Linux-x86_64 文件复制到Linux系统的root目录下，执行以下指令

下载链接传送门：

链接：https://pan.baidu.com/s/124vfP_N1kzBeiDAnITWHYg

提取码：xzq9

2，重命名、修改权限

mv docker-compose-Linux-x86_64 docker-compose

chmod 777 docker-compose

3，将docker-compose文件移动到$PATH中

echo $PATH

查看系统变量存放路径

mv docker-compose /usr/bin/

4，在任意位置输入docker-compose

这是最后一步，如下图所示，则配置成功！！！

docker-compose的使用

 docker-compose常用命令

后续就可以通过docker-compose.yml文本管理容器信息
通过docker-compose up -d 启动容器
通过docker-compose down 停止并删除容器
通过docker-compose logs -f 标识 查看容器启动日志
通过docker-compose start/stop/rm/restart/up/down来启动容器/关闭容器/删除已经关闭的容器/重启容器/基于yml创建容器/停止并删除容器

 遇到报错重启docker

三、Building Your Team-Gerrit源码仓储环境搭建

简介

Gerrit是一个用于代码审查和版本控制的Web基础软件。它最初是为了支持Android开发而创建的，后来成为许多团队和项目进行代码审查的首选工具之一。

以下是Gerrit的一些主要特点和功能：

1. 代码审查：Gerrit的核心功能是代码审查，允许开发团队对提交的代码进行评审和讨论。审阅者可以提出评论、建议和修改请求，从而改善代码质量和合并流程。

2. Git支持：作为一个基于Git的工具，Gerrit完全支持Git的版本控制功能，能够管理代码的版本、分支和合并请求。

3. 权限控制：提供灵活的权限管理系统，可以对不同用户和团队设置不同的权限，控制代码审查和合并的流程。

4. 集成：Gerrit可以与其他工具（如Jenkins、Jira等）进行集成，支持CI/CD流水线的自动触发和协同工作。

5. Web界面：拥有直观友好的Web界面，使得代码审查过程更加可视化和易于管理。

Gerrit的主要目标是提供高效的代码审查和管理工具，以确保代码质量和团队合作。它被广泛用于许多开源项目和企业内部团队，特别是那些重视代码质量和团队合作的项目。

Docker版安装

环境准备

Docker 环境安装

在Linux服务器上安装Docker环境，具体可以参考：https://docs.docker.com/engine/install/ubuntu/

开放端口号

#开放9003端口号 
firewall-cmd --zone=public --add-port=9003/tcp --permanent  
#重载防火墙规则 s
sudo firewall-cmd --reload

jenkins工作目录

/data/platform/03_gerrit/workspace

安装配置

Docker环境下安装gerrit

参考https://github.com/openfrontier/docker-gerrit