使用docker快速搭建hive环境-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用docker快速搭建hive环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

hostnamectl set-hostname hive-master

写在前面
想练练Hive SQL，但是没有hive shell环境。现在只有一台空的CentOS 7机子，一想要弄jdk、hadoop、mysql、hive就头疼。

于是在网上找了找，发现用docker部署hive会快很多，在此记录一下部署过程。

以下过程每一步在文末都附有参考文档，出错的朋友可以去看对应的参考文档。

步骤
安装docker
安装git，配置github。因为用的是github上大佬写好的docker compose服务，所以要git clone下来。
部署hive
使用hive命令行
收尾工作

一、安装docker

要用到docker和docker-compose，我们依次来安装

安装docker
如果你之前安装过 docker，请先删掉

yum remove docker docker-common docker-selinux docker-engine
1
安装一些依赖

yum install -y yum-utils device-mapper-persistent-data lvm2
1
拉取docker-ce.repo

wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
1
把软件仓库地址替换为 TUNA:

sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
1
最后安装（默认安装的是最新版docker）:

yum makecache fast
yum install docker-ce

启动docker，设为开机自启，查看docker版本

systemctl start docker
systemctl enable docker
docker version

至此，不报错的话，docker就安装好了

安装Docker Compose
```
curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
```
```
chmod +x /usr/local/bin/docker-compose


ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose


docker-compose --version
```
配置docker国内镜像源（可选）https://www.cnblogs.com/reasonzzy/p/11127359.html

我在后面pull docker镜像时，速度很慢，所以又配了一下国内镜像加速源，可配可不配。
```
# 添加Docker阿里云镜像仓库
cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://xigtegnc.mirror.aliyuncs.com"]
}
EOF
```
部署Hive
准备工作都做完了，可以开始部署Hive了。

docker-hive
用的是大佬写好的docker-hive。

开始部署

依次执行以下命令
```
git clone git@github.com:big-data-europe/docker-hive.git

# 注：本文所有docker-compose都是在docker-hive目录下执行的
cd docker-hive

# 这步在后台起一个hive，元数据库用的是postgresql
# 会费一点时间，需要耐心等待
docker-compose up -d
```
等上面命令运行完成后，可以执行docker-compose ps命令查看正在运行的镜像。

下图是我运行这个命令的截图：

可以看到有namenode、datanode、hive等，表示部署成功了。

使用Hive命令行

依次执行以下步骤

查询结果：

二、配置Docker编排工具docker-compose （最重要）

1，下载Docker-compose 下载Docker-Compose（下载完毕就是一个文件docker-compose-Linux-x86_64）下载完成后将 docker-compose-Linux-x86_64 文件复制到Linux系统的root目录下，执行以下指令

下载链接传送门：

链接：https://pan.baidu.com/s/124vfP_N1kzBeiDAnITWHYg
提取码：xzq9

2，重命名、修改权限

mv docker-compose-Linux-x86_64 docker-compose

chmod 777 docker-compose

3，将docker-compose文件移动到$PATH中

echo $PATH

查看系统变量存放路径

mv docker-compose /usr/bin/

4，在任意位置输入docker-compose

这是最后一步，如下图所示，则配置成功！！！

使用docker快速搭建hive环境,云原生,hive

docker-compose的使用

docker-compose常用命令

后续就可以通过docker-compose.yml文本管理容器信息
通过docker-compose up -d 启动容器
通过docker-compose down 停止并删除容器
通过docker-compose logs -f 标识 查看容器启动日志
通过docker-compose start/stop/rm/restart/up/down来启动容器/关闭容器/删除已经关闭的容器/重启容器/基于yml创建容器/停止并删除容器

使用docker快速搭建hive环境,云原生,hive 遇到报错重启docker