Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列

这篇具有很好参考价值的文章主要介绍了Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

Linux安装配置Zookeeper

Linux安装配置Hadoop

Linux安装Hbase


Linux安装配置Zookeeper

新建文件夹

mkdir /home/zookeeper

下载到指定文件夹

官网

Apache ZooKeeper

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz -P /home/zookeeper/

解压到指定文件

 tar xf /home/zookeeper/apache-zookeeper-3.8.1-bin.tar.gz -C /home/zookeeper/

查看

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

进入目录

cd apache-zookeeper-3.8.1-bin

创建日志/数据文件夹

mkdir -p tmp/data;cd tmp;mkdir logs;

复制配置文件

cd /home/zookeeper/apache-zookeeper-3.8.1-bin/conf/;cp zoo_sample.cfg zoo.cfg;

使用vim进入zoo.cfg

修改为如下:

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 记录一下zookeeper的路径然后

vim /etc/profile

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

刷新资源

 source /etc/profile

运行

zkServer.sh start

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

查看状态

zkServer.sh status

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

Linux安装配置Hadoop

创建文件夹加文件下载

cd /home/;mkdir hadoop;wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.5.tar.gz -P /home/hadoop;进入文件夹

解压文件

tar -zxvf /home/hadoop/hadoop-3.3.5.tar.gz -C /home/hadoop/

打开环境变量配置

export HADOOP_HOME=/home/hadoop/hadoop-3.3.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

刷新

source /etc/profile

验证是否成功

hadoop version

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

Linux安装Hbase

这里提供清华大学的镜像站

Index of /apache/hbase (tsinghua.edu.cn)

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.17/hbase-2.4.17-bin.tar.gz

创建文件夹并下载

cd /home;mkdir hbase; wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.17/hbase-2.4.17-bin.tar.gz -P /home/hbase

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言 

 解压

 tar -zxvf /home/hbase/hbase-2.4.17-bin.tar.gz -C /home/hbase/
vim /etc/profile

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

配置环境变量

vim /etc/profile

新建环境变量

export HBASE_HOME=/home/hbase/hbase-2.4.17
export PATH=$HBASE_HOME/bin:$PATH

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 

刷新环境变量

source /etc/profile

查看是否成功

start-hbase.sh 

失败

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 

查看habse源文件

修改前

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 修改后

CLASSPATH="${HBASE_CONF_DIR}"
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/home/hbase/hbase-2.4.17/lib/*

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

启动

start-hbase.sh 

再次失败!!!! 

 Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 

 删除冲突的jar

rm /home/hbase/hbase-2.4.17/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 再次启动

还是报错

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 按照提示杀死进程2089

启动还是报错

Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列,大数据,微服务,服务器,java,apache,开发语言

 

running master, logging to /home/hbase/hbase-2.4.17/logs/hbase-lancer-master-Lancer.out

额,这好像是成功了哈哈!!文章来源地址https://www.toymoban.com/news/detail-623889.html

到了这里,关于Linux安装Zookeeper、Hadoop、Hive、Hbase全家桶系列的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux CentOS下大数据环境搭建(zookeeper+hadoop+hbase+spark+scala)

    本篇文章是结合我个人学习经历所写,如果遇到什么问题或者我有什么错误,欢迎讨论。 百度网盘链接:https://pan.baidu.com/s/1DCkQQVYqYHYtPws9hWGpgw?pwd=zh1y 提取码:zh1y 软件在连接中VMwareWorkstation_V16.2.1_XiTongZhiJia的文件夹下。 双击运行安装包,这里下一步即可。 这里勾选我接受许可

    2024年04月15日
    浏览(53)
  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(37)
  • Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm设置 在安装过程中推荐设置root用户密码为1234方面后续操作 1.设置主机名 以hadoop3为例 2.设置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后执行 service network restart 刷新网卡 3.工具连接(三个机器都要设置) 4.主机映射 windows: C:WindowsSystem32driversetc 修改这个路

    2024年02月03日
    浏览(30)
  • 大数据:Hadoop基础常识hive,hbase,MapReduce,Spark

    Hadoop是根据Google三大论文为基础研发的,Google 三大论文分别是: MapReduce、 GFS和BigTable。 Hadoop的核心是两个部分: 一、分布式存储(HDFS,Hadoop Distributed File System)。 二、分布式计算(MapReduce)。 MapReduce MapReduce是“ 任务的分解与结果的汇总”。 Map把数据切分——分布式存放

    2024年04月25日
    浏览(40)
  • (最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

    网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。 由于在公司担任大数据的培训工作后续还会更新一些基础的文章,希望能帮助到大家。 机器信息 Hostname k8s-master k8s-node1 k8

    2024年02月06日
    浏览(40)
  • 大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别

    Hadoop是一个开源的分布式计算框架,用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统(HDFS)和一个分布式计算框架(MapReduce),可以在大量廉价硬件上进行并行计算。 HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统。它被设计用于在集群中存储

    2024年02月16日
    浏览(40)
  • 大数据系统常用组件理解(Hadoop/hive/kafka/Flink/Spark/Hbase/ES)

    一.Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。 Hadoop的核心是yarn、HDFS和Mapreduce。yarn是资源管理系统,实现资源调度,yarn是Hadoop2.0中的资源管理系统,总体上是master/slave结构。对于yarn可以粗浅将其理解

    2024年02月20日
    浏览(37)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(32)
  • Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

    前面安装的软件,都是以单机模式运行的,学习大数据相关的软件部署,后续安装软件服务,大多数都是以集群化(多台服务器共同工作)模式运行的。所以,需要完成集群化环境的前置准备,包括创建多台虚拟机,配置主机名映射,SSH免密登录等等。 我们可以使用VMware提供

    2024年02月04日
    浏览(40)
  • 大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、kafka)

    1.1.1 数据仓库概念 1、数据仓库概念: 为企业制定决策,提供数据支持的集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本,提高产品质量。 数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包括对数据的:清洗、

    2024年01月22日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包