HBase完全分布式配置(上)hadoop篇 保姆级教程(近乎零基础跟着配也能配对)

这篇具有很好参考价值的文章主要介绍了HBase完全分布式配置(上)hadoop篇 保姆级教程(近乎零基础跟着配也能配对)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文从安装好新虚拟机开始介绍

1.基础环境配置

1.1静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

hbase配置hadoop_home,分布式,hbase,hadoop

BOOTPROTO="static"
IPADDR="192.168.88.11"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS="192.168.88.2"

hbase配置hadoop_home,分布式,hbase,hadoop

1.2配置hosts

vim /etc/hosts

hbase配置hadoop_home,分布式,hbase,hadoop

192.168.88.11 node1
192.168.88.12 node2
192.168.88.13 node3

hbase配置hadoop_home,分布式,hbase,hadoop

1.3配置主机名

hostnamectl set-hostname node1

1.4关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

1.5关闭selinux

setenforce 0
vim /etc/sysconfig/selinux

改成

SELINUX=disabled

1.6配置ssh免密登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

基础配置详细(带截图)可以看我的Hadoop和hbase伪分布式模式配置一文。这里不再详细展开,接下来转到tabby连接上并上传jdk、hadoop和hbase,同样不再赘述。解压、改名,详见上一篇文章,这里只截取环境变量配置好的图片。

1.7jdk解压、改名

mkdir -p /export/server

解压jdk:

tar -zxvf /usr/local/jdk-8u401-linux-x64.tar.gz -C /export/server/

改名jdk:

mv /export/server/jdk1.8.0_401 /export/server/jdk

1.8配置并应用环境变量

vim /etc/profile
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

hbase配置hadoop_home,分布式,hbase,hadoop

source /etc/profile

到此为止可以把这台虚拟机克隆两份了,分别叫node2和node3,注意要放到不同的文件夹下。

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

node3同理

2.克隆之后的修改(两台同时修改,不要弄混)

2.1改主机名(是几改几)

hostnamectl set-hostname node2
hostnamectl set-hostname node3

2.2修改静态ip

三台虚拟机的ip不能相同,最后一位改下就行,别忘了出来重启下网卡

vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network

3.hadoop完全分布式配置

3.1解压、改名和配置、应用环境变量

解压hadoop:

tar -zxvf /usr/local/hadoop-2.7.7.tar.gz -C /usr/local/

改名hadoop:

mv /usr/local/hadoop-2.7.7 /usr/local/hadoop
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source /etc/profile

3.2配置hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

hbase配置hadoop_home,分布式,hbase,hadoop

export JAVA_HOME=/export/server/jdk

3.3配置core-site.xml

vim /usr/local/hadoop/etc/hadoop/core-site.xml

hbase配置hadoop_home,分布式,hbase,hadoop

 <property>
  <!--主机映射名-->
  <name>fs.defaultFS</name>
  <value>hdfs://node1:9000</value>
 </property>

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
 </property>

3.4配置hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

hbase配置hadoop_home,分布式,hbase,hadoop

 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>

 <property>
  <!--主机映射名-->
  <name>dfs.namenode.secondary.http-address</name>
  <value>node3:50090</value>
 </property>

3.5配置mapred-env.sh

vim /usr/local/hadoop/etc/hadoop/mapred-env.sh

hbase配置hadoop_home,分布式,hbase,hadoop

export JAVA_HOME=/export/server/jdk

3.6配置mapred-site.xml

配置前先复制一份(因为没有)

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

hbase配置hadoop_home,分布式,hbase,hadoop

 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>

3.7配置yarn-env.sh

vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

hbase配置hadoop_home,分布式,hbase,hadoop

export JAVA_HOME=/export/server/jdk

3.8配置yarn-site.xml

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

hbase配置hadoop_home,分布式,hbase,hadoop

 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>

 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>node2</value>
 </property>

3.9配置slaves

vim /usr/local/hadoop/etc/hadoop/slaves

hbase配置hadoop_home,分布式,hbase,hadoop

node1
node2
node3

3.10把主机上配好的内容分发到从机上

scp -r /usr/local/hadoop root@node2:/usr/local
scp -r /usr/local/hadoop root@node3:/usr/local

hbase配置hadoop_home,分布式,hbase,hadoop

3.11格式化主机

只格式化主机node1,从机node2和node3不用格式化,格式化前可以打个快照保存一下,防止前面有地方配错了没查出来。

hadoop namenode -format

hbase配置hadoop_home,分布式,hbase,hadoop

3.12设置免密钥并授权给三台虚拟机

三台都要把下面的代码输一遍

ssh-keygen -t rsa

hbase配置hadoop_home,分布式,hbase,hadoop

ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3

只展示其中一个

hbase配置hadoop_home,分布式,hbase,hadoop

3.13开启主机和从机验证

只在主机(node1)和其中一个从机(例如node2)输入命令,从机之二只开启不输命令,先启动主机再启动从机。

主机:

start-dfs.sh

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

从机:

start-yarn.sh

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

关闭同样是先关从机再关主机

从机:

stop-yarn.sh

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

主机:

stop-dfs.sh

hbase配置hadoop_home,分布式,hbase,hadoop

hbase配置hadoop_home,分布式,hbase,hadoop

至此,hadoop完全分布式配置完毕,别忘了打个快照保存一下文章来源地址https://www.toymoban.com/news/detail-851653.html

到了这里,关于HBase完全分布式配置(上)hadoop篇 保姆级教程(近乎零基础跟着配也能配对)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop完全分布式搭建教程(完整版)

    切换到Hadoop的etchadoop目录下并进行相关配置 1.配置workers文件 2.配置Hadoop-env.sh文件 3. 配置core-site.xml 文件 4.配置mapred-site.xml 文件 5. 配置hdfs-site.xml文件 6. 配置yarn-site.xml 文件 master:9870查看 ii. master:8088查看

    2024年02月07日
    浏览(29)
  • 【教程】Hadoop完全分布式环境搭建全过程

    保姆级入门教程:图片讲解 + 各种问题解决方案 集群服务器:hadoop102、hadoop103和hadoop104 虚拟机版本:CentOS7-1804 资源分享处(文章最后)提供CentOS7和Hadoop各组件压缩包(也可以自行下载,要注意版本兼容的问题),有需要自取~ 1, 模板虚拟机准备 2, 克隆三台虚拟机,作为

    2024年02月06日
    浏览(38)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(32)
  • 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

    官网链接 进入后网站如图,各位按需下载 官网链接 进入页面点击下载 再根据我们需要下载的软件进入下载页面 点击右侧红框内的免费授权页面获取免费许可 进入后如图,两者我们都需要所以都勾选,填写的邮箱用于接收下载链接,下载后进行安装即可 这里先和大家强调一

    2024年02月07日
    浏览(37)
  • Hadoop-HDFS详解与HA,完全分布式集群搭建(细到令人发指的教程)

    本篇篇幅较长,有许多集群搭建干货,和枯燥乏味但是面试可能问到的理论知识。 思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧。 目录 一、引入 hdfs是什么 hdfs的由来 hdfs架构体系 hdfs的优缺点 优点 缺点 二、HDFS_block简介和注意

    2023年04月19日
    浏览(43)
  • HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

    今天在使用HBase Java API编程实践时发现出现报错,同样在创建表和查看HBase集群状态信息时也出现报错,以下是错误截图: 这是由于HBase的主节点正在初始化过程中,无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来

    2024年02月05日
    浏览(30)
  • Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式、master/slave1/slave2配置

             本文章使用root用户完成相关配置与启动、这里分为master、slave1、slave2进行配置         一、将hadoop解压至需要的目录下          二、配置hadoop-env.sh启动文件         三、配置hdfs-site.xml文件         四、配置core-site.xml文件         五、配置yarn-site.x

    2024年02月06日
    浏览(38)
  • 【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境

    网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。 1、机器环境 这里采用三台机器来部署分布式集群环境: 192.168.1.101 hadoop1 (docker管理节点) 192.168.1.102 hadoop2 192.168.1.103 hadoop3 2、下载Docker Hadoop的

    2024年02月02日
    浏览(32)
  • Hadoop伪分布式配置教程

    目录 一、创建Hadoop用户 1.创建Hadoop用户 2.更换用户 二、更新Apt,安装SSH,配置SSH无密码登录 1.更新Apt 2.安装SSH  3.配置SSH无密码登陆 三、安装Java环境 四、安装 Hadoop  1.下载Hadoop 2.安装Hadoop 五、Hadoop单机配置(非分布式) 六、Hadoop伪分布式配置 七、运行Hadoop伪分布式实例 输入

    2024年02月04日
    浏览(38)
  • hadoop完全分布式

    三台虚拟机,关闭防火墙,关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenforce 暂时关闭 selinux setenforce 0 永久关闭 selinux 在/etc/selinux/config文件中将SELINUX改为disabled 修改主机名: hostn

    2023年04月12日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包