Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

这篇具有很好参考价值的文章主要介绍了Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前置配置

vm设置

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

虚拟机创建(hadoop1,hadoop2,hadoop3)

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

在安装过程中推荐设置root用户密码为1234方面后续操作

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

linux前置配置(三个机器都要设置)

1.设置主机名

以hadoop3为例

hostnamectl set-hostname hadoop3

2.设置固定ip

vim  /etc/sysconfig/network-scripts/ifcfg-ens33

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop1 192.168.88.201

hadoop2 192.168.88.202

hadoop3 192.168.88.203

最后执行
service network restart
刷新网卡

3.工具连接(三个机器都要设置)

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

4.主机映射

windows:

C:\Windows\System32\drivers\etc

修改这个路径下的hosts文件

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

推荐使用vscode打开可以修改成功

linux:(三个机器都要设置)
vim /etc/hosts

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

5.配置SSH免密登录(三个机器都要设置)

root免密
1.在每一台机器都执行:ssh-keygen -trsa -b 4096 ,一路回车到底即可

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

2.在每一台机器都执行:
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop免密

创建hadoop用户并配置免密登录

1.在每一台机器执行:useradd hadoop,创建hadoop用户
2.在每一台机器执行:passwd hadoop,设置hadoop用户密码为1234

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

3.在每一台机器均切换到hadoop用户:su - hadoop,并执行ssh-keygen -trsa -b 4096,创建ssh密钥

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

4.在每一台机器均执行
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

6.关闭防火墙和SELinux(三个机器都要设置)

1:
systemctl stop firewalld

systemctl disable firewalld

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

2.
vim /etc/sysconfig/selinux 

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

设置好输入 init 6 重启

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

3.

以下操作在三台Linux均执行

  1. 安装ntp软件
yum install -y ntp
  1. 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  1. 同步时间
ntpdate -u ntp.aliyun.com
  1. 开启ntp服务并设置开机自启
systemctl start ntpd

systemctl enable ntpd

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

三台创建快照1

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

环境配置

1、jdk1.8 Java Downloads | Oracle

2、hadoop-3.3.6 Apache Hadoop

3、hbase-2.5.5.hadoop3x Index of /dist/hbase/2.5.5 (apache.org)

4、zookeeper-3.8.3 Apache ZooKeeper

重点:以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限

推荐一口气配置完在进行给予权限和进行配置文件的刷新,以及最后的分发

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

jdk

创建文件夹,用来部署JDK,将JDK和Tomcat都安装部署到:/export/server 内

cd /

mkdir export

cd export

mkdir server

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

解压缩JDK安装文件

tar -zxvf jdk-8u321-linux-x64.tar.gz -C /export/server

配置JDK的软链接

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

vim /etc/profile

export JAVA_HOME=/export/server/jdk
export PATH=$PATH: $JAVA_HOME/bin

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

生效环境变量

source /etc/profile

删除系统自带的java程序

rm -f /usr/bin/java

软链接我们自己的java

ln -s /export/server/jdk/bin/java /usr/bin/java

执行验证

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

分发

hadoop2,3先创建文件夹

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop分发

cd /export/server/

scp -r jdk1.8.0_321/ hadoop2:`pwd`

scp -r jdk1.8.0_321/ hadoop3:`pwd`

cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`
hadoop2,3
source /etc/profile

rm -f /usr/bin/java

ln -s /export/server/jdk/bin/java /usr/bin/java

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop

上传和解压

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

cd /export/server

 tar -zxvf hadoop-3.3.6.tar.gz 

ln -s hadoop-3.3.6 hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop配置

worksers
hadoop1

hadoop2

hadoop3

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hdfs-site.xml
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:9870</value>
<description> The address and the base port where the dfs namenode web ui will listen on.
</description>
</property>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
hadoop-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
yarn-site.xml
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>hadoop1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>

  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

<!-- 是否需要开启Timeline服务 -->
<property>
 <name>yarn.timeline-service.enabled</name>
 <value>true</value>
 </property>
 <!-- Timeline Web服务的主机,通过8188端⼝访问 --> 
<property>
 <name>yarn.timeline-service.hostname</name>
 <value>hadoop1</value>
 </property>
 <!-- 设置ResourceManager是否发送指标信息到Timeline服务 -->
 <property>
 <name>yarn.system-metrics-publisher.enabled</name>
 <value>false</value> 
</property>
mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

环境变量配置

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop 

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

分发hadoop到 主机2,3

发送hadoop
cd /export/server/

scp -r hadoop-3.3.6/ hadoop2:`pwd`

scp -r hadoop-3.3.6/ hadoop3:`pwd`
发送环境变量
cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop2:`pwd`
其他设置

hadoop2,3分别创建软连接

cd /export/server/

 ln -s hadoop-3.3.6/ hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

刷新环境变量
source /etc/peorfile

hadoop version

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hadoop权限配置

主机 123 都执行: 以 root 权限 给 hadoop 用户配置相关权限

mkdir -p /data/nn

mkdir -p /data/dn

chown -R hadoop:hadoop /data

chown -R hadoop:hadoop /export

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

创建快照2

格式化与启动

1.切换用户hadoop
 su - hadoop
2.进行格式化
hdfs namenode -format
3.启动!!!

一键启动:

start-all.sh

分开启动:

start-dfs.sh

start-yarn.sh

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

查看网页

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

zookeeper

上传与解压

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

 cd /export/server/

tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz 

ln -s apache-zookeeper-3.9.1-bin zookeeper

rm -rf apache-zookeeper-3.9.1-bin.tar.gz 

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

配置

cd /export/server/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

//修改 zoo.cfg 配置文件,将 dataDir=/data/zookeeper/data 修改为指定的data目录

vim zoo.cfg

dataDir=/export/server/zookeeper/zkData

server.2=hadoop1:2888:3888
server.1=hadoop2:2888:3888
server.3=hadoop3:2888:3888

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

cd .. 

mkdir zkData

vim myid

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

分发和环境变量

环境变量
vim /etc/profile
export ZOOKEEPER_HOME=/export/server/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

分发
cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`

cd /export/server/

scp -r  apache-zookeeper-3.9.1-bin/ hadoop2:`pwd`

scp -r  apache-zookeeper-3.9.1-bin/ hadoop3:`pwd`

hadoop2,3创建软连接

ln -s apache-zookeeper-3.9.1-bin/ zookeeper
hadoop2,3修改内容
cd /export/server/zookeeper/zkData/

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop
hadoop1 修改为2
hadoop2 修改为1
hadoop3 修改为3

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

刷新配置文件
source /etc/profile

重新给权限

chown -R hadoop:hadoop /export

启动(三个机器都执行)

su - hadoop

bin/zkServer.sh start 

查看状态

bin/zkServer.sh status

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase

上传和解压

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

tar -zxvf hbase-2.5.5-hadoop3-bin.tar.gz 

ln -s hbase-2.5.5-hadoop3 hbase

rm -rf hbase-2.5.5-hadoop3-bin.tar.gz 

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

配置

cd /export/server/hbase/conf/

mkdir -p /data/hbase/logs
hbase-env.sh
export JAVA_HOME=/export/server/jdk
export HBASE_MANAGES_ZK=false
regionservers

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

backup-master

vim backup-master

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase-site.xml
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop1,hadoop2,hadoop3</value>
  </property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop1:8020/hbase</value>
  </property>

<property>
  <name>hbase.wal.provider</name>
  <value>filesystem</value>
</property>

分发和权限以及环境变量

环境变量
vim /etc/profile

export HBASE_HOME=/export/server/hbase

export PATH=$PATH:$HBASE_HOME/bin

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

分发
cd /export

scp -r hbase-2.5.5-hadoop3/ hadoop2:`pwd`

scp -r hbase-2.5.5-hadoop3/ hadoop3:`pwd`

hadoop2,3分别创建软连接

ln -s hbase-2.5.5-hadoop2/ hbase

ln -s hbase-2.5.5-hadoop3/ hbase

cd /etc

scp -r profile hadoop2:`pwd`

scp -r profile hadoop3:`pwd`

source  /etc/proflie
权限(都执行)
chown -R hadoop:hadoop /export

chown -R hadoop:hadoop /data

启动

su - hadoop

start-hbase

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop

hbase2.5.6 认证密码,linux,hbase,zookeeper,hadoop文章来源地址https://www.toymoban.com/news/detail-770698.html

到了这里,关于Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境

    网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。 1、机器环境 这里采用三台机器来部署分布式集群环境: 192.168.1.101 hadoop1 (docker管理节点) 192.168.1.102 hadoop2 192.168.1.103 hadoop3 2、下载Docker Hadoop的

    2024年02月02日
    浏览(49)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(45)
  • Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目录 前言: 一、VMware Workstation 二、Ubuntu系统安装 新建虚拟机 三、Ubuntu系统的配置 四、更新apt 五、安装SSH、配置SSH无密码登陆  六、安装Java环境 七、安装 Hadoop3.1.3 八、Hadoop单机配置(非分布式) 九、Hadoop伪分布式配置 前言:         本篇教程由作者本人进行修改,原教

    2024年02月03日
    浏览(46)
  • CentOS7 Hadoop3.3.0 安装与配置

    一、安装JDK 1、创建文件夹tools和training用于存放压缩包和解压使用,tools存放压缩包,training用于解压后安装jdk和hadoop的路径。 1)回到路径为 / 的位置 2) 创建 tools 和 training 3) 进入tools文件夹 4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的 压缩包直接鼠标拖入进去,拖

    2024年02月09日
    浏览(39)
  • Hadoop3.1.3安装教程单机伪分布式配置

    本教程使用 Ubuntu 18.04 64位 作为系统环境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位、64位均可),请自行安装系统。装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用

    2024年02月04日
    浏览(51)
  • Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

    集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.102 hadoop02 从节点 Hadoop完全分布式环境搭建请移步传送门 先在主节点上进行安装和配置,随后分发到各个从节点上。 1.1 解压zookeeper并添加环境变量 1)解压zookeeper到/usr/local文件夹

    2024年02月04日
    浏览(46)
  • Ubuntu22.04 Hadoop3.3.4 jdk18.02 安装配置

    阅读推荐(105条消息) 大数据安装之hadoop-3.3.4_x_y_z423的博客-CSDN博客 (112条消息) hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客 加倍推荐,Hadoop集群配置内容讲的及其详细 基于docker的hadoop集群搭建 xshell Windows 10 Pro, 64-bit VMware® Workstation 16 Pro Ubuntu22.04 * 3 2、VMware tools安装 apt install

    2023年04月11日
    浏览(44)
  • Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆教程

    准备工作 我下载的压缩包是基于 Windows 系统 x86 指令集的,如果你是苹果电脑可能需要选择 ARM 版本 3.21 更新:hadoop 某些功能不支持 JDK11 及以上版本(如网页管理无法查看文件系统),所以下载时选择 JDK8,官网需要登陆甲骨文账号下载 全新的 ubuntu 虚拟机 https://ubuntu.com/downl

    2024年02月07日
    浏览(38)
  • Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置

    华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装图形界面 本篇文章是基于上一篇所配置好的云服务器进行实验软件安装,该系列文章是根据林子雨所讲述的课程就在

    2024年01月21日
    浏览(54)
  • 大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

    **相关资源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,请点击链接获取文件 1.检查是否安装ssh (CentOS 7 即使是最小化安装也已附带openssh 可跳过本步骤) 若已安装进行下一步骤 若未安装 请自行百度 本教程不做过多讲解 2.配置ss

    2023年04月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包