Centos7系统下搭建Hadoop 3.3.6

这篇具有很好参考价值的文章主要介绍了Centos7系统下搭建Hadoop 3.3.6。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本次使用3台服务器进行安装Hadoop。其中服务器系统均为Centos7.6、Hadoop版本为3.3.6、jdk版本为1.8.0_371。
################################################################################################
此外,大数据系列教程还在持续的更新中(包括跑一些实例、安装数据库、spark、mapreduce、hive等),欢迎大家关注我

基础环境部署

服务器基础环境部署

主机更名

为了使主机间通信更为方便,同时为了更好辨别各个主机,我们先将主机进行更名。

查看主机名cat /etc/hostname
Centos7系统下搭建Hadoop 3.3.6,大数据,hadoop,大数据,分布式
如果发现需要修改主机名,则使用 hostnamectl set-hostname 主机名,修改完成后重新登陆即可实现修改,这里分别将主机名改为Hadoop01、Hadoop02、Hadoop03。

设置host映射

修改hosts表vim /etc/hosts

新增(根据自身机器情况分别填入3个虚拟机的ip及对应名称)

192.168.10.150 hadoop01

192.168.10.151 hadoop02

192.168.10.152 hadoop03
Centos7系统下搭建Hadoop 3.3.6,大数据,hadoop,大数据,分布式

关闭防火墙、设置ssh免密登录、服务器时间同步、创建统一工作目录

临时关闭防火墙systemctl stop firewalld.service

禁止防火墙开机自启动systemctl disable firewalld.service

设置ssh 公钥 私钥免密登录

在三台主机(hadoop01、hadoop02、hadoop03)上,分别输入以下命令:

ssh-keygen -t rsa
//向各个虚拟机拷贝公钥(拷贝时,要输入主机密码)
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

服务器时间同步

安装 ntpyum -y install ntp

同步时间,这里以阿里云3号服务器为例ntpdate ntp3.aliyun.com
Centos7系统下搭建Hadoop 3.3.6,大数据,hadoop,大数据,分布式
创建统一工作目录(分别为服务、数据、软件,三台主机都要创建)

mkdir -p /export/server/
mkdir -p /export/data/
mkdir -p /export/software/

jdk的下载与安装

Hadoop01机器的jdk下载与安装

本次选用jdk-8u371的版本。下载地址

https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html

将软件上传至/export/server/路径下,解压缩并删除原安装包。

解压命令:tar -zxvf jdk-8u371-linux-x64.tar.gz

修改配置文件/etc/profile,配置环境变量

输入命令:vim /etc/profile

快捷键G o跳转文件最后一行,写入以下配置文件(具体路径根据自身机器情况修改):

export JAVA_HOME=/export/server/jdk1.8.0_371
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

保存后重新加载配置source /etc/profile

输入java -version测试是否成功(若出现java版本则为配置成功)

远程分发给其余两台机器

文件拷贝与环境变量拷贝

scp -r /export/server/jdk1.8.0_371/ root@hadoop02:/export/server/
scp -r /export/server/jdk1.8.0_371/ root@hadoop03:/export/server/
scp /etc/profile root@hadoop02: /etc/
scp /etc/profile root@hadoop03: /etc/

输入命令重新加载配置:source /etc/profile

输入java -version测试是否成功(若出现java版本则为配置成功)
Centos7系统下搭建Hadoop 3.3.6,大数据,hadoop,大数据,分布式

Hadoop的下载与安装

Hadoop的下载

本次选用3.3.6的版本。下载地址

Apache Hadoop

将软件上传至/export/server/路径下,解压缩并删除原安装包。

解压命令:tar -zxvf hadoop-3.3.6.tar.gz

修改Hadoop配置文件

文件1 路径/export/server/hadoop-3.3.6/etc/Hadoop/hadoop-env.sh文件尾部添加

export JAVA_HOME=/export/server/jdk1.8.0_371
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#注意将jdk目录改为实际目录

文件2 路径/export/server/hadoop-3.3.6/etc/Hadoop/core-site.xml

将以下配置文件复制到<configuration>``</configuration>之间

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
    <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>

    <!-- 设置Hadoop本地保存数据路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop-3.3.6</value>
    </property>

    <!-- 设置HDFS web UI用户身份 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

    <!-- 整合hive 用户代理设置 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

    <!-- 文件系统垃圾桶保存时间 -->
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
</property>

文件3 路径/export/server/hadoop-3.3.6/etc/Hadoop/hdfs-site.xml

将以下配置文件复制到<configuration> </configuration>之间

<!-- 设置SNN进程运行机器位置信息 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:9868</value>
    </property>

文件4 路径/export/server/hadoop-3.3.6/etc/Hadoop/mapred-site.xml

将以下配置文件复制到<configuration> </configuration>之间

<!-- 设置MR程序默认运行模式: yarn集群模式 local本地模式 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

    <!-- MR程序历史服务地址 -->
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>hadoop01:10020</value>
    </property>

    <!-- MR程序历史服务器web端地址 -->
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>hadoop01:19888</value>
    </property>

    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

文件5 路径/export/server/hadoop-3.3.6/etc/Hadoop/yarn-site.xml

将以下配置文件复制到<configuration> </configuration>之间

<!-- 设置YARN集群主角色运行机器位置 -->
    <!-- 设置YARN集群主角色运行机器位置 -->
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop02</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 是否将对容器实施物理内存限制 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <!-- 是否将对容器实施虚拟内存限制。 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!-- 开启日志聚集 -->
    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>

    <!-- 设置yarn历史服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop02:19888/jobhistory/logs</value>
    </property>

    <!-- 历史日志保存的时间 7天 -->
    <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>

文件6 路径/export/server/hadoop-3.3.6/etc/Hadoop/workers

将以下配置文件复制到文件中(该步骤为告诉机器hadoop工作的各个虚拟机)

hadoop01
hadoop02
hadoop03

将hadoop添加到环境变量中

输入命令vim /etc/profile

#文件尾部添加以下内容
export HADOOP_HOME=/export/server/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后输入命令source /etc/profile

配置文件部分完成

远程拷贝文件

配置文件拷贝与环境变量拷贝

scp -r /export/server/hadoop-3.3.6 root@hadoop02:/export/server/
scp -r /export/server/hadoop-3.3.6 root@hadoop03:/export/server/
scp /etc/profile root@hadoop02: /etc/
scp /etc/profile root@hadoop03: /etc/

在其他的两台机器上输入命令source /etc/profile之后,输入hadoop测试hadoop安装是否正常。

HDFS NameNode format格式化(初始化)

输入命令hdfs namenode -format之后,若返回命令中含有Storage directory则代表成功。
Centos7系统下搭建Hadoop 3.3.6,大数据,hadoop,大数据,分布式文章来源地址https://www.toymoban.com/news/detail-735228.html

到了这里,关于Centos7系统下搭建Hadoop 3.3.6的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Master运行WordCount

    本系列文章索引以及一些默认好的条件在 传送门 首先需要明确eclipse安装目录,然后将hadoop-eclipse-plugin_版本号.jar插件放在安装目录的dropins下 关于插件,可以通过博主上传到csdn的免费资源获取,链接 具体版本可以自己选择: 在eclipse界面中依次选择:Window→show view→other→

    2023年04月09日
    浏览(65)
  • Centos7系统下搭建Hadoop 3.3.6

    本次使用3台服务器进行安装Hadoop。其中服务器系统均为Centos7.6、Hadoop版本为3.3.6、jdk版本为1.8.0_371。 ################################################################################################ 此外,大数据系列教程还在持续的更新中(包括跑一些实例、安装数据库、spark、mapreduce、hive等),

    2024年02月06日
    浏览(39)
  • 大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

    **相关资源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,请点击链接获取文件 1.检查是否安装ssh (CentOS 7 即使是最小化安装也已附带openssh 可跳过本步骤) 若已安装进行下一步骤 若未安装 请自行百度 本教程不做过多讲解 2.配置ss

    2023年04月08日
    浏览(40)
  • CentOS7搭建hadoop集群

    说明:         1.准备三台虚拟机,参考:CentOS7集群环境搭建(以3台为例)         2.配置虚拟机间免密登陆:参考:CentOS7集群配置免密登录         3.虚拟机分别安装jdk:参考:CentOS7集群安装JDK1.8         4.hadoop安装包下载,下载地址 准备开始搭建hadoop集群,以下操作在第

    2024年02月09日
    浏览(54)
  • centOS 7下Hadoop伪分布式搭建

    记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺。 步骤 第一步:先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos 名称自定义,主机我写的是IP地址,需要去centOS的终端输入ifconfig,划黄线的是IP地址    用户名如果在安装cent

    2023年04月25日
    浏览(31)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    虚拟机相关: VMware workstation 16:虚拟机 vmware_177981.zip CentOS Stream 9:虚拟机 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相关 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 辅助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相关资源可以

    2024年04月14日
    浏览(50)
  • Centos7原生hadoop环境,搭建Impala集群和负载均衡配置

    Impala集群包含一个Catalog Server (Catalogd)、一个Statestore Server (Statestored) 和若干个Impala Daemon (Impalad)。Catalogd主要负责元数据的获取和DDL的执行,Statestored主要负责消息/元数据的广播,Impalad主要负责查询的接收和执行。 Impalad又可配置为coordinator only、 executor only 或coordinator and exe

    2024年02月04日
    浏览(56)
  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(53)
  • hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    本次搭建完全分布式集群用到的环境有: jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com/dk7WgaVk 密码:553ubk 本次完全分布式集群搭建需要提前建立好三台虚拟机,我分别把它们的主机名命名为:master,slave1,slave2 一.配置免密登陆 首先

    2024年02月10日
    浏览(48)
  • 大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

    目录 Hadoop运行模式——完全分布式 1、准备3台虚拟机(关闭防火墙、配置静态IP 和 主机名称) 2、安装JDK 和 Hadoop 并配置JDK和Hadoop的环境变量 3、配置完全分布式集群 4、集群配置 1)集群部署规划 2)配置文件说明 3)配置集群 5、集群启动 与 测试 1)workers的配置 2)启动集

    2024年02月21日
    浏览(98)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包