1. Toy模板网首页
  2. > Toy博客

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

9月前 作者：狻猊来当程序媛 分类：Toy博客 阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

软件：VM Ware

iso镜像：CentOS7

Hadoop版本：Hadoop-3.3.3

目录

一、创建虚拟机并安装CentOS系统

二、静态网络配置

三、安装Hadoop

1.下载Hadoop安装包

2.下载JDK安装包

3. 安装过程

4.克隆虚拟机 

5.配置hoats文件和免密登录

6.Hadoop集群节点配置

7.格式化并启动节点

【好了之后一定要快照！！！避免重新安装！！】

【一起从0开始学Hadoop！！！】

一、创建虚拟机并安装CentOS系统

# 切换成root用户
su

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 检查网络是否连通
ping www.baidu.com

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# centOS换源
https://blog.csdn.net/qq_35261940/article/details/122019530
# 安装net-tools
 yum upgrade
 yum install net-tools
  • yum upgrade

        需要输入y，确保继续运行

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

  • yum install net-tools

【这种情况是已经存在了，所以什么都不用做，如果没有，等待安装完成就行】

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

二、静态网络配置

# 查看防火墙状态
systemctl status firewalld.service

# 关闭防火墙
systemctl stop firewalld.service

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 查看ip地址和Mac地址（ens33 的 enter 后面）
ifconfig

# 这里我的ip地址是192.168.50.160
# Mac地址是00:0c:29:e5:8a:93

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 配置网络文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33

【使用 i 进入编辑模式，依次按下 esc   :   输入wq 后按回车键，进行保存并退出】
BOOTPROTO的值设置为static

ONBOOT的值设置为yes

子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1：8.8.8.8

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 重启网络服务，检查是否配置成功
systemctl restart network
ping www.baidu.com

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 重启虚拟机，检查是否在ip没有改变的情况下仍然能连通网络
reboot
ifconfig
ping www.baidu.com

三、安装Hadoop

# 新建目录
mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

1.下载Hadoop安装包

  • 方法一：通过Filezilla传至虚拟机

Index of /dist/hadoop/common/hadoop-3.1.3

  • 方法二：通过wget下载
wget https://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

 2.下载JDK安装包

# 官网下载JDK版本
https://www.oracle.com/java/technologies/javase-downloads.html

# 上传至 /export/software 文件夹下
使用 Filezilla 进行上传

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

3. 安装过程

# 解压压缩包

tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/servers/
tar -zxvf hadoop-3.3.3.tar.gz -C /export/servers/

# ls 查看一下解压缩后的内容

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 配置java环境

vi /etc/profile      # 编辑profile配置文件

# 添加以下内容
  export JAVA_HOME=/export/servers/jdk1.8.0_361
  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$JAVA_HOME/bin:$PATH

# 保存文件
esc
:wq

 Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 更新配置文件
source /etc/profile

# 查看 java 版本
java -version

javac

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 配置Hadoop
vi /etc/profile


# 在文件末尾添加以下内容
export HADOOP_HOME=/export/servers/hadoop-3.3.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 保存文件
esc  :wq

# 更新文件
source /etc/profile

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 查看是否配置成功
hadoop version

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

4.克隆虚拟机 

先去下面配置完集群再克隆，就不用最后一个问题解决了。

如果按先克隆，最后在格式化之前，将server01,server02的配置文件修改完再格式化也不会出问题。

# 修改虚拟机主机名

# 查看现在的名字
hostname

# 修改第一台为master
hostnamectl1 set-hoatname master

# hostname再次查看一下，是否修改成功
hostname

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 克隆两台虚拟机
# 关机后，右键相应虚拟机->管理->克隆

选择创建完整克隆

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

一个起名字server01，另一个起名字server02

 Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

5.配置hoats文件和免密登录

# 分别修改主机名
hostnamectl set-hostname server01
hostnamectl set-hostname server02
# 分别修改网络配置
# 查看Mac地址
ifconfig   

# 进入root用户
su


# 配置ip地址,保证三台虚拟机在同一个网段
vi /etc/sysconfig/network-scripts/ifcfg-ens33

# server01的配置为192.168.50.161
# server02的配置为192.168.50.162

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

 部分文件内容修改如下

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 重启网络，检查是否连通
systemctl restart network
ping www.baidu.com

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

 此时用ifconfig检查ip，发现已经修改成功

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

修改hosts文件

vi /etc/hosts

# 添加以下内容
192.168.50.160 master
192.168.50.161 server01
192.168.50.162 server02

# 保存并退出


# 检查节点是否配置成功
ping master
# ping slave1
# ping slave2

配置免密登录

# master主机上生成密钥文件(四次回车)
ssh-keygen -t rsa

 Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 本机密钥复制到另外的机器（三台主机都执行）
ssh-copy-id master
ssh-copy-id server01
ssh-copy-id server02

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 检查是否成功免密登录，
# master执行
ssh server01

# server01执行
ssh server02

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

6.Hadoop集群节点配置

# 进入主节点配置目录
cd /export/servers/hadoop-3.3.3/etc/hadoop/

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 修改配置文件(三台机器都配置)
vi hadoop-env.sh

# 修改JAVEHOME（找到这句话，等号后面输入这个）
export JAVA_HOME=/export/servers/jdk
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

# 保存并退出

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 修改core-site.xml文件
vi core-site.xml

添加以下内容：


<configuration>
    <!--用于设置Hadoop的文件系统，由URI指定-->
    <property>
        <name>fs.defaultFS</name>
        <!--用于指定namenode地址在hadoop01机器上-->
        <value>hdfs://hadoop01:9000</value>
    </property>
    <!--配置Hadoop的临时目录，默认/tem/hadoop-${user.name}-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-2.7.4/tmp</value>
    </property>
</configuration>

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 修改hdfs-site.xml文件
vi hdfs-site.xml

添加以下内容：

<configuration>
    <!--指定HDFS的数量-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--secondary namenode 所在主机的IP和端口-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>server01:50090</value>
    </property>
</configuration>

# 进行文件备份
cp mapred-site.xml.template mapred-site.xml**


# 修改mapred-site.xml文件
vi mapred-site.xml

添加以下内容：

<configuration>
    <!--指定MapReduce运行时的框架，这里指定在YARN上，默认在local-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.3.3</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.3.3</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=/export/servers/hadoop-3.3.3</value>
        </property>
</configuration>
# 编辑文件
vi yarn-site.xml

添加以下内容

<configuration>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

# 修改slaves文件
# 将文件中的localhost删除，添加主节点和子节点的主机名称
# 主节点master，子节点server01,server02
vi workers      # hadoop3.x不使用slaves了

 Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

7.格式化并启动节点

# master上格式化节点
hdfs namenode -format

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

报错，发现没有设置用户

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

编辑资源文件

# 编辑资源文件
vi ~/.bash_profile

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

添加以下内容

export HADOOP_HOME=/export/servers/hadoop-3.3.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

 保存后更新资源文件

 Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

# 查看启动情况
jps

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

问题解决：

【发现子节点没有datanode】

# 停止所有集群
stop-all.sh

【重新格式化集群】

# 删除$HADOOP_HOME下的tmp目录下的所有文件
# 删除logs下的所有文件
【三台机器，只有master有tmp目录】

再次格式化就行

8.Linux里查看

在web中检查

【虚拟机中使用火狐浏览器】

在浏览器地址栏中输入http://master:9870/，检查NameNode和DataNode是否正常；【3.0.0之前使用50070端口】

在浏览器地址栏中输入http://master:8088/，检查YARN是否正常

10.windows里查看

去C:\Windows\System32\drivers\etc

管理员方式打开hosts文件

添加

192.168.50.160 master

192.168.50.161 server01

192.168.50.162 server02

然后在浏览器中输入上面的网址

11.运行实例检查

cd hadoop-3.3.3/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-3.3.3.jar pi 10 10

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)

Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)文章来源地址https://www.toymoban.com/news/detail-436658.html

【好了之后一定要快照！！！避免重新安装！！】

到了这里，关于Hadoop学习（一）——环境配置(特别顺利版！！！已经排坑了)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【深度学习环境搭建】Windows搭建Anaconda3、已经Pytorch的GPU版本

    【深度学习环境搭建】Windows搭建Anaconda3、已经Pytorch的GPU版本

    无脑下载安装包安装（自行百度） 注意点： 1、用户目录下的.condarc需要配置（自定义环境的地址（别忘了给文件夹加权限）；镜像源） 1、先看你的显卡版本 Win +R - 输入命令nvidia-smi，看你的cuda版本 2.下载离线版本安装包（在线也行，只要你有耐心） https://download.pytorch.org

    2024年02月02日
    浏览(63)

  • hadoop环境配置及HDFS配置

    环境与配置 centos8 hadoop 3.3.5 安装步骤 创建一个虚拟机,克隆三个虚拟机,master内存改大一点4G,salve内存1Gj 参考链接: https://blog.csdn.net/alfiy/article/details/122279914 报错参考: https://blog.csdn.net/weixin_41891385/article/details/118631106

    2024年02月08日
    浏览(44)
  • Hadoop集群环境配置搭建

    Hadoop集群环境配置搭建

    Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene，这个搜索引擎在2001年成为Apache基金会的一个子项目，也是 ElasticSearch等重要搜索引擎的底层基础。 项目官方：https://hadoop.apache.org/ 首先准备三台Linux服务器，预装CentOS7。三台服务器之间需要网络互通。本地

    2024年02月03日
    浏览(37)
  • hadoop——环境配置

    hadoop——环境配置

    之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装，所以就不再从头演示，直接在这基础上接着讲了 鼠标右键点击有深蓝色底纹文件名为hadoop的文件，在弹出的选项中选择 设置——选项，全选然后复制工作目录下的文件路径，到

    2024年02月08日
    浏览(40)

  • Hadoop 环境配置

    Hadoop完全分布式集群配置 样板机配置 一、 安装系统 ​ 这里使用的虚拟机是VMware，在安装好虚拟机之后利用Ubuntu ISO镜像文件安装Ubuntu操作系统。 因为使用的是老版本系统所以需要做如下操作，方便后续操作。 （1） 关闭系统更新 ​ 通过图形界面设置处即可操作。 （2） 切

    2024年02月05日
    浏览(41)
  • 4.Hadoop环境配置

    4.Hadoop环境配置

    安装前先做好节点规划，完全分布式目前规划1个主节点（Master）和2个从节点（Slave）一共三个节点。 部署规划要求： NameNode和SecondaryNameNode不要安装在同一台服务器。 ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop102 hadoop103 hadoop104 HDFS

    2023年04月10日
    浏览(32)
  • 一、 配置安装hadoop环境

    一、 配置安装hadoop环境

    一、 配置安装hadoop环境 1.1 在虚拟机安装linux操作系统 1）使用的虚拟机为VMware Workstation Pro 2） 新建虚拟机 1.2使用MobaXterm_Personal_22.1管理linux系统 1)MobaXterm主要用于操作linux系统，可以同时登录多态linux服务器进行操作。 2)使用MobaXterm登录linux系统 1.3 jdk的安装步骤 1）卸载原有

    2024年02月05日
    浏览(41)
  • 【Hadoop】大数据开发环境配置

    【Hadoop】大数据开发环境配置

    进入ifcfg-ens33文件 先修改 BOOTPROTO 参数，将之前的dhcp改为static； IPADDR 中192.168.152是取自虚拟机中虚拟网络编辑器中子网地址的值，最后的100是自定义的，这个值可以取3~254之间的任意一个数值； GATEWAY 和 DNS1 设置为网关IP； 先设置临时主机名 设置永久主机名并生效 验证主机

    2024年02月12日
    浏览(44)
  • hadoop修改配置文件和环境变量

    hadoop修改配置文件和环境变量

    在我们安装好hadoop之后，需要对其内部的一些配置文件进行修改，以满足特定的需求和环境，确保Hadoop集群的正常运行和数据的正确处理。 我们要修改的就是主要的自定义配置文件。 进入配置文件所在路径，它们位于 $HADOOP_HOME/etc/hadoop 这个路径下，在我这就是 /export/server

    2024年02月07日
    浏览(38)
  • Hadoop第一课之环境配置

    Hadoop第一课之环境配置

    要求：IP DNS地址页 网址 防火墙 安装包 1.ip ifconfig 查询 先用虚拟机看一下自己的网关 vim search/provides 命令 查找 2.网址 这个根据网关设置 3.关闭防火墙 4.安装包 1.创建用户 先创建一个用户用于hadoop的使用(工作的时候没有root权限) 创建目录存安装包和程序,并赋予刚才创建的用

    2024年02月16日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包