1. Toy模板网首页
  2. > Toy博客

Hadoop 伪分布式搭建(超详细)

7月前 作者：m0_67390969 分类：Toy博客 阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了Hadoop 伪分布式搭建(超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Hadoop伪分布式搭建

  • 虚拟机准备阶段操作
    • 安全设置
      • 防火墙相关指令
      • 关闭关闭selinux
    • IP设置
      • 查看机器IP
      • 修改主机名
      • 修改IP及主机名映射
    • SSH免密登陆
  • Hadoop伪分布式搭建
    • JDK配置
      • 解压
      • 配置环境变量
    • Hadoop配置
      • 解压文件
      • 修改配置文件
      • 配置Hadoop环境变量
      • 验证环境变量是否配置成功
      • 格式化NameNode
      • Hadoop起停命令
      • 查看WebUI界面
  • Hadoop 3.0以上看这里

虚拟机准备阶段操作

本文是基于CentOS 7 系统搭建
相关资源下载
链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qqpmA 密码:18uc

安全设置

防火墙相关指令

# 查看防火墙状态
firewall-cmd --state

# 停止防火墙
[root@localhost ~]# systemctl stop firewalld.service

# 禁止防火墙开机自启
[root@localhost ~]# systemctl disable firewalld.service

关闭关闭selinux

[root@localhost ~]# vi /etc/selinux/config

将 SELINUX=enforcing改为 SELINUX=disabled

IP设置

查看机器IP

[root@localhost ~]# ifconfig
ip 为192.168.78.100

修改主机名

[root@localhost ~]# vi /etc/hostname

Hadoop 伪分布式搭建(超详细)

修改IP及主机名映射

[root@localhost ~]# vi /etc/hosts
192.168.78.100	CentOS

SSH免密登陆

[root@localhost ~]# ssh-keygen -t rsa # 生产密钥
# 连续三次回车


# 将密钥发送给需要登陆本机的机器，这里只有一台机器 所以发给自己
[root@localhost ~]# ssh-copy-id root@CentOS

# 测试ssh
[root@localhost ~]# ssh root@CentOS

Hadoop伪分布式搭建

  • 创建 install文件夹

    [root@localhost ~]# mkdir /opt/install/

JDK配置

这里选用JDK8

解压

[root@localhost ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/install/

配置环境变量

[root@localhost jdk1.8.0_144]# vi /etc/profile
# 加入配置 加入位置如下图所示
export JAVA_HOME=/opt/install/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# 保存后刷新环境变量
[root@localhost jdk1.8.0_144]# source /etc/profile

Hadoop 伪分布式搭建(超详细)

# 刷新完 执行命令验证JDK是否安装成功
[root@localhost jdk1.8.0_144]# java -version

成功界面
Hadoop 伪分布式搭建(超详细)

Hadoop配置

解压文件

[root@localhost ~]# tar -zxvf hadoop-2.9.2.tar.gz -C /opt/install/

修改配置文件

[root@localhost ~]# cd /opt/install/hadoop-2.9.2/etc/hadoop

  • hadoop-env.sh

    export JAVA_HOME=/opt/install/jdk1.8.0_144

Hadoop 伪分布式搭建(超详细)

  • core-site.xml

       <!--  用于设置namenode并且作为Java程序的访问入口  -->
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://CentOS:8020</value>
   </property>
   <!--  存储NameNode持久化的数据，DataNode块数据  -->
   <!--  手工创建$HADOOP_HOME/data/tmp  -->
   <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/install/hadoop-2.9.2/data/tmp</value>
   </property>

Hadoop 伪分布式搭建(超详细)

  • hdfs-site.xml

        <property>		
        <name>dfs.replication</name>
        <value>3</value>
    </property>

         <property>
         <name>dfs.permissions.enabled</name>
         <value>false</value>
      </property>
      <property>
          <name>dfs.namenode.http.address</name>
          <value>CentOS:50070</value>
       </property>

Hadoop 伪分布式搭建(超详细)

  • mapred-site.xml
    首先拷贝一个mapred-site.xml

    [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml

       <property>	 	        		
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>

Hadoop 伪分布式搭建(超详细)

  • yarn-site.xml

    yarn.nodemanager.aux-services mapreduce_shuffle

Hadoop 伪分布式搭建(超详细)

  • slaves
    这里配置DataNode的主机名 伪分布式情况下这里NameNode也充当DataNode

    CentOS

Hadoop 伪分布式搭建(超详细)

配置Hadoop环境变量

[root@localhost hadoop-2.9.2]# vim /etc/profile
# 加入
export HADOOP_HOME=/opt/install/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop 伪分布式搭建(超详细)

# 刷新环境变量
[root@localhost hadoop-2.9.2]# source /etc/profile

验证环境变量是否配置成功

[root@localhost hadoop-2.9.2]# hadoop version

Hadoop 伪分布式搭建(超详细)

格式化NameNode

目的作用：格式化hdfs系统，并且生成存储数据块的目录

[root@localhost hadoop-2.9.2]# hadoop namenode -format

格式化成功后如图显示
Hadoop 伪分布式搭建(超详细)

Hadoop起停命令

   start-all.sh
   stop-all.sh

启动成后 jps查看进程
Hadoop 伪分布式搭建(超详细)

查看WebUI界面

http://CentOS:50070 访问 hdfs
http://CentOS:8088 访问 yarn
Hadoop 伪分布式搭建(超详细)
Hadoop 伪分布式搭建(超详细)

Hadoop 3.0以上看这里

在Hadoop3.0后会有一些身份的配置，如果照上面配置 启动后会抛出以下异常:

Starting namenodes on [namenode]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [datanode1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

此时需要去hadoop的sbin目录下做一下小改动

在start-dfs.sh 和 stop-dfs.sh 中 新增！！！：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh 和 stop-yarn.sh 中 新增！！！：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改完保存重启可解决文章来源地址https://www.toymoban.com/news/detail-412098.html

到了这里，关于Hadoop 伪分布式搭建(超详细)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(35)

  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

    目录 环境条件： 1、安装虚拟机（已安装好虚拟机的可跳转至  二、安装JDK与Hadoop） （1）直接新建一台虚拟机 （2）首次启用虚拟机，进行安装 一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录） 1、查看一下本机与虚拟机的网卡和ip信息 （1）

    2024年02月06日
    浏览(41)
  • 搭建完全分布式Hadoop

    搭建完全分布式Hadoop

    登录三个虚拟机 执行命令： vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令： vim /etc/profile 存盘退出，执行命令： source /etc/profile ，让配置生效 查看had

    2024年02月04日
    浏览(39)
  • Hadoop分布式集群搭建

    Hadoop分布式集群搭建

    集群以三台电脑搭建，每台电脑创建一个UbuntuKylin虚拟机，集群以三台UbuntuKylin虚拟机为基础搭建，虚拟机主机名分别为hadoop101、hadoop111和hadoop121。IP地址分别为192.168.214.101、192.168.214.111和192.168.214.121。 主机名 IP地址： hadoop101 192.168.214.101 hadoop111 192.168.214.111 hadoop121 192.168.214

    2024年02月03日
    浏览(36)
  • Hadoop完全分布式搭建

    Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive，数据仓库学习大数据专业的用的到     注：开启虚拟机把鼠标放入屏幕点击后消失，使用键盘上下键进行选择   注：点击之后，什么都不动，再点击完成（因为它自动帮我们分区了） 注：我们配置

    2024年02月04日
    浏览(36)
  • 搭建伪分布式Hadoop

    搭建伪分布式Hadoop

    在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。 在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否

    2024年02月06日
    浏览(27)
  • 【Hadoop】完全分布式集群搭建

    【Hadoop】完全分布式集群搭建

    大家好，我是向阳花花花花，这篇文章是我历时三天，推翻重做两小时进行搭建的Hadoop集群（完全分布式）个人笔记和感想，收录于初心的《大数据》专栏。 🏠 个人主页：初心%个人主页 🧑 个人简介：大家好，我是初心，一名正在努力的双非二本院校计算机专业学生 💕

    2024年02月15日
    浏览(28)
  • Hadoop的完全分布式搭建

    Hadoop的完全分布式搭建

    主机名 Hadoop10 Hadoop11 Hadoop12 网络 192.168.10.10 192.168.10.11 192.168.10.12 用户 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安装虚拟机系统,省略 第一步:网卡配置 使用 vi 编辑器编辑系统的网卡配置文件,配置以下

    2024年02月08日
    浏览(32)
  • Hadoop 完全分布式集群搭建

    Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop运行模式及目录结构-CSDN博客 服务 hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安装 Neokylin7.0 用于搭建 Had

    2024年02月04日
    浏览(42)
  • Hadoop完全分布式集群搭建

    Hadoop完全分布式集群搭建

    1.在虚拟机关机的状态下选择克隆 2.开始克隆 3.选择从当前状态创建 4.创建一个完整的克隆 5.选择新的虚拟机存储位置（选择内存充足的磁盘） 6.开始克隆 7.克隆完成 8.同样的方法克隆第二台虚拟机 9.在计算机中存在三台虚拟机 将第一台虚拟机更名为hadoop01 修改hadoop01的主机

    2024年02月02日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包