1. Toy模板网首页
  2. > Toy博客

Hadoop 伪分布式搭建(超详细)

9月前 作者：m0_67390969 分类：Toy博客 阅读(62) 违法举报

这篇具有很好参考价值的文章主要介绍了Hadoop 伪分布式搭建(超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Hadoop伪分布式搭建

  • 虚拟机准备阶段操作
    • 安全设置
      • 防火墙相关指令
      • 关闭关闭selinux
    • IP设置
      • 查看机器IP
      • 修改主机名
      • 修改IP及主机名映射
    • SSH免密登陆
  • Hadoop伪分布式搭建
    • JDK配置
      • 解压
      • 配置环境变量
    • Hadoop配置
      • 解压文件
      • 修改配置文件
      • 配置Hadoop环境变量
      • 验证环境变量是否配置成功
      • 格式化NameNode
      • Hadoop起停命令
      • 查看WebUI界面
  • Hadoop 3.0以上看这里

虚拟机准备阶段操作

本文是基于CentOS 7 系统搭建
相关资源下载
链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qqpmA 密码:18uc

安全设置

防火墙相关指令

# 查看防火墙状态
firewall-cmd --state

# 停止防火墙
[root@localhost ~]# systemctl stop firewalld.service

# 禁止防火墙开机自启
[root@localhost ~]# systemctl disable firewalld.service

关闭关闭selinux

[root@localhost ~]# vi /etc/selinux/config

将 SELINUX=enforcing改为 SELINUX=disabled

IP设置

查看机器IP

[root@localhost ~]# ifconfig
ip 为192.168.78.100

修改主机名

[root@localhost ~]# vi /etc/hostname

Hadoop 伪分布式搭建(超详细)

修改IP及主机名映射

[root@localhost ~]# vi /etc/hosts
192.168.78.100	CentOS

SSH免密登陆

[root@localhost ~]# ssh-keygen -t rsa # 生产密钥
# 连续三次回车


# 将密钥发送给需要登陆本机的机器，这里只有一台机器 所以发给自己
[root@localhost ~]# ssh-copy-id root@CentOS

# 测试ssh
[root@localhost ~]# ssh root@CentOS

Hadoop伪分布式搭建

  • 创建 install文件夹

    [root@localhost ~]# mkdir /opt/install/

JDK配置

这里选用JDK8

解压

[root@localhost ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/install/

配置环境变量

[root@localhost jdk1.8.0_144]# vi /etc/profile
# 加入配置 加入位置如下图所示
export JAVA_HOME=/opt/install/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# 保存后刷新环境变量
[root@localhost jdk1.8.0_144]# source /etc/profile

Hadoop 伪分布式搭建(超详细)

# 刷新完 执行命令验证JDK是否安装成功
[root@localhost jdk1.8.0_144]# java -version

成功界面
Hadoop 伪分布式搭建(超详细)

Hadoop配置

解压文件

[root@localhost ~]# tar -zxvf hadoop-2.9.2.tar.gz -C /opt/install/

修改配置文件

[root@localhost ~]# cd /opt/install/hadoop-2.9.2/etc/hadoop

  • hadoop-env.sh

    export JAVA_HOME=/opt/install/jdk1.8.0_144

Hadoop 伪分布式搭建(超详细)

  • core-site.xml

       <!--  用于设置namenode并且作为Java程序的访问入口  -->
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://CentOS:8020</value>
   </property>
   <!--  存储NameNode持久化的数据，DataNode块数据  -->
   <!--  手工创建$HADOOP_HOME/data/tmp  -->
   <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/install/hadoop-2.9.2/data/tmp</value>
   </property>

Hadoop 伪分布式搭建(超详细)

  • hdfs-site.xml

        <property>		
        <name>dfs.replication</name>
        <value>3</value>
    </property>

         <property>
         <name>dfs.permissions.enabled</name>
         <value>false</value>
      </property>
      <property>
          <name>dfs.namenode.http.address</name>
          <value>CentOS:50070</value>
       </property>

Hadoop 伪分布式搭建(超详细)

  • mapred-site.xml
    首先拷贝一个mapred-site.xml

    [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml

       <property>	 	        		
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>

Hadoop 伪分布式搭建(超详细)

  • yarn-site.xml

    yarn.nodemanager.aux-services mapreduce_shuffle

Hadoop 伪分布式搭建(超详细)

  • slaves
    这里配置DataNode的主机名 伪分布式情况下这里NameNode也充当DataNode

    CentOS

Hadoop 伪分布式搭建(超详细)

配置Hadoop环境变量

[root@localhost hadoop-2.9.2]# vim /etc/profile
# 加入
export HADOOP_HOME=/opt/install/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop 伪分布式搭建(超详细)

# 刷新环境变量
[root@localhost hadoop-2.9.2]# source /etc/profile

验证环境变量是否配置成功

[root@localhost hadoop-2.9.2]# hadoop version

Hadoop 伪分布式搭建(超详细)

格式化NameNode

目的作用：格式化hdfs系统，并且生成存储数据块的目录

[root@localhost hadoop-2.9.2]# hadoop namenode -format

格式化成功后如图显示
Hadoop 伪分布式搭建(超详细)

Hadoop起停命令

   start-all.sh
   stop-all.sh

启动成后 jps查看进程
Hadoop 伪分布式搭建(超详细)

查看WebUI界面

http://CentOS:50070 访问 hdfs
http://CentOS:8088 访问 yarn
Hadoop 伪分布式搭建(超详细)
Hadoop 伪分布式搭建(超详细)

Hadoop 3.0以上看这里

在Hadoop3.0后会有一些身份的配置，如果照上面配置 启动后会抛出以下异常:

Starting namenodes on [namenode]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [datanode1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

此时需要去hadoop的sbin目录下做一下小改动

在start-dfs.sh 和 stop-dfs.sh 中 新增！！！：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh 和 stop-yarn.sh 中 新增！！！：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改完保存重启可解决文章来源地址https://www.toymoban.com/news/detail-412098.html

到了这里，关于Hadoop 伪分布式搭建(超详细)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(50)

  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

    目录 环境条件： 1、安装虚拟机（已安装好虚拟机的可跳转至  二、安装JDK与Hadoop） （1）直接新建一台虚拟机 （2）首次启用虚拟机，进行安装 一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录） 1、查看一下本机与虚拟机的网卡和ip信息 （1）

    2024年02月06日
    浏览(46)
  • 搭建伪分布式Hadoop

    搭建伪分布式Hadoop

    在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。 在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否

    2024年02月06日
    浏览(43)
  • Hadoop分布式集群搭建

    Hadoop分布式集群搭建

    集群以三台电脑搭建，每台电脑创建一个UbuntuKylin虚拟机，集群以三台UbuntuKylin虚拟机为基础搭建，虚拟机主机名分别为hadoop101、hadoop111和hadoop121。IP地址分别为192.168.214.101、192.168.214.111和192.168.214.121。 主机名 IP地址： hadoop101 192.168.214.101 hadoop111 192.168.214.111 hadoop121 192.168.214

    2024年02月03日
    浏览(48)
  • Hadoop完全分布式搭建

    Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive，数据仓库学习大数据专业的用的到     注：开启虚拟机把鼠标放入屏幕点击后消失，使用键盘上下键进行选择   注：点击之后，什么都不动，再点击完成（因为它自动帮我们分区了） 注：我们配置

    2024年02月04日
    浏览(45)
  • 搭建完全分布式Hadoop

    搭建完全分布式Hadoop

    登录三个虚拟机 执行命令： vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令： tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令： vim /etc/profile 存盘退出，执行命令： source /etc/profile ，让配置生效 查看had

    2024年02月04日
    浏览(53)
  • Hadoop完全分布式集群搭建

    Hadoop完全分布式集群搭建

    1.在虚拟机关机的状态下选择克隆 2.开始克隆 3.选择从当前状态创建 4.创建一个完整的克隆 5.选择新的虚拟机存储位置（选择内存充足的磁盘） 6.开始克隆 7.克隆完成 8.同样的方法克隆第二台虚拟机 9.在计算机中存在三台虚拟机 将第一台虚拟机更名为hadoop01 修改hadoop01的主机

    2024年02月02日
    浏览(45)

  • hadoop平台完全分布式搭建

    安装前准备 一、设置ssh免密登录 1.编辑hosts文件，添加主机名映射内容 vim  /etc/hosts 添加内容： 172.17.0.2      master 172.17.0.3      slave1 172.17.0.4      slave2 2.生成公钥和私钥 ssh-keygen –t rsa 然后按三次回车 3.复制公钥到其他容器（包括自己） ssh-copy-id master ssh-copy-id slav

    2024年03月17日
    浏览(45)
  • Hadoop 完全分布式集群搭建

    Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop运行模式及目录结构-CSDN博客 服务 hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安装 Neokylin7.0 用于搭建 Had

    2024年02月04日
    浏览(55)
  • Hadoop分布式集群搭建教程

    Hadoop分布式集群搭建教程

    大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程 搭建Haoop分布式集群所需环境： VMware：VMware-workstation-full-17.0.2-21581411 CentOS：CentOS-7-x86_64-DVD-2003， Hadoop：hadoop-3.1.3.tar JDK：jdk-8u212-linux-x64.tar.gz 新建虚拟机 设置用户 命名虚拟机 自定义硬件，完成虚拟机创建 开始

    2024年02月08日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包