Hadoop伪分布搭建完整步骤

这篇具有很好参考价值的文章主要介绍了Hadoop伪分布搭建完整步骤。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.新建虚拟机配置网络并测试网络连接

1.鼠标单击左侧虚拟机名称,接着单击菜单栏“编辑”,在下拉菜单中选择“虚拟网络适配器”, 如图 1-2-20 所示。 

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

4.在打开的“虚拟网络编辑器”对话框,单击“NAT 设置”按钮,将网关的 IP 地址设置“192.168.110.2”

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

 5.修改网络适配器配置文件。输入命令“cd /etc/sysconfig/network-scripts”按回车键,在输入ls查看网络名称

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

然后输入命令“vi ifcfg-ens33”按回车键,先按“i”字母键,修改内容如下: 

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

6.关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

网络重置

service network restart

测试互联网

ping www.baidu.com

2.修改主机名及主机名与IP映射

1.启动linux系统,输入用户名和密码

2.查看用户名

hostname
或者hostnamectl

3.使用hostnamectl set-hostname master将主机名修改为master

或者在文件/etc/sysconfig/network 里修改主机名。在任何目录下执行命令cd /etc/sysconfig,切换到该目录并查看目录下的文件,可以发现存在文件 network,

执行命令vi network 回车,编辑其中内容:

NETWORKING=yes
HOSTNAME=master

系统重新启动,执行reboot

3.安装JDK

1.用 CRT 将 jdk-8u171-linux-x64.tar.gz上传到 Linux 系统里

2.切换为root用户 su –root;

3.mkdir /simple,创建目录;

4.

​## 解压jdk文件到simple目录下
tar -zxvf jdk-8u171-linux-x64.tar.gz /simple/

5.解压之后,执行命令 cd /simple,ll /simple,可以看到/simple 目录下多了一个解压后的JDK 文件

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

6.修改 JDK 环境变量,执行命令 vi /etc/profile,并“i”进入编辑内容,在文件最后添加下面的

export JAVA_HOME=/simple/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

在文件里编辑完成后按 Esc 接着 shift+“:”,输入“wq”保存并退出

7.编辑完成之后使配置文件生效,

source /etc/profile

8.完成以上步骤之后,需要测试环境变量是否配置成功,任何目录下输入 java -version,如果正确显示了 java 版本号,则表示配置成功,

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

4.安装伪分布式Hadoop

1.用 CRT 软件将 Hadoop-2.7.7.tar.gz 上传到 centos7 系统的/simple/software;

2.tar -zxvf hadoop-2.7.7.tar.gz –C /simple/ 解压到/simple 目录

3.在/simple/hadoop-2.7.7/etc/hadoop 目录下 hadoop-env.sh中添加如下内容:

hadoop伪分布式搭建全过程,hadoop学习,hadoop,大数据,linux

 4.修改配置文件core-site.xml

<configuration>
<property>
<!--指定 fs 缺省名称-->
<name>fs.default.name</name>
<value>hdfs://虚拟机名(或IP地址):9000</value>
</property>
<!--指定 HDFS 的 Namenode 的缺省路径地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://虚拟机名(或 IP 地址):9000</value>
</property>
<!--指定 hadoop 运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/simple/hadoop-2.7.7/tmp</value>
</property>
</configuration>

5.修改文件hdfs-site.xml

​<configuration>
<!--指定 hadoop 副本数-->
<property>
<name>dfs.replication </name>
<value>1</value>
</property>
<!--指定 namenode 存储目录-->
<property>
<name>dfs.name.dir</name>
<value>/simple/hadoop-2.7.7/hdfs/name</value>
</property>
<!--指定 datanode 存储目录-->
<property>
<name>dfs.data.dir</name>
<value>/simple/hadoop-2.7.7/hdfs/data</value>
</property>
</configuration>​

6.修改文件mapred-site.xml

<!--指定 hadoop 计算系统为 yarn-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

7.修改文件yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>虚拟机名(或者虚拟机 IP 地址)</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

8.执行命令 vi /etc/profile,把 Hadoop 的安装目录配置到环境变量中。

export JAVA_HOME=/simple/jdk1.8.0_171
export HADOOP_HOME=/simple/hadoop-2.7.7
export PATH=$JAVA_HOME/bin:$JAVA_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

9.让配置文件生效 ;

source /etc/profile

10.格式化命令

hdfs namenode -format 
或者 hadoop namenode -format 

格式化命令只能 1 次,多次执行就会造成 namenode 与 datanode 的 ID 值不一致,namenode 无法启动

12.start-dfs.sh,启动 HDFS 系统;

13.start-yarn.sh,启动 Yarn 进程;

14.在浏览器地址栏中输入虚拟机 IP 地址:50070和虚拟机IP地址:8080

15.停止进程,执行命令 stop-dfs.sh,stop-yarn.sh。文章来源地址https://www.toymoban.com/news/detail-516466.html

到了这里,关于Hadoop伪分布搭建完整步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 搭建伪分布式Hadoop

    在独立模式下,所有程序都在单个JVM上执行,调试Hadoop集群的MapReduce程序也非常方便。一般情况下,该模式常用于学习或开发阶段进行调试程序。 在伪分布式模式下, Hadoop程序的守护进程都运行在一台节点上,该模式主要用于调试Hadoop分布式程序的代码,以及程序执行是否

    2024年02月06日
    浏览(44)
  • Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive,数据仓库学习大数据专业的用的到     注:开启虚拟机把鼠标放入屏幕点击后消失,使用键盘上下键进行选择   注:点击之后,什么都不动,再点击完成(因为它自动帮我们分区了) 注:我们配置

    2024年02月04日
    浏览(48)
  • 搭建完全分布式Hadoop

    登录三个虚拟机 执行命令: vim /etc/hosts 1、上传安装包 上传hadoop安装包 查看hadoop安装包 2、解压缩安装包 执行命令: tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local 查看解压后的目录 3、配置环境变量 执行命令: vim /etc/profile 存盘退出,执行命令: source /etc/profile ,让配置生效 查看had

    2024年02月04日
    浏览(54)
  • Hadoop分布式集群搭建

    集群以三台电脑搭建,每台电脑创建一个UbuntuKylin虚拟机,集群以三台UbuntuKylin虚拟机为基础搭建,虚拟机主机名分别为hadoop101、hadoop111和hadoop121。IP地址分别为192.168.214.101、192.168.214.111和192.168.214.121。 主机名 IP地址: hadoop101 192.168.214.101 hadoop111 192.168.214.111 hadoop121 192.168.214

    2024年02月03日
    浏览(48)
  • Hadoop伪分布搭建完整步骤

    1.鼠标单击左侧虚拟机名称,接着单击菜单栏“编辑”,在下拉菜单中选择“虚拟网络适配器”, 如图 1-2-20 所示。  4.在打开的“虚拟网络编辑器”对话框,单击“NAT 设置”按钮,将网关的 IP 地址设置“192.168.110.2”  5.修改网络适配器配置文件。输入命令“cd /etc/sysconfig/

    2024年02月11日
    浏览(47)
  • Hadoop的完全分布式搭建

    主机名 Hadoop10 Hadoop11 Hadoop12 网络 192.168.10.10 192.168.10.11 192.168.10.12 用户 hadoop root hadoop root hadoop root HDFS NameNode DateNode DateNode Secondary NameNode DataNode YARN NodeManager NodeManager ResourceManager NodeManager 安装虚拟机系统,省略 第一步:网卡配置 使用 vi 编辑器编辑系统的网卡配置文件,配置以下

    2024年02月08日
    浏览(42)
  • hadoop平台完全分布式搭建

    安装前准备 一、设置ssh免密登录 1.编辑hosts文件,添加主机名映射内容 vim  /etc/hosts 添加内容: 172.17.0.2      master 172.17.0.3      slave1 172.17.0.4      slave2 2.生成公钥和私钥 ssh-keygen –t rsa 然后按三次回车 3.复制公钥到其他容器(包括自己) ssh-copy-id master ssh-copy-id slav

    2024年03月17日
    浏览(48)
  • Hadoop 完全分布式集群搭建

    部署前可以先了解下 Hadoop运行模式及目录结构-CSDN博客 服务 hadoop102 hadoop103 hadoop104 NameNode √ DataNode √ √ √ Secondary NameNode √ ResourceManager √ NodeManager √ √ √ JobHistoryServer √ IPv4 192.168.88.102 192.168.88.103 192.168.88.104 NodeObject master worker1 worker2 最小化安装 Neokylin7.0 用于搭建 Had

    2024年02月04日
    浏览(57)
  • Hadoop分布式集群搭建教程

    大数据课程需要搭建Hadoop分布式集群,在这里记录一下搭建过程 搭建Haoop分布式集群所需环境: VMware:VMware-workstation-full-17.0.2-21581411 CentOS:CentOS-7-x86_64-DVD-2003, Hadoop:hadoop-3.1.3.tar JDK:jdk-8u212-linux-x64.tar.gz 新建虚拟机 设置用户 命名虚拟机 自定义硬件,完成虚拟机创建 开始

    2024年02月08日
    浏览(39)
  • Hadoop完全分布式集群搭建

    1.在虚拟机关机的状态下选择克隆 2.开始克隆 3.选择从当前状态创建 4.创建一个完整的克隆 5.选择新的虚拟机存储位置(选择内存充足的磁盘) 6.开始克隆 7.克隆完成 8.同样的方法克隆第二台虚拟机 9.在计算机中存在三台虚拟机 将第一台虚拟机更名为hadoop01 修改hadoop01的主机

    2024年02月02日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包