Hadoop分布式安装

这篇具有很好参考价值的文章主要介绍了Hadoop分布式安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先准备好三台服务器或者虚拟机,我本机安装了三个虚拟机,安装虚拟机的步骤参考我之前的一篇

virtualBox虚拟机安装多个+主机访问虚拟机+虚拟机访问外网配置-CSDN博客

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

jdk安装

参考文档:Linux 环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博客

一台机器配置完成jdk之后,我们将已经解压完成的jdk分发到另外两台虚拟机上

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

我们的hosts中ip和域名没有映射

或者通过ip分发,不用配置域名映射了

scp -r /usr/java/jdk1.8.0_391 192.168.137.16:/usr/java  

hosts配置,点击多屏同时编辑

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

vi /etc/hosts

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

scp -r /usr/java/jdk1.8.0_391 hadoop02:/usr/java

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

分发完成之后记得其它两台机器的java配置一下

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_391
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

hadoop包提前下载好,官网的下载速度实在太慢,我的下载地址如下:

We Transfer Gratuit. Envoi sécurisé de gros fichiers. (swisstransfer.com)

解压缩到/usr目录下

tar -zxvf hadoop-2.9.2.tar.gz -C /usr

hadoop配置工作

cd /usr/hadoop-2.9.2/etc/hadoop

vi hadoop-env.sh

更改如下配置

JAVA_HOME=/usr/java/jdk1.8.0_391

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

vi core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-2.9.2/tmp</value>
</property>

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

 vi hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>true</value>
</property>

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

mv mapred-site.xml.template  mapred-site.xml

vi mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

vi yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-service</name>
<value>mapreduce_shuffle</value>
</property>

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

vi slaves

删除已有的localhost

添加从节点域名

hadoop02

hadoop03

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

将hadoop01虚拟机上hadoop的文件分发到其它两台虚拟机

scp -r /usr/hadoop-2.9.2 hadoop02:/usr

scp -r /usr/hadoop-2.9.2 hadoop03:/usr

hadoop启动

#HADDOOP_HOME配置Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

source /ect/profile

#初始化

hdfs namenode -format

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

#一键启动之前配置好免密登录功能,否则启动和停止时需要n次输入密码

cd /root

ssh-keygen

遇到需要输入的直接回车即可

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

#查看.ssh目录是否已经生成

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

第一台机器有known_hosts,因为我们之前在第一台虚拟机上scp -r分发过文件给其他两台机器,所以建立过ssh连接,查看known_hosts

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

现在还没有应用出去

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

#一键启动,只在hadoop01机器上一键启动即可

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

#jps查看已经启动起来的服务

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

至此hadoop分布式搭建完成

hadoop集群的web端访问

#关闭防火墙

查看当前防火墙状态:systemctl status firewalld

临时关闭防火墙:systemctl stop firewalld

永久关闭防火墙:systemctl disable firewalld

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

#HDFS web页面访问

第一台虚拟机ip

http://192.168.137.16:50070/

可以看到其他两个节点

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据

yarn集群web页面

http://192.168.137.16:8088/

Hadoop分布式安装,Hadoop,1024程序员节,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-714503.html

到了这里,关于Hadoop分布式安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • Hadoop伪分布式安装配置

    Hadoop伪分布式安装配置

    1、添加用户组 [root@hadoop00 ~]# groupadd hadoop 2、添加用户并分配用户组 [root@hadoop00 ~]# useradd -g hadoop hadoop 3、修改hadoop用户密码 [root@hadoop00 ~]# passwd hadoop 1、上传系统安装镜像到虚拟机服务器的/root目录 2、新建挂载点目录 [root@hadoop00 ~]# mkdir /mnt/centos 3、挂载镜像        [root@h

    2024年01月24日
    浏览(13)
  • hadoop伪分布式安装部署

    hadoop伪分布式安装部署

    首先jdk安装完毕 jdk安装文档参考: Linux 环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博客 准备好hadoop的安装包 我的下载地址如下: We Transfer Gratuit. Envoi sécurisé de gros fichiers. 将hadoop包上传到随便一个目录,但是解压缩到/opt/ 目录下 tar -zvxf

    2024年02月08日
    浏览(12)
  • Hadoop的伪分布式安装方法

    Hadoop的伪分布式安装方法

    实验环境: 操作系统:Linux (Ubuntu 20.04.5) Hadoop版本:3.3.2 JDK版本:1.8.0_162 hadoop与jdk的安装包可详见博客中: https://blog.csdn.net/weixin_52308622/article/details/131947961?spm=1001.2014.3001.5501 (1)创建 hadoop 用户(使用 /bin/bash 作为 Shell)、设置密码(建议简单)并为其添加管理员权限。具

    2024年02月14日
    浏览(5)
  • Hadoop伪分布式安装搭建教程

    Hadoop伪分布式安装搭建教程

    安装VMware虚拟机 下载Ubuntu 18.04镜像,并在VMware中新建虚拟机 安装VMware tools 搭建Hadoop伪分布式 1.安装VMware Workstation 14 Pro版本 2.1 在VMware上方菜单栏,文件--新建虚拟机  2.2 默认  2.3 选择稍后安装操作系统 2.4 选择Linux(L),版本 Ubuntu    2.5 定义虚拟机的名称,选择虚拟机的

    2023年04月09日
    浏览(6)
  • Docker安装Hadoop分布式集群

    Docker安装Hadoop分布式集群

    hadoop目录安装在:/usr/local/hadoop-2.7.0/etc/hadoop

    2024年02月13日
    浏览(7)
  • 【Hadoop】安装部署-完全分布式搭建

    【Hadoop】安装部署-完全分布式搭建

    Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多软件框架。而我们的完全分布式,指的是在真实环境下,使⽤多台机器,共同配合,来构建⼀个完整的分布式文件系统。在真实环境中,

    2024年02月07日
    浏览(11)
  • Hadoop完全分布式安装基于Docker

    Hadoop完全分布式安装基于Docker

    (都在root用户下) 在Dockfile文件中添加以下内容 基于centos镜像,生成带有spenssh-server、openssh-clients的镜像,用户为root,密码为a123456,镜像维护者(作者)为hadoop 建好Dockerfile文件后,生成镜像,在终端输入: 1、在主机下载ssh 2、把hadoop和jdk传到/root 3、解压hadoop和jdk 4、生成带

    2024年04月29日
    浏览(9)
  • 虚拟机Ubuntu安装Hadoop(伪分布式安装)

    虚拟机Ubuntu安装Hadoop(伪分布式安装)

    1.创建hadoop用户 在终端输入 为hadoop用户设置密码,连续输入两次密码即可 为Hadoop用户增加管理员权限,避免以后的麻烦 这里我们切换到hadoop用户,进行下一步操作 2.ssh的安装以及设置免密登录 检测ssh是否安装,有sshd说明已经启动 这边我们还需要安装ssh server,这边又yes输入

    2023年04月08日
    浏览(7)
  • Hadoop 3.2.4 本机伪分布式安装

    Hadoop 3.2.4 本机伪分布式安装

    Hadoop 3.2.4 伪分布式安装 前言 基本上操作步骤跟2.x的版本内容差异不大,我的理解除了能力强了外,就是把默认的http端口改了,有点意外,安装完成验证的时候,用50070试了半天,还以为自己安装错了呢,原来调整为了9870端口。在此不再多bb了。 配置ssh免密登录 直接参考之

    2024年02月16日
    浏览(3)
  • 【Docker】Docker安装Hadoop分布式集群

    【Docker】Docker安装Hadoop分布式集群

    1. 查看docker的hadoop镜像 2. 拉取stars最多的镜像 3. 拉取完成后查看镜像是否已到本地 docker images 4. 运行第一个容器hadoop102 5. 进入该容器 docker exec -it hadoop102 bash 6. 配置ssh生成秘钥,所有的节点都要配置 /etc/init.d/sshd start 7. 生成密钥 ssh-keygen -t rsa 8. 复制公钥到authorized_keys中 9. 运

    2024年01月24日
    浏览(17)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包