三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)

这篇具有很好参考价值的文章主要介绍了三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。

1.安装CentOS 7.6虚拟机

1.1安装完虚拟机发现没有sudo命令和hadoop用户执行命令失败

我在安装CentOS 7.6虚拟机后,我发现不能执行sudo命令,同时hadoop用户执行命令失败。
需要执行如下操作:
①先切换到root用户,否则权限不够
su root
②为sudoers配置文件添加写权限
chmod +w /etc/sudoers
③编辑文件
vim /etc/sudoers
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

添加:
hadoop ALL=(ALL) ALL
jam ALL=(ALL) ALL

④去掉权限:chmod +w /etc/sudoers
su切换成hadoop用户,你会发现sudo命令和使用hadoop执行的命令没问题了。

2.三台虚拟机更改主机名

2.1master更改主机名

对于master主节点虚拟机
sudo vim /etc/hostname
将/etc/hostname里面内容修改为 LBJ(自定义,最好是master,易于区分),该虚拟机将作为主节点
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

重启一下,让修改生效
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

LBJ主节点机器更改主机名成功

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

2.2slave01与slave02更改主机名

对于slave01与slave02两个从节点虚拟机输入相同命令,将它们的主机名修改为slave01和slave02
slave01与slave02从节点机器修改主机名成功标志

3.三台机器修改hosts文件

3.1配置/etc/hosts文件

三台机器上用ifconfig获取各自的ip地址
然后分别 sudo vim /etc/hosts,分别将ip和映射名加入各自的该文件中(其实只需要在master节点上加入三台机器的ip和映射名即可,其它机器加了也无妨)

192.168.25.134 LBJ
192.168.25.135 slave01
192.168.25.136 slave02
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

退出文件,并:wq 保存
后续需要验证ip映射是否成功,直接在任意机器ping各自的主机名

3.2 master上ping命令测试

ping slave01
ping slave02
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

3.3 slave01上ping命令测试

ping LBJ
ping slave02
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

3.4 slave02上ping命令测试

ping slave01
ping LBJ
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

4.三台机器都关闭防火墙

4.1 master关闭防火墙

在master主节点上
cd /bin
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

在slave01和slave02上执行同样命令操作

4.2 在slave01和slave02从节点上检查是否成功关闭防火墙和关闭防火墙开机自动重启

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

5.三台机机器互相配置ssh免密登陆

5.1 在master、slave01、slave02上生成公钥

以master为例,其它两台机器执行相同操作即可,其它两台机器一定要做相同操作!!!
在root目录下,
yum update #更新yum指令,防止过期
yum -y install openssh-server #安装openssh-server工具,一般自带
ssh LBJ #测试登录是否需要ssh钥匙,同时在root下创建.ssh文件夹和里面写有ip和映射名的 known hosts文件
cd ~/.ssh #进入/root/.ssh
rm ./id_rsa #测试一下id_rsa文件存不存在,存在直接删除
ssh-keygen -t rsa #指明该命令,一直按回车就好
cat ./id_rsa.pub >> ./authorized_keys #将公钥放入authorized_keys中
ssh LBJ #测试ssh免密登陆

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

5.2 将pub文件发往slave01、slave02

在slave01和slave02节点上只要实现免密登陆,都会在 /root下创建.ssh文件夹

在master主节点机器上
scp ~/.ssh/id_rsa.pub root@slave01: /root/.ssh/
scp ~/.ssh/id_rsa.pub root@slave02: /root/.ssh/
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

5.3 slave01、slave02上加入pub到认证密匙里面

认证密匙:/root/.ssh/authorized_keys

cd /root/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys
rm id_rsa.pub # 用完以后就可以删掉master上ssh slave1验证可以免密了
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

以上步骤选取scp的文件夹/root/.ssh,会将原本就含有机器自身的id_rsa.pub覆盖掉,所以,我们最好不要用/root/.ssh作为路径,自定义其它路径即可。

5.4 免密登录slave01和slave02测试

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

注意:

5.5 继续配置slave01到LBJ、slave02的免密

正常是下面的操作
scp ~/.ssh/id_rsa.pub root@master:/root/.ssh/
scp ~/.ssh/id_rsa.pub root@slave2:/root/.ssh/

5.6 继续配置slave02到LBJ、slave01的免密

正常是下面的操作

scp ~/.ssh/id_rsa.pub root@master:/root/.ssh/
scp ~/.ssh/id_rsa.pub root@slave2:/root/.ssh/

5.7 出现无法远程登录的问题

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一),大数据,分布式,hadoop,大数据

解决方法:
修ssh改配置文件,设置为允许root远程登录:
root@ubuntu:~# vim /etc/ssh/sshd_config
将PermitRootLogin prohibie-password 修改为:PermitRootLogin yes 即可。

保存退出,重启ssh服务:
root@ubuntu:~# /etc/init.d/ssh restart
再次尝试ssh 远程登录,成功登录。

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)笔记到此完结,笔者归纳、创作不易,大佬们给个3连再起飞吧文章来源地址https://www.toymoban.com/news/detail-770270.html

到了这里,关于三台CentOS7.6虚拟机搭建Hadoop完全分布式集群(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~ 官网下载地址 博主因为课程需要以及版本问题,下载的

    2023年04月23日
    浏览(59)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    虚拟机相关: VMware workstation 16:虚拟机 vmware_177981.zip CentOS Stream 9:虚拟机 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相关 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 辅助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相关资源可以

    2024年04月14日
    浏览(41)
  • 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

    官网链接 进入后网站如图,各位按需下载 官网链接 进入页面点击下载 再根据我们需要下载的软件进入下载页面 点击右侧红框内的免费授权页面获取免费许可 进入后如图,两者我们都需要所以都勾选,填写的邮箱用于接收下载链接,下载后进行安装即可 这里先和大家强调一

    2024年02月07日
    浏览(40)
  • CentOS7搭建伪分布式Hadoop(全过程2023)

    可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。 验证java是否配置好 输入: java javac java -version 修改六个配置文件hadoop-env.sh 启动hadoop之前需要格式化(具体在出现的问题第六点) 验证: 出现错误,解决和验

    2024年02月08日
    浏览(39)
  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案

    本文针对centos7.4即以上版本的hadoop环境搭建,因为这部分搭建是个很复杂且很容易出错的内容,所以在结合了多种搭建方案后给出最适宜当前版本的搭建。 本教程适用于CentOS 7.4即以上版本,如果是Ubuntu等其它linux内核版本则不适合。 查看系统版本: 软件 版本 获取方法 Ope

    2024年02月16日
    浏览(33)
  • Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 Master运行WordCount

    本系列文章索引以及一些默认好的条件在 传送门 首先需要明确eclipse安装目录,然后将hadoop-eclipse-plugin_版本号.jar插件放在安装目录的dropins下 关于插件,可以通过博主上传到csdn的免费资源获取,链接 具体版本可以自己选择: 在eclipse界面中依次选择:Window→show view→other→

    2023年04月09日
    浏览(56)
  • 三台虚拟机搭建Hadoop集群(云计算实验新)

    本文将介绍利用三台虚拟机实现互相免密访问并搭建Hadoop集群。 1. 下载操作系统镜像源 本文利用Centos7.9版本,下载地址,需要其他版本可在阿里镜像源下载。 2. 下载虚拟机软件VMware VMware官网链接,VMware下载指南 3. 配置三台Centos虚拟机 VMware中创建虚拟机教程,创建完成一个

    2024年02月10日
    浏览(39)
  • 三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)

    最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭。但我最终确实成功了,留了一点点小问题在里面。(当Hadoop集群start-all之后resourcemanager无论我怎么按照网上的方法调试都不出现) 现在就来回顾一下我的第

    2023年04月09日
    浏览(28)
  • 搭建伪分布式集群(克隆三台虚拟机,配置ens33网络)

    目录 1 克隆虚拟机 1.修改主机名 2.修改UUID 2 配置ens-33网络        同样的,第三台也是重复操作即可 克隆完成三台虚拟机后,由于node02和node03都是由node01克隆来的,所以他们的主机名和UUID都是一样的,我们需要修改一下 1.修改主机名 在node01的虚拟机下,输入: hostnamectl s

    2024年02月06日
    浏览(30)
  • Hadoop完全分布式搭建

    1.下载VM 2.下载Centos镜像 3.下载hadoop 4.下载FinalShell 5.下载jdk文件  6.下载hive,数据仓库学习大数据专业的用的到     注:开启虚拟机把鼠标放入屏幕点击后消失,使用键盘上下键进行选择   注:点击之后,什么都不动,再点击完成(因为它自动帮我们分区了) 注:我们配置

    2024年02月04日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包