Hadoop步骤二:设置免密码登录

这篇具有很好参考价值的文章主要介绍了Hadoop步骤二:设置免密码登录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一:ssh 安装

(1)创建hadoop用户, 设置密码

[root@localhost ~]# useradd hadoop; passwd hadoop

(2) 对 hadoop 用户启用 sudo 命令

[root@master ~]# vi /etc/sudoers
添加内容
hadoop  ALL=(ALL)       ALL
hadoop 免密,Hadoop学习,hadoop,大数据,分布式

---------------------------------文件只读无法保存的情况----------------------------------------
如果提示文件readonly(文件只读无法保存的情况),则采用强制保存命令 wq! ,即后面加上一个感叹号!

(3)修改hosts (所有节点)

链接master节点和slave节点关系
[root@master ~]# vi /etc/hosts;
====注释掉:就是在前面加上#
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
====添加:
master主机:
master ip(内网)
slave  ip(外网)

slave主机
slave  ip(外网)
master ip(内网)

(4) 登录hadoop用户

[root@master ~]# su - hadoop;

(5) 每个节点生成密钥对并把公钥发送到要免密登陆的节点上

  -----------------------------(先master头节点,后slave子节点)----------------------------------------
[hadoop@master ~]# ssh-keygen -t rsa -P '';ssh-copy-id -i master;ssh-copy-id -i slave1;ssh-copy-id -i slave2;
----------------------------------------注意事项---------------------------------------------------------------------
ssh-keygen -t rsa -P ''; ------------------- 一直回车默认就可以了

ssh-copy-id -i xxxx;     ------------------- 先yes后回车
 


(7)验证是否成功(所有节点)

[hadoop@master root]$ ssh master
[hadoop@master root]$ ssh slave1
[hadoop@master root]$ ssh slave2

二:shh问题

(1) 解决免密登录的缺陷(建议成功后弄)

-----------------------------(先master头节点,后slave子节点)----------------------------------------

REMOTE HOST IDENTIFICATION HAS CHANGED! 
翻译过来就是 警告:远程主机标识已更改!
此报错是由于远程的主机的公钥发生了变化导致的。 
ssh服务是通过公钥和私钥来进行连接的,它会把每个曾经访问过计算机或服务器的公钥(public key),记录在~/.ssh/known_hosts 中,当下次访问曾经访问过的计算机或服务器时,ssh就会核对公钥,如果和上次记录的不同,OpenSSH会发出警告。

[root@master ~]# ssh  localhost
如果让你输入密码的,那就是本机的免密配置没有配置。
-------------------------------------解决办法--------------------------------------------------------------------
登录hadoop用户,输入命令,再次启动集群就不会再出现标题所现问题
[root@master ~]# cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys;ssh localhost;zkServer.sh start;zkServer.sh status;


(2) 错误: SSH时出现WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

-------------------------------------问题分析----------------------------------------------

WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 
翻译过来就是 
警告:远程主机标识已更改!
此报错是由于远程的主机的公钥发生了变化导致的。 
ssh服务是通过公钥和私钥来进行连接的,它会把每个曾经访问过计算机或服务器的公钥(public key),记录在~/.ssh/known_hosts 中,当下次访问曾经访问过的计算机或服务器时,ssh就会核对公钥,如果和上次记录的不同,OpenSSH会发出警告。
-------------------------------------解决办法-----------------------------------------------
步骤一:使用命令清除所连接的IP,并重新链接
[hadoop@master ~]$
ssh-keygen -R XX.XX.XX.XX 
<!--

其中,XX.XX.XX.XX为之前连接时的网段IP,就是不成功的网段IP
比如:ssh-keygen -R 172.20.10.2
------内容如何
重新连接,出现一句,输入:yes 回车 
Are you sure you want to continue connecting (yes/no)?

-->

步骤二:执行ssh问题1的代码


(3) 针对配置好后,有时候会出项 ssh XXX 需要密码的问题

-------------------------------------问题分析-------------------------------------
[root@master ~]# ssh XXX
root@XXX's password:需要输入密码
这可能是因为不小心在执行问题2时,清楚了所链接的ip

xxx:为主机名
-------------------------------------解决办法-------------------------------------
步骤一: 使用命令,重新将公钥发送到要免密登录的节点
[hadoop@master ~]# ssh-copy-id -i xxx;

xxx:为主机名
步骤二:使用命令解决,免密缺陷
[hadoop@master ~]# cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys;ssh localhost;zkServer.sh start;zkServer.sh status;
文章来源地址https://www.toymoban.com/news/detail-741181.html

到了这里,关于Hadoop步骤二:设置免密码登录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • vscode设置远程登录和免密登录

    首先,我们去官网下载VScode 安装过程比较简单,大家自行安装即可,注意建议安装在除C盘外的其他盘中。 安装完成后,打开我们下载好的VScode,点击左侧的 Extensions 选项,搜索 Remote ,Install第一项 Remote - SSH  Install完事之后,可以在左侧看到 Remote Explorer 选项,进去之后点击

    2024年02月14日
    浏览(41)
  • Hadoop学习指南:探索大数据时代的重要组成——Hadoop概述

    在当今大数据时代,处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架,为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用,让我们一同踏上学习Hadoop的旅程。 1)Hadoop是一个由Apache基金会所开发的

    2024年02月14日
    浏览(43)
  • 大数据Hadoop教程-学习笔记06【Hadoop生态综合案例:陌陌聊天数据分析】

    视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码:6666 【P001-P017】大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】【17p】 【P018-P037】大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】【20p】

    2024年02月02日
    浏览(43)
  • 大数据学习-Hadoop

    1.大数据概念 现状分析:实时计算 原因分析:离线计算 预测分析:机器学习(对未来趋势进行预测) 2.分布式与集群 分布式:多台机器,不同组件 分布式存储,分布式集群,多台机器 集群:多台机器,相同组件 3.Hadoop(卡大爷创建) hadoop简介 4.docker搭建hadoop集群 hadoop-clust

    2024年02月05日
    浏览(33)
  • 大数据学习(1)-Hadoop

    大数据学习 🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞 Hadoop的运行机制基于分布式计算的概念,即将大规模的计算任务分解为多个小任务,并在多台计算机上并行处

    2024年02月07日
    浏览(30)
  • 【hadoop】windows上hadoop环境的搭建步骤

    在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。 docker部署hadoop请移步 下载hadoop安装包

    2024年02月12日
    浏览(38)
  • Hadoop学习一(初识大数据)

    目录 一 什么是大数据? 二 大数据特征 三 分布式计算 四 Hadoop是什么? 五 Hadoop发展及版本 六 为什么要使用Hadoop 七 Hadoop vs. RDBMS 八 Hadoop生态圈 九 Hadoop架构  大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 大数据技术要解决的

    2024年02月11日
    浏览(30)
  • mac ssh远程登录服务器免密设置

    1) 进入私钥存放地址 在mac上打开终端。一般私钥存放在.ssh目录里,所以cd到~/.ssh目录。可以先ls查看一下是否存在私钥和公钥文件。拥有.pub结尾的文件是公钥文件,无.pub的是私钥文件。 2) 生成公私钥对 若没有现存的公钥和私钥文件则需要创建一个,代码如下: 到这里就

    2024年03月26日
    浏览(51)
  • Linux修改hadoop配置文件及启动hadoop集群详细步骤

    目录 一、配置Hadoop环境 1.查看Hadoop解压位置 2.配置环境变量 3.编辑环境变量 4.重启环境变量 5.查看Hadoop版本,查看成功就表示Hadoop安装成功了 二、修改配置文件 1.检查三台虚拟机: 2.切换到配置文件目录 3.修改 hadoop-env.sh 文件 4.修改 core-site.xml 文件 5.修改 mapred-site.xml 文件

    2024年02月03日
    浏览(61)
  • 【大数据学习篇2】Hadoop集群安装

    IP 机器名 root密码 用户名 密码 进程 192.168.20.44 master hd hd hd namenode,ResourceManager,SecondaryNameNode 192.168.20.45 slave01 hd hd hd datanode,NodeManager 192.168.20.46 slave02 hd hd hd datanode,NodeManager 密码统一设置成:hd 或者 123456 设置网卡为静态的地址 Linux常用的命令 使用vi编辑器,在/etc/profile增

    2024年02月04日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包