hadoop前期环境搭建

这篇具有很好参考价值的文章主要介绍了hadoop前期环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

主机名 ip ssh免密登陆

#修改主机名
hostnamectl set-hostname node1

#修改ip地址
 vim /etc/sysconfig/network-scripts/ifcfg-ens33 
#node1
IPADDR="192.168.88.101"
NETMASK="225.225.225.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
#重启网卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network




配置主机名映射

hadoop前期环境搭建

#linux中修改hosts
# vim /etc/hosts
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

配置ssh免密登陆

 #生成ssh密钥 一直enter
 ssh-keygen -t rsa -b 4096
 
 #进入生成的ssh密钥文件夹
 cd .ssh/
 #设置自己免密登陆
 ssh-copy-id node1
 #ssh免密登陆node1
 ssh node1
 
 #


后面的大数据软件不会用root用户启动(安全)

#现在为每台机器 创建一个单独的hadoop用户,并为三台服务器同样配置hadoop用户的免密互通
#创建hadoop用户
useradd hadoop
#设置用户密码 123456
passwd hadoop
#在每台机器切换带hadoop用户
su - hadoop
#执行 创建ssh密钥
ssh-keygen-t rsa -b 4096
#在每台机器都执行 免密 (切换用户喔)
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3


Jdk环境部署

#1.创建文件夹()用来部署jdk
mkdir -p /export/server
#使用rz命令上传 
#2,解压jdk 安装文件
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/
#cd进入/export/server/ 查看当前目录 ll命令
#3.配置jdk软链接
ln -s /export/server/jdk1.8.0_361/ jdk#名为jdk
#查看
ls -l;
#4.配置JAVA_HOME环境变量
vim /etc/profile#编辑这个文件
#在end加入下main下面
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
#5.让环境变量生效
source /etc/profile
#6.配置Java执行程序的软链接
rm -f /usr/bin/java#删除系统自带的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java#软连接我们自己安装的Java程序
#7.执行验证
Java -version

node2通过node1远程复制文件夹文章来源地址https://www.toymoban.com/news/detail-436575.html

scp -r jdk1.8.0_361 node2:`pwd`/

防火墙,SELinux,时间同步等系统配置

#关闭防火墙(每台都执行)
systemctl stop firewalld
systemctl disable firewalld
#SElinux安全模块
vim /etc/sysconfig/selinux 
SELINUX=disabled#保存退出,重启虚拟机,不要把disabled单词写错,不然无法启动系统
init 0 或者init 6 #重启系统

#查看防火墙的状态
systemctl status firewalld

修改时区并配置自动同步

#1.安装ntp软件
yum install -y ntp
date#查看时间
#2.删除系统自带的 软连接上海的
rm -f /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#3. 通过阿里云矫正
ntpdate -u ntp.aliyun.com
#4.设置开机自动校正
systemctl start ntpd
systemctl enable ntpd#设置开机自启
systemctl status ntpd#查看状态

拍摄快照保存状态

到了这里,关于hadoop前期环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux多机SSH免密登陆配置

    服务器: 192.168.33.71 、 192.168.33.72 、 192.168.33.73 环境: CentOS 7 配置环境目录: /root/.ssh 1、配置 192.168.33.71 服务器 设置服务器名称 配置 /etc/hosts 文件 2、配置 192.168.33.72 服务器 设置服务器名称 配置 /etc/hosts 文件 3、配置 192.168.33.73 服务器 设置服务器名称 配置 /etc/hosts 文件

    2024年01月19日
    浏览(47)
  • Mac使用SSH 免密登陆(踩坑)

    今天使用mac进行ssh免密登陆,期间遇到了一些问题,mac和windows的操作步骤有点不一样。踩了个坑~! ssh 登录分两种,一种是基于口令(账号密码),另外一种是基于密钥的方式。 基于口令,就是每次登录输入账号和密码,显然这样做是比较麻烦的,这里是介绍如何基于密钥

    2024年02月04日
    浏览(51)
  • ssh免密登陆与git详解

    目录 ssh免密登陆 利用root账号密码登录ssh服务端 利用root账号免密登录ssh服务端 利用非root账号免密登录ssh服务端 处理git用户的shell为git-shell 出现的问题 git详细教程 搭建git本地服务器 配置ssh远程访问 创建git本地仓库 git clone与git pull的区别  git如何拉取指定分支的代码 git f

    2024年02月04日
    浏览(48)
  • Python selenium+cookie实现免密登陆

    今天爬取airbnb的租房数据时,遇到了登陆问题。自己动手解决了一下。 我们知道,http是无状态的,那么网页如何实现用户登陆注册功能呢?Session和Cookie就是为了满足这种需求出现的技术。 首先介绍一下Session和Cookie的概念。 在Web中Session对象存储特定用户会话所需的属性及配

    2023年04月14日
    浏览(42)
  • hadoop修改配置文件和环境变量

    在我们安装好hadoop之后,需要对其内部的一些配置文件进行修改,以满足特定的需求和环境,确保Hadoop集群的正常运行和数据的正确处理。 我们要修改的就是主要的自定义配置文件。 进入配置文件所在路径,它们位于 $HADOOP_HOME/etc/hadoop 这个路径下,在我这就是 /export/server

    2024年02月07日
    浏览(39)
  • vscode(visual studio code) 免密登陆服务器

    1.生成密钥 首先,在本地,打开命令输入框: Win+R–弹出输入框,输入cmd,打开命令框。 然后,在命令框,输入 按两次回车键,问你是否重写,选择y。 接着,输入两次回车,即输入空白密码,,没有密码。 最后,便可以看到,在本地的目录下,生成了公钥和私钥。 选择画红

    2024年01月16日
    浏览(73)
  • 作业:通过两台linux主机配置ssh实现互相免密登陆

    做题步骤 : 一.开启两个Linux主机,并且用ssh连接,要能够ping通 我这里是server:192.168.81.129 client:192.168.81.130 举例 操作如下: 二.在客户端上创建一对密钥 1. 注意:可以看到这对密钥是放在/root/.ssh/id_rsa.pub文件下的,公钥的名字是id_rsa.pub 2.查看一下密钥对 [root@client ~]# ll

    2024年01月17日
    浏览(41)
  • Windows下使用SSH密钥实现免密登陆Linux服务器

    工具: win10、WinSCP 生成ssh密钥: 打开终端,使账号密码登录,输入命令 会提示密钥存放路径,一般存放在默认路径,直接回车即可,中间会提示输入密码,这里需要注意,如果设置密码,则每次登陆的时候需要输入此密码来登陆,如果不输入密码的话可以直接使用密钥登陆

    2023年04月14日
    浏览(52)
  • 解决Linux root用户设置ssh免密登陆后仍然需要输入密码的问题

    搭建hadoop集群后,设置ssh免密登录发现还是一直需要输入密码,简直是烦死了,很明显就是ssh免密登录没有设置好. 出现该问题有很多原因,比如ssh配置不对或者路径权限不对等等 配置方法见 : SSH设置无密码连接 解决方法如下: 重新添加 公钥 更改 ssh 配置文件 更改对应的文件夹和

    2024年02月12日
    浏览(68)
  • 【SpringBoot项目实战+思维导图】瑞吉外卖①(项目介绍、开发环境搭建、后台登陆/退出功能开发)

    全文主体框架来源于黑马瑞吉外卖的项目资料,我在文中会嵌入如下五个方面的个人内容: 项目中易发生错误的地方 项目中涉及的一些难理解知识点 一些遗忘知识点的回顾 业务的多种实现方法 我在做项目时的思考和一些踩坑 作为一名软件开发工程师,我们需要了解在软件开

    2024年02月05日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包