CentOS7搭建伪分布式Hadoop(全过程2023)

这篇具有很好参考价值的文章主要介绍了CentOS7搭建伪分布式Hadoop(全过程2023)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.配置静态ip

2.关闭防火墙

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

3.修改主机名为 master ,并重启虚拟机

vi /etc/hostname

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

4.修改主机名与ip映射

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

5.设置SSH免密登录

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

6.安装配置java环境

可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。
验证java是否配置好
输入:

java
javac
java -version

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

----------------------正式Hadoop配置

1.移动安装包到合适位置

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

2.解压安装包并重命名

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

3.配置环境变量

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

4.修改hadoop的核心配置文件:

修改六个配置文件hadoop-env.sh
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

5.启动与停止Hadoop

5.1NameNode格式化

启动hadoop之前需要格式化(具体在出现的问题第六点)

5.2启动、停止HDFS

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
验证:
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

5.3启动停止yarn

出现错误,解决和验证见问题8
成功:(到此hadoop安装配置就完结啦!)centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

6.访问Hadoop

通过web 浏览器访问Hadoop的集群环境

出现的问题:

1.centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

在/etc目录下修改sudoers文件,赋予权限。

2.为什么有步骤4

3.

下载hbase.bin.tar.gz(这里下的是2.2.2,因为我的hadoop是3.1.3版本的)
下载地址:https://archive.apache.org/dist/hbase/2.2.2/

4.为什么从8020变成了9000

5.配置完hadoop-env.sh文件后,运行命令:hadoop version

出现报错:ERROR: /usr/lib/jvm/bin/java is not executable
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

解决:本文件中的路径要与Java的配置文件(/etc/profile中的完全一致)
解决后,再次运行hadoop version
出现内容如下:
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

6.格式化错误

WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够

centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式
命令如下:
centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式

7.报错:Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.

(还没去解决)

8.报错:start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.

解决:
yarn-env.sh文件配置错误,java环境错误,要与java_home的完全一致centos7搭建hadoop伪分布集群,Hadoop,hadoop,centos,分布式文章来源地址https://www.toymoban.com/news/detail-715866.html

到了这里,关于CentOS7搭建伪分布式Hadoop(全过程2023)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    和相关配置版本 :Linux CentOS Hadoop Java 版本: CentOS7 Hadoop3.2.0 JDK1.8 虚拟机参数信息内存3.2G、处理器2x2、内存50G ISO:CentOS-7-x86_64-DVD-2009.iso 基本主从思路: 先把基础的设置(SSH、JDK、Hadooop、环境变量、Hadoop和MapReduce配置信息)在一台虚拟机(master)上配好,通过

    2024年02月05日
    浏览(60)
  • (小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建

    目录 0.准备 1.Hadoop伪分布式环境搭建 2.安装ssh,配置ssh无密码登录 3.通过拖拽的方式将文件从windows传到linux桌面 5.安装hadoop 6.修改hadoop环境变量 7.修改配置文件 core-site.xml 8.修改配置文件hdfs-site.xml文件 9.执行NameNode的格式化 10.开启NameNode和DataNode守护进程 11.访问web页面 12.关闭

    2024年02月03日
    浏览(40)
  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署

    目录 环境条件: 1、安装虚拟机(已安装好虚拟机的可跳转至  二、安装JDK与Hadoop) (1)直接新建一台虚拟机 (2)首次启用虚拟机,进行安装 一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录) 1、查看一下本机与虚拟机的网卡和ip信息 (1)

    2024年02月06日
    浏览(41)
  • 大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

    **相关资源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,请点击链接获取文件 1.检查是否安装ssh (CentOS 7 即使是最小化安装也已附带openssh 可跳过本步骤) 若已安装进行下一步骤 若未安装 请自行百度 本教程不做过多讲解 2.配置ss

    2023年04月08日
    浏览(35)
  • centOS 7下Hadoop伪分布式搭建

    记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺。 步骤 第一步:先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos 名称自定义,主机我写的是IP地址,需要去centOS的终端输入ifconfig,划黄线的是IP地址    用户名如果在安装cent

    2023年04月25日
    浏览(28)
  • spark 基于物理机centos7环境搭建分布式集群

    非生产环境,就使用一个新一点的版本,提前先踩踩坑,版本的选型真是一个头疼的问题,先看一下apache的官网的测试图: 伪分布式看这里: 配置之前:若是用伪分布式时,在本机必须生成key-gen 与ssh-copy-id到本机,且hosts中必须加入127.0.0.1  本机名并关闭防火墙这几步才可

    2024年02月03日
    浏览(61)
  • HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~ 官网下载地址 博主因为课程需要以及版本问题,下载的

    2023年04月23日
    浏览(63)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    虚拟机相关: VMware workstation 16:虚拟机 vmware_177981.zip CentOS Stream 9:虚拟机 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相关 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 辅助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相关资源可以

    2024年04月14日
    浏览(44)
  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(49)
  • CentOS7安装Zookeeper分布式集群

    前言 ZooKeeper 是一个开源的分布式协调服务框架,主要用于分布式系统中的数据同步、配置管理、集群控制和命名服务等方面的处理。本文在3个系统为CentOS7的Linux节点上配置了Zookeeper分布式集群,安装配置的过程均在普通用户 sxZhang 的账户上完成,安装路径为 ~/bigdata ,3个

    2024年01月17日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包