【已解决】伪分布式Hadoop服务已经开启,但是无法访问http://localhost:9870(缺少NameNode进程)\http://localhost:8088

这篇具有很好参考价值的文章主要介绍了【已解决】伪分布式Hadoop服务已经开启,但是无法访问http://localhost:9870(缺少NameNode进程)\http://localhost:8088。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

一、问题描述

使用如下方法启动成功hadoop服务

进入相应文件夹

cd /usr/local/hadoop/

首先停止启动所有的节点,使用命令行启动stop-all.sh脚本

./sbin/stop-all.sh

解决方法是首先停止启动所有的节点,使用命令行启动stop-all.sh脚本:

./sbin/start-all.sh

使用jps命令查看当前hadoop运行
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

貌似没问题

其实这里就是有问题!!!后续解决方法里面说

继续打开http://localhost:9870,查看web界面

显示无法连接到
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

二、解决方法和问题分析

下面两个方法是在网上搜到的,大家可以先试试

  • 1.有博主建议查看防火墙的
    输入命令发现我的Linux并没有防火墙。。。所以不可能是防火墙问题
    详见:Ubuntu - 查看、开启、关闭和永久关闭防火墙

  • 2.也有博主建议 编辑配置文件hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
        <property>
    	<name>dfs.namenode.http-address</name>
    	<value>0.0.0.0:9870</value>
        </property>
    </configuration>
    

这些都有尝试 但是仍没有解决

最后我重新看了一下我部署伪分布式Hadoop的那篇博客:Hadoop安装搭建伪分布式教程(全面)吐血整理发现我前面启动节点时确实有问题!!!
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

PS:其实至少需要4个进程:Namenode、DataNode、SecondaryNameNOde、JPS

再会看我之前的那个命令,居然连NameNode都没有!!!我们知道http://localhost:9870就是来查看主节点情况的,居然连主节点NameNode都没有,当然会连不上呀~~

hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

那么现在的思路就变成了:如何启动主节点NameNode(其实还有另外两个进程:NodeManagerResourceManager没有启动成功,这也和影响我们通过web界面对其资源管理器的查看等有影响,稍后我们一起说)

2.1:缺少NameNode进程

核心:初始化namenode。需要我们先执行如下命令

hdfs namenode -format

然后再启动hadoop服务(注意,再次启动前需要先停止之前启动的,否则会报错)

然后如下:
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

之后我们再次访问http://localhost:9870即可成功访问!🎆
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

2.1:没有ResourceManager和NodeManager

原因:只使用了start-dfs.sh命令(这个命令只会启动上述四个进程)

应该使用:命令start-all.sh(该命令是start-dfs.sh与start-yarn.sh这两个命令的合并)

这样才会启动6个进程:

hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

补充:启动Hadoop时提示 start-all.sh(该命令是start-dfs.sh与start-yarn.sh这两个命令的合并):找不到命令 的解决方法:

这个问题出现的原因是环境变量没有配置
参考这篇博客的3.3.2步配置好环境变量:Hadoop安装搭建伪分布式教程(全面)吐血整理

于是我们可以成功访问hadoop的http://localhost:8088资源管理界面:
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http

2.3:hadoop拒绝history通过19888端口连接查看已完成的job的日志

原因在于:通过start-all.sh启动hadoop各项节点后,historyserver并没有启动,需要手动启动,因此可以通过以下命令来手动启动historyserver,关闭命令也给出.

启动命令:

mr-jobhistory-daemon.sh start historyserver

关闭命令:

mr-jobhistory-daemon.sh stop historyserver

可能会出现下面两个警告,没有关系
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http
再次访问:
hadoop启动cluster/apps成功但是9870没有,分布式,hadoop,http文章来源地址https://www.toymoban.com/news/detail-852467.html

到了这里,关于【已解决】伪分布式Hadoop服务已经开启,但是无法访问http://localhost:9870(缺少NameNode进程)\http://localhost:8088的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置

    华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装图形界面 本篇文章是基于上一篇所配置好的云服务器进行实验软件安装,该系列文章是根据林子雨所讲述的课程就在

    2024年01月21日
    浏览(44)
  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案

    本文针对centos7.4即以上版本的hadoop环境搭建,因为这部分搭建是个很复杂且很容易出错的内容,所以在结合了多种搭建方案后给出最适宜当前版本的搭建。 本教程适用于CentOS 7.4即以上版本,如果是Ubuntu等其它linux内核版本则不适合。 查看系统版本: 软件 版本 获取方法 Ope

    2024年02月16日
    浏览(33)
  • 解决Hadoop完全分布式集群中从节点jps没有datanode节点问题

    当用start-dfs.sh和start-yarn.sh后,在slave节点(从节点)中用jps命令查看进程 正常情况: 有时候可能发现没有Datanode,即只有两项(第一项和最后一项)。原因可能是 重复格式化 namenode 后,导致 datanode 的 clusterID 和 namenode 的 clusterID 不一致。 解决方法: 在master节点(namenode): 找到你

    2024年02月06日
    浏览(41)
  • Redis实现方式开启新篇章,解决分布式环境下的资源竞争问题,提升系统稳定性

    分布式锁一般有三种实现方式: 数据库乐观锁; 基于Redis的分布式锁; 基于ZooKeeper的分布式锁 本篇博客将介绍第二种方式,基于Redis实现分布式锁。 虽然网上已经有各种介绍Redis分布式锁实现的博客,然而他们的实现却有着各种各样的问题,为了避免误人子弟,本篇博客将

    2024年02月07日
    浏览(29)
  • 华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1

    #【中秋征文】程序人生,中秋共享# 这是Maynor创作的华为云云耀云服务器L实例测评的第二篇,上篇传送门: 华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21.1.9.41数据库 云耀云服务器L实例简介 ​ 云耀云服务器L实例 是新一代的轻量应用云服务器,专门为中小企业

    2024年02月07日
    浏览(26)
  • HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

    今天在使用HBase Java API编程实践时发现出现报错,同样在创建表和查看HBase集群状态信息时也出现报错,以下是错误截图: 这是由于HBase的主节点正在初始化过程中,无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来

    2024年02月05日
    浏览(33)
  • hadoop完全分布式

    三台虚拟机,关闭防火墙,关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenforce 暂时关闭 selinux setenforce 0 永久关闭 selinux 在/etc/selinux/config文件中将SELINUX改为disabled 修改主机名: hostn

    2023年04月12日
    浏览(30)
  • Hadoop分布式安装

    首先准备好三台服务器或者虚拟机,我本机安装了三个虚拟机,安装虚拟机的步骤参考我之前的一篇 virtualBox虚拟机安装多个+主机访问虚拟机+虚拟机访问外网配置-CSDN博客 jdk安装 参考文档:Linux 环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博

    2024年02月08日
    浏览(41)
  • Hadoop分布式安装部署

    VMware Workstation Pro17 CentOS7 Hadoop-3.3.6 jdk1.8.0_391 事先需要在本地电脑安装VMware,再创建虚拟机,并且克隆该虚拟机,使用多台机器配合完成完全的分布式文件系统。本文使用三台虚拟机搭建Hadoop。 Hadoop在安装部署之前,需要对虚拟机进行网络配置,将虚拟机的网络状态由动态修

    2024年01月23日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包