搭建Hadoop过程的问题与网络排错思路

这篇具有很好参考价值的文章主要介绍了搭建Hadoop过程的问题与网络排错思路。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  1. 虚拟机复制问题

在复制搭建三台虚拟机的时候,没有让虚拟机关机而是选择挂起,在挂起的时候虚拟机文件是只读状态的,应用层的软件VMware不能修改其中的参数,这样会导致虚拟机的MAC地址出现冲突进而导致无法在ARP层通信,也就不能实现联网。但是软件认为他已经将配置文件写入了,因而在软件层面看是看不到的,必须到虚拟机中排查才能排查到,如图56、57所示,软件层面的MAC不存在问题,必须要到虚拟机中查看MAC才可以发现

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

软件层面MAC无误

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

MAC地址冲突

       我在排查这个错误的时候并不是一次就完成了对地址的查询,而是在多次摸索中才排查出错误所在,我在这个过程中使用了Wireshark获取了数据包,在抓取了ARP层的数据包后,我们发现了有很多错误的碰撞包,并且所有的碰撞包都在往同一个MAC地址发信息。在这一过程中正好对应了只有第一台设备能进行网络通信,因为网络中只有他一个设备的MAC地址可用。

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

 抓包过程示意

       基于此我们发现了MAC碰撞这个问题并进而解决了这个问题,关闭虚拟机并重新生成MAC地址即可解决这一问题。

下面整理一下我在排查该错误过程下的思路。整个计算机网络的体系结构一共分为七层,我们称之为OSI七层模型。我们可以对着这个模型来排查错误,OSI模型如图所示:

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

OSI七层模型

       一般容易出现错误的层有四个,应用层、网络层、链路层和物理层,应用层错误往往是DNS解析错误,需要正确配置DNS设置才可以访问,在网络配置处我们可以看到DNS配置是114.114.114.114,这里我们是使用了电信自建的DNS,是没有问题的,使用物理机也能ping通,说明不是应用层的问题。

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

 DNS配置情况

       后面排查了网络层,IP层只需要检查IP配置是否正确,网关和子网掩码是否正确即可,在图片中我们可以看到IP的配置是正确的,网关也与虚拟网关一致,可以判断IP层配置没有问题

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

66 网关设置

       由于该项目运行在虚拟机上,因而不需要考虑物理层问题,只要主机的网络没有问题就不需要考虑物理层的问题。

       那么就只剩链路层了,于是我抓包查看了链路层的网络情况,发现了大量出现了MAC碰撞的错误数据包,进而可以判断出是出现了MAC地址的碰撞,最终经过研究发现,由于挂起时虚拟机文件是只读状态的,因而软件并不会将MAC地址写入虚拟机文件,但是软件认为其已经写入了,于是同一个IP段内出现了两个相同MAC地址的数据包,产生了碰撞进而导致联网失败。

       最终解决的问题是将虚拟机关机并重新生成MAC地址。

2.JRE缺失问题

在JDK1.8之后的版本就不提供JRE了,JDK 全称为 Java Development Kit,是 java 开发工具包,是程序员使用 java 语言编写 java 程序所需的开发工具包。而JRE 全称为 Java Runtime Environment,是 java 运行时的环境,包含了 java 虚拟机,java 基础类库,是使用 java 语言编写的程序运行所需要的软件环境。不提供JRE之后直接运行的JAVA程序就不好直接运行,需要走JDK编译。但是可以使用其提供的Jlink包来生成JRE,命令是:jlink --module-path jmods --add-modules java.desktop --output jre

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

 JDKJRE的区别

JRE(Java Runtime Enviroment) 是 Java 的运行环境。面向 Java 程序的使用者,而不是开发者。如果你仅下载并安装了 JRE,那么你的系统只能运行 Java 程序。JRE 是运行 Java 程序所必须环境的集合,包含 JVM 标准实现及 Java 核心类库。它包括 Java 虚拟机、Java 平台核心类和支持文件。它不包含开发工具(编译器、调试器等)。

JDK(Java Development Kit) 又称 J2SDK(Java2 Software Development Kit),是 Java 开发工具包,它提供了 Java 的开发环境(提供了编译器 javac 等工具,用于将 java 文件编译为 class 文件)和运行环境(提 供了 JVM 和 Runtime 辅助包,用于解析 class 文件使其得到运行)。如果你下载并安装了 JDK,那么你不仅可以开发 Java 程序,也同时拥有了运行 Java 程序的平台。JDK 是整个 Java 的核心,包括了 Java 运行环境(JRE),一堆 Java 工具 tools.jar 和 Java 标准类库 (rt.jar)。

JRE 主要包含:java 类库的 class 文件(都在 lib 目录下打包成了 jar)和虚拟机(jvm.dll);

JDK 主要包含:java 类库的 class文件(都在 lib 目录下打包成了 jar)并自带一个 JRE。

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

JDKJRE的区别

问题解决过程:

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

搭建Hadoop过程的问题与网络排错思路,网络,hadoop,大数据

在终端内输入命令:jlink --module-path jmods --add-modules java.desktop --output jre

可以看到jre文件以及jre文件夹内的文件。文章来源地址https://www.toymoban.com/news/detail-788957.html

到了这里,关于搭建Hadoop过程的问题与网络排错思路的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 从 Linux 安装到 Hadoop 环境搭建全过程

    从 Linux 的最小化安装到 Hadoop 环境的搭建,尽可能详尽介绍每个步骤。 首先需要将如下四个必要的文件下载到计算机( 已经附上了下载地址,点击即可下载 )。 Vmware Workstation 16.x 【官方的下载地址】 CentOS-7-x86_64-Minimal-2009 【阿里云镜像站下载地址】 openjdk-8u41-b04-linux-x64-1

    2023年04月08日
    浏览(50)
  • 使用ubuntu搭建hadoop伪分布全过程图解

    目录 1. 安装jdk 2. 添加java环境变量 3. 设置免密登录 4. 安装hadoop 5. 添加hadoop环境变量 6. 修改hdoop-env.sh文件 7. 修改core-site.xml文件 8. 修改yarn-site.xml文件 9. 修改mapred-site.xml文件 10. 修改hdfs-site.xml文件 11. 进行授权 12. 创建namenode,datanode目录 13. 格式化 14. 启动服务 15. 关闭防火墙

    2024年03月14日
    浏览(70)
  • 【教程】Hadoop完全分布式环境搭建全过程

    保姆级入门教程:图片讲解 + 各种问题解决方案 集群服务器:hadoop102、hadoop103和hadoop104 虚拟机版本:CentOS7-1804 资源分享处(文章最后)提供CentOS7和Hadoop各组件压缩包(也可以自行下载,要注意版本兼容的问题),有需要自取~ 1, 模板虚拟机准备 2, 克隆三台虚拟机,作为

    2024年02月06日
    浏览(54)
  • Hadoop HA 搭建过程中报错:namenode格式化

    问题描述: 在格式化namenode时,显示报错如下 2024-03-07 13:55:30,543 ERROR namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.init(FSNamesystem.java:794)     at org

    2024年04月14日
    浏览(36)
  • Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

    本文直接从最最最开始安装Hadoop开始讲解,省略了虚拟机安装的这部分,这里我就默认学过Liunx的各位小伙伴们已经有相关环境了。 下半部分在这里~ Hadoop集群安装和搭建(从零开始超级超级详细的过程)(下) 组件 功能 HDFS 分布式文件系统 MapReduce 分布式并行编程模型 YA

    2024年02月06日
    浏览(58)
  • CentOS7搭建伪分布式Hadoop(全过程2023)

    可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。 验证java是否配置好 输入: java javac java -version 修改六个配置文件hadoop-env.sh 启动hadoop之前需要格式化(具体在出现的问题第六点) 验证: 出现错误,解决和验

    2024年02月08日
    浏览(52)
  • (小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建

    目录 0.准备 1.Hadoop伪分布式环境搭建 2.安装ssh,配置ssh无密码登录 3.通过拖拽的方式将文件从windows传到linux桌面 5.安装hadoop 6.修改hadoop环境变量 7.修改配置文件 core-site.xml 8.修改配置文件hdfs-site.xml文件 9.执行NameNode的格式化 10.开启NameNode和DataNode守护进程 11.访问web页面 12.关闭

    2024年02月03日
    浏览(49)
  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案

    本文针对centos7.4即以上版本的hadoop环境搭建,因为这部分搭建是个很复杂且很容易出错的内容,所以在结合了多种搭建方案后给出最适宜当前版本的搭建。 本教程适用于CentOS 7.4即以上版本,如果是Ubuntu等其它linux内核版本则不适合。 查看系统版本: 软件 版本 获取方法 Ope

    2024年02月16日
    浏览(44)
  • Hadoop环境搭建及常见问题解决(保姆级教程)

    学习大数据的路上,肯定少不了Hadoop的陪伴。 在学习Hadoop之初,一件\\\"痛苦\\\"的事情莫过于装环境,没有环境,练不了HDFS命令,写不了MapReduce程序,后续的HBase、Hive无从下手。 为了学好Hadoop,于是下决心,一定把环境装好,于是,跟着老师做,跟着网上学,别人都顺理成章、

    2023年04月09日
    浏览(88)
  • 【大数据】Hadoop运行环境搭建

    使用VMware虚拟机搭建基于CentOS7的Hadoop环境: cpu核数(需要搭建3台Hadoop组成集群,加上Windows本机,所以可以分配的数量为本机的cpu核数除以4) 内存至少4G 硬盘最少50G 创建虚拟机: 新建虚拟机,选择自定义(高级)—硬件兼容性默认—选择稍后安装操作系统 —客户机操作系统

    2024年02月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包