Hadoop课程学习——Hadoop的windows环境安装及问题

这篇具有很好参考价值的文章主要介绍了Hadoop课程学习——Hadoop的windows环境安装及问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

一、使用步骤

1.jdk下载

2.eclipse下载

3.jdk与eclipse环境配置

4.Hadoop使用

二:问题展示

1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错)

2.问题二:出现点击eclipse.exe不能运行

3.问题三:出现‘-Xmx512m’不是内部或外部指令

总结


前言

关于Hadoop环境配置的过程以及出现的一系列问题解决。

系统:window10

此为本人学习过程,仅供参考。


一、使用步骤

1.jdk下载

本期学习采用jdk1.8.0_251版本,必须保证在1.8版及以上,低版本会出现错误。

jdk1.8.0_251下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/18xDQtQz1MH4WCkrC0QR0yQ%20%E6%8F%90%E5%8F%96%E7%A0%81%EF%BC%9Ao9k6

注意:最好保持默认安装在C盘,不要改地址,否则影响后续操作。该版本jdk包含jre,不用额外添加jre。

2.eclipse下载

2.1eclipse采用win32_x86版,此处不提供

2.2 确保jdk路径正确

打开eclipse文件夹下的eclipse.ini,发现该文件下的jdk的路径与之前安装的路径不符,需要改成之前安装jdk的路径。否则出现问题二的情形。

Hadoop课程学习——Hadoop的windows环境安装及问题

3.jdk与eclipse环境配置

此电脑——右键进入属性——高级系统设置——环境变量。

注意:在系统变量中进行操作,不是用户变量中。

3.1 添加变量JAVA_HOME,值为jdk安装路径,例如:

如果上述jdk默认安装路径,则在C盘的Progarm Files里面的java文件夹下面。

C:\Progarm Files\Java\jdk1.8.0_251

Hadoop课程学习——Hadoop的windows环境安装及问题

3.2 添加变量CLASSPATH,值为

.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\tools.jar

由于上面已经给jdk安装路径定义了变量,此处直接引用即可(引用变量外面需要带上%%),也可以再次输入路径。

注意:该项前面有“.;”,英文标点中的句号和分号。

Hadoop课程学习——Hadoop的windows环境安装及问题

3.3 为变量path添加下面的两个值,不要覆盖原有值

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

3.4 测试

打开命令控制符cmd,在C盘路径下输入命令:

java -version

Hadoop课程学习——Hadoop的windows环境安装及问题

 显示安装版本,即为成功。

4.Hadoop使用

4.1 hadoop路径

本期采用hadoop2.7.4版,存放路径不能带有中文,也不能带有空格,否则后续Hadoop可能不能识别导致出现错误。

可以放在其他盘下面,C盘太辛苦了。

Hadoop网盘下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/19L8WksN6CNStdhZRaFFnXw%20%20%E6%8F%90%E5%8F%96%E7%A0%81%EF%BC%9Agrb9

4.2 windows环境配置

此电脑——右键进入属性——高级系统设置——环境变量。

注意:在系统变量中进行操作,不是用户变量中。

4.2.1 添加变量HADOOP_HOME,值hadoop的路径,例如:

E:\hadoop\hadoop2.7.4

Hadoop课程学习——Hadoop的windows环境安装及问题

4.2.2 为path添加下面的值:

%HADOOP_HOME%\bin

此处同样引用Hadoop的路径。

4.3 添加Hadoop.dll文件到系统盘 

将hadoop2.7.5文件夹中bin目录下的hadoop.dll文件放到系统盘C:\Windows\System32 目录中。

4.4 修改hadoop-env.cmd文件内容

hadoop2.7.4文件夹下的etc\hadoop\hadoop-env.cmd文件,进行编辑,原文档部分内容如下:

Hadoop课程学习——Hadoop的windows环境安装及问题

 此时发现与开始的默认路径不同,需要修改路径,但是这里不能直接使用原jdk所在的路径C:\Progarm Files\Java\jdk1.8.0_251,因为路径不能含有空格,否则Hadoop不能识别。此处需要用简写PROGRA~1代替Progarm Files。

PROGRA~1是 C:\Program Files 目录的dos文件名模式下的缩写 。DOS系统文件夹名,文件名简写的原则是:长于8个字符的文件名和文件夹名,都被简化成前面6个有效字符,后面~1,有重名的就 ~2,~3。

Hadoop课程学习——Hadoop的windows环境安装及问题

4.5 重启电脑

4.6 测试

打开命令控制符cmd,在Hadoop文件夹路径所在盘下输入命令:

hadoop version

Hadoop课程学习——Hadoop的windows环境安装及问题

 出现hadoopb版本,即可成功。

二:问题展示

1.问题一:出现找不到主类(java -version运行正常,hadoop运行出错)

Hadoop课程学习——Hadoop的windows环境安装及问题

 解决方法:修改hadoop2.7.4文件夹下的etc\hadoop\hadoop-env.cmd文件,在该文件的最后一行如下:

set HADOOP_IDENT_STRING=%USERNAME%

修改:“USERNAME”为本机的用户名,并添加'' '',如下

set HADOOP_IDENT_STRING=%“用户名”%

2.问题二:出现点击eclipse.exe不能运行

问题原因: 通过路径找不到jdk,发现这里的jdk的路径和之前不符,要改。

解决方法:见本文档的2.2部分。

Hadoop课程学习——Hadoop的windows环境安装及问题

3.问题三:出现‘-Xmx512m’不是内部或外部指令

问题原因:JAVA_HOME的路径问题。

解决方法:见本文档的3.4部分,一定要保证jdk安装路径和hadoop-env.cmd文件内容中的JAVA_HOME路径一致

Hadoop课程学习——Hadoop的windows环境安装及问题


总结

在过程中出现许多问题,求助过同学,求助过老师,非常感谢。文章来源地址https://www.toymoban.com/news/detail-401399.html

到了这里,关于Hadoop课程学习——Hadoop的windows环境安装及问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 华为云 HCIP云迁移 学习课程提供的考试样题提交之后没有反馈正确答案的问题

    最近在考HCIP的云迁移,但是他提供的考试样题昨晚发现没有正确答案,只会告诉你对错,判断题还好解决,但是多选题就麻烦了。这边研究了一下,share一下,方便大家学习和验证自己的学习成果 这边去看了他的 api response,发现虽然UI上没有标记正确答案,但是 response里面有

    2023年04月25日
    浏览(31)
  • C++课程学习记录

    这篇博客是用来记录期中考试过后我对C++的课上复现以及课后练习的过程 知识点请食用目录进行参考 未涉及的知识点请食用我在之前写过の一篇期中机考总结 传送门: C++期中机考试题 2.1 参考资料 先贴上这一篇对我影响颇深的博客,没有他我怎么都想不明白二叉树的三种遍

    2024年02月09日
    浏览(29)
  • XTuner 微调 课程学习

    大语言模型于海量的文本内容上,以无监督和半监督的方式进行训练的 模型微调的目的:使其在具体的使用场景或领域中输出更好的回答 增量预训练——给模型喂新的领域知识; 指令跟随或指令微调—— 基于海量的预训练数据训练出来的模型通常叫做——base模型或预训练

    2024年01月15日
    浏览(30)
  • 课程学习前言

    app 抓包分析可以看到有签名有加固,毕竟需要 APK 去访问服务、获取数据,都需要 APK 有完整的信息,而这些信息、代码经过各种加密,还是放在 APK 里面。说白了,就是门锁紧了,钥匙藏在门口某个地方,也许就是地垫下面 逆向流程 拿到 App 应用的 apk ; 使用工具进行查壳

    2024年02月06日
    浏览(30)
  • STM32课程学习心得

                  在过去的几个月里,我投入了大量的时间和精力来深入学习STM32微控制器的相关知识。这段学习经历让我对这个领域有了更深入的理解,也让我有了更多的自信去面对实际工程的挑战。以下是我对这段学习经历的总结和心得体会。 在学习STM32的过程中,我主要

    2024年02月04日
    浏览(36)
  • 尚硅谷webpack课程学习笔记

    为什么需要使用打包工具? 开发时使用的框架、es6 语法 、less 等浏览器无法识别。 需要经过编译成浏览器能识别的css、js才可以运行。 打包工具可以帮我们编译,还可以做代码压缩、兼容处理、性能优化。 常见的打包工具有什么? vite、webpack、glup、grunt webapck最基本的使用

    2024年02月07日
    浏览(37)
  • C语言入门课程学习笔记-6

    本文学习自狄泰软件学院 唐佐林老师的 C语言入门课程,图片全部来源于课程PPT,仅用于个人学习记录 D,越界 C D 20 2 0 -1 A wrong 赋值越界 B str2[4]初始化为0元素 A wrong C AD strlen(s) ij j– 10 3 abc

    2024年04月28日
    浏览(25)
  • 华为认证系统学习大纲及课程

    任何学习过程都需要一个科学合理的学习路线,才能够有条不紊的完成我们的学习目标。华为认证网络工程师所需学习的内容纷繁复杂,难度较大,所以今天特别为大家整理了一个全面的华为认证网络工程师学习大纲及课程,帮大家理清思路,攻破难关! HCIA 阶段面向零基础

    2024年02月09日
    浏览(33)
  • 1、中级机器学习课程简介

    本课程所需数据集夸克网盘下载链接:https://pan.quark.cn/s/9b4e9a1246b2 提取码:uDzP 欢迎来到机器学习中级课程! 如果你对机器学习有一些基础,并且希望学习如何快速提高模型质量,那么你来对地方了!在这门课程中,你将通过学习如何: 处理在真实世界数据集中经常出现的数

    2024年01月21日
    浏览(32)
  • 机器学习基本概念(李宏毅课程)

    机器学习 ≈ 训练生成一个函数f(.) ,这个函数相当复杂。 例如: 机器学习的目的是寻找一个满足需求的函数f(.),但是具体使用什么方式寻找f(.)没有说明。 深度学习为机器学习领域的一个子领域,故深度学习给出了寻找函数的方法,即通过“神经网络”来训练生成一个函数

    2024年02月21日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包